Overcomplete Hidden Layers Nedir

Auto Encoder’ların kullanım alanlarından biri de feature extraction’dır (özellik kazanımı). Genelde sıkıştırma amaçlı şemalarda çok az feature kullanılırken, feature extraction için hidden layerdaki nodeların sayısı artırılır ve bu sayede daha fazla özellik elde edilir. Fakat Auto Encoder hidden layerdaki tüm düğümler bakmadan sahtecilik yapabilir, yani 1-2 özelliğe bakıp diğer özellikleri kullanmayabilir. Peki bu durum nasıl engelleniyor? Overfitting dediğimiz bu durumdan kaçınmak için birkaç regülerizasyon tekniği mevcut. Bunlardan biri Sparse Autoencoder’lardır. Bu yöntemde hidden layerdaki tüm düğümlerin hepsi her döngüde kullanılmaz, her döngü için farklı düğümler seçilir ve bu sayede modelimizin overfit olması engellenir.

Diğer bir yöntem Denoising Autoencoders’dır. Bu yöntemde ise input katmanındaki nodeların bazıları her döngü için rastgele 0 ile yer değiştir ama nihai olarak çıktı düğümleri giriş düğümleri ile karşılaştırılır.

Auto Encoders Nedir

Bir unsupervised (gözetimsiz) Deep Learning tipidir. Çok fazla Auto Encode r varyasyonu bulunmaktadır. Genelde tavsiye sistemleri (recommendation systems) için kullanılır. Doğrusal tipli bir ağdır. Çoğunlukla giriş ve çıkış düğümleri (node) aynıdır. Bias kullanılan durumlarda farklılık gösterebilir. Bu tip derin öğrenmelerde output katmanı bulunmaktadır. Bu açıdan saf bir gözetimsiz derin öğrenme diyemeyiz. Auto Encoder’lar denoising, feature extraction (özellik çıkarma) ve (compresssion) sıkıştırma (Skarupke, 2016) gibi amaçlar için de kullanılabilirler.

Temel bir Auto Encoder şeması

Çıktı değerleri tahmin edilirken Softmax fonksiyonu yaygın olarak kullanılır.

Kısaca şu şekilde çalışır, bir input vektörü rastgele ağırlıklarla hidden layer’a encode edilir ve hidden layer’daki değerler yine rastgele ağırlıklar decode edilerek output node’ları oluşturulur, daha sonra hata (error) hesaplanır ve belirli sayıda (epoch) back propagation yapılarak en küçük hata bulunur.

2 sayısal değerinin sıkıştırılması ve açılması

 

rakalmların denoise edilmesi (gürültü/parazit çıkarılması)