Linearity Nedir

Linearity (doğrusallık) 2 değişken arasındaki ilişkin doğrusal olduğunu belirtir. Yani basit bir şekilde x şu kadar artarsa y şu olur diyebileceğiniz durumlar için kullanılır. Örnek vermek gerekirse bir kişi 20 yaşında 2bin TL maaş, 30 yaşında 3bin TL, 40 yaşında 4bin TL alıyorsa burada doğrusal bir ilişki vardır. 35 yaşındaki kişinin maaşının yaklaşık 3,5bin TL olduğunu tahmin edebilirsiniz.

Overcomplete Hidden Layers Nedir

Auto Encoder’ların kullanım alanlarından biri de feature extraction’dır (özellik kazanımı). Genelde sıkıştırma amaçlı şemalarda çok az feature kullanılırken, feature extraction için hidden layerdaki nodeların sayısı artırılır ve bu sayede daha fazla özellik elde edilir. Fakat Auto Encoder hidden layerdaki tüm düğümler bakmadan sahtecilik yapabilir, yani 1-2 özelliğe bakıp diğer özellikleri kullanmayabilir. Peki bu durum nasıl engelleniyor? Overfitting dediğimiz bu durumdan kaçınmak için birkaç regülerizasyon tekniği mevcut. Bunlardan biri Sparse Autoencoder’lardır. Bu yöntemde hidden layerdaki tüm düğümlerin hepsi her döngüde kullanılmaz, her döngü için farklı düğümler seçilir ve bu sayede modelimizin overfit olması engellenir.

Diğer bir yöntem Denoising Autoencoders’dır. Bu yöntemde ise input katmanındaki nodeların bazıları her döngü için rastgele 0 ile yer değiştir ama nihai olarak çıktı düğümleri giriş düğümleri ile karşılaştırılır.