Overcomplete Hidden Layers Nedir

Auto Encoder’ların kullanım alanlarından biri de feature extraction’dır (özellik kazanımı). Genelde sıkıştırma amaçlı şemalarda çok az feature kullanılırken, feature extraction için hidden layerdaki nodeların sayısı artırılır ve bu sayede daha fazla özellik elde edilir. Fakat Auto Encoder hidden layerdaki tüm düğümler bakmadan sahtecilik yapabilir, yani 1-2 özelliğe bakıp diğer özellikleri kullanmayabilir. Peki bu durum nasıl engelleniyor? Overfitting dediğimiz bu durumdan kaçınmak için birkaç regülerizasyon tekniği mevcut. Bunlardan biri Sparse Autoencoder’lardır. Bu yöntemde hidden layerdaki tüm düğümlerin hepsi her döngüde kullanılmaz, her döngü için farklı düğümler seçilir ve bu sayede modelimizin overfit olması engellenir.

Diğer bir yöntem Denoising Autoencoders’dır. Bu yöntemde ise input katmanındaki nodeların bazıları her döngü için rastgele 0 ile yer değiştir ama nihai olarak çıktı düğümleri giriş düğümleri ile karşılaştırılır.

Auto Encoders Nedir

Bir unsupervised (gözetimsiz) Deep Learning tipidir. Çok fazla Auto Encode r varyasyonu bulunmaktadır. Genelde tavsiye sistemleri (recommendation systems) için kullanılır. Doğrusal tipli bir ağdır. Çoğunlukla giriş ve çıkış düğümleri (node) aynıdır. Bias kullanılan durumlarda farklılık gösterebilir. Bu tip derin öğrenmelerde output katmanı bulunmaktadır. Bu açıdan saf bir gözetimsiz derin öğrenme diyemeyiz. Auto Encoder’lar denoising, feature extraction (özellik çıkarma) ve (compresssion) sıkıştırma (Skarupke, 2016) gibi amaçlar için de kullanılabilirler.

Temel bir Auto Encoder şeması

Çıktı değerleri tahmin edilirken Softmax fonksiyonu yaygın olarak kullanılır.

Kısaca şu şekilde çalışır, bir input vektörü rastgele ağırlıklarla hidden layer’a encode edilir ve hidden layer’daki değerler yine rastgele ağırlıklar decode edilerek output node’ları oluşturulur, daha sonra hata (error) hesaplanır ve belirli sayıda (epoch) back propagation yapılarak en küçük hata bulunur.

2 sayısal değerinin sıkıştırılması ve açılması

 

rakalmların denoise edilmesi (gürültü/parazit çıkarılması)

 

Prin­ci­pal Com­po­nent Analy­sis Nedir

Bir boyut azaltma (dimension reduction) tekniğidir. Çok boyutlu bir veriyi daha az boyutla nasıl ifade ederizi anlatır. Veri kaybı olmaktadır. Varyans oranına bakarak azaltılan boyutun gerçek boyutun ne kadarını temsil ettiğini anlayabiliriz. Azaltılan boyut sayesinde makine zekası yöntemleri gibi bir çok yöntemin daha hızlı bir öğrenme yapmasını kolaylaştırır.

Precision Recall Nedir

Özellikle Information Retrieval alanında sıkça kullanılmaktadır. Veri ile uğraşıyorsanız hemen heryerde karşısınıza çıkar bu iki kavram; precision, recall. Çoğu zaman değerlendirme birimi olarak kullanılır ve karşılaştırmalarda kullanılır. Aşağıda görsele bakacak olursak :

dairenin içinde kalan alanı gelen sonuçlar olarak açıklayabiliriz. Basit bir örnek verecek olursam, masanızda 10 kalem 5 tane silgi var. Yazılımınız kalemleri buluyor diyelim ve sonuç olarak 4 kalem buldu ve bu 4 kalemin 2si gerçek kalem 2si silgi. Bu durumda precision: 2/4 ve recall: 2/10 olur. Tüm değerleri yazacak olursak:

Selected Elements: 4
True Positive: 2
False Positive: 2
Precision: 2/4
Recall: 2/10
Relevant Elements: 10