Proje Bağlamı
Bir sinir ağı mimarisi seçmek; model derinliği, gizli katmanların boyutu, aktivasyon fonksiyonları ve düzenlileştirme gibi çeşitli kararları gerektirir. Bu seçimler çoğu zaman elle veya kapsamlı hiperparametre aramalarıyla yapılır.
Bu projede, altı sınıflı Farsça ünlü ses sınıflandırma problemi için sinir ağı mimarilerinin bir Genetik Algoritma (GA) kullanılarak aranıp aranamayacağını inceledim.
GA, sabit bir mimarinin ağırlıklarını optimize etmek yerine mimari seçimler üzerinde çalıştı ve her aday ağ yapılandırmasını evrimleşen bir popülasyonun bireyi olarak ele aldı.
Araştırma Hedefleri
- Sinir ağı mimarisi seçimlerini bir genetik arama uzayı olarak temsil etmek.
- Aday mimarileri geliştirmek için seçilim, çaprazlama ve mutasyon kullanmak.
- Aday ağları, doğrulama performansını uygunluk sinyali olarak kullanarak değerlendirmek.
- Popülasyon büyüklüğünün evrimsel aramanın davranışını ve sonucunu nasıl etkilediğini incelemek.
- Mimari arama sırasında gözlemlenen uygunluk değerlerini, seçilen mimariler yeniden eğitilip değerlendirildiğinde elde edilen performansla karşılaştırmak.
Veri Kümesi
Deneylerde MATLAB .mat formatında sağlanan, altı sınıftan oluşan bir Farsça ünlü ses veri kümesi kullanıldı.
Veriler, PyTorch ile model eğitimi ve değerlendirmesinde kullanılmak üzere tensörlere dönüştürüldü.
Arama Uzayı
Genetik Algoritmadaki her birey, ileri beslemeli bir sinir ağı mimarisini temsil ediyordu.
Kodlanan mimari seçimleri şunları içeriyordu:
- Gizli katman sayısı
- Gizli katmanlardaki nöron sayısı
- Aktivasyon fonksiyonu
- Dropout oranı
Aday mimariler PyTorch ile oluşturulup eğitildi; ardından doğrulama performansları evrimsel aramanın uygunluk sinyali olarak kullanıldı.
Yöntem
Genetik Algoritma
Arama süreci standart evrimsel döngüyü izledi:
- Aday sinir ağı mimarilerinden oluşan bir başlangıç popülasyonu oluşturmak.
- Her adayı eğitmek ve değerlendirmek.
- Doğrulama performansına göre uygunluk değeri atamak.
- Daha güçlü adayları yeni nesil üretimi için seçmek.
- Çaprazlama ve mutasyon yoluyla yeni mimariler oluşturmak.
- Süreci nesiller boyunca tekrarlamak.
Bu yaklaşım, önceden tek bir ağ tasarımını elle belirlemek yerine farklı mimari yapılandırmaların sistematik biçimde araştırılmasını sağladı.
Popülasyon Büyüklüğü Deneyi
Genetik Algoritmayı şu popülasyon büyüklükleriyle karşılaştırdım:
- 5
- 10
- 20
Bu deney, her nesilde değerlendirilen aday mimari sayısını artırmanın mutlaka daha iyi çözümler üretip üretmediğini incelemeyi amaçladı.
Mimari Değerlendirmesi
Evrimsel arama sırasında öne çıkan mimariler, arama sırasındaki uygunluk değerleriyle sonraki doğrulama performanslarını karşılaştırmak amacıyla yeniden değerlendirildi.
Bu ayrım önemliydi çünkü sinir ağı eğitimi stokastik bir süreçtir: bir arama çalıştırmasında gözlemlenen uygunluk değeri, aynı mimari yeniden eğitildiğinde aynı performansın elde edileceğini garanti etmez.
Sonuçlar
Genetik Algoritma, altı sınıflı rastgele sınıflandırma düzeyi olan yaklaşık %16,7'nin belirgin biçimde üzerinde performans gösteren çeşitli mimariler belirledi.
Deneylerde belirlenen en güçlü mimari şu yapılandırmayı kullandı:
- 1 gizli katman
- 32 gizli birim
- ReLU aktivasyonu
- 0,1 dropout
Bu yapılandırma ilgili değerlendirmede yaklaşık %42,62 doğrulama doğruluğu elde etti.
Popülasyon büyüklüğü deneyleri ayrıca arama popülasyonunu büyütmenin nihai doğrulama performansını otomatik olarak iyileştirmediğini gösterdi.
Test edilen yapılandırmalar arasında 10 kişilik popülasyon arama sırasında en yüksek uygunluk değerini üretirken, seçilen mimarilerin yeniden eğitilmesi evrimsel arama sırasında gözlemlenen performansı her zaman yeniden üretemedi.
Bu durum iki farklı başarı ölçütü arasındaki önemli ayrımı ortaya koydu:
stokastik bir arama sürecinde iyi performans gösteren bir mimari bulmak
ve
aynı mimarinin yeniden değerlendirildiğinde güvenilir biçimde benzer performans gösterdiğini ortaya koymak.
Dolayısıyla deney, evrensel olarak optimal bir sinir ağı mimarisi belirlemedi. Bunun yerine evrimsel mimari aramanın hem potansiyelini hem de değişkenliğini ortaya koydu.
Katkılar
- Sinir ağı mimarisi araması için bir Genetik Algoritma uyguladım.
- Ağ derinliğini, gizli katman boyutunu, aktivasyon fonksiyonunu ve dropout oranını evrimleştirilebilir mimari değişkenler olarak kodladım.
- Evrimsel aramayı altı sınıflı Farsça ünlü ses sınıflandırma problemine uyguladım.
- Genetik Algoritma işlemlerini otomatik PyTorch model oluşturma, eğitim ve değerlendirme süreciyle bütünleştirdim.
- Arama davranışını 5, 10 ve 20 kişilik popülasyon büyüklükleri arasında karşılaştırdım.
- Yaklaşık %42,62 doğrulama doğruluğuna ulaşan bir aday mimari belirledim.
- Arama sırasındaki uygunluk ile yeniden eğitilmiş modelin doğrulama performansı arasındaki farkı inceleyerek stokastikliğin mimari seçimi üzerindeki etkisini ortaya koydum.
Kapsam ve Sınırlar
Deney, görece sınırlı bir ileri beslemeli sinir ağı mimarileri uzayını araştırdı ve modern Sinir Ağı Mimarisi Arama yöntemlerinin genel bir karşılaştırması olarak yorumlanmamalıdır.
Adayların uygunluk değerleri de sinir ağı eğitimine dayanıyordu; bu durum değerlendirme sürecine stokastik değişkenlik ekledi. Bir evrimsel arama sırasında yüksek uygunluk gösteren bir yapılandırma, yeniden eğitildiğinde aynı performansı her zaman üretemedi.
Bu nedenle sonuçlar, benzersiz biçimde optimal bir mimari ortaya koymaktan ziyade test edilen arama uzayı içinde umut vadeden yapılandırmaları belirlemektedir.
Projenin Önemi
Proje, otomatik model seçiminin kendi belirsizliğini de beraberinde getirdiğini gösterdi.
Bir arama algoritması doğrulama uygunluğu yüksek bir aday belirleyebilir; ancak bu sonuç, adayı bulmak için kullanılan arama uzayına, değerlendirme prosedürüne, stokastik eğitim sürecine ve hesaplama bütçesine bağlıdır.
Proje, evrimsel optimizasyon konusunda uygulamalı deneyim kazandırırken model seçimi açısından da önemli bir ilkeyi ortaya koydu: arama sırasında en iyi görünen yapılandırma, yeniden değerlendirildiğinde en güvenilir performansı gösterecek yapılandırma olmak zorunda değildir.