Hedef: Yorumlanabilir sinirsel diyalog sistemlerinde deneyim kazanmak ve dikkat mekanizmalarının, eğitim süresi boyunca üretim kalitesini nasıl etkilediğini analiz etmek.
Bu projede, dikkat (attention) tabanlı bir encoder-decoder mimarisi kullanarak bir sıralıdan-sıralıya (Seq2Seq) diyalog sistemi geliştirdim. Modeli, bir konuşma ortamında uygun yanıtlar üretmek üzere eğittim ve özellikle dikkat mekanizmasının eğitim süresince nasıl geliştiğini yorumlamaya odaklandım.
Model çıktılarını farklı eğitim aşamalarında (5, 50 ve 100 epoch) değerlendirdim ve decoder’ın giriş token’larına nasıl odaklandığını incelemek için dikkat ağırlık matrislerini görselleştirdim. Ayrıca yanıt kalitesi ve çeşitliliğini değerlendirmek için açgözlü (greedy) ve beam search çözümleme stratejilerini karşılaştırdım.
Öne Çıkanlar:
- Seq2Seq çerçevesinde Bahdanau tarzı dikkat mekanizması uygulandı
- Model açık alan (open-domain) diyalog veri seti üzerinde eğitildi
- Açgözlü ve kiriş arama çözümleme yöntemleri karşılaştırıldı
- Öğrenme sürecini yorumlamak için dikkat ağırlıkları görselleştirildi
- Aşırı öğrenme (overfitting), dizi uzunluğu ve kelime dağarcığı sınırlamaları tartışıldı
Model ve Araçlar: PyTorch, NumPy, matplotlib, seq2seq mimarisi