Hedef: Diyalog sistemlerinde bağlam modellemesini keşfetmek ve çoklu-mod ardışık girdi tasarımı yoluyla DA etiketleme doğruluğunu artırmak.
Bu projede, Diyalog Eylemi (DA) etiketleme görevini gerçekleştirmek için Evrişimsel Sinir Ağları (CNN) ve Çift Yönlü LSTM (BiLSTM) birleşiminden oluşan hibrit bir model geliştirdim. Model, önceki ifadelerden ve onların DA etiketlerinden bağlamsal bilgi alarak daha doğru tahminler yapmaktadır.
Ana odak noktası, önceki diyalog eylemlerinin dahil edilmesinin mevcut etiketleme performansını nasıl iyileştirdiğini anlamaktı. Ayrıca çıkarım sırasında modelin girişin ve geçmiş bağlamın hangi bölümlerine odaklandığını yorumlamak için dikkat maskeleri analiz edildi.
Model Tasarımı:
- CNN’ler, ifade gömme (embedding) temsillerinden yerel özellik çıkarmak için kullanıldı
- BiLSTM katmanları, ardışık bağlam takibi için entegre edildi
- Önceki DA etiketleri kodlandı ve ifade özellikleriyle birlikte modele verildi
- Bağlamsal önemi ağırlıklandırmak için yumuşak dikkat mekanizması uygulandı
Sonuçlar:
- Bağlam entegrasyonu ile doğrulukta iyileşme gösterildi
- Geçmiş ifadelere yönelik dikkat dağılımları görselleştirildi
- Model kararlarının nitel analizi gerçekleştirildi
Model ve Araçlar: PyTorch, NLTK, matplotlib