Diyalog Edimi Sınıflandırıcılarının Sınıf Dengesizliği Altında Değerlendirilmesi

Proje Bağlamı

Diyalog edimi sınıflandırma, bir ifadenin bildirim, soru, onaylama veya anlamadığını belirtme gibi iletişimsel işlevini belirlemeyi amaçlar.

Switchboard Dialogue Act Corpus veri kümesini kullanarak 43 diyalog edimi kategorisinden birini tahmin eden sinir ağı tabanlı sınıflandırıcılar geliştirdim ve karşılaştırdım.

Veri kümesindeki önemli sorunlardan biri belirgin sınıf dengesizliğiydi. Sık kullanılan diyalog edimleri çok sayıda örnek içerirken bazı kategoriler görece az sayıda örnekle temsil ediliyordu.

Bu durum önemli bir değerlendirme sorusu ortaya çıkardı: genel doğruluğu yüksek bir model, daha az temsil edilen sınıflarda da güvenilir performans gösteriyor mu?

Araştırma Hedefleri

1. Tek tek ifadeler üzerinde çalışan, tekrarlayan sinir ağlarına dayalı bir diyalog edimi sınıflandırıcısı geliştirmek.
2. Sınıf dengesizliğinin nadir diyalog edimi kategorilerindeki tahminleri nasıl etkilediğini ölçmek.
3. BiLSTM temel modelini daha karmaşık bir CNN-BiLSTM mimarisiyle karşılaştırmak.
4. Modelleri hem genel doğruluk hem de sınıfa özgü performans açısından değerlendirmek.
5. Genel performanstaki bir iyileşmenin sınıflar arasında daha güvenilir bir davranış anlamına gelip gelmediğini incelemek.

Yöntem

BiLSTM Temel Modeli

Temel sınıflandırıcı şu bileşenlerden oluşuyordu:

• İfadelerin temsili için kelime gömmeleri
• İki ardışık çift yönlü LSTM katmanı
• 43 diyalog edimi etiketinden birini tahmin eden tam bağlantılı sınıflandırma katmanı
• Çapraz entropi kaybı
• Adam optimizasyonu

Her ifade bağımsız olarak sınıflandırıldı.

Az Temsil Edilen Sınıfların Analizi

Genel performansı değerlendirdikten sonra, görece nadir iki diyalog edimi kategorisindeki davranışı incelemek için bir karışıklık matrisi kullandım:

• br — anlamadığını belirtme
• bf — özetleme/yeniden ifade etme

Bu sınıflar için, her kategoriye ait gerçek örneklerin ne kadarının doğru tanımlandığını ölçmek amacıyla sınıfa özgü recall değerlerini hesapladım.

CNN-BiLSTM Varyantı

Alternatif olarak şu bileşenleri bir araya getiren bir sinir ağı mimarisi de geliştirdim:

• Yerel metinsel özellikleri çıkarmak için 3, 4 ve 5 çekirdek boyutlarına sahip paralel CNN filtreleri
• Batch normalisation
• Max pooling
• İki ardışık çift yönlü LSTM katmanı
• Sınıflandırma için tam bağlantılı ve dropout katmanları

Bu deneyin amacı, daha zengin bir sinir ağı temsilinin BiLSTM temel modelinin ötesinde sınıflandırma performansını geliştirip geliştirmediğini incelemekti.

Sonuçlar

BiLSTM Temel Modeli

BiLSTM şu sonuçları elde etti:

• Test doğruluğu: %69,71
• br recall: %44,12
• bf recall: %1,95

Yalnızca genel doğruluk açısından bakıldığında modelin makul ölçüde güçlü bir sınıflandırma performansı sunduğu düşünülebilirdi.

Ancak sınıfa özgü analiz oldukça farklı bir tablo ortaya çıkardı. Model, br örneklerinin yarısından azını doğru tanımlarken bf sınıfını neredeyse tamamen tanımakta başarısız oldu.

Bu sonuç, genel doğruluğun az temsil edilen kategorilerdeki ciddi performans sorunlarını gizleyebildiğini gösterdi.

CNN-BiLSTM

CNN-BiLSTM şu sonuçları elde etti:

• Test doğruluğu: %70,21
• br recall: %38,24
• bf recall: %0,98

BiLSTM temel modeliyle karşılaştırıldığında genel doğruluk küçük bir artış gösterdi:

%69,71 → %70,21

Ancak az temsil edilen iki sınıftaki performans da kötüleşti:

• br recall: %44,12 → %38,24
• bf recall: %1,95 → %0,98

Dolayısıyla daha karmaşık mimari daha yüksek genel doğruluk üretirken, incelenen iki nadir sınıfı tanımada daha başarısız hâle geldi.

Dolayısıyla temel sonuç, mimarilerden birinin diğerinden her açıdan daha iyi olduğu değildi.

Deney bunun yerine performansın iyileşmesinin nasıl tanımlandığının, hangi hataların önemli kabul edildiğine bağlı olduğunu gösterdi.

Katkılar

• Switchboard veri kümesini kullanarak 43 sınıflı bir diyalog edimi sınıflandırma sistemi geliştirdim ve değerlendirdim.
• BiLSTM ve CNN-BiLSTM sinir ağı mimarilerini uyguladım ve karşılaştırdım.
• Her iki modelle de ayrılmış test verisi üzerinde yaklaşık %70 doğruluk elde ettim.
• Genel performansın gizlediği sınıfa özgü hata örüntülerini belirlemek için karışıklık matrisi analizi kullandım.
• Genel model performansı ile az temsil edilen iki diyalog edimi kategorisindeki recall arasındaki farkı nicel olarak ortaya koydum.
• Genel doğruluktaki küçük bir iyileşmenin az temsil edilen sınıflarda daha düşük recall ile aynı anda gerçekleşebileceğini gösterdim.
• Model kalitesini yalnızca tek bir genel metriğe dayanarak değerlendirmek yerine hataların sınıflar arasındaki dağılımını da dikkate aldım.

Kapsam ve Sınırlar

CNN-BiLSTM deneyi, ifade düzeyinde bir mimari karşılaştırması olarak değerlendirilmelidir; diyalog geçmişini veya ifadeler arası bağlamsal modellemeyi inceleyen bir çalışma değildir.

Analiz ayrıca özellikle iki nadir diyalog edimi kategorisine odaklandı. Daha kapsamlı bir değerlendirme, makro ortalamalı metrikleri ve 43 etiketin tamamındaki sınıfa özgü davranışı inceleyebilir.

Projenin Önemi

Bu projenin en önemli sonucu, bir modelin genel bir performans metriğine göre iyileşirken verinin belirli alt gruplarında daha kötü hâle gelebileceğini göstermesiydi.

CNN-BiLSTM, BiLSTM'e göre biraz daha yüksek genel doğruluk elde etmesine rağmen incelenen iki az temsil edilen diyalog ediminde recall değeri düştü.

Bu durum model değerlendirmesinde daha genel bir probleme işaret etti: bir model seçerken hangi hataların önemli olduğuna karar vermek gerekir; yalnızca ortalama performansı en yüksek olan modelin zorunlu olarak daha iyi sistem olduğunu varsaymak yeterli değildir.

Bu bakış açısı daha sonra güvenilir yapay zekâ ve belirsizlik altında karar verme konularına olan ilgim açısından da anlam kazandı: model performansını yalnızca ortalama tahmin doğruluğu üzerinden değil, hangi koşullarda ve hangi örneklerde başarısız olduğu üzerinden de anlamak gerekir.