Akıllı Etkileşim Tasarımı için Multimodal Duygu Özelliklerinin Görsel Haritalandırılması

Özet

Bu çalışma, iki farklı veri setinde duygu tanıma doğruluğunu artırmak için transformer kodlayıcılarından, ayrıklaştırılmış duygu temsillerinden ve görsel eşleme ile grafik tabanlı çapraz modlu dikkat mekanizmasından yararlanan, uçtan uca çok modlu bir duygu analizi çerçevesi önermektedir.

Özet

Makinelerin insan etkileyiş durumlarını anlamasını, yorumlamasını ve bunlara tepki vermesini sağlayan çok modlu duygu özelliklerinin görsel eşlemesi, akıllı arayüz tasarımı için kritik öneme sahiptir. Bununla birlikte, mevcut çok modlu duygu tespit algoritmaları temel olarak öngörücü performansa odaklanmakta; yorumlanabilirlik, etkileşim farkındalığı veya özellik düzeyindeki çapraz mod etkileşimleri hakkında çok az bilgi sunmaktadır. Bu çalışma; etkileşim odaklı görselleştirme, yorumlanabilir temsil öğrenimi ve duygu öngörüsünü birleştiren çok modlu duygu yönlerinin görsel eşlemesi için bir çerçeve sunmuştur. Manuel olarak oluşturulmuş özellikler kullanılmadan; metinsel, işitsel ve görsel modalitelerden üst düzey duygu gömmelerini çıkarmak için transformer tabanlı kodlayıcılar kullanılmıştır. Dayanıklılığı artırmak amacıyla, ayrıştırılmış temsil öğrenimi tekniği kullanılarak duyguya özgü ve modaliteye özgü bilgiler birbirinden ayrılmıştır. Ayrıca, modaliteler arasındaki ince duygusal ilişkileri simüle etmek için adaptif dikkat ağırlıklandırmasını kullanan grafik tabanlı bir çapraz mod dikkat ağı oluşturulmuştur. Şeffaflığı artırmak amacıyla zamansal duygu yörüngelerini, çapraz mod dikkat dağılımlarını ve gizli duygu gömmelerini betimlemek için çok görünümlü bir görsel eşleme modülü oluşturulmuştur. Önerilen çerçeveyi değerlendirmek için Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) veri seti ve Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) kullanılmıştır. Deneysel sonuçlara göre, önerilen çerçeve; doğruluk, F1-skoru, korelasyon ve ortalama mutlak hata açısından temsilci temel tekniklerden tutarlı bir şekilde daha iyi performans gösterirken, gelişmiş özellik düzeyinde yorumlanabilirlik ve etkileşim farkındalıklı görselleştirme sağlamıştır. Ek olarak, görsel eşleme modülü; çok modlu duygu temsillerinin, çapraz mod etkileşimlerinin ve zamansal duygu dinamiklerinin kalitatif yorumlanmasını kolaylaştırarak etkileşim farkındalıklı görselleştirme ve analizi desteklemiştir.

Giriş

İnsan duygularını doğru şekilde tanımlama ve anlama yeteneği, insanlar ve makineler arasındaki etkileşimi geliştirmek için kritik hale gelmiştir. Duygu analizi, insan-bilgisayar etkileşimini geliştirmenin yanı sıra; ön tanı tıbbi teşhis¹, sınıf içi davranış analizi², hasta psikolojik takibi³, araçlarda yorgunluk tespiti⁴ ve akıllı ev ortamlarında akıllı yönetim⁵ dahil olmak üzere birçok alanı devrimcileştirme potansiyeline sahiptir. Duygusal hesaplama ve derin öğrenmedeki⁶ son gelişmeler, insan duygularının karmaşıklığını yakalayabilen gerçek zamanlı sistemler oluşturmaya olan ilgiyi artırmıştır.

Güncel yöntemlerin çoğu öncelikle metinsel, grafiksel veya işitsel işaretler gibi tek modlu verilere dayanmaktadır^7,8,9. Bu yaklaşımlar, iğneleme veya bağlama özgü nüanslar gibi incelikli sinyalleri tespit etmede defalarca başarısız olmuştur. Araştırmalar, bu kısıtlamaların üstesinden gelmek için birden fazla kaynaktan gelen tamamlayıcı verileri birleştiren çok modlu duygu değerlendirmesine yönelmiştir^10,11,12. Birden fazla modun birleştirilmesinin avantajları; erken füzyon-uzun kısa süreli bellek (EF-LSTM)13, hafif ve FM derin sinir ağları (LF-DNN)¹⁴, tensör füzyon ağları (TFN) ve düşük dereceli çok modlu füzyon yaklaşımları gibi temel modellerle gösterilmiştir. Ancak, bu yaklaşımların çoğu çevrimdışı özellik üretimine dayanmakta olup dinamik, gerçek dünya durumları için uygun değildir.

Duygusal durumları kapsamak adına, çok modlu duygu tanımlama araştırmaları ve uygulamaları son on yıl içinde artış göstermiştir¹⁵. Günümüzde araştırmaların en zorlu ve önemli alanlarından biri, çeşitli veri kaynakları kullanılarak duygusal durumların sürekli izlenmesidir¹⁶. Çok modluluk fikri, bu denli çeşitli bir bilgi sisteminin ortaya çıkışıyla oldukça doğal bir şekilde gelişmiş ve duygusal hesaplama, insan-bilgisayar etkileşimi (HCI), öğrenme, video oyunları, tüketici hizmetleri, tıbbi bakım, kullanıcı deneyimi (UX) değerlendirmesi vb. gibi alanlarda duyguların uygulanmasında birçok ilerlemeye yol açmıştır. Ancak, duygu tanıma tekniklerini UX değerlendirmesinde uygulamak her zaman bu kadar basit olmamıştır.

Tek modlu yöntemler yerine çok modlu tanımaya odaklanmanın temel nedenlerinden biri, tek bir bilgi kaynağına güvenmenin beraberinde getirdiği doğal dezavantajlardır. Tek modlu duygu tespit sistemleri, eksik veya belirsiz veriler nedeniyle daha düşük doğruluk oranlarından muzdarip olabilirken; MER şemaları, birden fazla veri kaynağını entegre ederek daha güvenilir bir yapı sunmakta ve dışavurumcu durumların daha kapsamlı ve derinlemesine bir şekilde anlaşılmasını sağlamaktadır¹⁷. Örneğin, özellikle jestlerin karmaşık veya belirsiz olduğu durumlarda, sadece yüz dili duyguları kesin olarak sınıflandırmak için yeterli olmayabilir. Öte yandan, yüz ifadelerinin dil veya fiziksel ipuçları gibi diğer iletişim biçimleriyle birleştirilmesi, duygu tanıma doğruluğunu artırabilir.

Duygu tanıma üzerine birçok farklı modalite üzerinde kapsamlı araştırmalar yapılmıştır. İlk çalışmalar; grafik, akustik veya metin tabanlı girdiler gibi farklı modalitelerden ayırt edici özelliklerin belirlenmesine odaklanmıştır. Çeşitli modalitelerin entegrasyonunun, daha güvenilir ve hassas bir duygu tespitine olanak tanıyan dengeli duygusal bilgiler sağlayabildiği giderek daha belirgin hale gelmektedir. Bu bölüm; temel yaklaşımlara, bunların eksikliklerine ve yöntemimizin gerekçelerine odaklanarak, tek modaliteli ve multimodal duygu analizindeki temel gelişmeleri incelemektedir.

Duygu tanıma üzerine yapılan ilk çalışmalar öncelikle tek bir modaliteye odaklanmıştır. Görsel alanda, çığır açan araştırmalar prototipik yüz hareketlerinin kategorizasyonuna yol açmıştır²⁰. Sonraki ilerlemeler, görsel hareket²¹ ve gizli Markov modelleri²² gibi zamansal dinamikleri yakalamaya yönelik teknikleri içerirken; yüz tepkileri, Yüz Eylem Kodlama Sistemi (FACS)²³ kullanılarak eylem birimlerine ayrılmıştır. LSTM'ler ve evrişimli sinir ağları (CNN'ler), anlamlı özellikleri doğrudan ham ses sinyallerinden çıkarmak için başarıyla kullanılmıştır; ses tabanlı duygu tanımlama metodolojileri, geleneksel sinyal işlemeden derin öğrenmeye doğru evrilmiştir²⁴. Metin tabanlı duygu analizinde bağlamsal duygu sinyallerinin çıkarımı, dikkat mekanizmalarını içeren tekrarlayan sinir ağları (RNN'ler) ve daha yakın zamanda transformer tabanlı modeller ile büyük ölçüde geliştirilmiştir. Başarılarına rağmen, tek modlu teknikler, diğer modlarda bulunan tamamlayıcı bilgilerden yoksun oldukları için insanların deneyimlediği karmaşıklıkları doğru bir şekilde temsil etme konusunda doğuştan yetersizdir.

Konuşma tabanlı duygu belirleme alanında, daha uzun vadeli çevresel verileri toplamak amacıyla 2021 yılında DialogXL model25 gibi bazı dikkat mekanizması tabanlı modeller önerilmiştir. Kim ve ark.²⁶, ERC doğruluğunu artırmak için 2021 yılında EmoBERTa modelini tanıtmıştır. Bu model, konuşmalardaki konuşmacıların özelliklerini ve birbirleriyle olan etkileşimlerini geliştirmek için konuşmacı verilerini kullanmaktadır. 2022 yılında Li ve ark.²⁷, CoG-BART yöntemini sunmuştur. Bu yapı, modelin ilgili verileri yorumlama yeteneğini geliştirmek için denetimli karşıtlaştırmalı öğrenme kullanmaktadır. Denetimli öğrenmenin önemli miktarda etiketlenmiş veri gerektirdiği belirtilmelidir.

Bu tür çalışmaların tipik bir örneği, modaliteler arası genelleştirmeyi geliştirmek için özellik etkileşim belirteçleri ve kontrastif hizalama kullanan Çok Modlu Etkileşim Duyarlı Temsil (MIAR) çerçevesidir²⁸. MIAR, modalite hizalamasını iyileştirir ve birden fazla veri setinde güçlü bir performans sergiler; ancak, görsel eşleme konusuna değinmeden temel olarak öngörü doğruluğuna odaklanır. Benzer şekilde, Çapraz Dikkatli Sesli-Görsel Füzyon modeli²⁹, valans ve uyarılma öngörüleri için ince taneli sesli-görsel etkileşimleri etkili bir şekilde yakalar, fakat iki modalite ile sınırlıdır ve görselleştirme yeteneklerinden yoksundur. LSTM ağlarına ve otokodlayıcı füzyonuna dayalı zamansal modelleme yaklaşımları, duyguların zamansal dinamiklerini başarıyla yakalasa da modalite etkileşimleri ve öğrenilen duygusal temsiller hakkında sınırlı bilgi sağlar. Daha yakın zamanda, Transformer tabanlı Çok Modlu Füzyon Ağı (TMFN)³⁰ gibi Transformer tabanlı yöntemler, gelişmiş çok modlu füzyon ve kontrastif öğrenme yoluyla CMU-MOSI ve CMU-MOSEI üzerinde güçlü performans göstermiştir. Buna rağmen, bu yaklaşımlar temel olarak performans odaklı kalmaya devam etmekte olup açıklanabilirlik, özellik düzeyinde yorumlama ve etkileşim odaklı görselleştirme için sınırlı destek sunmaktadır.

Metinsel, akustik ve görsel verilerin entegrasyonunu geliştirmek amacıyla çeşitli çok modlu duygu tanıma teknikleri önerilmiştir. EF-LSTM ve LF-DNN gibi erken füzyon teknikleri, karmaşık modlar arası etkileşimleri yakalayamasalar da duygu ve his analizi için çok modlu bilgilerin kullanılmasının avantajlarını ortaya koymuşlardır. TFN, CMU-MOSI ve CMU-MOSEI gibi kıyaslama veri kümeleri üzerindeki performansı artırıp modlar arası etkileşimlerin açık modellemesini sunmuş olsa da, sınırlı yorumlanabilirliği ve yüksek hesaplama karmaşıklığı kullanışlılığını kısıtlamıştır. Modalite hizalamayı ve dinamik özellik füzyonunu iyileştirmek için MIAR, çapraz dikkatli füzyon modelleri, TMFN ve adaptif çok modlu transformerlar gibi daha modern teknikler, transformer topolojileri ve dikkat mekanizmaları kullanmışlardır. Bu yöntemler, doğruluk, F1-skoru ve ortalama mutlak hata gibi yaygın değerlendirme metriklerinde rekabetçi sonuçlar elde etmelerine rağmen, öncelikle öngörücü performansa odaklanmış; özellik düzeyindeki duygusal temsiller ve modlar arası bağımlılıklar hakkında çok az bilgi sunmuşlardır. Ayrıca, gizli duygu gömmelerini, dikkat dağılımlarını ve zamansal duygu dinamiklerini ortaya çıkarabilen görselleştirme teknikleri geliştiren veya modlar arası etkileşimlerin grafik tabanlı modellemesini entegre eden çalışma sayısı oldukça azdır. Önerilen yaklaşım; bu eksiklikleri gidermek ve çok modlu duygu tanıma performansını artırmak için çok görünümlü görsel eşleme, grafik tabanlı çapraz modal dikkat füzyonu ve ayrıştırılmış temsil öğrenimini bünyesinde barındırmaktadır.

Benzer şekilde, Adaptif Çok Modlu Transformer³², gürültülü veya eksik modallik bilgilerini adaptif olarak azaltmak ve böylece duygu sınıflandırma performansını artırmak için değişim tabanlı füzyon önermektedir. Bu yaklaşım, modal bilgi dağılımındaki tutarsızlıkları etkili bir şekilde giderebilse de, tasarımı duygu analiziye özeldir ve öğrenilen duygusal temsiller hakkında sınırlı bilgi sunar. Bir diğer önemli katkı ise, gerçek zamanlı çok modlu duygu tanıma için CNN'leri, multiplikatif LSTM'leri ve transformer tabanlı dikkat mekanizmasını entegre eden Çok Modlu Füzyon Modeli'dir³³. Model; video, ses ve metin modaliteleri üzerinde tam füzyon gerçekleştirmekte ve güçlü bir tanıma performansı sergilemektedir. Bununla birlikte, diğer mevcut modeller gibi, öncelikle öngörücü doğruluğa odaklanmakta olup görselleştirme ve etkileşim odaklı yorumlanabilirlik için açık özelliklerden yoksundur.

Sonuç olarak, güncel durumdaki son teknoloji çok modlu duygu tanıma yaklaşımları, modlar arası etkileşimleri yakalamada ve tahmin doğruluğunu artırmada önemli başarılar elde etmiş olsa da, bunların çoğu tanıma odaklı görevlere yoğunlaşmıştır. Özellik düzeyinde yorumlanabilirlik, duygusal temsillerin görüntü alanında görselleştirilmesi ve akıllı etkileşim tasarımı için önerilen çerçevenin entegre edilmesi alanları çok az ilgi görmüştür. Önerilen çerçeve, bu zorluklar göz önünde bulundurularak sunulmuştur.

Çok modlu duygu tanımadaki kayda değer ilerlemelere rağmen^28,29, mevcut yöntemlerin çoğu, öğrenilen duygusal temsillerin ve modlar arası etkileşimlerin yorumlanabilirliğini çok az sunarak öncelikle öngörücü performansı artırmaya odaklanmaktadır. Metinsel, akustik ve görsel modlar arasındaki karmaşık etkileşimlerin, özellikle modalite farklılıkları ve bilgi eksiklikleri meydana geldiğinde, mevcut füzyon stratejileri tarafından modellenmesi sıklıkla zordur ^28,31. Transformer tabanlı tasarımlar ve dikkat mekanizmaları temsil öğrenimini geliştirmiş olsa da, duyguya özgü ve modaliteye özgü bilgilerin açıkça ayrıştırılmamış olması nedeniyle şeffaflıkları ve yorumlanabilirlikleri genellikle azalmaktadır^31,32,33. Ek olarak, intermodal etkileşimlerin graf tabanlı modellenmesini araştıran veya zamansal duygu dinamiklerini, dikkat dağılımlarını ve duygu gömmelerini ortaya çıkarabilen görselleştirme çerçeveleri oluşturan çalışma sayısı oldukça azdır. Bu dezavantajlar, etkileşim odaklı görsel eşlemeyi güçlü bir çapraz modal öğrenimle birleştiren, akıllı insan-makine etkileşimi için yorumlanabilir bir çok modlu çerçevenin gerekliliğini ortaya koymaktadır.

Bu çalışma, akıllı arayüz tasarımında çok modlu duygu yönlerinin görsel haritalaması için yorumlanabilir bir çerçeve sunmaktadır. Sistem, manuel olarak oluşturulmuş özelliklere ihtiyaç duymadan; metin, ses ve görsel modalitelerden üst düzey duygusal temsiller çıkarmak için uçtan uca derin öğrenme kullanır. Modlar arası duygusal etkileşimler, duyguya özgü ve modaliteye özgü bilgileri ayıran, böylece ayrıştırılmış temsil öğrenimini sağlayan, yorumlanabilirliği ve dayanıklılığı artıran grafik tabanlı bir dikkat füzyon mekanizması kullanılarak modellenir. Ek olarak, zamansal duygu dinamiklerini, modlar arası dikkat modellerini ve duygu gömmelerini göstermek için çok görünümlü bir görselleştirme modülü oluşturulmuştur. Önerilen çerçevenin akıllı insan-makine etkileşim sistemlerindeki etkinliği ve uygunluğu, kıyaslama çok modlu duygu tanıma veri kümeleri üzerinde yapılan doğrulamalarla değerlendirilmiştir.

Bu çalışma, mevcut çok modlu duygu tanımlama sistemlerindeki kısıtlı yorumlanabilirliği ve çapraz modlu etkileşimlerin yetersiz modellenmesini aşmak için, geleneksel tahmin odaklı yaklaşımların ötesine geçen, çok modlu duygu yönlerinin görsel haritalaması için benzersiz bir çerçeve sunmaktadır. Önerilen yaklaşım; transformer tabanlı çok modlu temsil öğrenimini, ayrıştırılmış duygu farkındalıklı öznitelik modellemesini, graf tabanlı çapraz modlu dikkat füzyonunu ve etkileşim odaklı görselleştirmeyi tek bir mimari içinde birleştirir. Çerçeve, temel olarak sınıflandırma performansına odaklanan mevcut yaklaşımların aksine, yorumlanabilirliği, sağlamlığı ve çapraz modlu tutarlılığı artırmak için duyguya özgü ve modaliteye özgü temsilleri net bir şekilde ayırır. Ek olarak, metinsel, işitsel ve görsel modaliteler arasındaki ince taneli duygusal karşılıklı bağımlılığı yakalayarak modlar arası etkileşimlerin adaptif modellenmesini sağlamak için graf tabanlı bir dikkat mekanizması sunulmuştur. Modelin karar verme sürecine dair sezgisel içgörüler sunan zamansal duygu yörüngelerini, çapraz modlu dikkat modellerini ve gizli duygu gömmelerini ortaya çıkararak şeffaflığı artırmak amacıyla çok görünümlü bir görsel haritalama modülü oluşturulmuştur. Çok modlu duygusal dinamiklerin geliştirilmiş görselleştirme ve yorumlanabilirliğini sağlamasının yanı sıra, CH-SIMS ve CMU-MOSEI kıyaslama veri setleri üzerindeki deneysel değerlendirmeler; doğruluk, F1-skoru, ortalama mutlak hata ve korelasyon açısından rekabetçi bir performans göstermiştir.

Protokol

Önerilen çalışma, çok modlu duygu özelliklerinin görsel eşlemesi için yorumlanabilir bir çerçeve sunarak akıllı etkileşim tasarımını geliştirmeyi amaçlamaktadır. Bu çalışmada halka açık olan CH-SIMS ve CMU-MOSEI veri tabanları kullanılmıştır. Her iki veri seti de resmi kaynaklarından temin edilmiş ve ilgili yaratıcıları tarafından belirlenen kullanım kılavuzları, araştırma standartları ve lisans koşullarına uygun olarak kullanılmıştır. Veri setlerinin metin, ses ve video verilerini içeren çok modlu içeriği, öncelikle veri seti sağlayıcıları tarafından yetkili katılımcı izinleri ve veri toplama protokolleri uyarınca toplanmış ve etiketlenmiştir. Bu çalışmada doğrudan insan etkileşimi gerçekleşmemiş, yeni katılımcı alımı yapılmamış ve kişisel olarak tanımlanabilir bilgi toplanmamıştır. Tüm analizler, halka açık araştırma veri setleri kullanılarak yürütülmüştür. Sonuç olarak, gerçekleştirdiğimiz ikincil veri analizi için herhangi bir ek etik onay veya Kurumsal İnceleme Kurulu (IRB) incelemesine gerek duyulmamıştır. Çalışma, halka açık veri setlerinin kullanımını düzenleyen uygun kurumsal normlara, etik araştırma prosedürlerine ve geçerli veri kullanım politikalarına uygun olarak gerçekleştirilmiştir.

Anlamayı geliştirmek için duygu veya modaliteye özgü karakteristikleri kullanan, modaliteler arası duygu karakterizasyonlarını öğrenmek amacıyla grafik tabanlı bir çapraz modalite dikkat mekanizması uygulanmıştır. Gerçek zamanlı duyguya duyarlı etkileşimli tasarımı geliştirmek için çok görünümlü bir görsel eşleştirme bileşeni kullanılmış ve bunun duygu tanıma üzerindeki etkinliği tahmin edilmiştir. Bulgular, önerilen yöntemin gerçek dünyadaki duyguya duyarlı akıllı kullanıcı arayüzleri için hem yorumlanabilirliği hem de etkinliği artırdığını göstermektedir. Şekil 1, önerilen çalışmanın mimari iş akışını göstermektedir. Şekil 1, akıllı etkileşim sistemleri bağlamında çok modlu duygu özelliği öğrenimi için önerilen görsel eşleştirme çerçevesinin tüm iş akışını göstermektedir. İş akışı; sırasıyla dilsel, prozodik ve yüz ifadesi modalitelerinden tamamlayıcı duygusal bilgiler yakalayan metin, ses ve video şeklindeki üç senkronize giriş modalitesi ile başlar. Her bir modalite, ham giriş verilerinin üst düzey temsillerini elde etmek için modaliteye özgü bir transformer kodlayıcı ile işlenir. Temsiller daha sonra, heterojen veri kaynakları genelinde öğrenilen duygularda tutarlılığı sağlamak için duyguya özgü gömmelerin modaliteye özgü özelliklerden ayrıştırıldığı bir ayrıştırılmış temsil öğrenme modülüne aktarılır. Her modaliteden gelen duyguya özgü gömmeler, ardından modallar arası duygusal bağımlılıkları modelleyen ve etkileşim bağlamına göre her bir modaliteye dinamik önem ağırlıkları atayan grafik tabanlı bir çapraz modalite dikkat ağı tarafından birleştirilir. Son olarak çerçeve, hem şeffaf duyguya duyarlı karar verme sürecini hem de adaptif akıllı etkileşim tasarımını kolaylaştıran duygu sınıflandırma çıktılarını ve etkileşim içgörülerini sağlar.

Multimodal veri edinimi

CH-SIMS ve CMU-MOSEI veri kümeleri, senkronize video, ses ve metin gibi çok modlu bilgilerin toplandığı, mevcut iki halka açık çok modlu veri kümesidir. CH-SIMS veri kümesi, filmlerden, televizyon dizilerinden ve varyete programlarından alınan çok sayıda video segmentinden türetilmiş 2.281 video segmenti dahil olmak üzere, Çinli insanların çok modlu incelemelerini içerir. Bu video segmentlerine karşılık gelen ses ve metinlerin eklenmesi, çok modlu veriler kullanılarak yapılan duygu analizine yönelik çalışmaları daha ilgi çekici ve uygulanabilir hale getirir. Öte yandan, görüşlerin, hislerin ve duyguların incelenmesine yönelik en büyük çok modlu veri kümelerinden biri olan CMU-MOSEI veri kümesi, çeşitli konularda 1.000'den fazla konuşmacı tarafından söylenen ifadelerden oluşan 23.000'den fazla video klibinden toplanmıştır. Veri kümesi, sınıf dağılımı korunarak rastgele olarak eğitim (%70), doğrulama (%15) ve test (%15) alt kümelerine ayrılmıştır.

Metinsel transkripsiyonlar, ses sinyalleri ve video kareleri elde edilerek ince taneli bir zamansal düzeyde eşleşecek şekilde zaman damgalarıyla hizalanır. Kare düzeyindeki entegrasyon, önerilen temsil öğrenme ve graf tabanlı füzyon mekanizmalarının görsel ifadelerden, ses tonlarından ve dilsel içerikten kaynaklanan duygusal içeriği birlikte modelleyebilmesini ve bundan yararlanabilmesini sağlar. Bu tür bir multimodal edinim tekniği, akıllı etkileşim tasarımı ve anlaşılabilir görsel haritalama için temel teşkil eden modallar arası duygusal dinamiklerin etkili bir şekilde çıkarılmasını mümkün kılar.

Tablo 1, önerilen yöntemde kullanılan çok modlu duygu veri kümelerinin temel yapılarını sunmaktadır. Konuşulan sözler, ses tonlamaları ve yüz ifadeleri gibi daha geniş bir ilgili duygu yelpazesi elde etmek için CH-SIMS ve CMU-MOSEI, bu veri kümelerinden video, ses ve metin modalitelerini entegre eder. Ayrıca, CH-SIMS'de sınırlı sayıda veri örneğinin mevcut olması, Çin'deki modalite etkileşimlerinin ve duygu varyasyonlarının derinlemesine incelenmesine olanak tanır. Öte yandan CMU-MOSEI veri kümesi; çeşitli dillerde, konularda ve açıklanmış duygu seviyelerinde büyük miktarda veri içermesi nedeniyle, bu çalışmada ele alınan temsil öğrenimi ve ilgili görselleştirme algoritmalarının dayanıklılığını değerlendirmek için daha önemlidir. Ek olarak, önceki araştırmalarla karşılaştırıldığında, modeller test edilirken bilgi seçimindeki zorlukları azaltmaktadır.

Multimodal ön işleme ve senkronizasyon

CH-SIMS ve CMU-MOSEI veri kümelerinden alınan zaman damgası açıklamaları; metinsel, işitsel ve görsel modaliteleri senkronize etmek için kullanılarak tutarlı bir multimodal temsil öğrenimi sağlanmıştır. Her bir sözce temel analiz birimi olarak işlev görmüş ve aynı zaman aralığındaki eşleşen ses ve video segmentlerine bağlanmıştır. Hizalama, sözce düzeyinde gerçekleştirilmiştir. Transkript, her bir sözcenin başlangıç ve bitiş zaman damgalarına göre segmentlere ayrılmıştır. Transkript-ses-görüntü uygunluğu, aynı zaman aralığına düşen ilgili video kareleri ve ses sinyalleri çıkarılarak kurulmuştur. Ses segmentleri akustik temsiller üretmek için Wav2Vec 2.0 kullanılarak işlenirken, video segmentindeki görsel kareler önceden belirlenmiş bir hızda örneklenmiş ve Vision Transformer (ViT) kullanılarak kodlanmıştır. Sözce transkriptlerinden metinsel gömmeler oluşturmak için RoBERTa kodlayıcısı kullanılmıştır. Üç modalite farklı uzunluklarda özellik dizileri ürettiği için, tüm modalite özellikleri tek bir sözce sınırına hizalanarak zamansal senkronizasyon sağlanmıştır. Farklı uzunluktaki dizileri normalize etmek için sabit uzunluklu bir format kullanılmıştır. Daha uzun diziler izin verilen maksimum dizi uzunluğuna kısaltılmış, daha kısa diziler ise sıfır ile doldurulmuştur (zero-padding). Eğitim sırasında, dolgulu öğeleri gerçek özellik konumlarından ayırmak için dikkat maskeleri kullanılmıştır. Modaliteler arası farklı dizi uzunluklarının üstesinden gelmek için modaliteye özgü gömmeler, füzyon öncesinde ortak bir gizli uzaya projekte edilmiştir. Bu işlem boyutsal tutarlılığı garanti etmiş ve grafik tabanlı dikkat mekanizmasının başarılı bir çapraz modal etkileşim öğrenimini kolaylaştırmasını mümkün kılmıştır. Veri kalitesini ve senkronizasyon bütünlüğünü korumak amacıyla, bozuk dosyaları, eksik açıklamaları veya eksik modalite bilgileri olan örnekler çalışmalardan hariç tutulmuştur.

Transformer tabanlı özellik çıkarımı

Çok modlu verilerin hizalanması ve gerekli ön işlemlerden sonra; görüntü, ses ve metin gibi birden fazla modalitedeki bilgilerden, uçtan uca bir yöntemle üst düzey duygu duyarlı öznitelik temsilleri öğrenmek için bir derin öğrenme yöntemi kullanılır. Önerilen yöntem, ham çok modlu verilerden doğal olarak ayırt edici öznitelik temsilleri öğrenmek için bir transformer kodlayıcı kullanarak öznitelik mühendisliği ihtiyacını ortadan kaldırır. Önerilen yaklaşımda kullanılan veri setleri arasında tutarlılığı sağlamak amacıyla, her modalite için sabit boyutlu bir gömme (embedding) öğrenilir. Örneğin; görüntü, ses ve metin modaliteleri dahil olmak üzere her bir bireysel modalite üzerinden 768 boyutlu öznitelik gömmeleri öğrenilir ve bunlar, tüm yaklaşım boyunca kullanılan birleşik bir öznitelik alanı oluşturur; özellikle çeşitli boyutlardaki veriler üzerinden üst düzey öznitelikler öğrenmek için önerilen CH-SIMS veri seti ve CMU-MOSEI veri seti genelinde kullanılan bir öznitelik çıkarma yaklaşımıdır.

Görsel modalite: Duygu duyarlı kare gömmeleri için vizyon transformatörü

Duyguyla ilgili mekansal temsiller elde etmek amacıyla, video karelerinden görsel bilgileri çıkarmak için bir Vision Transformer (ViT-Base) modeli kullanılmıştır. Özellikler çıkarılmadan önce, her video segmentinin kareleri (224 × 224) piksel boyutuna ölçeklendirilmiş ve düzenli zamansal aralıklarla örneklenmiştir. ViT-Base mimarisi, 16 × 16 piksellik bir yama boyutu kullanarak, 12 transformer kodlayıcı katmanı tarafından işlenen bir dizi görsel token üretir. Elde edilen kare düzeyindeki temsiller, görsel omurga olarak önceden eğitilmiş bir ViT modeli kullanılarak 768 boyutlu bir gömme uzayına projekte edilmiştir. Her segment için nihai görsel temsili oluşturmak amacıyla, kare düzeyindeki gömmeler ortalama havuzlama (mean pooling) kullanılarak birleştirilmiştir. Eğitim sırasında, genellemeyi artırmak için görüntü normalizasyonu ile rastgele kırpma ve yatay çevirme gibi yaygın veri artırma yöntemleri kullanılmıştır. Daha sonra bu görsel gömmeleri metinsel ve işitsel temsillerle birleştirmek için önerilen çok modlu füzyon çerçevesi uygulanmıştır.

Duygudaki zamansal dinamikleri korumak için, CH-SIMS ve CMU-MOSEI veri setlerinden alınan video örnekleri görsel modalite için tekdüze şekilde örnekletilecektir. Her videonun kareleri, , N adet sabit boyutlu bölüme ayrılabilir; bu bölümler daha sonra düzleştirilerek boyutundaki bir gizli gömme uzayına tersine aktarılır. Konumsal gömmeler ve öğrenilebilir bir gruplama belirteci eklenerek bir seri oluşturulur:

   (1)

  konumsal kodlamayı,   ise yama gömme matrisini temsil eder.

İleri beslemeli ağlar ve çok başlı öz-dikkat mekanizmalarından oluşan üst üste yığılmış transformer kodlayıcı katmanları, gömülü yama dizisini işlemek için kullanılır. l katmanındaki dönüşüm şu şekilde tanımlanır:

   (2)

   (3)

Duygu farkındalıklı görsel özellik vektörünü elde etmek için, sınıf belirtecine (class token) karşılık gelen çıktı, özellik vektörü olarak çıkarılır. Veri kümeleri arasındaki dil ve içerik farklılıklarına rağmen tutarlı görsel duygu temsillerini sağlamak amacıyla, yüz ifadelerini ve duygu evrimini yakalamak için her video segmentinden alınan kare düzeyindeki gömmeler (embeddings) birleştirilir.

Prosodi ve semantik akustik gömmeler için Wav2Vec 2.0 kullanan ses modalitesi Akustik omurga olarak önceden eğitilmiş bir Wav2Vec 2.0 kodlayıcısı kullanılarak bağlamsallaştırılmış konuşma gömmeleri üretilmiştir. Her ifade için sabit uzunlukta bir akustik özellik vektörü, çıktı gizli temsilleri ortalama havuzlama (mean pooling) ile birleştirilerek elde edilmiştir. Bağlamsal ve duyguyla ilgili konuşma özelliklerini yakalamak amacıyla, ses sinyallerinden akustik temsiller çıkarmak için Wav2Vec 2.0 modeli kullanılmıştır. Özellik çıkarımı öncesinde, ses kayıtları normalize edilmiş ve 16 kHz'e yeniden örneklendirilmiştir. Metinsel ve görsel modaliteler arasında senkronizasyonu sağlamak için, her bir sözleme düzeyi ses segmenti, veri seti açıklama belgelerinde sağlanan zaman damgası sınırları kullanılarak izole edilmiştir. Göreve özgü adaptasyonu artırmak için model eğitimi sırasında önceden eğitilmiş akustik kodlayıcı ayarlanmış, böylece elde edilen temsillerin konuşma sinyallerinin duygusal yönlerini daha doğru temsil etmesi sağlanmıştır. Ardından, final ses gömmeleri kullanılarak grafik tabanlı çapraz modalite dikkat füzyonu ve ayrıştırılmış temsil öğrenimi gerçekleştirilmiştir.

Ses modalitesinde, CH-SIMS ve CMU-MOSEI veri setlerindeki başlangıç konuşma bilgilerinden türetilen konuşma sinyallerini modellemek ve duyguyla ilgili ses özelliklerini doğrudan çıkarmak için Wav2Vec-2.0 kullanılır. Her bir giriş konuşma sinyali için bir evrişimli özellik kodlaması mevcuttur :

   (4)

burada Z; melodi, ton ve enerji gibi düşük seviyeli prozodik özellikleri temsil eder. Transformer tabanlı bir bağlam ağı, uzun menzilli zaman tabanlı bağımlılıkları temsil ederek yukarıda belirtilen yapılar için faydalıdır:

   (5)

Duyguların ifade edilmesi için temel teşkil eden prozodik ve semantik akustik veriler, bu bağlamsal akustik temsillerde yer almaktadır. Zamansal bir havuzlama prosedürü uygulanarak belirli uzunlukta bir ses gömmesi oluşturulur:

   (6)

Tasarım, MFCC'ler gibi akustik özelliklerin kullanımından kaçınmakta ve yalnızca dalga formlarından temsilciler çıkararak CMU-MOSEI'den alınan İngilizce konuşma verileri ve CH-SIMS'ten alınan Çince konuşma verilerini kullanarak dayanıklılık sağlamaktadır.

Bağlamsal duygu gömme işlemleri için RoBERTa kullanılarak oluşturulan Metin Modalitesi

Metin modalitesi için, bağlamsal semantik ve duygusal anlam üretmek amacıyla iki veri setinden elde edilen konuşma transkriptlerine derin çift yönlü transformer olan RoBERTa uygulanmıştır. Bağlamsal semantik ve duygusal bilgileri yakalamak için transkript verilerinden metinsel temsiller çıkarmak amacıyla RoBERTa tabanlı transformer kodlayıcılar kullanılmıştır. İngilizce dilindeki CMU-MOSEI veri seti için önceden eğitilmiş bir RoBERTa modeli kullanılırken, dile özgü dilbilimsel özellikleri daha iyi hesaba katmak için Çince CH-SIMS veri seti için bir Çince RoBERTa varyantı kullanılmıştır. Metin ön işleme; her dil için uygun RoBERTa belirteçleyiciyi (tokenizer) kullanarak yapılan belirteçleme ve metin normalizasyonunu içermiştir. Tutarlı toplu işlemeyi (batch processing) sağlamak için giriş dizileri belirteç gömmelerine (token embeddings) dönüştürülmüş ve önceden belirlenmiş bir maksimum dizi uzunluğuna göre doldurulmuş veya kırpılmıştır. RoBERTa giriş formatına uygun olarak, özel sınıflandırma ve ayırıcı belirteçler eklenmiştir. Transformer kodlayıcı tarafından üretilen bağlamsallaştırılmış belirteç temsillerinin, final [CLS]-eşdeğeri cümle temsili kullanılarakle toplanmasıyla sabit uzunlukta bir metinsel gömme elde edilmiştir. Öğrenilen temsilleri duygu tanıma görevine uyarlamak için, önceden eğitilmiş RoBERTa kodlayıcıları multimodal eğitim yoluyla rafine edilmiştir. Ardından, metinsel gömmeleri işitsel ve görsel özelliklerle birleştirmek için önerilen multimodal füzyon çerçevesi kullanılmıştır.

Her bir tokenize edilmiş girdi için token gömmeleri ve konumsal kodlamalar, , şu şekilde bilinen derin çift yönlü dönüşüm tekniğinde girdi temsilini oluşturmak için birleştirilebilir:

   (7)

Bu form, kelimeler arasındaki bağlamsal bağımlılıkları keşfetmek için öz-dikkat (self-attention) mekanizmasını kullanan L transformatör katmanları aracılığıyla temsil edilir:

  (8)

Bağlamsal duygu gömme vektörü, sınıflandırma belirtecinin son gizli durumu kullanılarak elde edilir:

   (9)

Duygu kutupluğu, yoğun duygular ve ilişkili çıkarımlar, bu gömme işlemiyle temsil edilecek duyguyla ilgili dilsel özelliklere örnektir. RoBERTa, dilden bağımsız modellemeyi kolaylaştırır. Bu durum, sistemin hem CMU-MOSEI veri setinden gelen İngilizce metinler hem de CH-SIMS veri setinden gelen Çince metinler için aynı gömme boyutunu kullanmasına olanak tanır.

Önerilen derin özellik temsil öğrenme adımıyla; her biri görsel f_v, işitsel f_a ve metinsel f_t modalitelerine ait 768 boyutlu, modaliteye özgü üç özellik vektörü çıkarılır. Akıllı etkileşim tasarımında, bu öğrenilmiş temsiller; özellik düzeyinde görsel eşleştirme, graf tabanlı çapraz modalite füzyonu ve ayrıştırılmış temsil öğrenimi için temel teşkil eden birleşik bir multimodal özellik alanı oluşturur.

Ayrıştırılmış temsil öğrenimi

Derin bir özellik temsili öğrenildikten sonra, görsel, işitsel ve metin modalitelerinden gelen çok modlu özellik vektörlerinin ek işlemleri, ayrık bir duygu tanımlamasının elde edilmesini sağlayabilir. Önceki adımda kullanılan işitsel, görsel ve metin modalitelerine özgü özellik gömmeleri sırasıyla f_v, f_a ve f_t ile temsil edilirse, öyle ki   ve , bu adımın amacı, farklı modalitelerin her birinin önceki semantiğini dikkate alarak duygu tanımlamalarını içeren iki ayrı gizli tasvire tüm modalite özelliklerini faktörlemektir.

Bu işlem, her modalite özelliğinin f_m iki paralel projeksiyon ağına; bir duygu kodlayıcı   ve bir modalite kodlayıcısına beslenmesiyle gerçekleştirilir ve burada iki kodlama üretilir.

  (10)

Burada  duyguyla bağlantılı gizli özellik  ile bir modaliteye özgü gizli özelliği temsil eder. Bu, duyguya özgü gömmelerin; ses, görsel ve metin dahil olmak üzere birden çok girdi üzerinden tekrarlanan bir alanla iletişim kurmasını sağlarken, her bir modaliteyle ilişkili benzersiz yapısal verilerin de korunmasına olanak tanır.

Bağımsızlık kısıtlamalarıyla yeniden yapılandırma yapılarak etkili bir ayrıştırma sağlanır. Orijinal modalite özelliğinin yeniden yapılandırılması şu şekilde verilir:

  (11)

burada  bir dekoder ağıdır. Yeniden yapılandırma kaybı şu verileri korur:

   (12)

Ek olarak, duygu ile modaliteye özgü tasvirler arasındaki ortogonallik veya dekorelasyon, bilgi örtüşmesini genellikle sınırlandırır:

   (13)

Bu hedeflere ulaşılarak, modelin güvenilir, anlaşılabilir ve modalite değişkenliğine karşı dirençli duygu temsilleri öğrenmesi sağlanabilir. Daha sonraki graf tabanlı çapraz modalite füzyonu ve görsel eşleme özellikleri, özellikle akıllı etkileşim tasarımı için, büyük ölçüde yorumlanabilir ve yapılandırılmış duygu temsillerine dayanmaktadır.

Modaliteler arası duygu tutarlılığı

Duygu tutarlılığının eklenmesi, modaliteler arasındaki füzyonun etkinliğini açıkça artırmaktadır. Bunun nedeni, modaliteye özgü duygu gömmeleri ortak bir gizli alan paylaştığı için füzyon stratejilerinin iki temsil arasındaki büyük boşlukları hesaba katmak zorunda kalmamasıdır. İki duygunun birleşik gösterimi şu şekilde açıklanmıştır . Duyguya özgü temsiller tutarlı olduğunda, çeşitli modalitelerden gelen sinyaller arasındaki varyasyonlar artık sonuç üzerinde bir etkiye sahip olmayacağı için ağırlıklı füzyon daha kararlı olacaktır.

   (14)

Duygusal bilgilerin anlamsal hizalamasını zorunlu kılarak bu hedef, modaliteler arasındaki tutarsızlıkları minimize eder ve duygu algısının, onu ifade etmek için kullanılan modaliteye bakılmaksızın tutarlı kalmasını sağlar. Sonuç olarak, konuşma sinyallerinden, yüz ifadelerinden ve dilsel içerikten elde edilen duygusal ipuçlarının yansıtılmasıyla uyumlu ve afektif bir temsil alanı oluşturulur.

Çapraz modal füzyon üzerindeki etki

Modaliteler arasında duygu tutarlılığı sağlandığında, çapraz modal füzyon daha etkili hale gelir. Duyguya özgü gömmeler ortak bir gizli uzayda hizalandığı için, füzyon mekanizmalarının artık modaliteler arasındaki önemli temsil boşluklarını kapatması gerekmez. Füzyon yapılmış duygu temsili şu şekilde tanımlanır:

  (15)

Burada  α_m , m modalitesine verilen dikkat ağırlığını temsil eder. Duyguya özgü temsiller tutarlı olduğunda, füzyon sonucu çelişkili modalite sinyalleri yerine tamamlayıcı duygusal kanıtlar gösterdiğinden, ağırlıklı füzyon daha kararlı ve anlaşılır hale gelir.

Matematiksel olarak, düşürmek  şuna ilişkin çeşitli duyguya özgü temsil türleri arasındaki varyans  şuna eşittir:

   (16)

  burada ortalama duygu ifadesini temsil eder. Azaltılmış varyans, giriş modalitelerinin modalite gürültüsünden ziyade kesin duygusal önemlerine göre ağırlıklandırılmasını sağlayarak ağ yakınsamasının iyileştirilmesini ve daha doğru dikkat değerlendirmesini sağlar.

Ayrıştırılmış duygu görselleştirmelerinin nihai öğrenme hedefi; parçalanma, yeniden yapılandırma ve duygu tekdüzeliğini birleştirmektir:

   (17)

λ₁ ve λ₂ şeklindeki iki hiperparametre, modlar arası duygu güvenilirliği ile ayrışması arasındaki ilişkiyi kontrol eder. Önerilen model, bunu gerçekleştirmek için modalities-invariant (mod bağımsız), yorumlanabilir ve birleştirilebilir duygusal temsiller elde ederek, akıllı arayüz tasarımında daha sonraki grafik tabanlı füzyon ve özellik düzeyindeki temsil için sağlam bir temel oluşturmaya odaklanır.

Graf tabanlı çapraz modal dikkat füzyonu

Modaliteler arasındaki ince taneli duygusal ilişkileri simüle etmek için graf tabanlı bir çapraz modal dikkat ağı kullanılmıştır. Modaliteler arası bilgi akışını kolaylaştırmak amacıyla, her bir modaliteye özgü gömmenin (metin, ses ve görsel) bir graf düğümü olarak temsil edildiği, tam bağlı bir multimodal graf oluşturulmuştur. Graf komşuluk matrisini belirlemek için modalite ilişkileri kullanılmış ve bu matris daha sonra öğrenilebilir bir dikkat yöntemiyle geliştirilmiştir. Birkaç dikkat başlığından gelen çıktıların birleştirilmesi ve projekte edilmesiyle ortak bir gizli uzay yaratılmıştır. Ardından, dikkat ağırlıklı havuzlama kullanılarak düğüm temsilleri toplama yoluyla birleştirilmiş ve böylece tek bir multimodal duygu temsili elde edilmiştir. Etkileşim farkındalıklı analiz ve duygu tanıma için kullanılan tahmin ve görselleştirme modülleri, bu kaynaştırılmış temsili almıştır. Graf-füzyon modülü, 256 boyutlu bir gizli temsil boyutuna ve her biri sekiz dikkat başlığına sahip iki graf dikkat katmanına sahipti. Yakın modalitelerin göreceli önemini belirlemek için, bağlantılı düğümler arasındaki dikkat katsayıları hesaplanmış ve softmax fonksiyonu kullanılarak standardize edilmiştir. Eğitim stabilitesini artırmak ve aşırı öğrenmeyi azaltmak için her graf-dikkat katmanı; katman normalizasyonu, artık bağlantılar ve 0,2'lik bir dropout oranı ile takip edilmiştir. Birkaç dikkat başlığının çıktıları birleştirilip ortak bir gizli uzaya projekte edildikten sonra, düğüm temsilleri dikkat ağırlıklı havuzlama kullanılarak tek bir multimodal duygu gömmesine dönüştürülmüştür. Bundan sonra, kaynaştırılmış temsil, çok görünümlü görsel eşleme ve duygu tahmini için kullanılmıştır.

Çok başlı grafik dikkat (multi-head graph attention) kullanılarak çeşitli çapraz modal etkileşimler yakalanmıştır. Her düğüm için bağlı düğümler arasındaki dikkat katsayılarını normalize etmek amacıyla softmax fonksiyonu kullanılmıştır. Eğitim stabilitesini artırmak ve aşırı öğrenmeyi (overfitting) önlemek için, grafik füzyon modülünün üst üste binmiş grafik-dikkat katmanlarını artık bağlantılar (residual connections), katman normalizasyonu ve dropout düzenlemesi takip etmiştir.

  terimlerinin, görsel, işitsel ve metin modaliteleri tarafından toplanan belirli duygulara karşılık gelen temsilleri bireysel olarak temsil ettiğini varsayalım; her bir bileşen, paylaşılan gizli alan içinde yer alır. Modalite düğümleri için modeller, çeşitli modalite temsilleri arasında paylaşılan duygusal bağımlılıkları açıkça güçlendirmek amacıyla, koleksiyonun düğümleri   üç modalite düğümünün kendisine karşılık gelen grafik gösterimini kullanır.

Grafikteki her bir düğüme duyguya özgü bir özellik vektörü atadıktan sonra şunlara sahip oluruz:

   (18)

Önceden belirlenmiş veya sabit füzyon ağırlıkları kullanan geleneksel füzyon yöntemlerinin aksine, önerilen yöntem, hem kanallar arası hem de duygusal durumlar arası önem ve karşılıklı bağımlılıklara dayalı adaptif kenar ağırlıklarını öğrenir.

Çapraz modlu füzyon için bir Graf Dikkat Ağı (GAT) kullanılır. Her bir i düğümü ve onun komşu düğümleri, yani j düğümü için bir dikkat katsayısı hesaplanır:

   (19)

j modundan i modalitesine geçişin duygusal etkisi, normalize edilmiş ağırlıklar α_ij ile ölçülür.

Ardından, her bir modalite düğümünün birleştirilmiş görünümü, komşularının ağırlıklı bir gruplandırması olarak hesaplanır:

   (20)

burada aktivasyon fonksiyonu  doğrusaldır. Nihayetinde, her bir düğümün güncellenmiş özellikleri, küresel bir birleşik duygu temsili elde etmek için birleştirilir:

   (21)

Çeşitli modalitelerden tamamlayıcı bilgiler toplarken karmaşık modallar arası ilişkileri koruduğu için, yorumlanabilir duygu modellemesi ve ardından gelen görsel eşleme için yararlı bir tekniktir.

Algoritma 1 (Ek Dosya 1), graf tabanlı çapraz modal füzyonun gerçekleştirilmesi için genel şemayı sunmaktadır. Başlangıçta; görsel, işitsel ve metinsel modalitelerin her birine bağlı, duyguya özgü özelliklerle bir graf oluşturulur. Ardından, duygusal bağımlılığın kombinasyonunu temsil eden her bir graf düğüm çifti için dikkat skorları hesaplanır. Daha sonra dikkat skorları, her bir modalitenin belirtilen duygusal bağlama göre göreceli katkısını belirtecek şekilde normalize edilerek dikkat ağırlıklarının öğrenilmesine olanak sağlanır. Son aşamada, graf düğümleriyle ilişkili özelliklerin birleştirilmesiyle genel duygu gömme işlemi gerçekleştirilir. Bu bağlamda, algoritmanın belirtilen duygularla ilişkili multimodal özelliklerin genel füzyonu; uyarlanabilirlik, yorumlanabilirlik ve bağlamsal zeka açısından gelecek vaat etmektedir.

Şekil 2, çok modlu duygu füzyonu için önerilen çapraz modlu dikkat ağının yapısını ve çalışma prensibini göstermektedir. Metin, işitsel ve video modaliteleri için bağımsız olarak türetilen duyguya özgü gömmeler, başlangıçta belirli bir duygusal bağlam için dilsel, vokal ve yüzsel bilgilerin göreceli önemini öğrenen modalite düzeyindeki dikkat mekanizmalarından geçirilir. Modalitelerin dikkat ağırlıklı temsilleri daha sonra, dikkat matrisinin modallar arası bağımlılıkları ve etkileşim güçlerini yakaladığı birleşik bir duygu gömmesi oluşturmak üzere birleştirilir. Ağ tarafından öğrenilen dikkat matrisi, modalitelerin katkılarını dinamik olarak düzenleyerek, gürültülü ve daha az bilgilendirici olanları görmezden gelirken en güçlü öğretici modalitesine odaklanmasını sağlar. Füzyonlanmış duygu temsili; nötr, kucaklaşma ve endişe gibi duygusal durumların doğru şekilde tanınmasını ve ince taneli analizini mümkün kılar.

Görselleme haritalama modülü

Bu amaçla özel olarak oluşturulmuş görsel eşleme bölümünün yardımıyla, akıllı bir etkileşim tasarımcısı, çapraz modal füzyon sürecinden sonra duygusal durumun birleştirilmiş temsilini, grafiğe dayalı olarak anlaşılabilir ve kolayca tüketilebilir bir görsel forma dönüştürebilir.

Gizli duygusal temsilleri daha kolay kavrayabilmek için, öğrenilmiş çok modlu duygu gömmelerini görselleştirmek amacıyla boyut indirgeme teknikleri kullanılmıştır. Temel Bileşen Analizi (PCA) kullanılarak varyansın çoğu korunurken öznitelik boyutları indirgenmiş, ardından gömmeler t-dağılımlı Stokastik Komşu Gömme (t-SNE) kullanılarak görüntüleme için iki boyutlu bir uzaya yansıtılmıştır. t-SNE için 30 perplexity değeri, 200 öğrenme oranı ve 1.000 optimizasyon iterasyonu kullanılmıştır. Elde edilen projeksiyonlar aracılığıyla duyguya özgü kümeler ve modallik ilişkileri görselleştirilmiştir. Graf tabanlı dikkat ağıyla elde edilen normalize edilmiş çapraz modlu dikkat ağırlıkları, dikkat ısı haritaları oluşturmak için kullanılmıştır. Bu ısı haritalarında, duygu tahmini sırasında metinsel, işitsel ve görsel modalliklerin göreli katkıları betimlenmiştir. Öğrenilen dikkat katsayıları, füzyon çerçevesi içindeki modallar arası ilişkilerin ve bilgi akışının görsel olarak incelenmesine olanak tanıyan çapraz modlu etkileşim grafikleri oluşturmak için kenar ağırlıkları olarak kullanılmıştır. Zamansal duygusal dinamikleri incelemek için, ardışık sözcelemeler boyunca gizli duygu gömmelerinin gelişimi izlenerek duygu yörünge grafikleri oluşturulmuştur. Bu yörüngeler, duygusal durumların ve modallik katkılarının zaman içinde nasıl geliştiğine ışık tutmaktadır. Tüm görsellerin oluşturulmasında iki Python paketi olan Matplotlib ve Scikit-learn kullanılmıştır. Yorumlanabilirliği, küme oluşumunu, modallik katkılarını ve zamansal duygu dinamiklerini değerlendirmek için gömme görselleştirmelerinin, etkileşim grafiklerinin ve dikkat ısı haritalarının nitel analizleri gerçekleştirilmiştir.

  değişkeninin, graf dikkat ağı fonksiyonu tarafından duygusal durumun birleştirilmiş temsilini temsil etmesine izin verin. Duygusal durum grafiklerinin çıktı düzeyindeki görselleştirmesinin aksine, modülün temel amacı, duygusal durum temsillerini ve dikkat mekanizmasının ilgili ağırlıklarını anlaşılabilir bir görsel forma dönüştürmektir.

Öğrenilen α_ji kullanılarak, her bir modalitenin katkısını görsel olarak incelemek için bir dikkat ısı haritası oluşturulur. Ardından, her bir modalite için bileşik bir önem puanı belirlemek amacıyla gelen dikkat ağırlıkları toplanır:

    (22)

burada s_i modallik I'in göreceli duygusal katkısını temsil eder. Bir dikkat ısı haritası oluşturmaya yardımcı olmak için, elde edilen değerler normalize edilir ve kullanıcının çeşitli zaman adımlarında veya etkileşimli durumlarda baskın modaliteyi kolayca belirlemesini sağlayan bir renk haritasına eşlenir. Çeşitli görsel, işitsel veya metinsel giriş modaliteleri aracılığıyla, böyle bir arayüz kullanıcının sistemin dikkat mekanizmasının nasıl çalıştığını anlamasına yardımcı olur.

Öğrenilen graf, insan duygularının modlar arası bağımlılığını temsil etmek için özel olarak bir "ağırlıklı etkileşim grafı" olarak modellenmiştir. Modalitenin kendisi graftaki her bir düğümle temsil edilir ve insan duygularını içeren etkileşimlerin gücü, onları birbirine bağlayan kenarlar üzerindeki α_ji biçimindeki ağırlıklarla temsil edilir. Yukarıdaki ağırlıklı graf, insan duygusal etkileşimlerinin yoğunluğunu örneklendirmektedir. i ve j'nin tanımı şöyledir:

   (23)

Bu ağırlıklar sayesinde grafik görselleştirmesinin çizgi kalınlığı veya şeffaflığı uygun şekilde görüntülenir. Bu durum, modalitelerin nasıl etkileşime girdiğinin anlaşılmasını kolaylaştırır. Tasarımcı, çapraz modal etkileşim grafikleri yardımıyla füzyon sürecinde duygusal göstergelerin nasıl etkileşime girdiğini daha iyi kavrayabilir.

Zamansal duyguların gelişimini görüntülemek amacıyla, çeşitli zaman adımlarındaki birleştirilmiş duygu gömmeleri  PCA veya t-SNE gibi bir boyut indirgeme algoritması aracılığıyla daha düşük boyutlu bir alana indirgenir:

   (24)

burada projeksiyon fonksiyonu ile temsil edilmektedir. Etkileşimlerdeki duygu geçişlerini, yoğunluklarını ve stabilitesini gösteren 2D/3D duygu yörüngelerinin ortaya çıkışı, duygusal durumların zaman içindeki evriminin sezgisel bir betimlemesi olarak yorumlanabilir. Bu yönler; akıllı etkileşim, karar verme ve gerçek zamanlı izleme için kullanılabilir.

Sadece belirli sınıflara veya puanlara eşlemeler sağlayan geleneksel duygu sistemlerinin aksine, bu sistem insan duygularının sistem içerisinde nasıl oluştuğunu göstermeye odaklanmaktadır. Ağırlık faktörleri, modeller arası etkileşimler ve bunlara karşılık gelen yollar dahil olmak üzere ara özelliklerin görselleştirmelerini sunarak karar verme sürecini ortaya koymaktadır. Bu durum, kullanıcının görsel, vokal veya dilsel her bir faktörün, insan duygularına verilen yanıtların üretilmesini nasıl etkilediğini kavramasını sağlamaktadır.

Duyguların görsel temsiller aracılığıyla anlaşılabilir formlara dönüştürülmesi, derin öğrenme yöntemlerini kullanan duygu analizi ile bunların akıllı arayüz tasarımına entegrasyonu arasındaki boşluğu doldurabilir. Her iki yaklaşımdan elde edilen veriler, daha hassas kullanıcı arayüzleri oluşturmak için kullanılabilir. Böylece, önerilen yaklaşım, etkileşim tasarımcılarına daha hassas kullanıcı arayüzleri oluşturmaları için hayati bilgiler sağlayabilir. Diğer bir ifadeyle, duygu kavrayışı, etkileşim tasarımının oldukça aktif bir parçası haline gelir. Doğruluk, ancak duygu kavrayışı etkileşim tasarımına aktif olarak dahil edildiğinde artırılabilir.

Görsel eşleme modülü, açıklanabilirliği birbirine bağlı ancak farklı birkaç yolla mümkün kılar: özellik düzeyindeki açıklanabilirlik, DNN tarafından oluşturulan duyguya dair temel temsilleri ortaya çıkararak duyguyla ilgili her bir özelliği tanımlamak için kullanılan semantiği kavramamızı sağlar; modalite düzeyindeki açıklanabilirlik, görsel, işitsel veya metinsel her bir modalitenin duyguları ifade etmek için alınan kararlara nasıl katkıda bulunduğunu tanımlamak için etkileşim grafiklerinden ve görsel dikkat ısı haritalarından gelen verileri kullanır; ve son olarak, duygu gömülmesinden kaynaklanan yörüngeler, her bir görsel ve metinsel modalitenin dinamik bir etkileşim perspektifinden zaman içinde nasıl değiştiğini anlamamıza olanak tanır. Lütfen Algoritma 2'ye (Ek Dosya 1) bakınız.

Birleştirilmiş multimodal duygusal özellikler, önerilen görsel eşleme Algoritma 2'si kullanılarak akıllı etkileşim tasarımı için görsel olarak anlamlı temsilere dönüştürülür. Graf tabanlı multimodal dikkat ağırlıkları, her zaman adımındaki girdi görsel, işitsel ve metinsel öğeler arasındaki farkları nicelendirmek için kullanılır. Daha sonra bu farklar, duyguları etkileyen temel kaynakları vurgulamak amacıyla ısı haritası görsel öğeleri kullanılarak görsel temsilere dönüştürülür. Girdi öğeleri arasındaki etkileşime dair derinlemesine bir bakış sunmak ve multimodal girdi öğelerinin oluşturduğu duygusal evrimi aktarmak için, multimodal etkileşim ağırlıklarını oluşturmak üzere ikili etkileşim güçleri hesaplanır. Bu sırada, zaman içinde toplanan birleştirilmiş duygusal öğelerin düşük boyutlu bir uzaya eşlenmesiyle, sürekli bir duygusal öge evrimi oluşturularak duygusal evrimin bir görünümü elde edilir.

Duygu tahmini ve etkileşim geri bildirimi

ile gösterilen birleştirilmiş duygu temsilinin sonucu, daha sonra hem etkileşim geri bildirimi hem de duygu tahmini için bir fonksiyon olarak kullanılır. Ayrıca, duygu tahmini, sürekli duygu yoğunluğu tanıma için bir regresyon görevi ve ayrık duygu tanıma için bir sınıflandırma görevi içeren çok görevli bir model olarak tanımlanmıştır. Ayrık duygu tanıma için aşağıdaki softmax tabanlı sınıflandırma modeli kullanılır:

   (25)

burada   beklenen duygu sınıfı olasılıklarını temsil eder ve W_c  ile b_c öğrenilebilir kısıtlardır. Sınıflandırma hedefini geliştirmek için çapraz entropi kaybı kullanılır:

  (26)

burada y_k gerçek değer etiketidir ve K, duygu sınıflarının sayısıdır. Duygu yoğunluğunu paralel olarak tahmin etmek için bir regresyon dalı kullanılır ve bu dal, valans ve uyarılmışlık dahil olmak üzere çeşitli sürekli afektif özniteliklerin tahminini üretir. Buna aşağıdaki tanımı verin:

   (27)

beklenen duygu yoğunluğu puanı ile gösterilir. Regresyon görevini geliştirmek için ortalama kare hata kaybı kullanılır:

   (28)

Genel olarak, iki görev tahmin hedefinde birleştirilmiştir:

   (29)

burada regresyon ve sınıflandırma hedefleri λ ile dengelenmiştir. Bu tür bir etkileşim duyarlı geri bildirimi mümkün kılmak için, belirlenen duygu durumuna göre görselleştirme modülünün dinamik olarak modifiye edilmesini önerir. Belirli bir t zamanındaki etkileşim bağlamı c_t ile temsil edilir. Görselleştirme modülünün yanıtı şu şekilde sağlanır:

    (30)

burada görselleştirme adaptasyon fonksiyonu ile temsil edilmektedir. Bu durum; modalite ısı haritalarının, etkileşim grafiklerinin ve duygu yörüngelerinin, öngörülen değişikliklere ve duygulara göre gerçek zamanlı olarak ayarlanmasını mümkün kılar. Bu da sistemin, duygu durumu tahmini konusunda başarılı performans göstermenin yanı sıra geri bildirim için önemli bir destek sağladığını göstermektedir.

Sonuçlar

Bu çalışma, CH-SIMS ve CMU-MOSEI olmak üzere iki referans veri kümesi kullanarak, çok modlu duygu özellikleri için önerilen görsel eşleme çerçevesini hem etkileşim duyarlı yorumlanabilirlik hem de öngörücü performans açısından doğrulamaktadır. Deneysel sonuçlara göre, önerilen yaklaşım; korelasyon, doğruluk, F1-skoru ve ortalama mutlak hata (MAE) dahil olmak üzere çeşitli metriklerde mevcut çok modlu duygu tanıma tekniklerinden tutarlı bir şekilde daha iyi performans göstermektedir. Ayrıştırılmış duygu temsili, graf tabanlı çapraz modlu füzyon mekanizması ve uçtan uca derin temsil öğrenme stratejisinin tamamı, daha kararlı ve anlamsal olarak hizalanmış duygu modellemesine olanak tanıyarak bu iyileşmeye katkıda bulunmaktadır. Önerilen yaklaşım, nicel kazanımların ötesine geçerek görsel eşleme yoluyla daha zengin özellik düzeyinde içgörüler sunmakta; böylece modalite katkılarının ve duygusal dinamiklerin anlaşılmasını kolaylaştırmaktadır. Dil, kültürel ifade ve veri kümesi boyutundaki farklılıklara rağmen, söz konusu performans artışı her iki veri kümesinde de tutarlı bir şekilde gözlemlenmiş olup, önerilen çerçevenin güçlü genelleme kapasitesini kanıtlamaktadır.

Önerilen çalışmada, multimodal duygu analizi için CH-SIMS ve CMU-MOSEI kamuya açık veri kümeleri kullanılmıştır. CH-SIMS veri kümesi; filmlerden, TV dizilerinden ve varyete şovlarından alınan 2.281 video klibinden oluşmaktadır. CH-SIMS'te senkronize edilmiş metin, ses ve görsel veriler mevcuttur. Hem tek modlu (unimodal) hem de çok modlu (multimodal) duygu etiketleri pozitif, nötr ve negatif kategorilerine ayrılmıştır. CMU-MOSEI olarak bilinen geniş İngilizce multimodal veri kümesi, 1.000'den fazla konuşmacının geniş bir konu yelpazesini tartıştığı yaklaşık 23.453 etiketli video klibi içermektedir. Bu veri kümesi, valans ve uyarılma (arousal) gibi sürekli duygu yoğunluğu notasyonlarının yanı sıra kategorik duygu etiketlerini de içermektedir. Çeşitli dilsel, kültürel ve duygusal koşulları desteklemesi sayesinde, önerilen çerçeve kullanılarak bu iki veri kümesi üzerinde yapılan deneyler, sağlamlığı ve güvenilirliği artırmaktadır. Tablo 2, simülasyon ortamı detaylarını göstermektedir.

Önerilen çerçeveyi değerlendirmek için kullanılan temel deneysel ve uygulama ayarları bu simülasyon ortamında özetlenmiştir. Metin tabanlı, işitsel ve görsel modaliteler genelinde tek tip özellik boyutluluğu sağlamak için transformer tabanlı kodlayıcılar standart olarak uygulanmıştır. Duygusal durumlarla ilgili modaliteler arası bağımlılıkların adaptif olarak öğrenilmesini sağlayan, çapraz modal füzyon için graf tabanlı bir dikkat mekanizması kullanılır.

Önerilen çerçeve, transformer tabanlı modalite kodlayıcıları kullanarak metinsel, işitsel ve görsel temsiller çıkarır. ReLU aktivasyonuna sahip tam bağlantılı katmanlar, modaliteye özgü gömlemeleri ortak bir gizli uzaya iz düşürür. Ardından, her biri iki tam bağlantılı katman ile doğrusal olmayan aktivasyon ve normalizasyona sahip ayrı duyguya özgü ve modaliteye özgü kodlayıcılar, ayrıştırılmış temsiller öğrenmek için kullanılır. Gizli temsiller, her bir modalite ve duygu için bilgilerin ayrı ayrı öğrenildiği 256 boyutlu bir özellik uzayına iz düşürülür. Modalite bilgisini korumak ve verimli ayrıştırmayı teşvik etmek için yeniden yapılandırma kod çözücüleri kullanılır. Çok modlu füzyon ve tahminden önce, graf tabanlı çapraz modlu dikkat modülü, gizli temsilleri kullanarak modaliteler arasındaki duygusal bağımlılıkları modeller. Ağ, 1 × 10⁻⁴ başlangıç öğrenme hızı ve 32'lik bir paket boyutu ile Adam optimizasyonu kullanılarak eğitilmiştir. Aşırı öğrenmeyi önlemek için doğrulama kaybına dayalı erken durdurma uygulanmıştır. Toplam amaç fonksiyonu; her biri ayarlanabilir hiperparametrelerle ağırlıklandırılmış sınıflandırma, yeniden yapılandırma ve temsil tutarlılığı kayıplarından oluşmuştur. Model eğitimi 100 epoch'a kadar sürdürülmüş ve doğrulama setinde en iyi performans gösteren model test için saklanmıştır.

Önerilen çerçeve; Doğruluk (Accuracy), Kesinlik (Precision), Duyarlılık (Recall) ve F1-skoru dahil olmak üzere sınıflandırma metrikleri ile Ortalama Mutlak Hata (MAE) gibi regresyon metrikleri kullanılarak değerlendirilmiştir. Duygu kategorileri arasındaki sınıf dengesizliğini hesaba katmak için Kesinlik, Duyarlılık ve F1-skoru, makro-ortalama yöntemiyle hesaplanmıştır. Sınıflandırma deneyleri için, CH-SIMS ve CMU-MOSEI veri kümeleri tarafından sağlanan önceden tanımlanmış duygu/sentiment etiketleri temel gerçek sınıflar (ground-truth) olarak kullanılmıştır. Regresyon tabanlı duygu tahmini için ise veri kümelerinin sürekli duygu yoğunluğu puanları hedef değişkenler olarak kullanılmıştır. Sınıf bazlı tahmin performansını ve yanlış sınıflandırma modellerini analiz etmek amacıyla %95 güven aralığında hata matrisleri (confusion matrices) oluşturulmuştur. Sağlamlığı (robustness) sağlamak için her deney, farklı rastgele başlangıç değerleri kullanılarak 5 kez tekrarlanmış ve raporlanan sonuçlar tüm çalışmalar boyunca elde edilen ortalama ±± standart sapma performansını temsil etmiştir. İstatistiksel anlamlılık uygun hipotez testi prosedürleri kullanılarak değerlendirilmiş ve uygulanabildiği yerlerde güven aralıkları hesaplanmıştır. Eğitim süresi, modelin belirtilen donanım platformunda yakınsaması için gereken toplam geçen süre olarak ölçülmüştür.

Önerilen yöntem, erken füzyon ve geç füzyon dahil olmak üzere bir dizi temsili temel modelle karşılaştırılabilir. Bunlar arasında TFN, LSTM tabanlı yöntemler, düşük dereceli multimodal füzyon modelleri, adaptif multimodal transformer'lar ve yeni çapraz modal dikkat tabanlı mimariler yer almaktadır. Bu temel modeller, öncelikle çeşitli füzyon yöntemleri aracılığıyla duygu tanıma doğruluğunu artırmaya odaklanan en güncel teknikleri yansıtmaktadır. Çıktı düzeyi tahmine öncelik veren bu yöntemlerin aksine, önerilen çerçevenin ayrık temsil öğrenimi ve graf tabanlı füzyonu, yorumlanabilirliği ve etkileşim farkındalığını artırmaktadır. LSTM Füzyonu, TFN, Düşük Dereceli Multimodal Füzyon (LMF), Adaptif-Graf ve transformer tabanlı teknikler, resmi depoları veya kamuya açık referans uygulamaları kullanılarak gerçekleştirilen temel model örnekleridir. Mevcut oldukları durumlarda, yazarların orijinal hiperparametre ayarları kullanılmıştır. Adil bir karşılaştırma sağlamak amacıyla, yeniden eğitilen tüm temel modeller aynı veri seti bölümleri, ön işleme teknikleri, optimizasyon parametreleri ve değerlendirme kriterleri kullanılarak değerlendirilmiştir. Karşılaştırma tabloları, doğrudan önceki yayınlardan elde edilen veriler için ilgili referansları açıkça belirtmektedir.

Doğruluk

Ayrık duygu sınıflandırmasının doğruluğu hem CH-SIMS hem de CMU-MOSEI için ölçülmüştür; ancak doğruluk eğilimi, iki veri setinin özelliklerine bağlı olarak farklılık göstermektedir. CH-SIMS, eşit sayıda duygu kategorisine ve dikkatle ön işlemeden geçirilmiş video kliplere sahip orta ölçekli bir veri seti olduğu için doğruluğu yüksektir; bu durum, modelin az miktarda gürültüyle ince çok modlu duygusal bilgileri yakalayabildiğini göstermektedir. Bununla birlikte, CMU-MOSEI'nin farklı geçmişlere sahip konuşmacıları içeren büyük ölçekli bir veri seti olması nedeniyle duyguları doğru şekilde sınıflandırmak zorludur. Bu nedenle, modelin duyguyu tanımlama yeteneğine ek olarak, CMU-MOSEI veri seti üzerindeki doğruluk, modelin genelleme kapasitesini ve çeşitli etkileşim senaryolarına karşı dayanıklılığını göstermektedir. İki veri setindeki doğruluk artışı, önerilen yaklaşımın farklı dillere, boyutlara ve duygusal karmaşıklık seviyelerine sahip veri setleri genelinde iyi bir genelleme yaptığını kanıtlamaktadır.

Önerilen yaklaşımın ve diğer yaygın temel modellerin CH-SIMS ve CMU-MOSEI veri setleri üzerindeki sınıflandırma doğrulukları Tablo 3'te gösterilmektedir. Tablo 3'te görüldüğü üzere, önerilen çerçeve hem CH-SIMS hem de CMU-MOSEI veri setlerinde en yüksek doğruluğu elde ederek, en güçlü temel modeli (Adaptive-Graph) sırasıyla yaklaşık %3,3 ve 3,1 yüzde puanı farkla geride bırakmıştır. Daha düşük standart sapma değerleri, tekrarlanan deneysel çalışmalar boyunca daha yüksek kararlılığa işaret etmektedir. Geleneksel LSTM-füzyon yaklaşımları, karmaşık modlar arası ilişkileri yakalama yeteneklerinin sınırlı olması nedeniyle daha düşük doğruluğa sahiptir. TFN ve LMF, modlar arası ilişkileri modelleyerek sınıflandırma doğruluğunu artırmaktadır.

F1-Skoru

Duygu sınıflandırma problemlerinde, geri çağırma (recall) ve kesinlik (precision) arasındaki denge F1-skoru kullanılarak ölçülür. Sınıf sayıları muhtemelen dengesiz olan çok modlu duygu sınıflandırma veri setleri için bu nedenle daha uygundur. Duygu sınıflandırma görevlerinde, geri çağırma ve kesinlik arasındaki denge F1-skoru ile ölçülür. Çok modlu duygu sınıflandırma veri setlerinin dengesiz olması beklendiğinden, F1-skoru daha uygundur. Model duygu sınıflarını ne kadar iyi tespit edebilirse, F1-skoru o kadar yüksek olur.

Şekil 3, önerilen tekniğin CH-SIMS veri kümesi üzerindeki F1 skorunun temel yöntemlerle birlikte değerlendirmesini göstermektedir. LSTM tabanlı temel yöntemin, karmaşık çapraz modlu duygusal ilişkileri modelleme yeteneği, en düşük F1 skorundan anlaşılmaktadır. Değerlendirilen tekniklerin CH-SIMS veri kümesinden elde ettiği F1 skorları Şekil 3'te karşılaştırılmıştır. Gösterildiği üzere, daha gelişmiş grafik tabanlı ve transformatör tabanlı yapılar, geleneksel füzyon tabanlı yöntemlerden genellikle daha iyi performans göstermektedir. 0,71'lik F1 skoru ile LSTM modeli en düşük sonucu vermiş, bunu TFN (0,74) ve LMF (0,76) izlemiştir. Adaptive-Graph kullanımıyla F1 skoru 0,79'a yükseltilmiş ve böylece modlar arası bağlantıları modellemenin değeri kanıtlanmıştır. Önerilen çerçeve, 0,82'lik F1 skoru ile Adaptive-Graph'ı %3,8, LMF'yi %7,9, TFN'yi %10,8 ve LSTM'yi %15,5 oranında geride bırakmıştır. Bu bulgular, önerilen grafik tabanlı çapraz modlu dikkat mekanizmasının ve ayrıştırılmış temsil öğreniminin; metin, ses ve görsel modaliteler arasındaki tamamlayıcı duygusal bilgileri daha etkili bir şekilde yakalayarak daha iyi sınıflandırma performansına yol açtığını göstermektedir.

Şekil 4'te gösterildiği üzere, tüm yöntemler CH-SIMS ile karşılaştırıldığında F1 skorunda hafif bir düşüş sergilese de göreceli eğilimler tutarlıdır. Bulgular, geleneksel füzyon yöntemlerinden graf tabanlı çok modlu öğrenme stratejilerine doğru performansta istikrarlı bir artış olduğunu göstermektedir. En düşük F1 skoruna sahip modeller LSTM (0.69), TFN (0.72) ve LMF (0.74) olmuştur. Adaptive-Graph modelinin performansı 0.77'ye yükselmiş ve bu durum, çapraz modlu bağlantıların ne kadar iyi modellenebileceğini kanıtlamıştır. Önerilen çerçeve, 0.80 ile en yüksek F1 skoruna ulaşarak diğer tüm yaklaşımlardan daha iyi performans göstermiştir. En güçlü temel model olan Adaptive-Graph üzerindeki bu iyileşme, önerilen ayrıklaştırılmış duygu temsili öğrenimi ve graf tabanlı çapraz modlu dikkat mekanizmasının; metinsel, akustik ve görsel modaliteler arasındaki tamamlayıcı duygusal ipuçlarının yakalanmasına olan katkısını ortaya koymaktadır. Bu sonuçlar, çok modlu duygu tanıma için önerilen çerçevenin güvenilir ve etkili olduğunu göstermektedir. Önerilen yaklaşım, hem graf tabanlı yaklaşıma hem de geleneksel füzyon yöntemine kıyasla önemli bir iyileşme sergileyerek yöntemin güçlü genelleme yeteneğini daha da doğrulamaktadır. CMU-MOSEI veri setindeki F1 skorundaki artış, önerilen yaklaşımın gürültülü ve çeşitli ortamlarda bile dengeli bir duygu sınıflandırma performansı elde edebileceğini kanıtlamaktadır.

Kesinlik

Akıllı iletişim sistemlerinde hassasiyet kritik öneme sahiptir çünkü yanlış bir duygusal sinyal kullanıcı deneyimini kötüleştirebilir. Belirli bir duygunun doğru şekilde öngörülen örneklerinin, o duygu olduğu tahmin edilen toplam vaka sayısına oranı hassasiyet olarak bilinir. Ayrıştırılmış duygu temsilleri daha az gürültülü olduğu ve modalitede yanlış sınıflandırmaya daha az eğilimli olduğu için, önerilen model Şekil 5'teki CH-SIMS veri setinde temel modellerden daha iyi performans göstermektedir.

Çeşitli multimodal duygu tanıma tekniklerinin CH-SIMS ve CMU-MOSEI veri setlerinde elde ettiği doğruluk, Şekil 5'te karşılaştırılmıştır. Modeller geleneksel füzyon tabanlı tekniklerden daha gelişmiş graf tabanlı mimarilere geçtikçe, kesinlik istikrarlı bir şekilde artmaktadır. Önerilen çerçeve, CH-SIMS veri setinde 0,82 ile maksimum kesinliğe ulaşmıştır; kesinlik LSTM için 0,71'den TFN, LMF ve Adaptive-Graph için sırasıyla 0,74, 0,76 ve 0,79'a yükselmiştir. CMU-MOSEI veri setinde kesinlik, LSTM için 0,69'dan TFN, LMF ve Adaptive-Graph için sırasıyla 0,72, 0,74 ve 0,77'ye artmıştır. Önerilen yaklaşım 0,80 ile en yüksek kesinliği sağlamıştır. Önerilen çerçeve, en güçlü temel modelle (Adaptive-Graph) karşılaştırıldığında CH-SIMS'de yaklaşık %3,8 ve CMU-MOSEI'de %3,9 oranında kesinlik artışı sağlamıştır. Bu bulgular; metinsel, akustik ve görsel modaliteler arasındaki tamamlayıcı duygusal bilgileri yakalayarak, önerilen ayrıştırılmış temsil öğrenme ve graf tabanlı çapraz modal dikkat mekanizmasının yanlış pozitif tahminleri başarıyla azalttığını göstermektedir. Alakasız modalitenin etkisi, graf tabanlı çapraz modal dikkat ile daha da hafifletilmektedir. CMU-MOSEI korpusundaki konuşmacı ve dilsel ifadelerin artan çeşitliliği, tüm modeller için kesinliğin hafifçe düşmesine neden olmaktadır.

Hatırlatma

Duygu tanıma görevlerinde, bir modelin belirli bir sınıfa ait duygusal örnekleri uygun şekilde kategorize etme yeteneğinin bir ölçüsü olan geri çağırma (recall), duygusal bilgi eksikliğinin etkileşim kalitesini olumsuz etkileyebilmesi nedeniyle kritik öneme sahiptir. Daha yüksek bir geri çağırma değeri, modelin daha az yanlış negatif tespit ettiğini ve daha fazla gerçek duygusal ifadeyi tanımladığını gösterir. Geri çağırma, multimodal duygu analizi bağlamında metin, ses ve görsel modalitelerden duygusal bilgilerin ne kadar verimli çıkarıldığının bir ölçüsü olarak kabul edilebilir.

Önerilen tekniğin CH-SIMS ve CMU-MOSEI veri kümeleri üzerindeki temel yaklaşımlara göre avantajı, Şekil 6'daki geri çağırma (recall) karşılaştırmasında gösterilmiştir. Modeller geleneksel füzyon tabanlı yöntemlerden daha gelişmiş grafik tabanlı multimodal yapılara evrildikçe, sonuçlar tutarlı bir şekilde geri çağırma oranlarında artış göstermektedir. CH-SIMS veri kümesindeki geri çağırma oranı LSTM için 0.70'ten, TFN, LMF ve Adaptive-Graph için sırasıyla 0.73, 0.75 ve 0.78'e yükselmiştir; önerilen çerçeve ile 0.82'lik maksimum geri çağırma değerine ulaşılmıştır. Önerilen yaklaşım, geri çağırma oranının LSTM için 0.68'den TFN, LMF ve Adaptive-Graph için sırasıyla 0.71, 0.73 ve 0.76'ya yükseldiği CMU-MOSEI veri kümesinde 0.80 ile en iyi geri çağırma değerini elde etmiştir. Önerilen çerçeve, en güçlü temel yöntemle (Adaptive-Graph) karşılaştırıldığında CH-SIMS'de yaklaşık %5.1 ve CMU-MOSEI'de %5.3 oranında göreceli iyileşme sağlamıştır. Bu sonuçlar, metinsel, akustik ve görsel modaliteler arasındaki tamamlayıcı duygusal ipuçlarını yakalayarak, önerilen ayrıştırılmış temsil öğrenimi ve grafik tabanlı çapraz modal dikkat mekanizmasının yanlış negatif tahminleri başarıyla azalttığını, böylece her iki veri kümesinde de duygu sınıflarının tanımlanmasını iyileştirdiğini göstermektedir. Geleneksel yöntemler karmaşık çapraz modal ilişkileri modelleme konusunda sınırlı kapasiteye sahip olduklarından, daha düşük geri çağırma değerlerine sahip olma eğilimindedirler. Modalite ilişkilerini daha açık bir şekilde modelleyen TFN ve LMF, orta düzeyde kazanımlar elde etmektedir. Modaliteler arasındaki yapılandırılmış ilişkileri simüle eden Adaptive-Graph yöntemi, geri çağırma oranını daha da artırmıştır. Her iki veri kümesi için de önerilen yöntem en yüksek geri çağırma değerine ulaşarak, farklı etkileşim senaryolarındaki duygusal durumları tespit etme konusunda daha iyi bir yeteneğe sahip olduğunu göstermektedir. İyileşme, büyük ölçekli CMU-MOSEI veri kümesinde daha belirgindir ve bu durum önerilen çerçevenin sağlamlığını ve genelleme kapasitesini kanıtlamaktadır.

Ortalama mutlak hata (MAE)

Ortalama Mutlak Hata (MAE), valans veya uyarılma tahmini gibi sürekli duygu yoğunluğu tahmin görevlerinin performansını değerlendirmek için kullanılır. Doğruluğun aksine MAE, tahmin edilen duygusal yoğunluğun gerçek duygusal duruma yakınlığını daha iyi yansıtır. Bu nedenle MAE; CH-SIMS ve CMU-MOSEI gibi sürekli afektif etiketlere sahip veri kümeleri için daha uygundur. Daha düşük bir MAE değeri, duygu yoğunluğu tahmininde daha yüksek bir doğruluğa işaret eder.

Önerilen çerçevenin CH-SIMS ve CMU-MOSEI veri setleri üzerindeki temel yaklaşımlarla olan MAE karşılaştırması Tablo 4'te gösterilmiştir. Geleneksel LSTM tabanlı füzyon yöntemleri, karmaşık multimodal duygusal bağımlılıkları modelleme yeteneklerinin sınırlı olması nedeniyle daha yüksek MAE değerlerine sahip olma eğilimindedir. TFN ve LMF, multimodal etkileşimleri modelleyerek MAE'yi düşürebilir ve Adaptif-Graf yaklaşımı, modalite graf ilişkilerini öğrenerek bu değeri daha da azaltır. Önerilen çerçeve, her iki veri setinde de en düşük MAE değerine ulaşarak duygu yoğunluğunun daha doğru bir şekilde tahmin edildiğini göstermektedir. Büyük ölçekli veri değişkenliğinin ve konuşmacı koşullarının tahmin görevini daha zorlu hale getirdiği CMU-MOSEI veri setinde, iyileştirmenin daha belirgin olduğu dikkat çekicidir.

CH-SIMS veri seti için hata matrisi

CH-SIMS veri kümesine ait konfüzyon matrislerine göre, erken füzyon LSTM ve TFN temel yöntemleri, nötr ve pozitif duygu sınıfları arasında önemli ölçüde karışıklık göstermektedir. Bu durum, söz konusu yöntemlerin ince çok modlu duygusal ifadeleri tanımlama konusunda pek başarılı olmadığını göstermektedir. Öte yandan, önerilen yöntem, diyagonal dışı çok az elementle belirgin bir güçlü diyagonal baskınlık sergileyerek sınıf ayrıştırılabilirliğini artırmaktadır. Önerilen yöntemin ayrıklaştırılmış duygu öğrenme mekanizması, modlar arasında tutarlı bir duygu temsili sağlar ve graf füzyon yaklaşımı, birbirine yakın duygu sınıfları arasındaki ayrımı iyileştirir. Şekil 7A–E, çeşitli temel yöntemlerle birlikte CH-SIMS veri kümesi için konfüzyon matrisini göstermektedir.

CMU-MOSEI veri seti için hata matrisi

Önerilen çerçeve, özellikle duygusal açıdan belirsiz girdiler için yanlış sınıflandırma oranını önemli ölçüde azaltmak amacıyla modaliteden bağımsız duygu gömmeleri ve adaptif dikkat ağırlıkları kullanmaktadır. Bu durum, önerilen çerçevenin çeşitli büyük ölçekli multimodal etkileşim senaryolarında iyi çalıştığını doğrulamaktadır. Veri setinin boyutu, konuşmacı varyasyonu ve duygu etiketlerinin sürekli doğası nedeniyle, CMU-MOSEI konfüzyon matrisleri genel olarak daha yüksek bir yanlış sınıflandırma oranı sergilemektedir. Temel yöntemler, çeşitli duygu kategorileri arasında önemli ölçüde karışıklık olduğunu göstermektedir. Şekil 8A–E, çeşitli temel yöntemlerle CMU-MOSEI veri seti için konfüzyon matrisini göstermektedir.

Epoch başına eğitim süresi

Gelişmiş çok modlu füzyon tekniklerinin hesaplama maliyetleri, epok başına eğitim süresinin karşılaştırılmasıyla vurgulanmıştır. Transformer kodlayıcılar ve grafik dikkat mekanizmaları nedeniyle, önerilen model basit füzyon yaklaşımlarından biraz daha fazla eğitim süresi gerektirmektedir, ancak bu artış yönetilemez değildir. Önerilen çerçeve, kıyaslama çok modlu duygu analizi veri kümelerinde güçlü bir performans sergilemiş ve akıllı insan-makine etkileşim sistemlerine entegrasyon potansiyeli göstermiştir. Bununla birlikte, gerçek zamanlı uygulama uygunluğu mevcut çalışmada değerlendirilmemiştir ve gecikme, veri aktarım hızı, bellek ve kurulum analizleri yoluyla daha fazla araştırma gerektirmektedir. Özellikle, iyileştirilmiş yakınsama kararlılığı ile üstün öngörü ve yorumlanabilirlik performansı, ek hesaplama maliyetini değerli kılmaktadır. Şekil 9, önerilen yöntem için epok başına eğitim süresi sonucunu göstermektedir.

Ablasyon çalışması

Önerilen çerçevedeki görsel eşleme modülü, grafik tabanlı çapraz modal füzyon ve ayrıştırılmış duygu temsili gibi her bir önemli unsurun etkisini belirlemek için bir ablasyon çalışması yürütülmüştür. Etkiyi kavramak amacıyla, her bir unsur sırayla devre dışı bırakılmıştır. Deneysel sonuçlara göre, grafik füzyon stratejisi çapraz modal bağımlılık modellemesini geliştirmekte ve ayrıştırılmış duygu temsilinin katkısı performans kararlılığı için en önemli unsuru oluşturmaktadır. Görsel eşleme modülünün yardımcı rolü, kaldırıldığında performans üzerinde yarattığı hafif etki ile doğrulanmıştır. Aynı eğitim ve değerlendirme koşulları altındaki ablasyon çalışması sonuçları Tablo 5'te gösterilmiştir. En büyük performans düşüşü, doğruluğu %81.72'den %77.88'e ve F1 skorunu 0.823'ten 0.776'ya düşüren grafik tabanlı çapraz modal dikkat modülü kaldırıldıktan sonra gözlemlenmiştir. Bu durum, karmaşık modallar arası etkileşimlerin modellenmesinin önemini vurgulamaktadır. Ayrıştırılmış temsil öğrenme modülünün sağlam, duyguya özgü temsiller öğrenmedeki rolü, modülün kaldırılmasının doğruluğu 2.78 yüzde puan ve F1 skorunu 0.032 oranında düşürmesiyle kanıtlanmıştır. Görsel eşleme modülünün kaldırılmasıyla tahmin performansında meydana gelen nispeten daha küçük düşüş, bu modülün temel avantajının sınıflandırma doğruluğundan ziyade yorumlanabilirlik olduğunu göstermektedir. Temel Füzyon konfigürasyonu en düşük performansı sergilemiş olup, bu da en iyi multimodal duygu tanıma performansı için önerilen tüm modüllerin birleşik etkisinin gerekli olduğunu kanıtlamıştır.

VERİLERİN KULLANILABİLİRLİĞİ:

Bu çalışmada kullanılan veri kümeleri, kamuya açık kıyaslama (benchmark) veri kümeleridir. CMU-MOSEI veri kümesi, Carnegie Mellon Üniversitesi Multimodal SDK tarafından sağlanmış olup Zadeh ve ark. (2018) (https://doi.org/10.18653/v1/P18-1208) çalışmasında tanımlanmıştır; veri kümesine https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/ adresinden erişilebilir. CH-SIMS veri kümesi Yu ve ark. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) çalışmasında tanımlanmıştır ve https://github.com/thuiar/MMSA dahil olmak üzere yazarlar tarafından sağlanan kaynaklar aracılığıyla kamuya açıktır. Tüm deneyler, bu veri kümelerinin resmi versiyonları kullanılarak gerçekleştirilmiştir. Ham çıkarılmış veriler, işlenmiş veri dosyaları, ön işleme çıktıları, eğitim/doğrulama/test bölümleri, türetilmiş öznitelik temsilleri ve bu çalışmanın bulgularını destekleyen uygulama detayları, https://doi.org/10.5281/zenodo.21124921 adresindeki Zenodo deposunda kamuya açık olarak sunulmuştur.

Şekil 1: Önerilen çok modlu duygu özelliği görsel eşleme çerçevesinin şematik diyagramı. Yorumlanabilir çok modlu duygu analizi için çok modlu özellik çıkarımı, ayrıştırılmış temsil öğrenimi, graf tabanlı çapraz modlu dikkat füzyonu ve görsel eşleme bileşenlerini gösteren genel mimarinin kavramsal illüstrasyonu.. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Önerilen hesaplama protokolünün şematik iş akış diyagramı.
Veri seti edinimi, ön işleme, modaliteye özgü özellik çıkarımı, multimodal füzyon, görselleştirme ve duygu tahmini aşamalarını içeren uçtan uca işleme hattının kavramsal temsili Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: CH-SIMS veri kümesi üzerindeki F1-skor performansının karşılaştırılması. Farklı rastgele tohum başlatmaları kullanılarak beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama F1-skoru değerleri. Hata çubukları ±± bir standart sapmayı (SD) temsil etmektedir. Daha yüksek F1-skoru değerleri, daha iyi duygu sınıflandırma performansı olduğunu gösterir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4: CMU-MOSEI veri seti üzerindeki F1-skor performansının karşılaştırılması. Farklı rastgele tohum başlangıçları kullanılarak beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama F1-skor değerleri. Hata çubukları ±± bir standart sapmayı (SD) temsil etmekte olup, karşılık gelen ortalama ±± SD değerleri her veri noktasının üzerinde gösterilmiştir. Daha yüksek F1-skor değerleri, daha iyi duygu sınıflandırma performansına işaret eder. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: CH-SIMS ve CMU-MOSEI veri setleri üzerindeki kesinlik karşılaştırması. LSTM, TFN, LMF, Adaptive-Graph ve önerilen çerçevenin beş bağımsız deneysel çalışma (n = 5) boyunca elde ettiği ortalama kesinlik skorları. Hata çubukları, farklı rastgele tohum başlatmalarıyla yapılan tekrarlı çalışmalardan hesaplanan ±± bir standart sapmayı (SD) temsil etmektedir. Önerilen çerçeve, her iki veri setinde de en yüksek kesinliğe ulaşarak, etkili çok modlu özellik öğrenimi ve grafik tabanlı çapraz modlu füzyon aracılığıyla duygu sınıflarının daha iyi ayırt edilebildiğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: CH-SIMS ve CMU-MOSEI veri setleri üzerindeki geri çağırma (recall) karşılaştırması. LSTM, TFN, LMF, Adaptive-Graph ve önerilen çerçeve tarafından beş bağımsız deneysel çalışma (n = 5) boyunca elde edilen ortalama geri çağırma skorları. Hata çubukları, tekrarlanan deneylerden türetilen ±± bir standart sapmayı (SD) belirtmektedir. Önerilen çerçeve, her iki veri setinde de tutarlı bir şekilde en yüksek geri çağırma değerine ulaşarak, multimodal duygusal bilgileri yakalama ve yanlış negatif tahminleri azaltma konusunda üstün bir yetenek sergilemektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7: Çeşitli temel yöntemlerle CH-SIMS veri seti için konfüzyon matrisi. Satırlar gerçek duygu sınıflarını, sütunlar ise tahmin edilen sınıfları temsil etmektedir. Hücre değerleri, her bir gerçek sınıfa göre normalize edilmiş örnek yüzdelerini göstermektedir. Konfüzyon matrisi, ayrılmış CH-SIMS test bölümü kullanılarak hesaplanmıştır. Köşegen üzerindeki daha yüksek yüzdeler, ilgili duygu kategorisi için daha iyi tanıma doğruluğuna işaret eder. CH-SIMS veri seti üzerinde (A) Erken füzyon LSTM, (B) TFN, (C) LMF, (D) Adaptif Grafik ve (E) Önerilen yöntemin konfüzyon matrisleri. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 8: Çeşitli temel yöntemlerle CMU-MOSEI veri seti için karışıklık matrisi. Satırlar gerçek duygu etiketlerini ve sütunlar tahmin edilen etiketleri temsil etmektedir. Değerler, CMU-MOSEI test seti üzerinde sınıf-normalize edilmiş yüzdeler olarak bildirilmiştir. Matris, hem doğru sınıflandırılan örnekleri (köşegen girdiler) hem de duygu kategorileri arasındaki karışıklıkları (köşegen dışı girdiler) göstermektedir. CMU-MOSEI üzerindeki Karışıklık Matrisi (A) Erken füzyon LSTM, (B) TFN, (C) LMF, (D) Adaptif Graf ve (E) CMU-MOSEI veri seti üzerinde önerilen yöntem. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 9. Kıyaslama çok modlu duygu veri kümelerinde epok başına eğitim süresinin karşılaştırılması.
CH-SIMS ve CMU-MOSEI veri kümeleri için özdeş donanım ve yazılım ayarları altında beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama epok başına eğitim süresi. Hata çubukları, farklı rastgele tohum başlangıçları kullanılarak tekrarlanan deneylerden hesaplanan ±± bir standart sapmayı (SD) temsil etmektedir. Daha düşük değerler daha yüksek hesaplama verimliliğine işaret ederken, çalışmalar arasındaki stabil eğitim süreleri gelişmiş tekrarlanabilirliğe ve eğitim tutarlılığına işaret etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Veri Seti	Modaliteler	Örnek Sayısı	Dil	Duygu/Sentioment Etiketleri
CH-SIMS34	Video, Ses, Metin	2,281 video segmenti	Çince	Çok modlu ve tek modlu sentiment etiketleri (negatif, nötr, pozitif)
CMU-MOSEI35	Video, Ses, Metin	~23,453 açıklanmış klip	İngilizce	Sentiment ve duygu yoğunluğu etiketleri (sürekli ve kategorik)

Tablo 1: Veri kümesi açıklaması. Bu çalışmada kullanılan veri kümelerinin, modalitelerin, örnek sayılarının, dillerin ve CH-SIMS ile CMU-MOSEI veri kümeleri için duygu/sentiment etiketlerinin özeti.

Bileşen	Özellikler
Programlama Çerçevesi	PyTorch ile Python
Görsel Özellik Çıkarıcı	Vision Transformer (ViT)
Ses Özelliği Çıkarıcı	Wav2Vec 2.0
Metin Özelliği Çıkarıcı	RoBERTa
Füzyon Stratejisi	Graf Tabanlı Çapraz Modallı Dikkat Ağı
Özellik Boyutu	modalite başına 768
Eğitim Optimize Edicisi	Adam
Öğrenme Oranı	1.00E-04
Yığın Boyutu	16
Donanım	NVIDIA GPU (örneğin, RTX serisi)
Değerlendirme Veri Setleri	CH-SIMS, CMU-MOSEI
Latent Boyut	2.56E+02
Gömme Boyutu	768
Aktivasyon Fonksiyonu	ReLU
Optimize Edici	Adam
Öğrenme Oranı	1.00E-04
Yığın Boyutu	32
Epoklar	100
Erken Durdurma	Etkinleştirildi
Kayıp Fonksiyonu	Sınıflandırma + Yeniden Yapılandırma + Tutarlılık

Tablo 2: Simülasyon ortamı. Model ayrıntıları, özellikler, optimize edici ve kullanılan donanım gibi simülasyon ortamı deneysel kurulumu ve uygulama detayları.

Yöntem	CH-SIMS Doğruluğu (%)	CMU-MOSEI Doğruluğu (%)
LSTM (Erken/Geç Füzyon)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
Önerilen Yöntem	81.72 ± 0.61	79.94 ± 0.69

Tablo 3: Önerilen yöntemin doğruluğunun CH-SIMS ve CMU-MOSEI veri setlerinde temel tekniklerle değerlendirilmesi. Sonuçlar, farklı rastgele tohum başlangıçları kullanılarak gerçekleştirilen beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama ±± standart sapma olarak rapor edilmiştir. Adil bir karşılaştırma sağlamak amacıyla, tüm yöntemler ilgili veri setlerinin aynı eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir.

Yöntem	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Erken/Geç Füzyon)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptif-Graf	0.334 ± 0.009	0.379 ± 0.010
Önerilen Yöntem	0.298 ± 0.007	0.341 ± 0.008

Tablo 4: Ortalama mutlak hata sonucu. Sonuçlar, farklı rastgele başlangıç değerleri kullanılarak gerçekleştirilen beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama ±± standart sapma şeklinde rapor edilmiştir. Adil bir karşılaştırma sağlamak amacıyla, tüm yöntemler kendi veri setlerinin özdeş eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir. Her iki veri setinde, önerilen çerçeve ve temel yaklaşımlar kullanılarak sürekli duygu yoğunluğu tahmini için MAE karşılaştırması.

Model Varyantı	Doğruluk (%)	F1-skoru
Tam Model	81.72 ± 0.61	0.823 ± 0.008
Ayrıştırma Olmadan	78.94 ± 0.74	0.791 ± 0.010
Graf Füzyonu Olmadan	77.88 ± 0.81	0.776 ± 0.011
Görsel Eşleme Olmadan	80.11 ± 0.66	0.807 ± 0.009
Temel Füzyon	74.91 ± 0.98	0.742 ± 0.013

Tablo 5: Temel yöntemlerle yapılan ablasyon çalışmasının sonucu. Sonuçlar, farklı rastgele tohum başlangıçları kullanılarak gerçekleştirilen beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama ±± standart sapma olarak raporlanmıştır. Adil bir karşılaştırma sağlamak için tüm yöntemler, ilgili veri setlerinin özdeş eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir. Model varyantları arasındaki performans karşılaştırması; ayrıştırılmış temsillerden öğrenmenin, graf tabanlı füzyonun ve görsel eşleme modülünün etkinliğini göstermektedir.

Ek Dosya 1: Algoritma 1 ve Algoritma 2.Lütfen bu dosyayı indirmek için buraya tıklayınız.

Tartışma

Deneysel bulgular, CH-SIMS ve CMU-MOSEI veri kümeleri genelinde, multimodal duygu özellikleri için önerilen görsel eşleme çerçevesinin, mevcut multimodal duygu tanıma tekniklerinden daha üstün performans gösterdiğini kanıtlamaktadır. EF-LSTM ve TFN gibi erken ve geç füzyon modelleriyle karşılaştırıldığında, önerilen teknik daha yüksek doğruluk ve F1 Skorları elde ederek, çeşitli duygusal bilgilerin işlenmesindeki dayanıklılığını ortaya koymuştur. Yöntemdeki bu iyileşme, modaliteye özgü gürültüyü bastıran ve görsel, işitsel ve metin modaliteleri arasında duygu tutarlılığını sağlayan ayrıştırılmış duygu temsiline atfedilebilir³⁶.

Son zamanlarda, Adaptive Multimodal Transformers³⁷ ve MIAR³⁸ gibi transformer tabanlı multimodal modeller, modlar arası bağımlılıkların modellenmesinde etkileyici sonuçlar göstermiştir. Buna rağmen, bu modeller öncelikle tahminleme üzerine odaklanmış olup öznitelik düzeyinde yorumlanabilirliği destekleyen mekanizmalardan yoksundur. Buna karşılık, önerilen sistem, graf tabanlı modlar arası dikkati görsel bir eşleme modülüyle birleştirerek modalite ve duygusal etkileşimlerin şeffaf bir şekilde analiz edilmesine olanak tanımaktadır. Bu, duygusal çıkarımın bir kara kutu süreci olarak ele alındığı mevcut literatürde eksik olan kritik bir yöndür.

Önerilen çerçeve, CH-SIMS ve CMU-MOSEI karşılaştırma veri kümeleri genelinde tutarlı bir performans sergilemiştir. Çerçevenin akıllı insan-makine etkileşimi, sağlık izleme, adaptif öğrenme ortamları ve diğer duyguya duyarlı sistemlerde potansiyel uygulama alanları bulunsa da, mevcut çalışma yöntemi yalnızca kontrollü karşılaştırma koşulları altında değerlendirmiştir. Gerçek dünya uygulaması, kullanıcı arayüzü değerlendirmesi, kullanılabilirlik çalışması veya insan denek değerlendirmesi gerçekleştirilmemiştir. Bu nedenle, çerçevenin operasyonel ortamlardaki pratik etkinliğinin araştırılması gerekmektedir. Gelecekteki çalışmalar; uygulama odaklı değerlendirmelere, kullanıcı merkezli çalışmalara, gecikme analizine, bellek tüketimi değerlendirmesine ve gerçek zamanlı etkileşim performansına odaklanacaktır.

Ayrıca, kültürel ve dilsel açıdan çeşitli veri kümelerinde elde edilen performans iyileştirmeleri, önerilen çerçevenin geçerliliğini kanıtlamaktadır. Tek bir veri kümesi veya belirli bir etkileşim senaryosu üzerinde doğrulanmış önceki çalışmaların aksine, önerilen çerçeve; diller, konuşmacılar ve duygusal ifadeler genelinde güçlü bir performans sergilemektedir. Bu nedenle, önerilen çerçeve, doğru duygu tanıma ve yorumlanabilir karar verme gerektiren pratik akıllı etkileşim sistemleri için oldukça uygundur.

Önerilen çerçevenin yorumlanabilirliği, öğrenilen multimodal temsillerin görselleştirme tabanlı analizi yoluyla değerlendirilmiştir. Özellikle, modelin karar sürecine ve modalite katkılarına dair içgörüler sağlamak amacıyla gizil duygu gömülmeleri, çapraz modalite dikkat haritaları, modalite etkileşim grafikleri ve zamansal duygu yörüngeleri incelenmiştir. Görsel eşleme modülünün amacı, özellik düzeyindeki etkileşimlerin ve duygusal dinamiklerin gözlemlenmesine olanak tanıyarak şeffaflığı artırmaktır. Bununla birlikte, mevcut çalışmaya resmi yorumlanabilirlik metrikleri, dikkat-sadakat değerlendirmeleri ve kullanıcı çalışmaları dahil edilmemiştir. Bu nedenle, rapor edilen yorumlanabilirlik avantajları, nicel olarak doğrulanmış açıklanabilirlik ölçütlerinden ziyade görselleştirme tabanlı kanıtlar olarak değerlendirilmelidir.

Teorik açıdan bakıldığında, bu araştırma multimodal afektif hesaplamaya şu katkıları sağlamaktadır: Duyguya özgü ve modaliteye özgü temsilleri net bir şekilde ayıran sistematik bir duygu modelleme yöntemi önermektedir. Önerilen çerçeve, ortak bir latent uzayda modaliteler arasında duygusal tutarlılığı garanti ederek, multimodal sistemlerdeki temsil öğrenimi teorisini ilerletmektedir. Graf tabanlı dikkat mekanizmalarının dahil edilmesi, duyguların ifade edilmesinde farklı modaliteler arasındaki bağımlılıkları daha da formelleştirmektedir.

Pratik bir bakış açısıyla, önerilen çerçeve, akıllı etkileşim tasarımı ve duygu duyarlı kullanıcı arayüzleri için oldukça faydalıdır. Önerilen çerçevedeki görsel eşleme modülü, sistem tasarımcılarının çeşitli modalitelerin duygu tahmini üzerindeki etkisini anlamalarını sağlar ki bu, sistem tasarımcıları için çok önemlidir. Önerilen çerçeve; afektif konuşma ajanları, adaptif öğrenme sistemleri, sağlık izleme arayüzleri ve kullanıcı deneyimi değerlendirme platformları gibi uygulamalar için oldukça yararlıdır.

Buna rağmen, önerilen çerçevenin bazı sınırlamaları bulunmaktadır. Graf dikkat mekanizmalarının ve transformer kodlayıcıların kullanımı, sınırlı kapasiteye sahip cihazlar için sorun teşkil edebilecek bir karmaşıklık eklemektedir. Ayrıca, mevcut çalışma; görsel, işitsel ve metinsel modalitelere odaklanmak adına EEG ve göz izleme gibi diğer fizyolojik sinyalleri göz ardı etmektedir. Rekabetçi bir tahmin performansı ve geliştirilmiş görselleştirme kapasitesi elde edilmiş olsa da, önerilen çerçevenin gerçek zamanlı dağıtım için hesaplama verimliliği spesifik olarak değerlendirilmemiştir. Gelecekteki araştırmalar; gerçek dünyadaki akıllı etkileşim bağlamlarındaki dağıtım performansını, çıkarım gecikmesini, iş çıkarma kapasitesini, bellek tüketimini ve model sıkıştırma tekniklerini inceleyecektir. Duygu modellemesinin doğruluğunu ve etkileşim yanıt verme hızını daha da artırmak için gelecek çalışmalar; hafif modeller geliştirilmesine, gerçek zamanlı optimizasyon tekniklerine ve ek modalitelerin dahil edilmesine odaklanacaktır. Gerçek zamanlı dağıtım performansı değerlendirilmemiştir ve transformer kodlayıcılar ile graf tabanlı dikkat yöntemlerinin dahil edilmesi hesaplama karmaşıklığını artırmaktadır. Metodolojiyi doğrulamak için yalnızca CH-SIMS ve CMU-MOSEI kıyaslama veri setleri kullanılmıştır; bu durum veri setine özgü yanlılıklara yol açabilir ve diğer alanlara, dillere ve kullanıcı popülasyonlarına yönelik genellenebilirliği kısıtlayabilir. Ek olarak, mevcut çalışma EEG veya göz izleme verileri gibi fizyolojik sinyalleri içermemekte; bunun yerine görsel, işitsel ve metinsel modalitelere yoğunlaşmaktadır. Ayrıntılı uygulama ve simülasyon ortamı açıklamaları tekrarlanabilirliği artırmış olsa da, kaynak kodlar ve önceden eğitilmiş modeller şu an için kamuya açık değildir.

Bu çalışmada, akıllı etkileşim tasarımı için çok modlu duygu özellik öğrenimine yönelik yeni bir görsel eşleme çerçevesi kullanılmıştır. Önerilen yöntem, yüksek tahmin doğruluğuna ve yorumlanabilirliğe ulaşmak için uçtan uca transformer tabanlı temsil öğrenimini, ayrıştırılmış duygu modellemesini ve grafik tabanlı çapraz modlu dikkati entegre eder. CH-SIMS ve CMU-MOSEI veri kümeleri üzerinde yapılan deneyler, önerilen çerçevenin doğruluk ve F1-skoru açısından mevcut en gelişmiş çok modlu duygu tanıma modellerinden daha iyi performans gösterdiğini ortaya koymaktadır. Daha da önemlisi, önerilen görsel eşleme çözümü, duygu tanıma ile etkileşim stratejisi arasındaki boşluğu kapatmakta ve yorumlanabilir, etkileşim farkındalıklı çok modlu afektif hesaplama sistemlerinin tasarımı için yeni bir yön sunmaktadır.

Yorumlanabilir ve akıllı etkileşim tasarımını kolaylaştırmak için bu çalışma, çok modlu duygu özelliklerini öğrenmeye yönelik yeni bir görsel eşleme çerçevesi sunmuştur. Önerilen sistem; transformer tabanlı çok modlu özellik çıkarımı, ayrıştırılmış duygu temsil öğrenimi, grafik tabanlı çapraz modlu dikkat füzyonu ve görsel eşleme yöntemlerini birleştirerek, duygu tespiti ve yorumlanabilirliği tek bir mimari içinde başarıyla entegre etmektedir. Modalite katkılarının, çapraz modlu etkileşimlerin ve zamansal duygu dinamiklerinin net görsel temsillerini sunmasının yanı sıra, CH-SIMS ve CMU-MOSEI kıyaslama veri kümeleri üzerindeki deneysel değerlendirme; Doğruluk, Kesinlik, Duyarlılık, F1-skoru ve Ortalama Mutlak Hata (MAE) dahil olmak üzere çeşitli metriklerde temsili temel yöntemlere göre geliştirilmiş bir performans göstermiştir. Bununla birlikte, iki kıyaslama veri kümesi üzerindeki değerlendirmelerle sınırlı olan bu çalışmaya gerçek dünya uygulama çalışmaları, kullanıcı merkezli değerlendirmeler, nicel açıklanabilirlik analizleri ve fizyolojik modalitelerin entegrasyonu dahil edilmemiştir. Ayrıca, kaynakları sınırlı ortamlar, transformer kodlayıcıların ve grafik tabanlı dikkat süreçlerinin hesaplama maliyeti nedeniyle zorluklarla karşılaşabilir. Gelecek çalışmalar; çeşitli veri kümeleri genelinde daha kapsamlı doğrulamaya, ek modalitelerin entegrasyonuna, kullanılabilirlik çalışmalarına, yeniden üretilebilir kaynakların yayınlanmasına ve gerçek zamanlı uygulama senaryoları için optimizasyona odaklanacak olsa da, önerilen çerçeve genel olarak duyuşsal hesaplama ve akıllı etkileşim uygulamaları için yorumlanabilir çok modlu duygu analizinin potansiyelini ortaya koymaktadır.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Adam	PyTorch Optimizer Kütüphanesi	https://pytorch-optimizers.readthedocs.io/en/latest/ (Öğrenme Oranı = 1 × 10-4)	Model eğitimi sırasında parametre optimizasyonu
CH-SIMS	Orijinal Veri Seti Deposu	En Son Kamuye Açık Sürüm	Çince çok modlu duygu/emosyon analizi için kıyaslama veri seti
CMU-MOSEI	CMU Multimodal SDK Deposu	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (En Son Kamuye Açık Sürüm)	Çok modlu duygu ve emosyon tanıma için kıyaslama veri seti
Ayrıştırılmış Emosyon Kodlayıcı	Özel Uygulama	https://pytorch-geometric.readthedocs.io/en/latest/(Çift Kodlayıcı Mimarisi)	Emosyon-özgü ve modalite-özgü gizli temsil்களின் ayrıştırılması
Graf Dikkat Ağı (GAT)	PyTorch Geometric	Çok başlı GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modallar arası emosyonel ilişkilerin modellenmesi ve adaptif özellik füzyonu
Graf Tabanlı Modallar Arası Dikkat Katmanı	Özel Uygulama	Çok Başlı Dikkat Füzyonu	Modaliteler arasında ince taneli emosyonel bağımlılıkların öğrenilmesi
Matplotlib	Matplotlib Projesi	3.7+	Grafiklerin ve görsel analizlerin oluşturulması
NetworkX	NetworkX Projesi	3.0+	Modallar arası etkileşim graflarının oluşturulması ve görselleştirilmesi
NVIDIA GPU	NVIDIA Corporation	CUDA destekli GPU	Transformer ve graf sinir ağı eğitiminin hızlandırılması
Temel Bileşenler Analizi (PCA)	Scikit-learn	sklearn.decomposition.PCA	Yüksek boyutlu emosyon gömmelerinin başlangıç indirgemesi
Python	Python Software Foundation	3.8+	Çok modlu emosyon analizi çerçevesini uygulamak için kullanılan temel programlama dili
PyTorch	PyTorch Foundation	2.0+	Derin sinir ağlarının geliştirilmesi, eğitimi ve optimizasyonu
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-boyutlu gömmeler)	Bağlamsal dilbilimsel ve anlamsal emosyon temsillerinin çıkarılması
Seaborn	Seaborn Projesi	0.12+	Dikkat ısı haritalarının ve istatistiksel görselleştirmelerin oluşturulması
t-dağılımlı Stokastik Komşuluk Gömme (t-SNE)	Scikit-learn	scikit-learn.org (Perplexity = 30, İterasyon = 1000)	Gizli emosyon kümelerinin ve yörüngelerinin görselleştirilmesi
Ubuntu Linux	Canonical Ubuntu	20.04 LTS veya sonrası	Deneysel yürütme ortamı
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-boyutlu gömmeler	Video karelerinden emosyon duyarlı görsel temsillerin çıkarılması
Wav2Vec 2.0	Meta AI Research	Temel Model, 768-boyutlu gömmeler	Bağlamsal akustik ve konuşma emosyon özelliklerinin çıkarılması