Akıllı Etkileşim Tasarımı için Multimodal Duygu Özelliklerinin Görsel Haritalandırılması

Wanbao Ge; Zhenhua Yang; Zhenhu Liu; Qi Liu; Quan Wen; Suraiyati Binti Rahman

doi:10.3791/71171

Araştırma makalesi

Akıllı Etkileşim Tasarımı için Multimodal Duygu Özelliklerinin Görsel Haritalandırılması

96 görüntülenme

⸱

DOI:

10.3791/71171

⸱

21 Ağustos 2026

Wanbao Ge¹^,² , Zhenhua Yang¹^,² , Zhenhu Liu³ , Qi Liu¹ , Quan Wen¹ , Suraiyati Binti Rahman¹

¹School of Housing, Building and Planning, Universiti Sains Malaysia, ²School of Design Art, Changsha University of Science & Technology, ³Xiamen Academy of Arts and Design, Fuzhou University

Bu makalede

Özet

Bu çalışma, iki farklı veri setinde duygu tanıma doğruluğunu artırmak için transformer kodlayıcılarından, ayrıklaştırılmış duygu temsillerinden ve görsel eşleme ile grafik tabanlı çapraz modlu dikkat mekanizmasından yararlanan, uçtan uca çok modlu bir duygu analizi çerçevesi önermektedir.

Özet

Makinelerin insan etkileyiş durumlarını anlamasını, yorumlamasını ve bunlara tepki vermesini sağlayan çok modlu duygu özelliklerinin görsel eşlemesi, akıllı arayüz tasarımı için kritik öneme sahiptir. Bununla birlikte, mevcut çok modlu duygu tespit algoritmaları temel olarak öngörücü performansa odaklanmakta; yorumlanabilirlik, etkileşim farkındalığı veya özellik düzeyindeki çapraz mod etkileşimleri hakkında çok az bilgi sunmaktadır. Bu çalışma; etkileşim odaklı görselleştirme, yorumlanabilir temsil öğrenimi ve duygu öngörüsünü birleştiren çok modlu duygu yönlerinin görsel eşlemesi için bir çerçeve sunmuştur. Manuel olarak oluşturulmuş özellikler kullanılmadan; metinsel, işitsel ve görsel modalitelerden üst düzey duygu gömmelerini çıkarmak için transformer tabanlı kodlayıcılar kullanılmıştır. Dayanıklılığı artırmak amacıyla, ayrıştırılmış temsil öğrenimi tekniği kullanılarak duyguya özgü ve modaliteye özgü bilgiler birbirinden ayrılmıştır. Ayrıca, modaliteler arasındaki ince duygusal ilişkileri simüle etmek için adaptif dikkat ağırlıklandırmasını kullanan grafik tabanlı bir çapraz mod dikkat ağı oluşturulmuştur. Şeffaflığı artırmak amacıyla zamansal duygu yörüngelerini, çapraz mod dikkat dağılımlarını ve gizli duygu gömmelerini betimlemek için çok görünümlü bir görsel eşleme modülü oluşturulmuştur. Önerilen çerçeveyi değerlendirmek için Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) veri seti ve Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) kullanılmıştır. Deneysel sonuçlara göre, önerilen çerçeve; doğruluk, F1-skoru, korelasyon ve ortalama mutlak hata açısından temsilci temel tekniklerden tutarlı bir şekilde daha iyi performans gösterirken, gelişmiş özellik düzeyinde yorumlanabilirlik ve etkileşim farkındalıklı görselleştirme sağlamıştır. Ek olarak, görsel eşleme modülü; çok modlu duygu temsillerinin, çapraz mod etkileşimlerinin ve zamansal duygu dinamiklerinin kalitatif yorumlanmasını kolaylaştırarak etkileşim farkındalıklı görselleştirme ve analizi desteklemiştir.

Giriş

İnsan duygularını doğru şekilde tanımlama ve anlama yeteneği, insanlar ve makineler arasındaki etkileşimi geliştirmek için kritik hale gelmiştir. Duygu analizi, insan-bilgisayar etkileşimini geliştirmenin yanı sıra; ön tanı tıbbi teşhis¹, sınıf içi davranış analizi², hasta psikolojik takibi³, araçlarda yorgunluk tespiti⁴ ve akıllı ev ortamlarında akıllı yönetim⁵ dahil olmak üzere birçok alanı devrimcileştirme potansiyeline sahiptir. Duygusal hesaplama ve derin öğrenmedeki⁶ son gelişmeler, insan duygularının karmaşıklığını yakalayabilen gerçek zamanlı sistemler oluşturmaya olan ilgiyi artırmıştır.

Güncel yöntemlerin çoğu öncelikle metinsel, grafiksel veya işitsel işaretler gibi tek modlu verilere dayanmaktadır⁷^,⁸^,⁹. Bu yaklaşımlar, iğneleme veya bağlama özgü nüanslar gibi incelikli sinyalleri tespit etmede defalarca başarısız olmuştur. Araştırmalar, bu kısıtlamaların üstesinden gelmek için birden fazla kaynaktan gelen tamamlayıcı verileri birleştiren çok modlu duygu değerlendirmesine yönelmiştir¹⁰^,¹¹^,¹². Birden fazla modun birleştirilmesinin avantajları; erken füzyon-uzun kısa süreli bellek (EF-LSTM)13, hafif ve FM derin sinir ağları (LF-DNN)¹⁴, tensör füzyon ağları (TFN) ve düşük dereceli çok modlu füzyon yaklaşımları gibi temel modellerle gösterilmiştir. Ancak, bu yaklaşımların çoğu çevrimdışı özellik üretimine dayanmakta olup dinamik, gerçek dünya durumları için uygun değildir.

Duygusal durumları kapsamak adına, çok modlu duygu tanımlama araştırmaları ve uygulamaları son on yıl içinde artış göstermiştir¹⁵. Günümüzde araştırmaların en zorlu ve önemli alanlarından biri, çeşitli veri kaynakları kullanılarak duygusal durumların sürekli izlenmesidir¹⁶. Çok modluluk fikri, bu denli çeşitli bir bilgi sisteminin ortaya çıkışıyla oldukça doğal bir şekilde gelişmiş ve duygusal hesaplama, insan-bilgisayar etkileşimi (HCI), öğrenme, video oyunları, tüketici hizmetleri, tıbbi bakım, kullanıcı deneyimi (UX) değerlendirmesi vb. gibi alanlarda duyguların uygulanmasında birçok ilerlemeye yol açmıştır. Ancak, duygu tanıma tekniklerini UX değerlendirmesinde uygulamak her zaman bu kadar basit olmamıştır.

Tek modlu yöntemler yerine çok modlu tanımaya odaklanmanın temel nedenlerinden biri, tek bir bilgi kaynağına güvenmenin beraberinde getirdiği doğal dezavantajlardır. Tek modlu duygu tespit sistemleri, eksik veya belirsiz veriler nedeniyle daha düşük doğruluk oranlarından muzdarip olabilirken; MER şemaları, birden fazla veri kaynağını entegre ederek daha güvenilir bir yapı sunmakta ve dışavurumcu durumların daha kapsamlı ve derinlemesine bir şekilde anlaşılmasını sağlamaktadır¹⁷. Örneğin, özellikle jestlerin karmaşık veya belirsiz olduğu durumlarda, sadece yüz dili duyguları kesin olarak sınıflandırmak için yeterli olmayabilir. Öte yandan, yüz ifadelerinin dil veya fiziksel ipuçları gibi diğer iletişim biçimleriyle birleştirilmesi, duygu tanıma doğruluğunu artırabilir.

Duygu tanıma üzerine birçok farklı modalite üzerinde kapsamlı araştırmalar yapılmıştır. İlk çalışmalar; grafik, akustik veya metin tabanlı girdiler gibi farklı modalitelerden ayırt edici özelliklerin belirlenmesine odaklanmıştır. Çeşitli modalitelerin entegrasyonunun, daha güvenilir ve hassas bir duygu tespitine olanak tanıyan dengeli duygusal bilgiler sağlayabildiği giderek daha belirgin hale gelmektedir. Bu bölüm; temel yaklaşımlara, bunların eksikliklerine ve yöntemimizin gerekçelerine odaklanarak, tek modaliteli ve multimodal duygu analizindeki temel gelişmeleri incelemektedir.

Duygu tanıma üzerine yapılan ilk çalışmalar öncelikle tek bir modaliteye odaklanmıştır. Görsel alanda, çığır açan araştırmalar prototipik yüz hareketlerinin kategorizasyonuna yol açmıştır²⁰. Sonraki ilerlemeler, görsel hareket²¹ ve gizli Markov modelleri²² gibi zamansal dinamikleri yakalamaya yönelik teknikleri içerirken; yüz tepkileri, Yüz Eylem Kodlama Sistemi (FACS)²³ kullanılarak eylem birimlerine ayrılmıştır. LSTM'ler ve evrişimli sinir ağları (CNN'ler), anlamlı özellikleri doğrudan ham ses sinyallerinden çıkarmak için başarıyla kullanılmıştır; ses tabanlı duygu tanımlama metodolojileri, geleneksel sinyal işlemeden derin öğrenmeye doğru evrilmiştir²⁴. Metin tabanlı duygu analizinde bağlamsal duygu sinyallerinin çıkarımı, dikkat mekanizmalarını içeren tekrarlayan sinir ağları (RNN'ler) ve daha yakın zamanda transformer tabanlı modeller ile büyük ölçüde geliştirilmiştir. Başarılarına rağmen, tek modlu teknikler, diğer modlarda bulunan tamamlayıcı bilgilerden yoksun oldukları için insanların deneyimlediği karmaşıklıkları doğru bir şekilde temsil etme konusunda doğuştan yetersizdir.

Konuşma tabanlı duygu belirleme alanında, daha uzun vadeli çevresel verileri toplamak amacıyla 2021 yılında DialogXL model25 gibi bazı dikkat mekanizması tabanlı modeller önerilmiştir. Kim ve ark.²⁶, ERC doğruluğunu artırmak için 2021 yılında EmoBERTa modelini tanıtmıştır. Bu model, konuşmalardaki konuşmacıların özelliklerini ve birbirleriyle olan etkileşimlerini geliştirmek için konuşmacı verilerini kullanmaktadır. 2022 yılında Li ve ark.²⁷, CoG-BART yöntemini sunmuştur. Bu yapı, modelin ilgili verileri yorumlama yeteneğini geliştirmek için denetimli karşıtlaştırmalı öğrenme kullanmaktadır. Denetimli öğrenmenin önemli miktarda etiketlenmiş veri gerektirdiği belirtilmelidir.

Bu tür çalışmaların tipik bir örneği, modaliteler arası genelleştirmeyi geliştirmek için özellik etkileşim belirteçleri ve kontrastif hizalama kullanan Çok Modlu Etkileşim Duyarlı Temsil (MIAR) çerçevesidir²⁸. MIAR, modalite hizalamasını iyileştirir ve birden fazla veri setinde güçlü bir performans sergiler; ancak, görsel eşleme konusuna değinmeden temel olarak öngörü doğruluğuna odaklanır. Benzer şekilde, Çapraz Dikkatli Sesli-Görsel Füzyon modeli²⁹, valans ve uyarılma öngörüleri için ince taneli sesli-görsel etkileşimleri etkili bir şekilde yakalar, fakat iki modalite ile sınırlıdır ve görselleştirme yeteneklerinden yoksundur. LSTM ağlarına ve otokodlayıcı füzyonuna dayalı zamansal modelleme yaklaşımları, duyguların zamansal dinamiklerini başarıyla yakalasa da modalite etkileşimleri ve öğrenilen duygusal temsiller hakkında sınırlı bilgi sağlar. Daha yakın zamanda, Transformer tabanlı Çok Modlu Füzyon Ağı (TMFN)³⁰ gibi Transformer tabanlı yöntemler, gelişmiş çok modlu füzyon ve kontrastif öğrenme yoluyla CMU-MOSI ve CMU-MOSEI üzerinde güçlü performans göstermiştir. Buna rağmen, bu yaklaşımlar temel olarak performans odaklı kalmaya devam etmekte olup açıklanabilirlik, özellik düzeyinde yorumlama ve etkileşim odaklı görselleştirme için sınırlı destek sunmaktadır.

Metinsel, akustik ve görsel verilerin entegrasyonunu geliştirmek amacıyla çeşitli çok modlu duygu tanıma teknikleri önerilmiştir. EF-LSTM ve LF-DNN gibi erken füzyon teknikleri, karmaşık modlar arası etkileşimleri yakalayamasalar da duygu ve his analizi için çok modlu bilgilerin kullanılmasının avantajlarını ortaya koymuşlardır. TFN, CMU-MOSI ve CMU-MOSEI gibi kıyaslama veri kümeleri üzerindeki performansı artırıp modlar arası etkileşimlerin açık modellemesini sunmuş olsa da, sınırlı yorumlanabilirliği ve yüksek hesaplama karmaşıklığı kullanışlılığını kısıtlamıştır. Modalite hizalamayı ve dinamik özellik füzyonunu iyileştirmek için MIAR, çapraz dikkatli füzyon modelleri, TMFN ve adaptif çok modlu transformerlar gibi daha modern teknikler, transformer topolojileri ve dikkat mekanizmaları kullanmışlardır. Bu yöntemler, doğruluk, F1-skoru ve ortalama mutlak hata gibi yaygın değerlendirme metriklerinde rekabetçi sonuçlar elde etmelerine rağmen, öncelikle öngörücü performansa odaklanmış; özellik düzeyindeki duygusal temsiller ve modlar arası bağımlılıklar hakkında çok az bilgi sunmuşlardır. Ayrıca, gizli duygu gömmelerini, dikkat dağılımlarını ve zamansal duygu dinamiklerini ortaya çıkarabilen görselleştirme teknikleri geliştiren veya modlar arası etkileşimlerin grafik tabanlı modellemesini entegre eden çalışma sayısı oldukça azdır. Önerilen yaklaşım; bu eksiklikleri gidermek ve çok modlu duygu tanıma performansını artırmak için çok görünümlü görsel eşleme, grafik tabanlı çapraz modal dikkat füzyonu ve ayrıştırılmış temsil öğrenimini bünyesinde barındırmaktadır.

Benzer şekilde, Adaptif Çok Modlu Transformer³², gürültülü veya eksik modallik bilgilerini adaptif olarak azaltmak ve böylece duygu sınıflandırma performansını artırmak için değişim tabanlı füzyon önermektedir. Bu yaklaşım, modal bilgi dağılımındaki tutarsızlıkları etkili bir şekilde giderebilse de, tasarımı duygu analiziye özeldir ve öğrenilen duygusal temsiller hakkında sınırlı bilgi sunar. Bir diğer önemli katkı ise, gerçek zamanlı çok modlu duygu tanıma için CNN'leri, multiplikatif LSTM'leri ve transformer tabanlı dikkat mekanizmasını entegre eden Çok Modlu Füzyon Modeli'dir³³. Model; video, ses ve metin modaliteleri üzerinde tam füzyon gerçekleştirmekte ve güçlü bir tanıma performansı sergilemektedir. Bununla birlikte, diğer mevcut modeller gibi, öncelikle öngörücü doğruluğa odaklanmakta olup görselleştirme ve etkileşim odaklı yorumlanabilirlik için açık özelliklerden yoksundur.

Sonuç olarak, güncel durumdaki son teknoloji çok modlu duygu tanıma yaklaşımları, modlar arası etkileşimleri yakalamada ve tahmin doğruluğunu artırmada önemli başarılar elde etmiş olsa da, bunların çoğu tanıma odaklı görevlere yoğunlaşmıştır. Özellik düzeyinde yorumlanabilirlik, duygusal temsillerin görüntü alanında görselleştirilmesi ve akıllı etkileşim tasarımı için önerilen çerçevenin entegre edilmesi alanları çok az ilgi görmüştür. Önerilen çerçeve, bu zorluklar göz önünde bulundurularak sunulmuştur.

Çok modlu duygu tanımadaki kayda değer ilerlemelere rağmen²⁸^,²⁹, mevcut yöntemlerin çoğu, öğrenilen duygusal temsillerin ve modlar arası etkileşimlerin yorumlanabilirliğini çok az sunarak öncelikle öngörücü performansı artırmaya odaklanmaktadır. Metinsel, akustik ve görsel modlar arasındaki karmaşık etkileşimlerin, özellikle modalite farklılıkları ve bilgi eksiklikleri meydana geldiğinde, mevcut füzyon stratejileri tarafından modellenmesi sıklıkla zordur ²⁸^,³¹. Transformer tabanlı tasarımlar ve dikkat mekanizmaları temsil öğrenimini geliştirmiş olsa da, duyguya özgü ve modaliteye özgü bilgilerin açıkça ayrıştırılmamış olması nedeniyle şeffaflıkları ve yorumlanabilirlikleri genellikle azalmaktadır³¹^,³²^,³³. Ek olarak, intermodal etkileşimlerin graf tabanlı modellenmesini araştıran veya zamansal duygu dinamiklerini, dikkat dağılımlarını ve duygu gömmelerini ortaya çıkarabilen görselleştirme çerçeveleri oluşturan çalışma sayısı oldukça azdır. Bu dezavantajlar, etkileşim odaklı görsel eşlemeyi güçlü bir çapraz modal öğrenimle birleştiren, akıllı insan-makine etkileşimi için yorumlanabilir bir çok modlu çerçevenin gerekliliğini ortaya koymaktadır.

Bu çalışma, akıllı arayüz tasarımında çok modlu duygu yönlerinin görsel haritalaması için yorumlanabilir bir çerçeve sunmaktadır. Sistem, manuel olarak oluşturulmuş özelliklere ihtiyaç duymadan; metin, ses ve görsel modalitelerden üst düzey duygusal temsiller çıkarmak için uçtan uca derin öğrenme kullanır. Modlar arası duygusal etkileşimler, duyguya özgü ve modaliteye özgü bilgileri ayıran, böylece ayrıştırılmış temsil öğrenimini sağlayan, yorumlanabilirliği ve dayanıklılığı artıran grafik tabanlı bir dikkat füzyon mekanizması kullanılarak modellenir. Ek olarak, zamansal duygu dinamiklerini, modlar arası dikkat modellerini ve duygu gömmelerini göstermek için çok görünümlü bir görselleştirme modülü oluşturulmuştur. Önerilen çerçevenin akıllı insan-makine etkileşim sistemlerindeki etkinliği ve uygunluğu, kıyaslama çok modlu duygu tanıma veri kümeleri üzerinde yapılan doğrulamalarla değerlendirilmiştir.

Bu çalışma, mevcut çok modlu duygu tanımlama sistemlerindeki kısıtlı yorumlanabilirliği ve çapraz modlu etkileşimlerin yetersiz modellenmesini aşmak için, geleneksel tahmin odaklı yaklaşımların ötesine geçen, çok modlu duygu yönlerinin görsel haritalaması için benzersiz bir çerçeve sunmaktadır. Önerilen yaklaşım; transformer tabanlı çok modlu temsil öğrenimini, ayrıştırılmış duygu farkındalıklı öznitelik modellemesini, graf tabanlı çapraz modlu dikkat füzyonunu ve etkileşim odaklı görselleştirmeyi tek bir mimari içinde birleştirir. Çerçeve, temel olarak sınıflandırma performansına odaklanan mevcut yaklaşımların aksine, yorumlanabilirliği, sağlamlığı ve çapraz modlu tutarlılığı artırmak için duyguya özgü ve modaliteye özgü temsilleri net bir şekilde ayırır. Ek olarak, metinsel, işitsel ve görsel modaliteler arasındaki ince taneli duygusal karşılıklı bağımlılığı yakalayarak modlar arası etkileşimlerin adaptif modellenmesini sağlamak için graf tabanlı bir dikkat mekanizması sunulmuştur. Modelin karar verme sürecine dair sezgisel içgörüler sunan zamansal duygu yörüngelerini, çapraz modlu dikkat modellerini ve gizli duygu gömmelerini ortaya çıkararak şeffaflığı artırmak amacıyla çok görünümlü bir görsel haritalama modülü oluşturulmuştur. Çok modlu duygusal dinamiklerin geliştirilmiş görselleştirme ve yorumlanabilirliğini sağlamasının yanı sıra, CH-SIMS ve CMU-MOSEI kıyaslama veri setleri üzerindeki deneysel değerlendirmeler; doğruluk, F1-skoru, ortalama mutlak hata ve korelasyon açısından rekabetçi bir performans göstermiştir.

Protokol

Önerilen çalışma, çok modlu duygu özelliklerinin görsel haritalaması için yorumlanabilir bir çerçeve sunarak akıllı etkileşim tasarımını geliştirmeyi amaçlamaktadır. Bu çalışmada, kamuya açık olan CH-SIMS ve CMU-MOSEI veri tabanları kullanılmıştır. Her iki veri kümesi de resmi kaynaklarından edinilmiş ve sırasıyla yaratıcıları tarafından belirlenen kullanım kılavuzlarına, araştırma standartlarına ve lisans koşullarına uygun şekilde kullanılmıştır. Veri kümelerinin metin, ses ve video verilerini içeren çok modlu içeriği, veri kümesi sağlayıcıları tarafından yetkili katılımcı izinleri ve veri toplama protokolleri doğrultusunda ilk olarak toplanmış ve etiketlenmiştir. Bu çalışmada doğrudan insan etkileşimi, yeni katılımcıların alınması veya kişisel olarak tanımlanabilir bilgilerin toplanması yapılmamıştır. Tüm analizler, kamuya açık araştırma veri kümeleri kullanılarak gerçekleştirilmiştir. Sonuç olarak, ikincil veri analizimizin ek etik onay veya Kurumsal İnceleme Kurulu (IRB) incelemesi gerektirmemiştir. Çalışma, kamuya açık veri kümelerinin kullanımı, etik araştırma prosedürleri ve ilgili veri kullanım politikalarına ilişkin uygun kurumsal normlara uygun olarak yürütülmüştür.

Duygu tanımlamalarını, duyguya veya biçime özgü özellikler kullanarak farklı biçimler arasında öğrenmek ve anlayışı artırmak amacıyla bir grafik tabanlı çapraz-biçim dikkat mekanizması kullanıldı. Gerçek zamanlı duyguya duyarlı etkileşimli tasarımı geliştirmek için çoklu görünüm görsel eşleme bileşeni kullanılır ve duyu tanıma için verimliliği tahmin edilir. Bulgular, önerilen yöntemin gerçek dünyada duyguya duyarlı akıllı kullanıcı arayüzleri için hem yorumlanabilirliği hem de verimliliği artırdığını göstermektedir. Şekil 1, önerilen çalışmanın mimari iş akışını göstermektedir. Şekil 1, akıllı etkileşim sistemleri bağlamında çokbiçimli duygu özelliklerinin öğrenilmesi için önerilen görsel eşleme çerçevesinin tam iş akışını göstermektedir. İş akışı, sırasıyla dil, prosodi ve yüz ifadeleri biçimlerinden tamamlayıcı duygusal bilgileri yakalayan metin, ses ve video olmak üzere üç senkronize giriş biçimiyle başlar. Her bir biçim, ham giriş verilerinin yüksek düzeyli temsillerini elde etmek için biçime özgü bir transformatör kodlayıcı tarafından işlenir. Daha sonra temsiller, öğrenilen duygularda heterojen veri kaynakları arasında tutarlılığı sağlamak için duyguya özgü gömülülerin biçime özgü özelliklerden ayrıştırıldığı ayrıştırılmış temsil öğrenimi modülüne verilir. Her bir biçimden elde edilen duyguya özgü gömülüler daha sonra etkileşim bağlamına göre her bir biçime dinamik önem ağırlıkları atayan ve biçimler arası duygusal bağımlılıkları modelleyen grafik tabanlı çapraz-biçim dikkat ağı tarafından birleştirilir. Son olarak, çerçeve hem duygu sınıflandırma çıktıları hem de etkileşim içgörülerini sağlar ve böylece şeffaf duyguya duyarlı karar verme ile uyarlamalı akıllı etkileşim tasarımını kolaylaştırır.

Çok modlu veri edinimi

CH-SIMS ve CMU-MOSEI veri kümeleri, senkronize video, ses ve metin gibi çok modlu bilgileri toplamış iki mevcut kamuya açık çok modlu veri kümesidir. CH-SIMS veri kümesi, filmlerden, televizyon dizilerinden ve eğlence programlarından alınan çok sayıda video parçasından elde edilen 2.281 video parçasını içeren Çinlilerin çok modlu incelemelerini kapsar. Bu video parçalarına karşılık gelen ses ve metin eklenmesi, çok modlu verileri kullanarak duyguların çok modlu analizine yönelik araştırmaları daha ilgi çekici ve uygulanabilir hale getirir. Ancak, görüş, duygu ve duyguların incelenmesi için en büyük çok modlu veri kümelerinden biri, çeşitli konularda 1.000'den fazla konuşmacı tarafından söylenen 23.000'den fazla video klibinden toplanan CMU-MOSEI veri kümesidir. Veri kümesi, sınıf dağılımını koruyarak rastgele eğitim (%70), doğrulama (%15) ve test (%15) alt kümelerine bölünmüştür.

Metin transkripsiyonları, ses sinyalleri ve video kareleri elde edilir ve ince taneli bir zaman düzeyinde eşleşecek şekilde zaman damgası ile hizalanır. Kare düzeyinde entegrasyon, önerilen temsil öğrenimi ve grafa dayalı füzyon mekanizmalarının, görsel ifadelerden, ses tonlarından ve dilsel içerikten ortaya çıkan duygusal içeriği birlikte modellemesini ve yararlanmasını sağlar. Etkili çok modlu duygusal dinamiklerin çıkarımı, bu tür çok modlu edinim tekniği ile mümkün hale gelir ve bu durum, akıllı etkileşim tasarımı ile anlaşılır görsel haritalama için temel bir öneme sahiptir.

Tablo 1, önerilen yöntemde kullanılan çok modlu duygu veri kümelerinin temel yapılarını sunmaktadır. Konuşulan kelimeler, ses tonlamaları ve yüz ifadeleri gibi daha geniş bir yelpazede ilgili duyguları elde etmek amacıyla CH-SIMS ve CMU-MOSEI, bu veri kümelerinden video, ses ve metin modlarını bir araya getirmiştir. Ayrıca, CH-SIMS'te sınırlı sayıda veri örneği mevcuttur ve bu durum, Çin'de modalite etkileşimlerinin ve duygu değişimlerinin kapsamlı bir şekilde incelenmesine olanak tanır. Diğer taraftan, CMU-MOSEI veri kümesi, çeşitli dillerde, konularda ve eklenmiş duygu seviyelerinde büyük miktarda veri içermesi nedeniyle, bu çalışmada ele alınan temsil öğrenimi ve ilgili görselleştirme algoritmalarının dayanıklılığını değerlendirmede daha önemli bir rol oynar. Ayrıca, önceki çalışmalara kıyasla, modelleri test ederken bilgi seçimiyle ilgili zorlukları azaltır.

Çok modlu ön işleme ve senkronizasyon

CH-SIMS ve CMU-MOSEI veri kümelerinden alınan zaman damgası ek açıklamaları, metinsel, işitsel ve görsel modları senkronize etmek ve tutarlı çok modlu temsil öğrenmesini sağlamak için kullanıldı. Her bir söylem, temel analiz birimi olarak işlev gördü ve aynı zaman aralığı içinde eşleşen ses ve video bölümlerine bağlandı. Hizalama, söylem düzeyinde gerçekleştirildi. Transkript, her bir söylemin başlangıç ve bitiş zaman damgalarına göre bölümlere ayrıldı. Aynı zaman aralığı içinde yer alan video kareleri ve ses sinyalleri çıkarılarak transkript-ses-görsel karşılığı oluşturuldu. Ses bölümleri, akustik temsiller üretmek için Wav2Vec 2.0 kullanılarak işlendi; video bölümünden alınan görsel kareler ise önceden belirlenmiş bir oranda örneklenerek Görüşüm Dönüştürücüsü (ViT) ile kodlandı. RoBERTa kodlayıcısı, söylem transkriptlerinden metinsel gömme vektörleri oluşturmak için kullanıldı. Üç modülün farklı uzunluklarda özellik dizileri üretmesi nedeniyle, tüm modül özelliklerinin tek bir söylem sınırına hizalanmasıyla zamansal senkronizasyon sağlandı. Farklı uzunluktaki dizileri normalleştirmek için sabit uzunluklu bir biçim kullanıldı. Daha uzun diziler, izin verilen maksimum dizi uzunluğuna kısaltıldı; daha kısa diziler ise sıfır doldurma (zero-padding) uygulanarak uzatıldı. Eğitim sırasında, doldurulan öğeleri geçerli özellik konumlarından ayırmak için dikkat maskeleri kullanıldı. Modül-özgü gömme vektörleri, birleştirme işleminden önce farklı modüller arası dizi uzunluklarını aşmak amacıyla ortak bir gizli uzaya izdüşümü yapıldı. Bu, boyutsal tutarlılığı garanti etti ve graf tabanlı dikkat mekanizmasının etkili çapraz modlu etkileşim öğrenmesini sağlamasını mümkün kıldı. Bozuk dosyaları, eksik ek açıklamaları veya eksik modül bilgileri olan örnekler, veri kalitesini ve senkronizasyon bütünlüğünü korumak amacıyla çalışmalardan çıkarıldı.

Dönüştürücü tabanlı özellik çıkarımı

Çoklu veri modlarını hizaladıktan ve gerekli ön işleme adımlarından sonra, bir uçtan uca yaklaşım ile görme, ses ve metin gibi çoklu modlardan bilgiyi kullanarak yüksek düzeyde duygu farkında özellik gösterimlerini öğrenmek için derin öğrenme yöntemi kullanılır. Ham çoklu modlu verilerden içsel olarak ayırt edici özellik gösterimlerini öğrenmek amacıyla bir transformatör kodlayıcı kullanılarak önerilen yöntem, özellik mühendisliği ihtiyacını ortadan kaldırır. Önerilen yaklaşımda kullanılan veri kümeleri arasında tutarlılığı kolaylaştırmak amacıyla her bir modalite için sabit boyutlu bir yerleştirme öğrenilir. Örneğin, görüntü, ses ve metin modalitelerini içeren her bir bireysel modalite için 768 boyutlu özellik yerleştirmeleri öğrenilir ve çeşitli boyutlardaki verilerde yüksek düzeyli özellikleri öğrenmek amacıyla önerilen CH-SIMS veri kümesi ve CMU-MOSEI veri kümesi boyunca kullanılan, özellikle bir özellik çıkarımı yaklaşımı boyunca kullanılan birleşik bir özellik uzayı oluşturur.

Görsel modül: Duygu duyarlı kare yerleştirmeleri için vizyon dönüştürücü

Duyguya özgü mekansal temsiller elde etmek amacıyla video karelerinden görsel bilgiyi çıkarmak için bir Görüş Dönüştürücü (ViT-Base) modeli kullanıldı. Özellikleri çıkarmadan önce, her video parçasının kareleri (224 × 224) piksele ölçeklendirildi ve düzenli zaman aralıklarında örneklemeye alındı. 16 × 16 piksel boyutunda bir yama kullanılarak, ViT-Base mimarisi, 12 adet dönüşüm kodlayıcı katmanı tarafından işlenen bir dizi görsel belirteç üretir. Alınan kare düzeyindeki temsiller, görsel temel yapı olarak önceden eğitilmiş bir ViT modeli kullanılarak 768 boyutlu bir gömme uzayına yansıtıldı. Kare düzeyindeki gömmeler, her parça için nihai görsel temsili oluşturmak amacıyla ortalama havuzlama ile birleştirildi. Eğitim sırasında, genelleştirme yeteneğini artırmak için görüntü normalizasyonu ve rastgele kırpma ile yatay çevirme gibi yaygın artırma yöntemleri kullanıldı. Daha sonra, bu görsel gömmeleri metin ve işitsel temsillerle birleştirmek için önerilen çok modlu birleştirme çerçevesi kullanıldı.

Duygudaki zamansal dinamikleri korumak için CH-SIMS ve CMU-MOSEI veri kümelerinden alınan video örnekleri görsel modalite için eşit aralıklarla örneklenecektir. Her bir video karesi, $Matematiksel vektör gösterim formülü, $x_v \in \mathbb{R}^{H \times W \times C}$, denklemler.$ , N tane sabit boyutlu bölüme ayrılabilir; ardından bu bölümler düzleştirilir ve boyutu $Değişken atamasını gösteren denklem: $ d_v = 768 $.$ olan gizli bir yerleştirme uzayına ters çevrilerek aktarılır. Pozisyonel yerleştirmelerin ve öğrenilebilir bir gruplama tokenının eklenmesiyle bir seri oluşturulur:

Ağırlıklı bileşenlerin toplamını gösteren denklem; matematiksel analiz; araştırma yöntemi. (1)

burada E_pos denklemi, statik denge kavramı, fizik araştırmaları analizi için eğitim formülü konum kodlamasını ve $Vektör uzayı gösterimini gösteren matematik formülü: $ E \in \mathbb{R}^{(P^2C) \times 768} $.$ yama yerleştirme matrisini temsil eder.

Gömülü yama dizisini işlemek için, ileri beslemeli ağlar ve çok başlı kendine dikkat mekanizmalarından oluşan katmanlı dönüştürücü kodlayıcı katmanları kullanılır. l katmanındaki dönüşüm şu şekilde tanımlanır:

MSA ve LNO fonksiyonlarını kullanan yinelemeli matematiksel modelin denklemi, sembolik gösterim. (2)

Sinirsel hesaplamadaki katmanlı normalizasyon ve ileri beslemeli ağ denklemi. (3)

Duygu bilgili görsel özellik vektörünü elde etmek için sınıf belirteciyle eşdeğer olan çıkış, özellik vektörü olarak çıkarılır $Vektör uzayı denklemi $ f_v \in \mathbb{R}^{768} $, matematiksel kavram, gösterim, cebir.$ . Veri kümeleri arasında dil ve içerik farklılıklarına rağmen tutarlı görsel duygu temsillerini ele almak için her video parçasının çerçeve düzeyindeki gömülüm vektörleri, yüz ifadelerini ve duyguların gelişimini yakalamak amacıyla birleştirilir.

Wav2Vec 2.0 kullanan ses modalitesi ile prozodi ve anlamsal akustik gömülüler Bağlamsal konuşma gömülülerinin oluşturulmasında önceden eğitilmiş bir Wav2Vec 2.0 kodlayıcısı akustik temel olarak kullanıldı. Her bir ifade için sabit uzunlukta bir akustik özellik vektörü, ortalama havuzlama kullanılarak gizli temsillerin çıktısının birleştirilmesiyle elde edildi. Wav2Vec 2.0 modeli, bağlamsal ve duyguyle ilgili konuşma özelliklerini yakalayabilmek için ses sinyallerinden akustik temsilleri çıkarmak amacıyla kullanıldı. Özellik çıkarımından önce ses kayıtları normalleştirildi ve 16 kHz'e yeniden örneklendi. Metinsel ve görsel modaliteler arasında senkronizasyonu sağlamak için her bir söylem düzeyindeki ses parçası, veri kümesi ek açıklamaları tarafından sağlanan zaman damgası sınırları kullanılarak ayrıldı. Göreve özgü uyumun geliştirilmesini sağlamak için önceden eğitilmiş akustik kodlayıcı model eğitimi sırasında uyarlandı ve böylece elde edilen temsillerin konuşma sinyallerinin duygusal yönlerini daha doğru bir şekilde yansıtmaları sağlandı. Daha sonra nihai ses gömülülerini kullanarak grafik tabanlı çapraz modal dikkat birleştirme ve ayrıştırılmış temsil öğrenimi gerçekleştirildi.

Ses modalitesinde, CH-SIMS ve CMU-MOSEI veri kümelerindeki başlangıç ses bilgisinden elde edilen konuşma sinyallerini modellemek ve duygu ile ilgili ses özelliklerini doğrudan ayıklamak için Wav2Vec-2.0 kullanılır. Her giriş konuşma sinyali $Matematiksel ifade, sembol: $ x_a \in \mathbb{R}^T $, reel vektör uzayında bir eleman olduğunu gösterir.$ için bir evrişimli özellik kodlaması mevcuttur:

Matematiksel denklem, evrişim fonksiyonu, doğrusal dönüşüm diyagramı, araştırma analizi. (4)

Z, melodi, ton ve enerji gibi düşük düzeyli prosodik özellikleri temsil eder. Uzun menzilli zamana dayalı bağımlılıkları temsil eden bir transformatör tabanlı bağlam ağı, yukarıda belirtilen yapılar için faydalıdır:

C eşittir Z'nin Fourier dönüşümü; sinyal işleme analizi için matematiksel denklem. (5)

Duyguyu ifade etmek için temel olan prozodik ve anlamsal ses verileri, bu bağlamsal ses temsillerine dahil edilir. Belirli uzunlukta bir ses gömülü ifadesi, zamansal havuzlama işlemi uygulanarak oluşturulur:

Hesaplamalı modelde havuzlama işlemi için matematiksel ifade, denklem fa=Pool(C),fa∈ℝ⁷⁶⁸. (6)

Tasarım, MFCC'ler gibi akustik özellikleri kullanmaktan kaçınır ve yalnızca dalgalar biçimlerinden temsiller çıkararak CMU-MOSEI'den İngilizce konuşma verilerini ve CH-SIMS'ten Çince konuşma verilerini kullanarak dayanıklılık sağlar.

Bağlamsal duygu yerleştirmeleri için RoBERTa kullanarak metin modu

Metin modu için, derin çift yönlü dönüşüm (transformer) modeli RoBERTa, iki veri kümesinden alınan konuşma transkriptlerine uygulanarak bağlamsal anlamsal ve duygusal anlam elde edilmiştir. Transkript verilerinden bağlamsal anlamsal ve duygusal bilgiyi yakalayabilmek için RoBERTa tabanlı dönüşüm kodlayıcıları kullanılmıştır. İngilizce dilindeki CMU-MOSEI veri kümesi için önceden eğitilmiş bir RoBERTa modeli kullanılırken, Çince CH-SIMS veri kümesi için dilin özel dilbilgisel özelliklerini daha iyi yansıtabilmek amacıyla bir Çince RoBERTa varyantı tercih edilmiştir. Metin ön işleme, her dil için uygun RoBERTa ayrıştırıcısını kullanarak tokenleştirme ve metin normalleştirme işlemlerini içermiştir. Toplu işlemde tutarlılığı sağlamak amacıyla, giriş dizileri token yerleştirme biçimine dönüştürülmüş ve önceden belirlenmiş sabit maksimum dizi uzunluğuna göre ya sıfırla doldurulmuş ya da kısaltılmıştır. RoBERTa giriş formatına uygun olarak, özel sınıflandırma ve ayırıcı token'ları eklenmiştir. Dönüşüm kodlayıcısı tarafından üretilen bağlamsallaştırılmış token temsilleri, son [CLS]-eşdeğer tümce temsili kullanılarak birleştirilerek sabit uzunlukta bir metin yerleştirmesi elde edilmiştir. Öğrenilen temsilleri duygu tanıma görevine uyarlamak amacıyla, önceden eğitilmiş RoBERTa kodlayıcıları çok modlu eğitim ile iyileştirilmiştir. Ardından, önerilen çok modlu birleştirme çerçevesi kullanılarak metin yerleştirmeleri ses ve görsel özelliklerle birleştirilmiştir.

Her bir tokenleştirilmiş giriş için token yerleştirme vektörleri ve konumsal kodlamalar birleştirilebilir, Dinamik sistem analizi, denklem: xt={w1,w2,...,wn}, durum değişkenleri için matematiksel formül. , derin çift yönlü dönüşüm tekniği olarak bilinen giriş temsili oluşturmak için.

$Hamilton denklemi, $H_0 = E_{tok}(x_t) + E_{pos}$; kuantum mekaniği formülü gösterimi.$ (7)

Bu form, kelimeler arasındaki bağlam bağımlılıklarını keşfetmek için özyönelimi kullanan L transformatörünün katmanları aracılığıyla temsil edilir:

Sinir ağlarında L katmanlı dönüştürücü, matematiksel formül. (8)

Bağlamsal duygu yerleştirmesi, sınıflandırma belirtecinin son gizli durumu kullanılarak elde edilir:

Veri analizine ilişkin vektör dönüşümünü gösteren denklem, fₜ = Hᴸ[CLS], fₜ ∈ ℝ⁷⁶⁸ (9)

Duygu ile ilgili dilbilimsel özelliklere örnek olarak duygu kutupluluğu, yoğun duygular ve ilişkili çıkarımlar bu yerleştirme yöntemiyle temsil edilecektir. RoBERTa, dil bağımından bağımsız modellemeyi kolaylaştırır. Bu, sistemin hem CMU-MOSEI veri kümesinden alınan İngilizce metinler hem de CH-SIMS veri kümesinden alınan Çince metinler için aynı yerleştirme boyutunu kullanmasına olanak tanır.

Önerilen derin özellik temsili öğrenme adımı tarafından, her biri görsel f_v, ses f_a ve metinsel f_t modları için 768 boyutunda olan üç moda özel özellik vektörü çıkarılır. Akıllı etkileşim tasarımında, bu öğrenilen temsiller, özellik düzeyinde görsel eşleme, grafik tabanlı çapraz modal füzyon ve ayrıştırılmış temsil öğrenmesi için temel oluşturan birleşik bir çoklu modal özellik uzayı oluşturur.

Ayrıştırılmış temsil öğrenimi

Derin bir özellik gösterimini öğrendikten sonra, görsel, işitsel ve metin modlarından gelen çok modlu özellik vektörlerinin ek işleme tabi tutulması, duygulara dair kesintili bir tanımlama sağlayabilir. Eğer önceki adımda kullanılan işitsel, görsel ve metin modlarına özgü özellik gömmeleri sırasıyla f_v, f_a ve f_t ile temsil ediliyorsa ve $Matematiksel sembol, vektör uzayı formülü, $f_m \in \mathbb{R}^{768}$, veri boyutluluğu için.$ ve Küme teorisine ait denklemler; m ∈ {v, a, t}; matematiksel gösterim, eğitim amaçlı kullanım. ise, bu adımın amacı, her bir modale ait önceki anlamsal yapıları dikkate alarak duygusal betimlemeleri içeren iki ayrı gizli temsile tüm modallik özelliklerini ayrıştırmaktır.

Bu, her bir modalite özelliğini, f_m , iki paralel projeksiyon ağına besleyerek gerçekleştirilir: bir duygu kodlayıcısı Sabit denge denklemi, E_e(.), sistemin şemasında enerji dengesi dinamiklerini temsil eder. ve bir modalite kodlayıcısı Em fonksiyonu sembolü; matematiksel gösterim; eğitim amaçlı denklemlerde kullanılır. , bu iki kodlama üretilir.

İstatistiksel mekaniği tanımlayan matematiksel denklemler; değişkenler denge sürecini gösterir. (10)

Burada $Denklem, $ z^e_m \in \mathbb{R}^{d_e} $, matematiksel sembol gösterimi.$ duyguya bağlı gizli özelliği temsil eder ve Matematiksel kavram; zm ∈ ℝdm sembolü; vektör uzayı; boyut analizi; denklem. ise bir modaliteye özgü gizli özelliği gösterir. Bu, ses, görüntü ve metin gibi çoklu girişler arasında duygu-özgü gömme vektörlerinin tekrar tekrar bir uzay aracılığıyla iletişim kurmasına olanak tanırken, her modaliteyle ilişkili özgün yapısal verilerin korunmasını sağlar.

Etkili bir ayrıştırma, bağımsızlık kısıtlamalarıyla yeniden yapılarak sağlanır. Orijinal modalite özelliğinin yeniden yapılandırması şu şekilde verilir:

Dinamik süreç denklemi; formül: f̂ₘ = D(zₘᵉ, zₘᵐ); kavramsal diyagram; araştırma bağlamı. (11)

burada $İstatistiksel süreç; $ D(.) $ formülü; veri analizi için matematiksel denklem.$ bir kod çözücü ağıdır. Yapının yeniden oluşturulması kaybı aşağıdaki verileri korur:

Sinyal işleme analizi için yeniden yapılandırma kaybı formülü, matematiksel denklem, Σm||fm-f̂m||². (12)

Ayrıca, duygu ile modaya özgü betimlemeler arasındaki diklik veya ilişkisizlik, genellikle bilgi çakışmasını sınırlar:

İstatik denge denklemi Σm||(ze^T)zm||2, matematiksel formül, eğitim amaçlı. (13)

Bu hedeflere ulaşılarak, modelin güvenilir, anlaşılır ve farklı modalite değişkenliğine karşı dirençli duygu temsilleri öğrenmesi mümkün olabilir. Özellikle akıllı etkileşim tasarımı için sonraki grafik tabanlı çapraz modalite birleştirme ve görsel haritalama özellikleri, yorumlanabilir ve yapılandırılmış duygu temsillerine büyük ölçüde bağlıdır.

Modallar arasında duygu tutarlılığı

Duygu tutarlılığının eklenmesi, modaliteler arasındaki füzyonun etkinliğini açıkça artırır. Bunun nedeni, modaliteye özgü duygu yerleştirmeleri gizli bir alanı paylaştığından, birleştirme stratejilerinin iki gösterim arasında büyük boşlukları hesaba katması gerekmemesidir. İki duygunun birleşik gösterimi şu şekilde tanımlanır Kimyasal denge denklemleri Zve, Zae, Zte sembolleri. . Duyguya özgü gösterimler tutarlı olduğunda, ağırlıklı füzyon daha kararlı olacaktır çünkü farklı modalitelerden gelen sinyaller arasındaki değişiklikler artık sonucu etkilemeyecektir.

Karşıt kayıp fonksiyonu denklemi, matematiksel formül, toplam ve değişken indislerini gösterir. (14)

Duygusal bilgide anlamsal uyumun sağlanmasıyla bu hedef, farklı modlar arasında tutarsızlıkları en aza indirir ve duyguyu ifade etmek için kullanılan modaliteden bağımsız olarak duyguyu algılamanın tutarlı kalmasını sağlar. Sonuç olarak, konuşma sinyallerinden, yüz ifadelerinden ve dilsel içerikten elde edilen duygusal ipuçlarını projekte ederek tutarlı ve duygusal bir temsil alanı oluşturulur.

Çapraz modlu birleşim üzerindeki etki

Duygu tutarlılığı modlar arası sunulduğunda çapraz modalite birleştirme daha etkili hale gelir. Duyguya özgü gömülü ifadeler ortak bir gizli uzayda hizalandığı için, birleştirme mekanizmaları artık modlar arası önemli temsiller arası boşlukları kapatmak zorunda değildir. Birleştirilmiş duygu temsili şu şekilde tanımlanır:

Eğitim araştırmalarında füzyon analizi için statik denge denklemi Σm∈{v,a,t}amzem diyagramı. (15)

α_m'nin, m modalitesine verilen dikkat ağırlığını temsil ettiği yerde. Duyguya özgü temsiller tutarlı olduğunda, ağırlıklı birleştirme daha kararlı ve anlaşılır hâle gelir çünkü birleştirme sonucu çelişkili modalite sinyalleri yerine tamamlayıcı duygusal kanıtlar gösterir.

Matematiksel olarak, farklı duyguya özgü temsil türleri arasındaki Statik denge denklemi, ΣFx=0, vektör mekaniği, eğitim amaçlı formül. varyansı, ’ye göre azaltmak şuna eşdeğerdir:

Varyans hesaplama formülü, Var(z^e), matematiksel ifade, istatistiksel analiz denklemi. (16)

burada İyon yükü çalışmaları, formül gösterimi ile ilgili kimyasal denklem olan Z^-e sembolü. ortalama duygu ifadesini temsil eder. Azaltılmış varyans, giriş modellerinin duygusal gürültü yerine duygusal önemi dikkate alınarak ağırlıklandırılmasına neden olur ve böylece ağın yakınsamasının iyileştirilmesini ve daha doğru dikkat değerlendirmesini sağlar.

Ayrıştırılmış duygu görselleştirmelerinin nihai öğrenme hedefi, parçalanma, yeniden yapılandırma ve duygu birliğini birleştirmektir:

Matematiksel formül, L_total = L_rec + λ1L_dis + λ2L_con, denklem şeması, eniyileme. (17)

bu iki hiperparametre, λ₁ ve λ₂, çapraz-modal duygu güvenilirliği ile ayrışma arasındaki ilişkiyi kontrol eder. Önerilen model, daha sonra grafik tabanlı birleştirme ve akıllı arayüz tasarımında özellik düzeyinde temsili sağlamaya yönelik sağlam bir temel sunmaya odaklanarak, modaliteye bağımsız, yorumlanabilir ve birleştirilebilir duygusal temsiller elde eder.

Çizge tabanlı çoklu veri kaynağı arası dikkat birleşimi

Modallar arasındaki ayrıntılı duygusal ilişkileri simüle etmek için modlara dayalı bir çapraz-modal dikkat ağı kullanıldı. Modallar arasında bilgi akışını kolaylaştırmak amacıyla, her bir modalet-özgü gömme (metin, ses ve görsel) bir graf düğümü olarak temsil edilen tamamen bağlı çoklu modal bir graf oluşturuldu. Graf komşuluk matrisini oluşturmak için modalet ilişkileri kullanıldı ve bu matris daha sonra öğrenilebilir bir dikkat yöntemiyle geliştirildi. Birkaç dikkat kafasının çıktılarının birleştirilip projeksiyonuyla ortak bir gizli uzay oluşturuldu. Birleştirilmiş düğüm temsilleri, dikkat ağırlıklı havuzlama kullanılarak toplandığında, birleşik çoklu modal duygu temsili üretildi. Daha sonra bu birleştirilmiş temsil, etkileşim-farkında analiz ve duygu tanıma için tahmin ve görselleştirme modüllerine iletildi. Graf-birleştirme modülünün gizli temsil boyutu 256'dı ve sekizer dikkat kafasına sahip iki graf dikkat katmanı bulunuyordu. Yakındaki modalların göreceli önemini belirlemek için bağlı düğümler arasındaki dikkat katsayıları hesaplandı ve softmax fonksiyonu kullanılarak standartlaştırıldı. Her graf-dikkat katmanının ardından, eğitim kararlılığını artırmak ve aşırı öğrenmeyi azaltmak amacıyla katman normalizasyonu, artan bağlantılar ve %0,2 bırakma oranı uygulandı. Birkaç dikkat kafasının çıktılarının ortak bir gizli uzaya birleştirilip projeksiyonunun ardından, düğüm temsilleri dikkat ağırlıklı havuzlama kullanılarak tek bir çoklu modal duygu gömmesine birleştirildi. Bundan sonra, birleştirilmiş temsil çoklu görünüm görsel eşleme ve duygu tahmini için kullanıldı.

Çok başlı grafik dikkati kullanılarak çeşitli çapraz-modal etkileşimler yakalandı. Her düğüm için bağlı düğümler arasındaki dikkat katsayılarını normalleştirmek amacıyla softmax fonksiyonu kullanıldı. Eğitim stabilitesini artırmak ve aşırı uydurmayı önlemek için, grafik birleştirme modülündeki yığılmış grafik-dikkat katmanlarının ardından artan bağlantılar, katman normalizasyonu ve dropout düzenlemesi uygulandı.

Şimdi, terimler Kimyasal denge denklemleri Zve, Zae, Zte sembolleri. bireysel olarak, görsel, ses ve metin modaliteleri tarafından toplanan belirli duygulara karşılık gelen temsilleri ifade etsin; her bileşen, paylaşılan gizli uzay Vektör uzayları için matematiksel sembol R^d_e; uzamsal analiz için denklem diyagramı. içinde yer alsın. Modallik düğümleri için modeller, graf Düğümleri ve kenarları temsil eden graf teorisi denklemi G=(V,E); sembolik gösterim. için bir gösterim kullanır; koleksiyonun düğümleri v={v,a,t} formülü kullanılarak hız hesaplaması; kinematik denklemi; eğitim içeriği. , üç modallik düğümünün kendisine karşılık gelir ve farklı modallik temsilleri arasında paylaşılan duygusal bağımlılıklar açıkça güçlendirilir.

Grafiğin her düğümüne duygu-özgü bir özellik vektörü atandıktan sonra elimizde şunlar vardır:

$Statik denge denklemi $H=[Z_v^e, Z_a^e, Z_t^e]^T \in \mathbb{R}^{3 \times a_e}$.$ (18)

Geleneksel birleştirme yöntemlerinin önceden belirlenmiş veya sabit birleştirme ağırlıkları kullanmasının aksine, önerilen yöntem kanallar arası ve duygusal durumlar arası önemlerine ve aralarındaki bağımlılıklara göre uyarlanabilir kenar ağırlıklarını öğrenir.

Çapraz modlu birleştirme için bir Grafik Dikkat Ağı (GAT) kullanılır. Her bir i düğümü ve komşu düğümleri, yani j düğümü için bir dikkat katsayısı hesaplanır:

Sinir ağı aktivasyon denklemi: LeakyReLU; formül; makine öğrenimi ifadesi. (19)

j modundan i modalitesine geçişin duygusal etkisi, normalize edilmiş ağırlıklar α_ij ile ölçülür.

Ardından, her modalite düğümünün birleştirilmiş görünümü, komşularının ağırlıklı bir gruplandırması olarak hesaplanır:

$Graf sinir ağı formülü, $ h'_i = \sigma(\sum_{{j \in N(i)}} \alpha_{ij} W z_j^e) $.$ (20)

burada aktivasyon fonksiyonu Sigma fonksiyon sembolü (σ), matematiksel gösterim. doğrusal olmayandır. Sonuç olarak, her düğümün güncellenmiş özellikleri, küresel birleştirilmiş duygu temsili elde etmek için birleştirilir:

Veri birleştirme süreci denklemi, z_fusion = 1/|v| Σ h'_i, matematiksel formül. (21)

Çeşitli modlardan tamamlayıcı bilgileri yakalarken karmaşık iç modlar arası ilişkileri koruduğu için yorumlanabilir duygu modellemesi ve ardından gelen görsel haritalama için yararlı bir tekniktir.

Algoritma 1 (Ek Dosya 1), grafik tabanlı çapraz modlu birleştirmeyi gerçekleştirmek için genel şemayı sağlar. Başlangıçta, görsel, ses ve metin modları ile ilişkili duygu-özel özelliklere bağlı bir grafik oluşturulur. Daha sonra, duygusal bağımlılık kombinasyonunu temsil eden her bir grafik düğüm çifti için dikkat skorları hesaplanır. Bu dikkat skorları, her modülün belirli duygusal bağlama göreli katkısını göstermek üzere normalize edilir ve böylece dikkat ağırlıklarının öğrenilmesi sağlanır. Genel duygu yerleştirme, son aşamada grafik düğümleriyle ilişkili özellikleri birleştirerek üretilir. Bu anlamda, belirli duygularla ilişkili çok modlu özellikleri genel olarak birleştiren algoritma, uyarlanabilirlik, yorumlanabilirlik ve bağlamsal zekâ açısından umut vericidir.

Şekil 2, çok modlu duygu birleşimine yönelik önerilen çapraz-modal dikkat ağıının yapısını ve işleyişini göstermektedir. Metin, işitsel ve video modları için bağımsız olarak elde edilen duygu-özgü gömülüler, başlangıçta dilsel, ses ve yüz ifadesi bilgilerinin belirli bir duygusal bağlam için nispi önemini öğrenecek şekilde modül düzeyinde dikkat mekanizmalarından geçirilir. Modlara ait dikkatle ağırlıklandırılmış temsiller daha sonra, dikkat matrisinin modlar arası bağımlılıkları ve etkileşim güçlerini yansıttığı birleşik bir duygu gömülü hâline getirilerek birleştirilir. Ağı tarafından öğrenilen dikkat matrisi, modların katkılarını dinamik olarak düzenler ve böylece gürültülü ve daha az bilgilendirici olanlarsa dikkate alınmaksızın en güçlü eğitim modalitesine odaklanılmasını sağlar. Birleştirilmiş duygu temsili, nötr, kucaklaşma ve endişe gibi duygusal durumların doğru duygu tanımasına ve ayrıntılı analizine olanak tanır.

Görsel haritalama modülü

Görsel haritalama bölümü sayesinde, duygusal durumun birleşik temsili, grafik temel alınarak çapraz modlu birleştirme sürecinden sonra anlaşılabilir ve kolayca tüketilebilir bir görsel biçime dönüştürülebilir.

Gizli duygusal temsilleri anlamayı kolaylaştırmak için, öğrenilen çok modlu duygu yerleştirmelerini görselleştirmek amacıyla boyut indirgeme teknikleri kullanıldı. Temel Bileşen Analizi (PCA) kullanılarak özellik boyutu azaltılırken varyansın büyük kısmı korundu ve yerleştirmeler, t-dağılımlı Stokastik Komşu Gömme (t-SNE) yöntemiyle görüntülemek üzere iki boyutlu bir uzaya projelendirildi. t-SNE için perplexity değeri 30, öğrenme oranı 200 ve optimizasyon yinelemesi sayısı 1.000 olarak belirlendi. Elde edilen projeksiyonlar kullanılarak duygu özelinde kümeler ve modallikler arası ilişkiler görselleştirildi. Graf tabanlı dikkat ağı tarafından elde edilen normalize edilmiş çok modlu dikkat ağırlıkları, dikkat ısı haritaları oluşturmak için kullanıldı. Bu ısı haritaları, duygu tahmini sırasında metin, ses ve görsel modalliklerinin nispi katkılarını göstermektedir. Öğrenilen dikkat katsayıları, çok modlu etkileşim grafiklerini oluşturmak üzere kenar ağırlıkları olarak kullanıldı ve bu sayede birleştirme çerçevesi içinde modallikler arası ilişkiler ve bilgi akışı görsel olarak incelenebildi. Zamansal duygusal dinamikleri incelemek amacıyla ardışık söz öbeklerindeki gizli duygu yerleştirmelerinin gelişimi izlenerek duygu izleme grafikleri oluşturuldu. Bu izlemeler, duygusal durumların ve modallik katkılarının zaman içinde nasıl değiştiğini ortaya koymaktadır. Tüm görselleştirmeler, Matplotlib ve Scikit-learn gibi Python kütüphaneleri kullanılarak oluşturuldu. Yorumlanabilirliği değerlendirmek, küme oluşumunu, modallik katkılarını ve zamansal duygu dinamiklerini incelemek amacıyla yerleştirme görselleştirmeleri, etkileşim grafikleri ve dikkat ısı haritalarına nitel analizler uygulandı.

Değişken vektör uzayında ℝ'de z_fusion denklemi, matematiksel formülasyon, teorik analiz. , grafik dikkat ağı işlevi tarafından duygusal durumun birleştirilmiş temsilini ifade etsin. Duygusal durum grafiklerinin çıktı düzeyindeki görselleştirilmesinin aksine, modülün ana hedefi duygusal durum temsillerini ve dikkat mekanizmasının ilgili ağırlıklarını anlaşılabilir bir görsel forma dönüştürmektir.

α_ji öğrendikten sonra, her modalitenin katkısını görsel olarak incelemek için bir dikkat ısı haritası oluşturulur. Daha sonra gelen dikkat ağırlıkları toplanarak her modalite için bileşik bir öneme puanı belirlenir:

$Statik denge; $ s_i = \frac{1}{|v|} \sum_{j \in v} a_{ji} $; matematiksel formül diyagramı.$ (22)

burada s_i , I. modalitenin göreli duygusal katkısını temsil eder. Dikkat ısı haritası oluşturmak için elde edilen değerler normalize edilir ve kullanıcıların çeşitli zaman adımlarında veya etkileşimli durumlarda öne çıkan modaliteyi kolayca belirleyebilmesini sağlayan bir renk haritasına aktarılır. Çeşitli görsel, işitsel veya metinsel giriş modaliteleri aracılığıyla bu tür bir arayüz, kullanıcının sistemin dikkat mekanizmasının nasıl çalıştığını anlamasına yardımcı olur.

Öğrenilen grafik, insan duygularının çapraz-modalite bağımlılığını temsil etmek için özellikle "ağırlıklı etkileşim grafiği" olarak modellenmiştir. Modalite kendisi, grafikteki her bir düğümle temsil edilir ve insan duygularıyla ilgili etkileşimlerin gücü, onları birbirine bağlayan kenarlardaki α_ji şeklindeki ağırlıklarla temsil edilir. Yukarıdaki ağırlıklı grafik, insan duygusal etkileşimlerinin yoğunluğunu göstermektedir. i ve j'nin tanımı şöyledir:

Ağırlıklı ortalamalar formülünü gösteren denklem; veri analizi için matematiksel kavram. (23)

Bu ağırlıklar sayesinde grafik görselleştirmesindeki çizgi kalınlığı veya saydamlık düzeyi uygun şekilde gösterilir. Bu durum, modalitelerin nasıl etkileşime girdiğini anlamayı kolaylaştırır. Tasarımcılar, çok modlu etkileşim grafiklerinin yardımıyla birleştirme süreci boyunca duygusal göstergelerin nasıl etkileşime girdiğini daha iyi anlayabilir.

Zamansal duyguların gelişimini göstermek amacıyla çeşitli zaman adımlarındaki birleştirilmiş duygu yerleştirme vektörleri Matematiksel bağlamda birleştirmeyle ilgili değişken Ztfusion'yi gösteren denklem. , boyut azaltma algoritmaları olan PCA veya t-SNE gibi yöntemler kullanılarak daha düşük boyutlu bir uzaya indirgenir:

Vektör uzayları bağlamında Zt füzyonunun bir fonksiyonu olarak yt'yi gösteren matematiksel denklem. (24)

burada projeksiyon fonksiyonu Φ fonksiyon sembolü, istatistiksel kavram, denklem gösterimi. ile temsil edilir. Etkileşimlerde duygu geçişlerini, şiddetlerini ve kararlılığını gösteren 2B/3B duygu yörüngelerinin ortaya çıkışı, duygusal durumların zaman içindeki gelişiminin sezgisel bir gösterimi olarak yorumlanabilir. Bu yönler, akıllı etkileşim, karar verme ve gerçek zamanlı izleme için kullanılabilir.

Geleneksel duygu sistemlerinin yalnızca belirli sınıflara veya puanlara eşleme yapmasının aksine, bu sistem, insan duygularının içinde nasıl oluştuğunu göstermeye odaklanır. Ağırlıklandırma faktörleri, modeller arası etkileşimler ve bunlara karşılık gelen yollar dahil olmak üzere ara özelliklerin görselleştirmelerini sunarak karar verme sürecini ortaya koyar. Bu, kullanıcının her bir faktörün—görsel, sesli veya dilsel—insan duygusuna verdiği yanıtı üretirken üzerinde nasıl bir etkisi olduğunu anlamasını sağlar.

Duyguları görsel temsiller aracılığıyla anlaşılır formlara dönüştürmek, derin öğrenme yöntemleriyle duygu analizi ile bunların akıllı arayüz tasarımına entegrasyonu arasındaki boşluğu kapatmaya yardımcı olabilir. Her iki yaklaşımdan toplanan veriler daha sonra daha kesin kullanıcı arayüzleri oluşturmak için kullanılabilir. Bu nedenle, önerilen yaklaşım etkileşim tasarımcılarına daha hassas kullanıcı arayüzleri geliştirmeleri için önemli bilgiler sağlayabilir. Başka bir deyişle, duygu anlayışı etkileşim tasarımının çok aktif bir parçası haline gelir. Duygu anlayışı etkileşim tasarımına aktif olarak dahil edildiğinde ancak bu şekilde doğruluk artabilir.

Görsel haritalama modülü, birbiriyle bağlantılı ancak farklı birkaç şekilde açıklanabilirliği mümkün kılar: Özellik düzeyinde açıklanabilirlik, DNN tarafından oluşturulan duyguların temel temsillerini ortaya çıkarır ve duygularla ilgili her bir özelliğin tanımlanmasında kullanılan anlamsal yapıyı anlamamızı sağlar; modalite düzeyinde açıklanabilirlik, görsel, ses veya metin modalitelerinin duyguları ifade etme kararlarına nasıl katkıda bulunduğunu açıklamak için etkileşim grafiklerinden ve görsel dikkat ısı haritalarından veri kullanır; son olarak, duygu yerleştirme işleminden elde edilen yörüngeler, her bir görsel ve metin modalitesinin dinamik bir etkileşim perspektifinden zaman içinde nasıl değiştiğini anlamamızı sağlar. Lütfen Algoritma 2'ye bakınız (Ek Dosya 1).

Birleştirilmiş çok modlu duygusal özellikler, önerilen görsel eşleme Algoritma 2 kullanılarak akıllı etkileşim tasarımı için görsel olarak anlamlı temsillere dönüştürülür. Graf tabanlı çok modlu dikkat ağırlıkları, her zaman adımında giriş görsel, ses ve metin unsurları arasındaki farklılıkları nicelendirmek için kullanılır. Bu farklılıklar, duyguları etkileyen ana kaynakları ısı haritası görsel öğeleri kullanarak vurgulamak için görsel temsillere eşlenir. Giriş unsurları arasındaki etkileşimi anlamak ve çok modlu giriş unsurları tarafından oluşturulan duygusal gelişimi iletmek için daha sonra ikili etkileşim güçleri hesaplanarak çok modlu etkileşim ağırlıkları oluşturulur. Aynı zamanda, zaman içinde toplanan birleştirilmiş duygusal unsurlar düşük boyutlu bir uzaya eşlenerek sürekli bir duygusal unsur gelişimi üretilir ve böylece duygusal gelişime bir bakış açısı oluşturulur.

Duygu tahmini ve etkileşim geribildirimi

vektör uzayında ℝ'de z_fusion denklemi, matematiksel formülasyon, teorik analiz. olarak temsil edilen birleştirilmiş duygu gösterimi, etkileşim geri bildirimi ve duygu tahmini için bir fonksiyon olarak kullanılır. Ayrıca, duygu tahmini, sürekli duygu yoğunluğu tanıma için bir regresyon görevi ve ayrık duygu tanıma için bir sınıflandırma görevinden oluşan çoklu görevli bir model olarak tanımlanır. Ayrık duygu tanıma için aşağıdaki softmax tabanlı sınıflandırma modeli kullanılır:

Sinir ağı çıktısı tahmini için softmax denklemi; formül: ŷ = softmax(W_cz^fusion + b_c). (25)

burada $Tahminleme, regresyon denklemi, $\hat{y}$; grafik; veri analizi; tahmine dayalı model değerlendirmesi$ beklenen duygu sınıfı olasılıklarını temsil eder ve W_c ile b_c öğrenilebilir kısıtlamalardır. Sınıflandırma amacını iyileştirmek için çapraz entropi kaybı kullanılır:

Sınıflandırma kaybı formülü, Lcls=-ΣKk=1 yk log(ŷk), matematiksel denklem. (26)

burada y_k gerçek etiket, K ise duygu sınıflarının sayısıdır. Duygu yoğunluğunu paralel olarak tahmin etmek için bir regresyon dalı kullanılır ve valans ve uyarılma da dahil olmak üzere çeşitli sürekli duygusal özelliklerin tahmini yapılır. Buna aşağıdaki tanımı verin:

Statik denge denklemi, formül Ŝ = WrZ^fusion + br, eğitim içeriği. (27)

beklenen duygu yoğunluğu skoru Spektroskopi diyagramı; ΣFx=0 formülü; DNA analizi deneyi; optik uyarma çalışması. ile gösterilir. Regresyon görevini iyileştirmek için ortalama kare hata kaybı kullanılır:

Düzenlileştirme formülü: Lreg = ||s - ŝ||²₂, kayıp fonksiyonu optimizasyonu denklemi. (28)

Genel olarak, iki görev tahmin amaçlı birlikte kullanılır:

Kayıp fonksiyonu denklemi: Lpred = Lcls + λLreg, sınıflandırma ve regresiyonu göstermektedir. (29)

burada regresyon ve sınıflandırma amaçları λ ile dengelenir. Bu tür etkileşim-bilinçli geri bildirimi etkinleştirmek için tanımlanan duygusal duruma göre görselleştirme modülünün dinamik olarak değiştirilmesini önerir. Belirli bir t zamanındaki etkileşim bağlamı c_t ile temsil edilir. Görselleştirme modülünün yanıtı şu şekilde verilir:

$Füzyon dönüşümü denklemi, $V_t = \Psi(z_t^{fusion}, \hat{y}_t, \hat{s}_t, c_t)$.$ (30)

görselleştirme adaptasyon fonksiyonu Parçacık fiziği çalışmasına ilişkin matematiksel denklemdeki kuantum dalga fonksiyonu sembolü Ψ(x). ile temsil edilir. Bu, sistem tahminlerine dayalı olarak modivite ısı haritalarını, etkileşim grafiklerini ve duygusal yörüngeleri gerçek zamanlı olarak ayarlamayı mümkün kılar. Bu durum, sistemin duygusal durum tahmininde iyi performans göstermesinin yanı sıra geri bildirim için önemli ölçüde destek sağladığını gösterir.

Sonuçlar

Bu çalışma, önerilen çok modlu duygu özellikleri için görsel eşleme çerçevesini, CH-SIMS ve CMU-MOSEI olmak üzere iki kıyaslama veri seti kullanarak hem etkileşim duyarlı yorumlanabilirlik hem de öngörücü performans açısından doğrulamaktadır. Deneysel sonuçlara göre, önerilen yaklaşım; korelasyon, doğruluk, F1-skoru ve ortalama mutlak hata (MAE) dahil olmak üzere çeşitli metriklerde, mevcut çok modlu duygu tanıma tekniklerinden tutarlı bir şekilde daha iyi performans göstermektedir. Ayrıştırılmış duygu temsili, grafik tabanlı çapraz modlu füzyon mekanizması ve uçtan uca derin temsil öğrenme stratejisinin tamamı, daha istikrarlı ve anlamsal olarak hizalanmış duygu modellemesine olanak tanıyarak bu iyileştirmeye katkıda bulunmaktadır. Önerilen yaklaşım, nicel kazanımların ötesine geçerek görsel eşleme yoluyla daha zengin özellik düzeyinde içgörüler sunmakta, modalite katkılarını ve duygusal dinamikleri anlamayı kolaylaştırmaktadır. Dil, kültürel ifade ve veri seti boyutundaki farklılıklara rağmen, söz konusu performans artışı her iki veri setinde de tutarlı bir şekilde gözlemlenmiş olup, önerilen çerçevenin güçlü genelleme kapasitesini kanıtlamaktadır.

Önerilen çalışmada, çok modlu duygu analizi için CH-SIMS ve CMU-MOSEI halka açık veri setleri kullanılmıştır. CH-SIMS veri seti; filmlerden, TV dizilerinden ve varyete programlarından alınan 2.281 video klibi içermektedir. CH-SIMS'te senkronize edilmiş metin, ses ve görsel veriler mevcuttur. Hem tek modlu hem de çok modlu duygu etiketleri pozitif, nötr ve negatif kategorilere ayrılmıştır. CMU-MOSEI olarak bilinen geniş İngilizce çok modlu veri seti, geniş bir konu yelpazesi üzerinde konuşan 1.0'den fazla konuşmacının yer aldığı yaklaşık 23.453 etiketli video klibi içermektedir. Bu veri seti, valans ve uyarılma gibi sürekli duygu-yoğunluk notasyonlarının yanı sıra kategorik duygu etiketlerini de içermektedir. Çeşitli dilsel, kültürel ve duygusal koşulları desteklemesi sayesinde, önerilen çerçevenin bu iki veri seti üzerinde gerçekleştirilen deneyleri, sağlamlığı ve güvenilirliği artırmaktadır. Tablo 2 simülasyon ortamı ayrıntılarını göstermektedir.

Önerilen çerçeveyi değerlendirmek için kullanılan temel deneysel ve uygulama ayarları, bu simülasyon ortamında özetlenmiştir. Metin tabanlı, işitsel ve görsel modaliteler arasında tekdüze özellik boyutluluğu sağlamak için, transformer tabanlı kodlayıcılarye tek tip olarak uygulanır. Duygusal durumlarla ilgili modallar arası bağımlılıkların adaptif öğrenilmesini sağlayan, çapraz modal füzyon için grafik tabanlı bir dikkat mekanizması kullanır.

Önerilen çerçeve, transformer tabanlı modalite kodlayıcılarını kullanarak metinsel, işitsel ve görsel temsilleri çıkarır. ReLU aktivasyonlu tam bağlantılı katmanlar, modaliteye özgü gömmeleri ortak bir gizli uzaya yansıtır. Ardından, her biri iki tam bağlantılı katmana, doğrusal olmayan aktivasyona ve normalizasyona sahip olan ayrı duyguya özgü ve modaliteye özgü kodlayıcılar, ayrıştırılmış temsiller öğrenmek için kullanılır. Gizli temsiller, her bir modalite ve duyguya ait bilgilerin ayrı öğrenildiği 256 boyutlu bir özellik uzayına yansıtılır. Modalite bilgisini korumak ve etkili bir ayrıştırmayı teşvik etmek için yeniden yapılandırma dekoderleri kullanılır. Çok modlu füzyon ve tahmin öncesinde, grafik tabanlı çapraz modalite dikkat modülü, gizli temsilleri kullanarak modaliteler arasındaki duygusal bağımlılıkları modeller. Ağ, 1 × 10⁻⁴ başlangıç öğrenme oranı ve 32'lik bir grup boyutu ile Adam optimize edici kullanılarak eğitilmiştir. Aşırı öğrenmeyi önlemek için doğrulama kaybına dayalı erken durdurma uygulanmıştır. Toplam amaç fonksiyonu; her biri ayarlanabilir hiperparametrelerle ağırlıklandırılmış sınıflandırma, yeniden yapılandırma ve temsil tutarlılığı kayıplarından oluşmuştur. Model eğitimi 10 epoka kadar sürdürülmüş ve doğrulama setinde en iyi performans gösteren model test için saklanmıştır.

Önerilen çerçeve; Doğruluk (Accuracy), Keskinlik (Precision), Duyarlılık (Recall) ve F1-skoru dahil olmak üzere sınıflandırma metriklerinin yanı sıra Ortalama Mutlak Hata (MAE) gibi regresyon metrikleri kullanılarak değerlendirilmiştir. Duygu kategorileri arasındaki sınıf dengesizliğini hesaba katmak için Keskinlik, Duyarlılık ve F1-skoru, makro-ortalama yöntemle hesaplanmıştır. Sınıflandırma deneyleri için, CH-SIMS ve CMU-MOSEI veri kümeleri tarafından sağlanan önceden tanımlanmış duygu/sentiman etiketleri referans sınıflar olarak kullanılmıştır. Regresyon tabanlı sentiman tahmini için ise veri kümelerindeki sürekli sentiman yoğunluğu skorları hedef değişkenler olarak kullanılmıştır. Sınıf bazlı tahmin performansını ve yanlış sınıflandırma modellerini analiz etmek amacıyla %95 güven aralığında konfüzyon matrisleri oluşturulmuştur. Sağlamlığı sağlamak için her deney, farklı rastgele başlangıç değerleri kullanılarak 5 kez tekrarlanmış ve raporlanan sonuçlar tüm çalıştırmalar genelindeki ortalama ±± standart sapma performansına karşılık gelmektedir. İstatistiki anlamlılık, uygun hipotez testi prosedürleri kullanılarak değerlendirilmiş ve uygulanabildiği yerlerde güven aralıkları hesaplanmıştır. Eğitim süresi, modelin belirtilen donanım platformu üzerinde yakınsaması için gereken toplam geçen süre olarak ölçülmüştür.

Erken füzyon ve geç füzyon dahil olmak üzere bir dizi temsili temel model, önerilen yöntemle karşılaştırılabilir. Bunlar arasında TFN, LSTM tabanlı yöntemler, düşük dereceli multimodal füzyon modelleri, adaptif multimodal transformerlar ve yeni çapraz modlu dikkat tabanlı mimariler yer almaktadır. Bu temel modeller, öncelikle çeşitli füzyon yöntemleri aracılığıyla duygu tanıma doğruluğunu artırmaya odaklanan son teknoloji teknikleri yansıtmaktadır. Önerilen çerçevenin ayrıştırılmış temsil öğrenimi ve grafik tabanlı füzyonu, öncelikle çıktı düzeyindeki tahmine odaklanan bu yöntemlerin aksine, yorumlanabilirliği ve etkileşim farkındalığını artırmaktadır. LSTM Füzyonu, TFN, Düşük Dereceli Multimodal Füzyon (LMF), Adaptif-Grafik ve transformer tabanlı teknikler, resmi depoları veya halka açık referans uygulamaları kullanılarak uygulanan temel model örnekleridir. Erişilebilir oldukları durumlarda yazarların orijinal hiperparametre ayarları kullanılmıştır. Adil bir karşılaştırma sağlamak amacıyla, yeniden eğitilen tüm temel modeller aynı veri seti bölümleri, ön işleme teknikleri, optimizasyon parametreleri ve değerlendirme kriterleri kullanılarak değerlendirilmiştir. Karşılaştırma tabloları, doğrudan önceki yayınlardan alınan veriler için ilgili referansları açıkça belirtmektedir.

Doğruluk

Ayrık duygu sınıflandırmasının doğruluğu hem CH-SIMS hem de CMU-MOSEI için ölçülmüştür; ancak doğruluk eğilimi, iki veri setinin özelliklerine bağlı olarak farklılık göstermektedir. CH-SIMS, eşit sayıda duygu kategorisine ve dikkatle ön işlemeden geçirilmiş video kliplere sahip orta ölçekli bir veri seti olduğundan doğruluğu yüksektir; bu durum, modelin az miktarda gürültü ile ince multimodal duygusal bilgileri yakalayabileceğini göstermektedir. Bununla birlikte, CMU-MOSEI farklı geçmişlerden konuşmacıların bulunduğu büyük ölçekli bir veri seti olduğu için duyguları doğru şekilde sınıflandırmak zorlayıcıdır. Bu nedenle, modelin duyguyu tanımlama yeteneğine ek olarak, CMU-MOSEI veri setindeki doğruluk oranı, modelin genelleme kapasitesini ve çeşitli etkileşim senaryolarına karşı dayanıklılığını göstermektedir. İki veri seti genelindeki doğruluk artışı, önerilen yaklaşımın farklı dillerdeki, boyutlardaki ve duygusal karmaşıklık seviyelerindeki veri setleri genelinde iyi bir genelleme yaptığını kanıtlamaktadır.

Önerilen yaklaşımın ve diğer yaygın temel modellerin CH-SIMS ve CMU-MOSEI veri kümeleri üzerindeki sınıflandırma doğrulukları Tablo 3'te gösterilmiştir. Tablo 3'te görüldüğü üzere, önerilen çerçeve hem CH-SIMS hem de CMU-MOSEI veri kümelerinde en yüksek doğruluğu elde ederek, en güçlü temel modeli (Adaptive-Graph) sırasıyla yaklaşık %3,3 ve 3,1 yüzdelik puan ile geride bırakmıştır. Daha düşük standart sapma değerleri, tekrarlanan deneysel çalışmalar boyunca daha fazla kararlılığa işaret etmektedir. Geleneksel LSTM-füzyon yaklaşımları, karmaşık modlar arası ilişkileri yakalama yeteneklerinin sınırlı olması nedeniyle daha düşük doğruluğa sahiptir. TFN ve LMF, modlar arası ilişkileri modelleyerek sınıflandırma doğruluğunu artırmaktadır.

F1-Skoru

Duygu sınıflandırma problemlerinde, geri çağırma (recall) ve kesinlik (precision) arasındaki denge F1-skoru kullanılarak ölçülür. Sınıf sayıları muhtemelen dengesiz olan multimodal duygu sınıflandırma veri setleri için bu nedenle daha uygundur. Duygu sınıflandırma görevlerinde, geri çağırma ve kesinlik arasındaki denge F1-skoru ile ölçülür. Multimodal duygu sınıflandırma veri setlerinin dengesiz olması beklendiği için F1-skoru daha uygundur. Model, duygu sınıflarını ne kadar iyi tespit edebilirse, F1-skoru o kadar yüksek olur.

Şekil 3, önerilen tekniğin CH-SIMS veri setindeki F1 skorunun temel modellerle birlikte değerlendirilmesini göstermektedir. LSTM tabanlı temel modelin, karmaşık çapraz modal duygusal ilişkileri modelleme yeteneğinin düşüklüğü, en düşük F1 skorundan anlaşılmaktadır. Değerlendirilen tekniklerin CH-SIMS veri setinde elde ettiği F1 skorları Şekil 3'te karşılaştırılmıştır. Gösterildiği üzere, daha gelişmiş grafik tabanlı ve transformer tabanlı yapılar, geleneksel füzyon tabanlı yöntemleri düzenli olarak geride bırakmaktadır. 0.71'lik F1 skoru ile LSTM modeli en düşük sonucu vermiş, onu TFN (0.74) ve LMF (0.76) takip etmiştir. Adaptive-Graph kullanımıyla F1 skoru 0.79'a yükselerek modallar arası bağlantıları modellemenin değerini kanıtlamıştır. Önerilen çerçeve, 0.82'lik F1 skoru ile Adaptive-Graph'ı %3.8, LMF'yi %7.9, TFN'yi %10.8 ve LSTM'yi %15.5 oranında geride bırakmıştır. Bu bulgular, önerilen grafik tabanlı çapraz modal dikkat mekanizmasının ve ayrıştırılmış temsil öğreniminin; metin, ses ve görsel modalitelerdeki tamamlayıcı duygusal bilgileri daha etkili bir şekilde yakaladığını ve bunun da daha iyi bir sınıflandırma performansına yol açtığını göstermektedir.

Şekil 4'te gösterildiği gibi, tüm yöntemler CH-SIMS'e kıyasla F1 skorunda hafif bir düşüş sergilese de göreceli eğilimler tutarlıdır. Bulgular, geleneksel füzyon yöntemlerinden grafik tabanlı çok modlu öğrenme stratejilerine doğru performansta istikrarlı bir iyileşme olduğunu göstermektedir. En düşük F1 skoruna sahip modeller LSTM (0,69), TFN (0,72) ve LMF (0,74) olmuştur. Adaptive-Graph modelinin performansı 0,77'ye yükselerek, modlar arası bağlantıların ne kadar iyi modellenebildiğini kanıtlamıştır. Önerilen çerçeve, 0,80 ile en yüksek F1 skoruna ulaşarak diğer tüm yaklaşımlardan daha iyi performans göstermiştir. En güçlü temel model olan Adaptive-Graph üzerindeki iyileşme; önerilen ayrıştırılmış duygu temsili öğreniminin ve grafik tabanlı modlar arası dikkat mekanizmasının, metinsel, akustik ve görsel modaliteler genelindeki tamamlayıcı duygusal ipuçlarını yakalamadaki katkılarını ortaya koymaktadır. Bu sonuçlar, çok modlu duygu tanıma için önerilen çerçevenin güvenilir ve verimli olduğunu göstermektedir. Önerilen yaklaşım, hem grafik tabanlı yaklaşıma hem de geleneksel füzyon yöntemine göre önemli bir iyileşme sergileyerek yöntemin güçlü genelleme kapasitesini daha da doğrulamaktadır. CMU-MOSEI veri setindeki F1 skorundaki artış, önerilen yaklaşımın gürültülü ve çeşitli ortamlarda bile dengeli bir duygu sınıflandırma performansı elde edebildiğini kanıtlamaktadır.

Hassasiyet

Akıllı iletişim sistemlerinde hassasiyet kritiktir çünkü hatalı bir duygusal sinyal kullanıcı deneyimini kötüleştirebilir. Belirli bir duygu için doğru tahmin edilen örneklerin sayısı ile o duyguyla ilişkilendirilen toplam vaka sayısının oranına hassasiyet (precision) denir. Ayrıştırılmış duygu temsilleri daha az gürültülü olduğundan ve modalitede yanlış sınıflandırmaya daha az eğilimli olduğundan, önerilen model, Şekil 5'teki CH-SIMS veri setinde temel modellerden daha yüksek performans göstermektedir.

Çeşitli multimodal duygu tanıma tekniklerinin CH-SIMS ve CMU-MOSEI veri kümeleri üzerinden elde edilen doğruluk oranları Şekil 5'te karşılaştırılmıştır. Modeller geleneksel füzyon tabanlı tekniklerden daha gelişmiş grafik tabanlı mimarilere geçtikçe, hassasiyet istikrarlı bir şekilde artmaktadır. Önerilen çerçeve, CH-SIMS veri kümesinde 0,82 ile maksimum hassasiyete ulaşmış; hassasiyet LSTM için 0,71'den TFN, LMF ve Adaptive-Graph için sırasıyla 0,74, 0,76 ve 0,79'a yükselmiştir. CMU-MOSEI veri kümesinde ise hassasiyet LSTM için 0,69'dan TFN, LMF ve Adaptive-Graph için sırasıyla 0,72, 0,74 ve 0,7'ye yükselmiştir. Önerilen yaklaşım 0,80 ile en yüksek hassasiyeti elde etmiştir. Önerilen çerçeve, en güçlü temel modelle (Adaptive-Graph) karşılaştırıldığında CH-SIMS'te yaklaşık %3,8 ve CMU-MOSEI'de %3,9 oranında hassasiyet artışı sağlamıştır. Bu bulgular, metinsel, akustik ve görsel modaliteler genelindeki tamamlayıcı duygusal bilgileri yakalayarak, önerilen ayrık temsil öğrenimi ve grafik tabanlı çapraz modal dikkat mekanizmasının yanlış pozitif tahminleri başarıyla azalttığını göstermektedir. İlgisiz modalitenin etkisi, grafik tabanlı çapraz modal dikkat ile daha da hafifletilmiştir. CMU-MOSEI korpusundaki konuşmacı ve dilsel ifadelerin artan çeşitliliği, tüm modeller için hassasiyetin hafifçe düşmesine neden olmaktadır.

Hatırlatma

Duygu tanıma görevlerinde, bir modelin belirli bir sınıfa ait duygusal örnekleri uygun şekilde kategorize etme yeteneğinin bir ölçüsü olan duyarlılık (recall), duygusal bilgi eksikliğinin etkileşim kalitesini olumsuz etkileyebilmesi nedeniyle kritik öneme sahiptir. Daha yüksek bir duyarlılık değeri, modelin daha az yanlış negatif belirlediğini ve daha fazla gerçek duygusal ifadeyi tanımladığını gösterir. Duyarlılık, multimodal duygu analizi bağlamında metin, ses ve görsel modalitelerden duygusal bilgilerin ne kadar verimli çıkarıldığının bir ölçüsü olarak kabul edilebilir.

Önerilen tekniğin CH-SIMS ve CMU-MOSEI veri kümeleri üzerindeki temel yaklaşımlara karşı avantajı, Şekil 6'daki geri çağırma (recall) karşılaştırmasında gösterilmiştir. Modeller, geleneksel füzyon tabanlı yöntemlerden daha sofistike grafik tabanlı multimodal yapılara doğru evrildikçe, sonuçlar istikrarlı bir şekilde geri çağırmada artışlar göstermektedir. CH-SIMS veri kümesinde geri çağırma değeri LSTM için 0,70 iken; TFN, LMF ve Adaptive-Graph için sırasıyla 0,73, 0,75 ve 0,78'e yükselmiş; önerilen çerçeve ile maksimum 0,82 değeri elde edilmiştir. Önerilen yaklaşım, geri çağırmanın LSTM için 0,68'den TFN, LMF ve Adaptive-Graph için sırasıyla 0,71, 0,73 ve 0,76'ya yükseldiği CMU-MOSEI veri kümesinde 0,80 ile en iyi geri çağırma değerini yakalamıştır. Önerilen çerçeve, en güçlü temel yaklaşımla (Adaptive-Graph) karşılaştırıldığında CH-SIMS'de yaklaşık %5,1 ve CMU-MOSEI'de %5,3'lük göreli iyileşmeler sağlamıştır. Bu sonuçlar, metinsel, akustik ve görsel modaliteler arasındaki tamamlayıcı duygusal ipuçlarını yakalayarak, önerilen ayrıklaştırılmış temsil öğrenimi ve grafik tabanlı çapraz modal dikkat mekanizmasının yanlış negatif tahminleri başarıyla azalttığını, böylece her iki veri kümesinde de duygu sınıflarının tanımlanmasını iyileştirdiğini göstermektedir. Geleneksel yöntemler, karmaşık çapraz modal ilişkileri modelleme kapasitesine sahip olmadıkları için düşük geri çağırma değerlerine sahip olma eğilimindedirler. TFN ve LMF, modalite ilişkilerini daha açık bir şekilde modelleyerek orta düzeyde kazanımlar elde etmektedir. Adaptive-Graph yöntemi, modaliteler arasındaki yapılandırılmış ilişkileri simüle ederek geri çağırmayı daha da iyileştirmiştir. Her iki veri kümesi için de önerilen yöntem en yüksek geri çağırma değerine ulaşmış, bu da farklı etkileşim senaryolarındaki duygusal örnekleri tespit etme konusundaki daha üstün yeteneğini göstermiştir. İyileşme, büyük ölçekli CMU-MOSEI veri kümesinde daha belirgin olup önerilen çerçevenin sağlamlığını ve genelleme kapasitesini kanıtlamaktadır.

Ortalama mutlak hata (MAE)

Ortalama Mutlak Hata (MAE), valans veya uyarılma tahmini gibi sürekli duygu yoğunluğu tahmin görevlerinin performansını değerlendirmek için kullanılır. Doğruluğun aksine MAE, tahmin edilen duygusal yoğunluğun gerçek duygusal duruma yakınlığını daha iyi yansıtır. Bu nedenle MAE, sürekli afektif etiketlere sahip olan CH-SIMS ve CMU-MOSEI gibi veri kümeleri için daha uygundur. Daha düşük bir MAE değeri, duygu yoğunluğu tahmininde daha yüksek doğruluğa işaret eder.

Önerilen çerçevenin ve temel yaklaşımların CH-SIMS ve CMU-MOSEI veri setleri üzerindeki MAE karşılaştırması Tablo 4'te gösterilmiştir. Geleneksel LSTM tabanlı füzyon yöntemleri, karmaşık çok modlu duygusal bağımlılıkları modelleme yeteneklerinin sınırlı olması nedeniyle daha yüksek MAE değerlerine sahip olma eğilimindedir. TFN ve LMF, çok modlu etkileşimleri modelleyerek MAE'yi azaltabilir ve Adaptif-Graf yaklaşımı, modalite graf ilişkilerini öğrenerek bu değeri daha da düşür. Önerilen çerçeve, her iki veri setinde de en düşük MAE değerine ulaşarak duygu yoğunluğunun daha doğru tahmin edildiğini göstermektedir. Büyük ölçekli veri değişkenliğinin ve konuşmacı koşullarının tahmin görevini daha zorlu hale getirdiği CMU-MOSEI veri setinde iyileştirmenin daha belirgin olduğu dikkate değerdir.

CH-SIMS veri seti için hata matrisi

CH-SIMS veri seti için hazırlanan konfüzyon matrislerine göre, erken füzyon LSTM ve TFN temel yöntemleri, nötr ve pozitif duygu sınıfları arasında önemli bir karmaşa göstermektedir. Bu durum, söz konusu yöntemlerin ince multimodal duygusal ifadeleri tanımlama konusunda çok başarılı olmadığını göstermektedir. Diğer yandan, önerilen yöntem, çok az sayıda diyagonol dışı elementle belirgin bir diyagonal baskınlık sergilemekte ve böylece sınıf ayrıştırılabilirliğini artırmaktadır. Önerilen yöntemin ayrıştırılmış duygu öğrenme mekanizması, modaliteler arasında tutarlı bir duygu temsili sağlar ve graf füzyon yaklaşımı, birbirine yakın duygu sınıfları arasındaki ayırt ediciliği geliştirir. Şekil 7A–E, çeşitli temel yöntemlerle CH-SIMS veri seti için konfüzyon matrisini göstermektedir.

CMU-MOSEI veri seti için karışıklık matrisi

Önerilen çerçeve, yanlış sınıflandırma oranını, özellikle duygusal olarak belirsiz girdiler için önemli ölçüde azaltmak amacıyla modalite-bağımsız duygu gömmeleri ve adaptif dikkat ağırlıkları kullanmaktadır. Bu durum, önerilen çerçevenin çeşitli büyük ölçekli multimodal etkileşim senaryolarında iyi çalıştığını doğrulamaktadır. Veri setinin boyutu, konuşmacı varyasyonu ve duygu etiketlerinin sürekliliği nedeniyle, CMU-MOSEI konfüzyon matrisleri genel olarak daha yüksek bir yanlış sınıflandırma oranı sergilemektedir. Temel yöntemler, çeşitli duygu kategorileri arasında önemli derecede karışıklık olduğunu göstermektedir. Şekil 8A–E, çeşitli temel yöntemlerle CMU-MOSEI veri seti için konfüzyon matrisini göstermektedir.

Epok başına eğitim süresi

Gelişmiş multimodal füzyon tekniklerinin hesaplama ödünleşimleri, epok başına eğitim süresinin karşılaştırılmasıyla vurgulanmaktadır. Transformer kodlayıcılar ve grafik dikkat mekanizmaları nedeniyle, önerilen model basit füzyon yaklaşımlarından biraz daha fazla eğitim süresine ihtiyaç duymaktadır, ancak bu artış yönetilemez düzeyde değildir. Önerilen çerçeve, kıyaslama multimodal duygu analizi veri kümelerinde güçlü bir performans sergilemiş ve akıllı insan-makine etkileşim sistemlerine entegrasyon potansiyeli göstermiştir. Bununla birlikte, gerçek zamanlı dağıtım uygunluğu mevcut çalışmada değerlendirilmemiştir ve gecikme, veri işleme hızı, bellek ve dağıtım analizleri aracılığıyla daha fazla araştırma gerektirmektedir. Özellikle, iyileştirilmiş yakınsama stabilitesi ile üstün öngörücü ve yorumlanabilirlik performansı, ek hesaplama maliyetini değerli kılmaktadır. Şekil 9, önerilen yöntem için epok başına eğitim süresi sonucunu göstermektedir.

Ablasyon çalışması

Önerilen çerçevedeki görsel eşleme modülü, grafik tabanlı çapraz modal füzyon ve ayrıştırılmış duygu temsili gibi her bir önemli unsurun etkisini belirlemek için bir ablasyon çalışması yürütülmüştür. Etkiyi anlamak amacıyla, her bir unsur sırayla devre dışı bırakılmıştır. Deneysel sonuçlara göre, grafik füzyon stratejisi çapraz modal bağımlılık modellemesini geliştirmekte ve ayrıştırılmış duygu temsilinin katkısı performans kararlılığı için en kritik rolü oynamaktadır. Görsel eşleme modülünün yardımcı rolü, kaldırıldığında performans üzerindeki etkisinin hafif olmasıyla doğrulanmıştır. Aynı eğitim ve değerlendirme koşulları altındaki ablasyon çalışması sonuçları Tablo 5'te gösterilmiştir. En büyük performans düşüşü, doğruluğu %81,72'den %7,8'e ve F1-skorunu 0,823'ten 0,76'ya düşüren grafik tabanlı çapraz modal dikkat modülü çıkarıldıktan sonra gözlemlenmiştir. Bu durum, karmaşık modallar arası etkileşimlerin modellenmesinin önemini vurgulamaktadır. Ayrıştırılmış temsil öğrenme modülünün sağlam duyguya özgü temsiller öğrenmedeki rolü, kaldırıldığında doğruluğun 2,78 yüzde puanı ve F1-skorunun 0,032 azaldığı gerçeğiyle kanıtlanmıştır. Görsel eşleme modülünün ana avantajı, kaldırıldığında tahmin performansında meydana gelen nispeten daha küçük düşüşün gösterdiği üzere, sınıflandırma doğruluğundan ziyade yorumlanabilirliktir. Temel Füzyon yapılandırması en düşük performansı sergilemiş; bu da en iyi multimodal duygu tanıma performansının, önerilen tüm modüllerin ortak etkisini gerektirdiğini kanıtlamıştır.

VERİ KULLANILABİLİRLİĞİ:

Bu çalışmada kullanılan veri kümeleri, halka açık kıyaslama (benchmark) veri kümeleridir. CMU-MOSEI veri kümesi, Carnegie Mellon University Multimodal SDK tarafından sağlanmış ve Zadeh ve ark. (2018) (https://doi.org/10.18653/v1/P18-1208) tarafından tanımlanmıştır; erişim https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/ adresinden sağlanmaktadır. CH-SIMS veri kümesi, Yu ve ark. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) tarafından tanımlanmış olup, https://github.com/thuiar/MMSA dahil olmak üzere yazarlar tarafından sunulan kaynaklar aracılığıyla kamuya açıktır. Tüm deneyler, bu veri kümelerinin resmi versiyonları kullanılarak gerçekleştirilmiştir. Ham olarak çıkarılmış veriler, işlenmiş veri dosyaları, ön işleme çıktıları, eğitim/doğrulama/test bölümleri, türetilmiş öznitelik temsilleri ve bu çalışmanın bulgularını destekleyen uygulama detayları, Zenodo deposunda https://doi.org/10.5281/zenodo.2124921 adresinden halka açık olarak erişime sunulmuştur.

Çok modlu öğrenme diyagramı; dikkat ağı aracılığıyla metin, ses ve video kullanılarak duygu sınıflandırması.
Şekil 1Önerilen multimodal duygu özellik görsel eşleme çerçevesinin şematik diyagramı. Yorumlanabilir çok modlu duygu analizi için çok modlu öznitelik çıkarımı, ayrık temsil öğrenimi, graf tabanlı çapraz modlu dikkat füzyonu ve görsel eşleme bileşenlerini gösteren genel mimarinin kavramsal illüstrasyonu. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Metin, ses ve video içeren çok modlu duygu analizi diyagramı; dikkat matrisi; duygu gömmeleri.
Şekil 2Önerilen hesaplamalı protokolün şematik iş akışı diyagramı.
Veri seti edinimi, ön işleme, modaliteye özgü özellik çıkarımı, multimodal füzyon, görselleştirme ve duygu tahmini aşamalarını içeren uçtan uca işlem hattının kavramsal temsili Lütfen bu şeklin daha büyük bir versiyonunu görüntülemek için buraya tıklayın.

Yöntemlerin F1-skoru karşılaştırma grafiği: Hata çubukları ile LSTM, TFN, LMF, Adaptive-Graph ve Önerilen yöntem.
Şekil 3CH-SIMS veri kümesindeki F1-skoru performansının karşılaştırılmasıBeş bağımsız deneysel çalışmadan elde edilen ortalama F1-skoru değerleri (n = 5) farklı rastgele tohum başlatmaları kullanılarak. Hata çubukları şunları temsil etmektedir: ±± bir standart sapma (SS)Daha yüksek F1-skoru değerleri, daha iyi duygu sınıflandırma performansı olduğunu gösterir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Önerilen yöntemin en yüksek performansı gösterdiği yöntemlerin (LSTM, TFN, LMF) F1-skoru karşılaştırma grafiği.
Şekil 4CMU-MOSEI veri setindeki F1-skor performansı karşılaştırmasıBeş bağımsız deneysel çalışmadan elde edilen ortalama F1-skoru değerleri (n = 5) farklı rastgele başlangıç değerleri (seed) kullanılarak. Hata çubukları şunları temsil etmektedir: ± bir standart sapma (SD)ve buna karşılık gelen ortalama ± SD Değerler, her veri noktasının üzerinde görüntülenmiştir. Daha yüksek F1-skoru değerleri, daha iyi duygu sınıflandırma performansını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5CH-SIMS ve CMU-MOSEI veri kümeleri üzerinde kesinlik karşılaştırması. LSTM, TFN, LMF, Adaptive-Graph ve önerilen çerçevenin şunlar genelinde elde ettiği ortalama kesinlik skorları beş bağımsız deneysel çalışma (n = 5)Hata çubukları şunları temsil eder: ± bir standart sapma (SS) farklı rastgele tohum başlangıç değerleriyle yapılan tekrarlı çalıştırmalardan hesaplanmıştır. Önerilen çerçeve, etkili multimodal özellik öğrenimi ve graf tabanlı çapraz modal füzyon aracılığıyla duygu sınıflarının ayrımını iyileştirerek her iki veri setinde de en yüksek kesinliği sağlamıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Sütun grafiği analizinde yöntemler genelinde CH-SIMS ve CMU-MOSEI için geri çağırma oranlarının karşılaştırılması.
Şekil 6: CH-SIMS ve CMU-MOSEI veri setleri üzerinde geri çağırma karşılaştırması. LSTM, TFN, LMF, Adaptive-Graph ve önerilen çerçevenin şunlar genelinde elde ettiği ortalama geri çağırma skorları beş bağımsız deneysel çalışma (n = 5). Hata çubukları şunu göstermektedir: ± bir standart sapma (SS) tekrarlanan deneylerden elde edilmiştir. Önerilen çerçeve, her iki veri setinde de tutarlı bir şekilde en yüksek geri çağırma (recall) oranına ulaşarak, çok modlu duygusal bilgileri yakalama ve yanlış negatif tahminleri azaltma konusunda üstün bir yetenek sergilemektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Sınıflandırma doğruluğu için konfüzyon matrisi grafikleri; negatif, nötr, pozitif tahmin edilen etiketler.
Şekil 7Çeşitli temel yöntemlerle CH-SIMS veri seti için konfüzyon matrisiSatırlar gerçek duygu sınıflarına, sütunlar ise tahmin edilen sınıflara karşılık gelmektedir. Hücre değerleri, her bir gerçek sınıfa göre normalize edilmiş örneklerin yüzdesini temsil etmektedir. Karmaşıklık matrisi, ayrılmış CH-SIMS test bölümü kullanılarak hesaplanmıştır. Köşegen üzerindeki daha yüksek yüzdeler, ilgili duygu kategorisi için daha iyi bir tanıma doğruluğuna işaret eder. ( şunların karmaşıklık matrisleri:A) Erken füzyon LSTM, (B) TFN, (C) LMF, (D) Adaptif Grafik ve (E) CH-SIMS veri seti üzerinde önerilen yöntem. Lütfen bu şeklin daha büyük bir versiyonunu görüntülemek için buraya tıklayın.

Sınıflandırma modelleri için tahmin edilen değerler ile gerçek etiketleri görüntüleyen konfüzyon matrisi grafikleri.
Şekil 8Çeşitli temel yöntemlerle CMU-MOSEI veri seti için karışıklık matrisiSatırlar gerçek duygu etiketlerini, sütunlar ise tahmin edilen etiketleri temsil etmektedir. Değerler, CMU-MOSEI test seti üzerinde sınıf-normalleştirilmiş yüzdeler olarak bildirilmiştir. Matris, hem doğru sınıflandırılan örnekleri (köşegen girişleri) hem de duygu kategorileri arasındaki karışıklıkları (köşegen dışı girişler) göstermektedir. CMU-MOSEI Karışıklık Matrisi (A) Erken füzyon LSTM, (B) TFN, (C) LMF, (D) Adaptif Graf ve (E) CMU-MOSEI veri seti üzerinde önerilen yöntem. Lütfen bu şeklin daha büyük bir versiyonunu görüntülemek için buraya tıklayın.

10 epoch boyunca CH-SIMS ve CMU-MOSEI veri setleri için eğitim süresi karşılaştırma grafiği.
Şekil 9Kıyaslama amaçlı multimodal duygu veri kümelerinde epoch başına eğitim süresinin karşılaştırılması.
...dan elde edilen epok başına ortalama eğitim süresi beş bağımsız deneysel çalışma (n = 5) aynı donanım ve yazılım ayarları altında CH-SIMS ve CMU-MOSEI veri kümeleri için. Hata çubukları şunları temsil etmektedir: ± bir standart sapma (SS) farklı rastgele tohum başlangıçları kullanılarak tekrarlanan deneylerden hesaplanmıştır. Daha düşük değerler daha yüksek hesaplama verimliliğini gösterirken, denemeler arasındaki kararlı eğitim süreleri geliştirilmiş tekrarlanabilirliğe ve eğitim tutarlılığına işaret eder. Lütfen bu şeklin daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.

Veri Seti	Modaliteler	Örnek Sayısı	Dil	Duygu/Sentiye Etiketleri
CH-SIMS³⁴	Video, Ses, Metin	2.281 video segmenti	Çince	Multimodal ve unimodal sentiye etiketleri (negatif, nötr, pozitif)
CMU-MOSEI³⁵	Video, Ses, Metin	~23.453 açıklanmış klip	İngilizce	Sentiye ve duygu yoğunluğu etiketleri (sürekli ve kategorik)

Tablo 1: Veri seti açıklaması. Bu çalışmada kullanılan veri setlerinin, modalitelerin, örnek sayılarının, dillerin ve CH-SIMS ile CMU-MOSEI veri setleri için duygu/sentiment etiketlerinin özeti.

Bileşen	Özellik
Programlama Çatısı	PyTorch ile Python
Görsel Öznitelik Çıkarıcı	Vision Transformer (ViT)
Ses Öznitelik Çıkarıcı	Wav2Vec 2.0
Metin Öznitelik Çıkarıcı	RoBERTa
Füzyon Stratejisi	Graf Tabanlı Çapraz Modal Dikkat Ağı
Öznitelik Boyutu	modalite başına 768
Eğitim Optimize Edicisi	Adam
Öğrenme Oranı	1.0E-04
Yığın Boyutu	16
Donanım	NVIDIA GPU (örneğin, RTX serisi)
Değerlendirme Veri Setleri	CH-SIMS, CMU-MOSEI
Gizli Boyut	2.56E+02
Gömme Boyutu	768
Aktivasyon Fonksiyonu	ReLU
Optimize Edici	Adam
Öğrenme Oranı	1.0E-04
Yığın Boyutu	32
Epok Sayısı	100
Erken Durdurma	Etkin
Kayıp Fonksiyonu	Sınıflandırma + Yeniden Yapılandırma + Tutarlılık

Tablo 2: Simülasyon ortamı. Model ayrıntıları, özellikler, optimize edici ve kullanılan donanım gibi simülasyon ortamı deneysel kurulumu ve uygulama detayları.

Yöntem	CH-SIMS Doğruluğu (%)	CMU-MOSEI Doğruluğu (%)
LSTM (Erken/Geç Füzyon)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptif-Graf	78.46 ± 0.73	76.89 ± 0.81
Önerilen Yöntem	81.72 ± 0.61	79.94 ± 0.69

Tablo 3: Önerilen yöntemin doğruluğunun CH-SIMS ve CMU-MOSEI veri setleri üzerinde temel tekniklerle değerlendirilmesi. Sonuçlar, farklı rastgele tohum başlatmaları kullanılarak gerçekleştirilen beş bağımsız deneysel çalıştırmadan (n = 5) elde edilen ortalama ±± standart sapma olarak bildirilmiştir. Adil bir karşılaştırma sağlamak için tüm yöntemler, ilgili veri setlerinin özdeş eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir.

Yöntem	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Erken/Geç Füzyon)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.34 ± 0.09	0.379 ± 0.010
Önerilen Yöntem	0.298 ± 0.07	0.341 ± 0.08

Tablo 4: Ortalama mutlak hata sonucu. Sonuçlar, farklı rastgele başlangıç değerleri kullanılarak gerçekleştirilen beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama ±± standart sapma şeklinde bildirilmiştir. Adil bir karşılaştırma sağlamak amacıyla, tüm yöntemler kendi veri kümelerinin aynı eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir. Önerilen çerçeve ve temel yaklaşımların her iki veri kümesi üzerinde sürekli duygu yoğunluğu tahmini için MAE karşılaştırması.

Model Varyantı	Doğruluk (%)	F1-skoru
Tam Model	81.72 ± 0.61	0.823 ± 0.08
Çözümleme Olmadan	78.94 ± 0.74	0.791 ± 0.010
Graf Füzyonu Olmadan	7.8 ± 0.81	0.76 ± 0.01
Görsel Eşleme Olmadan	80.1 ± 0.6	0.807 ± 0.09
Temel Füzyon	74.91 ± 0.98	0.742 ± 0.013

Tablo 5: Temel yöntemlerle yapılan ablasyon çalışmasının sonucu. Sonuçlar, farklı rastgele başlangıç değerleri kullanılarak gerçekleştirilen beş bağımsız deneysel çalışmadan (n = 5) elde edilen ortalama ±± standart sapma olarak bildirilmiştir. Adil bir karşılaştırma sağlamak amacıyla tüm yöntemler, ilgili veri setlerinin aynı eğitim, doğrulama ve test bölümleri kullanılarak değerlendirilmiştir. Model varyantları arasındaki performans karşılaştırması; ayrıştırılmış temsillerden öğrenmenin, grafik tabanlı füzyonun ve görsel eşleme modülünün etkinliğini göstermektedir.

Ek Dosya 1: Algoritma 1 ve Algoritma 2.Lütfen bu dosyayı indirmek için buraya tıklayın.

Tartışma

Deneysel bulgular, CH-SIMS ve CMU-MOSEI veri kümeleri genelinde, multimodal duygu özellikleri için önerilen görsel eşleme çerçevesinin, mevcut multimodal duygu tanıma tekniklerinden daha üstün performans gösterdiğini kanıtlamaktadır. EF-LSTM ve TFN gibi erken ve geç füzyon modelleriyle karşılaştırıldığında, önerilen teknik daha yüksek doğruluk ve F1 Skorları elde ederek, çeşitli duygusal bilgilerin işlenmesindeki dayanıklılığını ortaya koymuştur. Yöntemdeki bu iyileşme, modaliteye özgü gürültüyü bastıran ve görsel, işitsel ve metin modaliteleri arasında duygu tutarlılığını sağlayan ayrıştırılmış duygu temsiline atfedilebilir³⁶.

Son zamanlarda, Adaptive Multimodal Transformers³⁷ ve MIAR³⁸ gibi transformer tabanlı multimodal modeller, modlar arası bağımlılıkların modellenmesinde etkileyici sonuçlar göstermiştir. Buna rağmen, bu modeller öncelikle tahminleme üzerine odaklanmış olup öznitelik düzeyinde yorumlanabilirliği destekleyen mekanizmalardan yoksundur. Buna karşılık, önerilen sistem, graf tabanlı modlar arası dikkati görsel bir eşleme modülüyle birleştirerek modalite ve duygusal etkileşimlerin şeffaf bir şekilde analiz edilmesine olanak tanımaktadır. Bu, duygusal çıkarımın bir kara kutu süreci olarak ele alındığı mevcut literatürde eksik olan kritik bir yöndür.

Önerilen çerçeve, CH-SIMS ve CMU-MOSEI karşılaştırma veri kümeleri genelinde tutarlı bir performans sergilemiştir. Çerçevenin akıllı insan-makine etkileşimi, sağlık izleme, adaptif öğrenme ortamları ve diğer duyguya duyarlı sistemlerde potansiyel uygulama alanları bulunsa da, mevcut çalışma yöntemi yalnızca kontrollü karşılaştırma koşulları altında değerlendirmiştir. Gerçek dünya uygulaması, kullanıcı arayüzü değerlendirmesi, kullanılabilirlik çalışması veya insan denek değerlendirmesi gerçekleştirilmemiştir. Bu nedenle, çerçevenin operasyonel ortamlardaki pratik etkinliğinin araştırılması gerekmektedir. Gelecekteki çalışmalar; uygulama odaklı değerlendirmelere, kullanıcı merkezli çalışmalara, gecikme analizine, bellek tüketimi değerlendirmesine ve gerçek zamanlı etkileşim performansına odaklanacaktır.

Ayrıca, kültürel ve dilsel açıdan çeşitli veri kümelerinde elde edilen performans iyileştirmeleri, önerilen çerçevenin geçerliliğini kanıtlamaktadır. Tek bir veri kümesi veya belirli bir etkileşim senaryosu üzerinde doğrulanmış önceki çalışmaların aksine, önerilen çerçeve; diller, konuşmacılar ve duygusal ifadeler genelinde güçlü bir performans sergilemektedir. Bu nedenle, önerilen çerçeve, doğru duygu tanıma ve yorumlanabilir karar verme gerektiren pratik akıllı etkileşim sistemleri için oldukça uygundur.

Önerilen çerçevenin yorumlanabilirliği, öğrenilen multimodal temsillerin görselleştirme tabanlı analizi yoluyla değerlendirilmiştir. Özellikle, modelin karar sürecine ve modalite katkılarına dair içgörüler sağlamak amacıyla gizil duygu gömülmeleri, çapraz modalite dikkat haritaları, modalite etkileşim grafikleri ve zamansal duygu yörüngeleri incelenmiştir. Görsel eşleme modülünün amacı, özellik düzeyindeki etkileşimlerin ve duygusal dinamiklerin gözlemlenmesine olanak tanıyarak şeffaflığı artırmaktır. Bununla birlikte, mevcut çalışmaya resmi yorumlanabilirlik metrikleri, dikkat-sadakat değerlendirmeleri ve kullanıcı çalışmaları dahil edilmemiştir. Bu nedenle, rapor edilen yorumlanabilirlik avantajları, nicel olarak doğrulanmış açıklanabilirlik ölçütlerinden ziyade görselleştirme tabanlı kanıtlar olarak değerlendirilmelidir.

Teorik açıdan bakıldığında, bu araştırma multimodal afektif hesaplamaya şu katkıları sağlamaktadır: Duyguya özgü ve modaliteye özgü temsilleri net bir şekilde ayıran sistematik bir duygu modelleme yöntemi önermektedir. Önerilen çerçeve, ortak bir latent uzayda modaliteler arasında duygusal tutarlılığı garanti ederek, multimodal sistemlerdeki temsil öğrenimi teorisini ilerletmektedir. Graf tabanlı dikkat mekanizmalarının dahil edilmesi, duyguların ifade edilmesinde farklı modaliteler arasındaki bağımlılıkları daha da formelleştirmektedir.

Pratik bir bakış açısıyla, önerilen çerçeve, akıllı etkileşim tasarımı ve duygu duyarlı kullanıcı arayüzleri için oldukça faydalıdır. Önerilen çerçevedeki görsel eşleme modülü, sistem tasarımcılarının çeşitli modalitelerin duygu tahmini üzerindeki etkisini anlamalarını sağlar ki bu, sistem tasarımcıları için çok önemlidir. Önerilen çerçeve; afektif konuşma ajanları, adaptif öğrenme sistemleri, sağlık izleme arayüzleri ve kullanıcı deneyimi değerlendirme platformları gibi uygulamalar için oldukça yararlıdır.

Buna rağmen, önerilen çerçevenin bazı sınırlamaları bulunmaktadır. Graf dikkat mekanizmalarının ve transformer kodlayıcıların kullanımı, sınırlı kapasiteye sahip cihazlar için sorun teşkil edebilecek bir karmaşıklık eklemektedir. Ayrıca, mevcut çalışma; görsel, işitsel ve metinsel modalitelere odaklanmak adına EEG ve göz izleme gibi diğer fizyolojik sinyalleri göz ardı etmektedir. Rekabetçi bir tahmin performansı ve geliştirilmiş görselleştirme kapasitesi elde edilmiş olsa da, önerilen çerçevenin gerçek zamanlı dağıtım için hesaplama verimliliği spesifik olarak değerlendirilmemiştir. Gelecekteki araştırmalar; gerçek dünyadaki akıllı etkileşim bağlamlarındaki dağıtım performansını, çıkarım gecikmesini, iş çıkarma kapasitesini, bellek tüketimini ve model sıkıştırma tekniklerini inceleyecektir. Duygu modellemesinin doğruluğunu ve etkileşim yanıt verme hızını daha da artırmak için gelecek çalışmalar; hafif modeller geliştirilmesine, gerçek zamanlı optimizasyon tekniklerine ve ek modalitelerin dahil edilmesine odaklanacaktır. Gerçek zamanlı dağıtım performansı değerlendirilmemiştir ve transformer kodlayıcılar ile graf tabanlı dikkat yöntemlerinin dahil edilmesi hesaplama karmaşıklığını artırmaktadır. Metodolojiyi doğrulamak için yalnızca CH-SIMS ve CMU-MOSEI kıyaslama veri setleri kullanılmıştır; bu durum veri setine özgü yanlılıklara yol açabilir ve diğer alanlara, dillere ve kullanıcı popülasyonlarına yönelik genellenebilirliği kısıtlayabilir. Ek olarak, mevcut çalışma EEG veya göz izleme verileri gibi fizyolojik sinyalleri içermemekte; bunun yerine görsel, işitsel ve metinsel modalitelere yoğunlaşmaktadır. Ayrıntılı uygulama ve simülasyon ortamı açıklamaları tekrarlanabilirliği artırmış olsa da, kaynak kodlar ve önceden eğitilmiş modeller şu an için kamuya açık değildir.

Bu çalışmada, akıllı etkileşim tasarımı için çok modlu duygu özellik öğrenimine yönelik yeni bir görsel eşleme çerçevesi kullanılmıştır. Önerilen yöntem, yüksek tahmin doğruluğuna ve yorumlanabilirliğe ulaşmak için uçtan uca transformer tabanlı temsil öğrenimini, ayrıştırılmış duygu modellemesini ve grafik tabanlı çapraz modlu dikkati entegre eder. CH-SIMS ve CMU-MOSEI veri kümeleri üzerinde yapılan deneyler, önerilen çerçevenin doğruluk ve F1-skoru açısından mevcut en gelişmiş çok modlu duygu tanıma modellerinden daha iyi performans gösterdiğini ortaya koymaktadır. Daha da önemlisi, önerilen görsel eşleme çözümü, duygu tanıma ile etkileşim stratejisi arasındaki boşluğu kapatmakta ve yorumlanabilir, etkileşim farkındalıklı çok modlu afektif hesaplama sistemlerinin tasarımı için yeni bir yön sunmaktadır.

Yorumlanabilir ve akıllı etkileşim tasarımını kolaylaştırmak için bu çalışma, çok modlu duygu özelliklerini öğrenmeye yönelik yeni bir görsel eşleme çerçevesi sunmuştur. Önerilen sistem; transformer tabanlı çok modlu özellik çıkarımı, ayrıştırılmış duygu temsil öğrenimi, grafik tabanlı çapraz modlu dikkat füzyonu ve görsel eşleme yöntemlerini birleştirerek, duygu tespiti ve yorumlanabilirliği tek bir mimari içinde başarıyla entegre etmektedir. Modalite katkılarının, çapraz modlu etkileşimlerin ve zamansal duygu dinamiklerinin net görsel temsillerini sunmasının yanı sıra, CH-SIMS ve CMU-MOSEI kıyaslama veri kümeleri üzerindeki deneysel değerlendirme; Doğruluk, Kesinlik, Duyarlılık, F1-skoru ve Ortalama Mutlak Hata (MAE) dahil olmak üzere çeşitli metriklerde temsili temel yöntemlere göre geliştirilmiş bir performans göstermiştir. Bununla birlikte, iki kıyaslama veri kümesi üzerindeki değerlendirmelerle sınırlı olan bu çalışmaya gerçek dünya uygulama çalışmaları, kullanıcı merkezli değerlendirmeler, nicel açıklanabilirlik analizleri ve fizyolojik modalitelerin entegrasyonu dahil edilmemiştir. Ayrıca, kaynakları sınırlı ortamlar, transformer kodlayıcıların ve grafik tabanlı dikkat süreçlerinin hesaplama maliyeti nedeniyle zorluklarla karşılaşabilir. Gelecek çalışmalar; çeşitli veri kümeleri genelinde daha kapsamlı doğrulamaya, ek modalitelerin entegrasyonuna, kullanılabilirlik çalışmalarına, yeniden üretilebilir kaynakların yayınlanmasına ve gerçek zamanlı uygulama senaryoları için optimizasyona odaklanacak olsa da, önerilen çerçeve genel olarak duyuşsal hesaplama ve akıllı etkileşim uygulamaları için yorumlanabilir çok modlu duygu analizinin potansiyelini ortaya koymaktadır.

Açıklamalar

Yazarların herhangi bir çıkar çatışması yoktur.

Teşekkürler

Yazarlar, Universiti Sains Malaysia, Penang, Malezya'daki Konut, Bina ve Planlama Okulu ile Changsha University of Science & Technology, Changsha, Çin'deki Tasarım Sanatları Okulu tarafından sağlanan destek için teşekkürlerini sunarlar. Yazarlar ayrıca, bu çalışma boyunca sağladıkları akademik ve araştırma destekleri için Xiamen Academy of Arts and Design, Fuzhou University, Xiamen, Çin'e şükranlarını sunarlar.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
Ad	Şirket	Katalog numarası	Yorumlar
Adam	PyTorch Optimizer Kütüphanesi	https://pytorch-optimizers.readthedocs.io/en/latest/ (Öğrenme Oranı = 1 × 10^-4)	Model eğitimi sırasında parametre optimizasyonu
CH-SIMS	Orijinal Veri Seti Deposu	En Son Kamuye Açık Sürüm	Çince çok modlu duygu/emosyon analizi için kıyaslama veri seti
CMU-MOSEI	CMU Multimodal SDK Deposu	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (En Son Kamuye Açık Sürüm)	Çok modlu duygu ve emosyon tanıma için kıyaslama veri seti
Ayrıştırılmış Emosyon Kodlayıcı	Özel Uygulama	https://pytorch-geometric.readthedocs.io/en/latest/(Çift Kodlayıcı Mimarisi)	Emosyon-özgü ve modalite-özgü gizli temsil்களின் ayrıştırılması
Graf Dikkat Ağı (GAT)	PyTorch Geometric	Çok başlı GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modallar arası emosyonel ilişkilerin modellenmesi ve adaptif özellik füzyonu
Graf Tabanlı Modallar Arası Dikkat Katmanı	Özel Uygulama	Çok Başlı Dikkat Füzyonu	Modaliteler arasında ince taneli emosyonel bağımlılıkların öğrenilmesi
Matplotlib	Matplotlib Projesi	3.7+	Grafiklerin ve görsel analizlerin oluşturulması
NetworkX	NetworkX Projesi	3.0+	Modallar arası etkileşim graflarının oluşturulması ve görselleştirilmesi
NVIDIA GPU	NVIDIA Corporation	CUDA destekli GPU	Transformer ve graf sinir ağı eğitiminin hızlandırılması
Temel Bileşenler Analizi (PCA)	Scikit-learn	sklearn.decomposition.PCA	Yüksek boyutlu emosyon gömmelerinin başlangıç indirgemesi
Python	Python Software Foundation	3.8+	Çok modlu emosyon analizi çerçevesini uygulamak için kullanılan temel programlama dili
PyTorch	PyTorch Foundation	2.0+	Derin sinir ağlarının geliştirilmesi, eğitimi ve optimizasyonu
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-boyutlu gömmeler)	Bağlamsal dilbilimsel ve anlamsal emosyon temsillerinin çıkarılması
Seaborn	Seaborn Projesi	0.12+	Dikkat ısı haritalarının ve istatistiksel görselleştirmelerin oluşturulması
t-dağılımlı Stokastik Komşuluk Gömme (t-SNE)	Scikit-learn	scikit-learn.org (Perplexity = 30, İterasyon = 1000)	Gizli emosyon kümelerinin ve yörüngelerinin görselleştirilmesi
Ubuntu Linux	Canonical Ubuntu	20.04 LTS veya sonrası	Deneysel yürütme ortamı
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-boyutlu gömmeler	Video karelerinden emosyon duyarlı görsel temsillerin çıkarılması
Wav2Vec 2.0	Meta AI Research	Temel Model, 768-boyutlu gömmeler	Bağlamsal akustik ve konuşma emosyon özelliklerinin çıkarılması

Kaynaklar

Zhu X, et al. EMVAS: End-to-end multimodal emotion visualization analysis system. Complex Intell Syst. 2025;11:1-15.
Zhu X, et al. A client-server based recognition system: Non-contact single/multiple emotional and behavioral state assessment methods. Comput Methods Programs Biomed. 2025;260:108564.
Lasri I, Riadsolh A, Elbelkacemi M. Facial emotion recognition of deaf and hard-of-hearing students for engagement detection using deep learning. Educ Inf Technol. 2023;28:4069-4092.
Saibene A, Assale M, Giltri M. Expert systems: Definitions, advantages and issues in medical field applications. Expert Syst Appl. 2021;177:114900.
Poria S, Cambria E, Bajpai R, Hussain A. A review of affective computing: From unimodal analysis to multimodal fusion. Inf Fusion. 2017;37:98-125.
Chatterjee R, et al. Real-time speech emotion analysis for smart home assistants. IEEE Trans Consum Electron. 2021;67(1):68-76.
Zhu X, Huang Y, Wang X, Wang R. Emotion recognition based on brain-like multimodal hierarchical perception. Multimed Tools Appl. 2024;83:56039-56057.
Khan M, El Saddik A, Alotaibi FS, Pham NT. AAD-Net: Advanced end-to-end signal processing system for human emotion detection and recognition using attention-based deep echo state network. Knowl Based Syst. 2023;270:110525.
Chaturvedi I, Chen Q, Cambria E, McConnell D. Landmark calibration for facial expressions and fish classification. Signal Image Video Process. 2022;16:377-384.
Li D, Liu J, Yang Z, Sun L, Wang Z. Speech emotion recognition using recurrent neural networks with directional self-attention. Expert Syst Appl. 2021;173:114683.
Zhu X, et al. A review of key technologies for emotion analysis using multimodal information. Cogn Comput. 2024;16:1504-1530.
Wang R, et al. Multimodal emotion recognition using tensor decomposition fusion and self-supervised multitasking. Int J Multimed Inf Retr. 2024;13:39.
Fan C, Lin J, Mao R, Cambria E. Fusing pairwise modalities for emotion recognition in conversations. Inf Fusion. 2024;106:102306.
Williams J, Kleinegesse S, Comanescu R, Radu O. Recognizing emotions in video using multimodal DNN feature fusion. Proceedings of Grand Challenge and Workshop on Human Multimodal Language. Melbourne, Australia. 2018;10.18653/v1/W18-3302.
Zhao Z, Wang Y, Wang Y. Multi-level fusion of Wav2Vec 2.0 and BERT for multimodal emotion recognition. arXiv. 2022;arXiv:2207.04697.
Middya AI, Nag B, Roy S. Deep learning based multimodal emotion recognition using model-level fusion of audio-visual modalities. Knowl Based Syst. 2022;244:108580.
Maithri M, et al. Automated emotion recognition: Current trends and future perspectives. Comput Methods Programs Biomed. 2022;215:106646.
Wu Y, Mi Q, Gao T. A comprehensive review of multimodal emotion recognition: Techniques, challenges, and future directions. Biomimetics. 2025;10(4):418.
Zheng S, Zhang X, Liu Y, Li Z. CMFF: A cross-modal multi-layer feature fusion network for multimodal sentiment analysis. Appl Soft Comput. 2025;184(Pt B):113868.
Yan L, Shi Y, Wei M, Wu Y. Multi-feature fusing local directional ternary pattern for facial expressions signal recognition based on video communication system. Alex Eng J. 2023;63:307-320.
Guo X, Zhang Y, Lu S, Lu Z. Facial expression recognition: A review. Multimed Tools Appl. 2024;83(8):23689-23735.
Liu ZT, Han MT, Wu BH, Rehman A. Audio emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multitask learning. Appl Acoust. 2023;202:109178.
Mirsamadi S, Barsoum E, Zhang C. Automatic audio emotion recognition using recurrent neural networks with local attention. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), New Orleans, LA, USA. 2017; 10.1109/ICASSP.2017.7952552.
Gu T, He Z, Zhao H, Li M, Ying D. Aspect-based sentiment analysis with multi-granularity information mining and sentiment hint. Expert Syst Appl. 2024;252:124104.
Shen W, Chen J, Quan X, Xie Z. DialogXL: All-in-one XLNet for multi-party conversation emotion recognition. Proc AAAI Conf Artif Intell. 2021;35(15):13789-13797.
Kim T, Vossen P. EmoBERTa: Speaker-aware emotion recognition in conversation with RoBERTa. arXiv. 2021;arXiv:2108.12009.
Li S, Yan H, Qiu X. Contrast and generation make BART a good dialogue emotion recognizer. Proc AAAI Conf Artif Intell. 2022;36(10):11002-11010.
Zhu J, Yu J. MIAR: Modality interaction and alignment representation fusion for multimodal emotion. arXiv. 2026;arXiv:2601.02414.
Praveen RG, Granger E, Cardinal P. Cross attentional audio-visual fusion for dimensional emotion recognition. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), Jodhpur, India. 2021;10.1109/FG52635.2021.9667055.
Salas-Cáceres J, López M, Martínez A, Rodríguez P. Multimodal emotion recognition based on a fusion of audio-visual information with temporal dynamics. Multimed Tools Appl. 2025;84:27327-27343.
Fu J, Zhang Y, Wang L, Chen H. TMFN: A text-based multimodal fusion network with multi-scale feature extraction and unsupervised contrastive learning for multimodal sentiment analysis. Complex Intell Syst. 2025;11:133.
Tuerhong G, Fu F, Wushouer M. Adaptive multimodal transformer based on exchanging for multimodal sentiment analysis. Sci Rep. 2025;15:27265.
Gupta C, Sharma R, Patel S, Verma A. A multimodal fusion model for real-time environment emotion recognition using audio-visual-textual features. J Big Data. 2025;12:256.
Yu W, Li X, Zhang H, Wang Z, Liu Z. CH-SIMS: A Chinese multimodal sentiment analysis dataset with fine-grained annotation of modality. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020; 10.18653/v1/2020.acl-main.343.
Zadeh A, et al. Multimodal language analysis in the wild: CMU-MOSEI dataset and interpretable dynamic fusion graph. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Melbourne, Australia. 2018; 10.18653/v1/P18-1208.
Zadeh A, Chen M, Poria S, Cambria E, Morency LP. Tensor fusion network for multimodal sentiment analysis. arXiv. 2017;arXiv:1707.07250.
Tsai YHH, Bai S, Yamada M, Morency LP, Salakhutdinov R. Multimodal transformer for unaligned multimodal language sequences. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy. 2019; 10.18653/v1/P19-1656.
Moreno M, Rioseco P, Van Den Bosch H. Spectrum of the linearized Vlasov–Poisson equation around steady states from galactic dynamics. arXiv. 2023;arXiv:2305.05749.

Yeniden basım ve izinler

Etiketler

Duygu Tahmini Temsili renme Modlar Aras Dikkat Transformer Kodlay c lar Ayr t r lm Temsil Zamansal Duygu Y r ngeleri zellik Yorumlanabilirli i