Çok Modlu Fizyolojik ve Davranışsal Sinyaller Kullanarak Duygusal Kullanıcı Deneyiminin Hesaplamalı Modellenmesi

Summary

Bu protokol, korelasyona dayalı özellik öğrenimi ve multimodal birleşme teknikleri kullanarak fizyolojik ve davranışsal sinyalleri multimodal bir şekilde entegre ederek duygusal kullanıcı deneyimini modelleyen hesaplamalı bir çerçeve tanımlar. Bu protokol, AMIGOS kıyaslama veri setinde multimodal duygusal modelleme için bir çerçeve önerir ve test eder.

Abstract

Bu çalışma, fizyolojik sinyalleri kullanan çok modlu duygusal modelleme için tekrarlanabilir bir hesaplama protokolü önermektedir. Protokolün amacı, birleşik bir derin öğrenme çerçevesi kullanarak birden fazla biyosinyalin entegre edilmesiyle çevrimdışı duygu tanımasını mümkün kılmaktır. Önerilen çalışma beş adımdan oluşmaktadır: veri toplama, ön işleme, özellik hizalaması, çok modlu füzyon ve değerlendirme. Bu çalışmada kamuya açık AMIGOS verilerinden alınan EEG, EKG ve GSR sinyalleri deneysel temel olarak kullanılmıştır. Biyosinyaller, modaliteye özgü özellikleri çıkarmak için önceden işlenip normalleştirildi. Heterojen özellik uzayları, Derin Kanonik Korelasyon Analizi kullanılarak modaliteler arasında hizalanmış, ardından duygusal bir durumu sınıflandırmak için çok modlu bir füzyon ağı uygulanmıştır. Protokol, çevrimdışı deneylerle değerlendirilmiş ve doğruluk, hassasiyet, hata getirme, F1-puanı ve AUC gibi standart performans metrikleri kullanılarak geleneksel füzyon ve sınıflandırma modelleriyle karşılaştırılmıştır. Bu çalışma, gerçek zamanlı etkileşimli bir sistemin uygulanmasından ziyade, çoklu modal duygusal kullanıcı deneyimi modellemesi için hesaplamalı bir çerçevenin geliştirilmesi ve doğrulanmasına odaklanmaktadır. UX-affektif durum tahmini için %92,1 doğruluk ve değerlik-uyarılma sınıflandırması için %94,2 F1 puanı ile sonuçlar duygusal boyutlarda sürekli olarak temel modelleri geride bıraktı. Bu bulgular, önerilen multimodal füzyon iş akışının fizyolojik verilerin karşılaştırılmasıyla hesaplamalı affektif modelleme için etkinliğini doğruladı.

Introduction

Düşünme, duygu ve eylemin karmaşık etkileşimi, insanların nasıl düşündüğünü ve davranışını şekillendirir. Duygusal bilişim, bu ilişkileri sinirbilim, psikoloji ve yapay zekadan disiplinlerarası bilgilerle insan duygularını analiz edebilen, anlayabilen ve tepki verebilen sistemler inşa ederek incelemektedir. Bu alan, ifade edici bilinci yanıt veren yapay zeka yapılarına entegre ederek insan-teknoloji iletişimine giderek daha fazla uygulanmaya başlandı; teknolojinin sadece entelektüel değil, aynı zamanda duygusal koşullarla da etkileşime girmesini sağladı ve böylece daha bireysel ve duyguya duyarlı kullanıcı bilgisi sağlandı. Bir duygu, karmaşık bir zihinsel süreç, insan algılarının yansımasıdır ve insan etkileşimlerinde önemli bir rolü^{vardır 1}. Günümüzde, duygu tanıma üzerine araştırma gerektiren çok sayıda insan-bilgisayar etkileşimi (HCI)^{uygulaması vardır 2}. HCI sistem ortamı dinamik ve karmaşıktır. Çoğu durumda, işlevlerini sanıklarla senkronize etmek zorunda; Bu nedenle, duygusal zekaya sahip bir bağlam bu tür bir ortamda daha fazla uyum sağlayabilir. Bu nedenle, bu çalışmada, çok modlu fizyolojik ve davranışsal sinyaller aracılığıyla duygusal kullanıcı deneyiminin hesaplamalı modellemesi^{incelenmiştir 3}. Uygulamada etkileşimli bir sistem geliştirmek veya doğrulamak yerine, çalışmalar çok modlu sinyal entegrasyonu veya immersiya veya sergi tabanlı ortamların uygulama bağlamlarıyla etki çıkarımı yapmaya daha çok eğilimlidir. Kavramların geniş yelpazesinden kaçınmak için bu çalışma iki ana kavrama odaklanır: hesaplamalı yaklaşımlar kullanılarak çok modlu bir duygusal modelleme çerçevesinin uygulanması ve fizyolojik ile davranışsal verilerin birleştirilmesi için çok modlu veri birleştirme teknikleri. El yazmasında ortaya çıkan diğer tüm konular, geliştirilen modellerin önemi açısından bağlam için referans alınır.

Her duygu modalitesi, bir kişinin duyguları hakkında başka bir duyu sisteminden türetilemeyecek farklı bilgiler iletir. Beden hareketinden duygu çıkarmak, genel bir vücut hareket desenini içerir ve bir kişinin sözsüz duygularını tanımlama avantajına^{sahiptir 4}. Konuşma ve yüz görünümü, vücut hareketlerinde ve insan vücudu sinyallerinde bulunmayan materyalleri iletebilir. İnsanlar çeşitli duygusal modaliteleri paralel ve kombinasyon halinde kullanır. Her modalite sınırlıdır ve güçlü yönleri vardır. Bir duyguyu doğru tespit etmek için, çoklu modal duygu tanıma yöntemleri, tek modlu duygu tanımadan daha yüksek bir tanıma performansına sahip olabilir. Ancak, duygusal bir değişim durumunda, yüz ifadesi ipuçları, biyografik/fizyolojik sinyaller ve konuşma sinyalleri diğer sinyallere göre daha erken ortaya çıkma eğilimindedir. Bu nedenle, bilgisayar görme tabanlı duygu algılama, esas olarak yüz duygusal^{ifadesiyle ilgilenir 5}.

Duygusal bilişim, çocuk-robot etkileşiminde (CRI) kapsamlı bir şekilde araştırılmıştır; Duyguya duyarlı sistemler, kullanıcıların fizyolojik ve davranışsal sinyallerine göre tepkilerini değiştirir. Bu çalışmalar, biyofiziksel duygu algılama ve uyarlanabilir etkileşimin uygulanabilirliğini göstermektedir. Ancak, tasarlanan CRI sistemleri çoğunlukla yapılandırılmış, görev odaklı ve katılımcı bağlamlar için uygundur. Sonuç olarak, CRI sistemlerinin dinamik, kamusal ortamlara, örneğin etkileşimli sergilere genelleştirilebilirliği sınırlıdır. Çalışmaları, duyguya duyarlı robotların motivasyonu artırmak için ve kişiselleştirme gibi bazı konuları ele almakta önemli olduğunu gösteriyor. Etkileşim, duygusal olarak tepkisel robotlar daha zengin ve etkili öğrenme deneyimleri sunduğundan, duygusal çocuk-robot etkileşiminin anahtar bir unsurudur. Yazar⁶ , görev ve sosyal etkileşim özellikleri temelinde kullanıcı katılımını tespit etmek için bir çerçeve sunar. Bulgularıyla, yüz ifadeleri ve sosyal davranışlar dahil olmak üzere duygusal ipuçlarını tanımlamak, robotların tepkilerini dinamik olarak ayarlayarak kullanıcı etkileşimini ve katılımını artırmasını sağladığını kanıtlıyorlar. Uzun vadeli Krizlerde duygusal uyum devam eden bir zorluktur. ⁷ bölümdeki yazarlar, çocukların duygularını belirli bir zaman diliminde sunarak, robotların kişisel duygu kalıplarına ve öğrenme tarzlarına uyum sağlamaları gerektiğini vurgular.

Yüksek zaman çözünürlüğü ve duygusal durumlara duyarlılığı sayesinde EEG'den güçlü performans elde etmiştir. Derin öğrenme ^{yaklaşımlarını}kullanan^{son çalışmalar,} mekansal zamanlama modelleme ve grafik tabanlı dikkat mekanizmalarını tanıtarak konular arası dayanıklılığı artırmıştır. Ancak, çoğu çalışma tek modal kalır ve sadece birkaçı birden fazla duyusal kanal üzerinden algı-duygu etkileşimlerini dikkate alır; bu nedenle, 11,12,13 sürümlerindeki immersiv kullanıcı deneyimi senaryolarında daha az uygulanabilir. Model, veri seti üzerinde değerlendirildi ve mevcut en son tekniklere kıyasla daha iyi performans gösterdi. Duyguya bağlı kritik seçim algoritması, yazarlar^{tarafından 14} bölümde önerilmiş ve EEG fonksiyonel bağlantı ağı özelliklerinin güç, kümeleme katsayısı ve özvektör merkeziyeti incelenmiştir. ¹⁵ yazar, EEG sinyallerinden zamansal özellikleri elde etmek amacıyla derin ve basit tekrarlayan bir birim ağı araştırması yaptı ve deneysel sonuçlar, literatürdeki 16,17,18,19 ile ilgili çalışmaları geride bıraktı. EEG sinyallerinden oluşan büyük bir veri seti toplamak neredeyse imkansızdır, ancak çapraz konu yaklaşımı gibi başka yaklaşımlar da denenebilir.

Son^{çalışmalar,} EEG sinyallerine dayalı çapraz konu Duygu Sınıflandırması sorununu ele almak için son derece gelişmiş uzaylı-zaman modelleme algoritmalarının kullanılmasında önemli ilerlemeler kaydetmiştir. Bu, EEG sinyallerinden Duygu Sınıflandırmasında konular arası değişkenliği yönetmek için gelişmiş alan uyarlaması ve dinamik grafik dikkati içeren uzaylı-zamansal hibrit ağ^içerir. Özellikle, zamansal modelleme mekanizmaları ve dinamik dikkatle mekansal beyin ilişkisi modellemesi sayesinde, özneden bağımsız duygu sınıflandırma performansını önemli ölçüde artırdılar. Bu sorun üzerine yapılan bir diğer araştırma çalışması ise uzaylı-zamansal izomorfik beyin çapraz bölge etkileşim ağı^23'ü içerir. Bu araştırmada, EEG sinyallerinden Duygu Sınıflandırması için konular arası dayanıklılığı önemli ölçüde artırmak için mekânsal-zaman invariantlarının modellemesine daha fazla önem verilmektedir. Bu iki araştırma katkısı, tamamen sinirsel sinyallerden Duygu Sınıflandırmasında üstün performans belgelemiş olsa da, monomodal sinyallerle sınırlıdır ve çoklu modal P-E etkileşimlerinin incelenmesinden yoksundur. Buna karşılık, mevcut araştırmalar, birden fazla P/E modalitesini derin korelasyon öğrenmesi yoluyla birbirine bağlayan ve daha zengin bir duygusal UX modelleme çözümü sunan genişletilmiş tek modal sinyal modelleri üzerinde ilerlemektedir.

Biyofiziksel bilgi kullanılarak bilinçli çocuk-robot arayüzü projesi dahil olmak üzere mevcut araştırmalar, çok modlu fizyolojik sinyallere erişim potansiyelini doğrulamış olsa da, bu sınırlar alanla ilgili kısıtlamalarla sınırlıdır. Özellikle, bu sistemler büyük ölçüde çocuklarla yapılandırılmış, görev odaklı etkileşim için optimize edilmiştir ve etkileşimli sergiler gibi daha karmaşık, dinamik ortamlara genellenemez. Ayrıca, temel çalışmalarda kullanılan özellik füzyon teknikleri ölçeklenebilir değildir ve çok duyulu UX ortamlarında var olan karmaşık algı-duygu etkileşimini etkili şekilde yakalamayan sığ füzyon yaklaşımlarına dayanır. Ayrıca, temel makale, EEG, yüz ifadeleri ve göz takibi gibi yüksek boyutlu çok modlu veri akışlarını farklı çevresel uyarılar altında hizalayıp birleştirebilen son teknoloji derin öğrenme tekniklerini kullanmıyor. Bu, yalnızca farklı izleyici demografilerini ve uyarıcı bağlamları barındırmakla kalmayıp aynı zamanda derin kanonik korelasyon analizi (DCCA) ve multimodal füzyon ağı (MMFN) mimarileriyle algı-duygu etkileşimini de yakalayan yüksek performanslı hesaplama paradigması yaratmada temel bir bilgi boşluğunu ortaya koyuyor. Bu boşluğu kapatmak, kullanıcı deneyimi (UX) anlayışını önemli ölçüde etkileyebilir.

Bu çalışmanın temel amacı, çoklu modal biyofiziksel ve davranışsal algılama yoluyla etkileşimli sergi bağlamlarında duygusal olarak uyarlanabilir kullanıcı deneyimini kolaylaştıran hesaplamalı bir sistem yaratmaktır. Çocuk-robot etkileşimi araştırmaları ve duygusal hesaplama temel duygu modellemesi ilkeleri üzerine inşa edilen bu çerçeve, EEG, EKG, EDA, yüz ifadeleri ve göz takibi gibi heterojen fizyolojik ve davranışsal ipuçlarına dayalı kullanıcı algı-duygu etkileşimlerini modellemeyi ve kaydetmeyi amaçlar. Derin kanonik korelasyon analizinin (DCCA) çoklu modal füzyon ağı (MMFN) ile entegrasyonu sayesinde, sistem modaliteler arasında ortak gizli duygusal temsilleri öğrenmeyi ve bu temsilleri duygusal kullanıcı deneyimi (UX) durumlarına yansıtmayı amaçlar. Mimari, sığ özelliklerin birleşimi ve yaş kısıtlı duygusal modellerin engellerini aşmak, bağlam duyarlı duygu çıkarımı ve dinamik, kamusal ortamlarda çoklu duyusal entegrasyonu desteklemekle görevlendirilmiştir. Son olarak, bu çalışma, kullanıcıların gerçek zamanlı duygusal geri bildirim ve etkileşim modlarına yanıt veren daha gelişmiş zeki ve duygusal olarak hassas sergi sistemlerinin geliştirilmesine yardımcı olmayı ve böylece dijital kültürel deneyimlerde etkileşimi, tatmini ve bilişsel-duygusal rezonansı daha da artırmayı amaçlamaktadır.

Bu makale, literatürü şu şekilde katkıda bulunmaktadır: Hem fizyolojik hem de davranışsal verileri dikkate alan multimodal duygusal modelleme için hesaplamalı bir çerçeve. Birden fazla veri kaynağından algı ve duygu temsilinin etkili öğrenilmesini kolaylaştıran çok modlu bir füzyon yaklaşımı. Bu önerilen çalışma, yapay zeka tabanlı çoklu modal algılama ve algı-duygu etkileşiminin çoklu duyucu entegrasyon boru hattı modelleme yoluyla duygusal kullanıcı deneyimini (UX) artırmak için yeni bir hesaplama paradigması tanıtmaktadır. Başlıca katkı, DCCA ile MMFN'nin birleşmesi, EEG, EKG, EDA, yüz ifadesi ve göz takibi gibi heterojen modalitelerde güçlü özellik uyumu ve yüksek seviyeli temsil öğrenimini kolaylaştırmaktır. Bu, duyusal algının ilgi, etkileşim, sürpriz veya sıkıntı gibi duygusal durumlara doğru bir çevrimdışı değerlendirme haritasını modellemesini sağlar. Kamuya açık AMIGOS veri setiyle yapılan deneysel doğrulama, geliştirilen DCCA+MMFN modelinin temel modellerden (örneğin, 1D-CNN, CNN-ResNet ve LSTM-CNN) daha iyi performans gösterdiğini ve değerlik-uyarılma duygu durumları için ortalama %89,4, ayrık duygu sınıfları için %87,1 sınıflandırma doğruluğu olduğunu göstermektedir.

Önceki çalışmaların katılımcıları vurgulamasına, görev odaklı durumlara veya yüzeysel özellik birleşimi tekniklerine sahip olmalarının aksine, önerilen yaklaşım dinamik gerçek dünya sergi ortamları için özel olarak tasarlanmış bir derin öğrenme çerçevesi sunmaktadır. DCCA ve MMFN'nin entegrasyonu sayesinde, bu çalışma, heterojen kullanıcı gruplarında sürekli algı-duygu değişimlerini anlamaya olanak tanıyan genişletilebilir ve gürültüye dayanıklı bir yöntem sunmaktadır. Yüksek boyutlu fizyolojik, davranışsal ve çevresel sinyallerin bu net birleşimi, duygusal kullanıcı deneyimi modellemesi için birincil yeniliktir. Bu makale, etkileşimli sergilerde çok modlu algılama ve çok duyusal entegrasyon kullanarak duygusal kullanıcı deneyimlerini modellemek için yapay zeka destekli bir çerçeve sunmaktadır. Önerilen çerçeve, DCCA ile MMFN'yi birleştirerek EEG, EKG, EDA, yüz ifadeleri ve göz takibi gibi heterojen modalitelerin sağlam hizalanmasını ve birleşmesini sağlar. Önceki çalışmalardan farklı olarak, kullanıcı veya görev odaklı ortamlarla sınırlı olan bu yaklaşım, dinamik kamusal ortamlarda sürekli algı-duygu modellemesini desteklemekte olup, duygusal kullanıcı deneyimi araştırmalarında önemli bir ilerleme oluşturmaktadır.

Fizyolojik etki modellemesi için sistematik, tekrarlanabilir çok modlu bir hesaplama yaklaşımının oluşturulması, füzyondan önce heterojen özellik hizalamasını metodik olarak ele almaktadır. Önerilen çerçeve, EEG, EKG ve GSR sinyalleri arasında ilişkili temsil öğrenimini zorunlu kılarak, DCCA kullanılarak ara bir çapraz modal latent hizalama aşaması sunar; geleneksel çoklu modal duygu tanıma çalışmalarının aksine, doğrudan özellik birleştirme veya karar düzeyinde birleşmeye dayanır. Sınıflandırmadan önce modalite tutarlılığını garanti ederek, bu hizalama odaklı füzyon yaklaşımı, duygusal boyutlar arasında genellenebilirliği ve dayanıklılığı artırır. Katkı, tek bir derin öğrenme mimarisi içinde ön işleme, temsil hizası, çoklu modal füzyon ve değerlendirmeyi standartlaştıran, tek bir algoritmik değişiklik önermek yerine tekrarlanabilir ve görevden bağımsız fizyolojik duygu modellemesi sağlayan kıyaslama odaklı, uçtan uca bir iş akışıdır. Bu çalışmada önerilen çerçeve, sergi benzeri deneyimler için çoklu modal duygusal modellemenin uygulanabilirliği ve kavramsal gösterimi olarak belirlenmiştir. Gerçek çok duyusal sergi ortamlarını doğrudan modellemeye çalışmak yerine, AMIGOS veri seti kontrollü bir ortamda modelleme yaklaşımını doğrulamak için bir kıyaslama proxy olarak kullanılır.

Protocol

Bu çalışmada kullanılan AMIGOS veri seti kamuoyuna açıktır ve orijinal yayında bildirildiği gibi önceden kurumsal inceleme kurulu onayı ve bilgilendirilmiş onayı ile toplanmıştır. Bu çalışma, veri setinin yalnızca ikincil analizini içermekte olup, ek etik onay gerekmemiştir.

Mevcut yöntem, algı-duygu korelasyonlarını tanımlamak için çoklu modal fizyolojik ve davranışsal verileri işlemek için özellik hizalama ve multimodal füzyon yaklaşımlarını kullanır. Bu çalışma, etkileşimli sergilerde duygusal kullanıcı deneyimi (UX) için çok modlu biyofiziksel algılama ve yapay zeka tabanlı duygu modellemesinden yararlanarak hesaplamalı bir model önermektedir. Temel makaleden elde edilen biyofiziksel veri içgörülerine dayanarak, bu metodoloji, senkronize EEG, EKG, EDA, göz takibi, yüz ifadeleri ve çevresel girdilerden kullanıcı durumlarını dijitalleştirir. El yazmasındaki "mekansal-zaman modelleme" terimi, DCCA aracılığıyla mekânsal çok kanallı fizyolojik özellik temsili ve modaliteler arası korelasyon hizalamasını ifade eder. Zamanlı: BiLSTM ile ardışık kodlama ve segmentli pencerelerde zamansal bağımlılık koruma. Bu çeşitli sinyaller, modaliteler arasındaki zamansal ve mekansal korelasyonları hesaba katmak için başlangıçta önceden işlenir ve normalize edilir. Özellik vektörleri her modalite için bağımsız olarak öğrenilir ve uyarılma, dikkat ve etkileşim gibi duyguya bağlı kalıpları yakalar. Heterojen veri akışları boyunca paylaşılan duygusal temsillerden başarılı bir şekilde öğrenmek için DCCA kullanılır. DCCA, her modaliteyi ilişkili özelliklerin en üst düzeye çıkarıldığı gizli ortak bir alt uzaya yansıtırken, modaliteye özgü bilgileri artırılmış çapraz modal alaka yoluyla korur. Bu modaliteyle uyumlu gizli gömmeler, zamansal ve bağlamsal bilgiyi hibrit bir BiLSTM ve dikkat katmanları aracılığıyla birleştiren Multimodal Fusion Network (MMFN)'ye iletilir. Bu birleşim, sistemin yüksek düzeyde duygusal durumlar üretmesini sağlar ve bunlar kullanıcı deneyimi göstergelerine (örneğin, sıkıntı, ilgi, rahatsızlık) dönüşür. Son olarak, bir sınıflandırma modülü duygusal kullanıcı deneyimi durumunu tahmin eder ve gösteri uyarlaması için geri bildirim verir; örneğin, hesaplamalı modellemede görsel veya işitsel uyarıcıların ayarlanması. Şekil 1, önerilen yöntemin mimarisini göstermektedir.

Şekil 1: Önerilen yöntemin mimarisi. DCCA ve MMFN kullanılarak EEG, EKG, EDA, yüz ifadeleri ve göz bakışı dahil olmak üzere çok modlu girdileri birleştiren önerilen UX modelleme çerçevesinin yapısı. Kısaltmalar; UX = Kullanıcı Deneyimi; EEG = Elektroensefalografi; EKG = Elektrokardiyografi; EDA = Elektrodermal Aktivite; DCCA = Derin Kanonik Korelasyon Analizi; MMFN = Çok Modal Füzyon Ağı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 1'de önerilen mimari, etkileşimli sergilerde algı-duygu etkileşimi modellemesi için Derin Kanonik Korelasyon Analizi (DCCA) ve Multimodal Fusion Network (MMFN) kullanan uçtan uca duygusal kullanıcı deneyimi (UX) sistemini göstermektedir. Sistem, EEG, EKG ve EDA fizyolojik sinyalleri gibi ham multimodal girdiler alarak başlar; yüz ifadeleri ve göz bakışları davranışsal sinyaller; ve sessel-görsel ve çevresel bilgiler gibi bağlamsal girdiler. Bu sinyaller daha sonra bir ön işleme ve özellik çıkarma modülüne aktarılır; burada sinyal özel, gürültü giderme, normalizasyon, özellik hesaplaması) her modalite için anlamlı tanımlayıcılar üretmek amacıyla gerçekleştirilir. İkinci olarak, DCCA modülü modalite çiftlerini ortak bir gizli alana yansıtır ve modaliteler arasında içsel duygusal kalıpları kodlayan maksimum korelasyonlu gömülemeleri öğrenir. Bu çoklu DCCA modüllerinin yüksek korelasyon özellikleri, daha sonra Multimodal Fusion Network (MMFN) tarafından birleştirilir; bu ağırlık, öğrenilen özellikleri derin öğrenme katmanları, muhtemelen BiLSTM, dikkat mekanizmaları veya transformatörlerle hiyerarşik olarak birleştirerek kompakt ve yüksek seviyeli bir affektif temsil oluşturur. Bu entegre temsil, modelin değerlik, uyarılma veya etkileşim, sıkılma veya aşırı yüklenme gibi bilişsel/duygusal durumları öngördüğü duygusal sonuçlar içeren duygu ve UX durum sınıflandırma katmanına aktarılır. Pipeline sonlandırmasında isteğe bağlı olarak uyarlanabilir bir UX geri besleme döngüsü sağlanır; bu da sistemin kullanıcının durumlarına etkileşimli olarak yanıt vermesini sağlar; bu, gösteri bağlamında uyarlayıcı veya içeriği uyarlayarak sağlar. Bu ölçeklenebilir ve modüler mimari, korelasyona duyarlı temsil öğrenimi ve derin multimodal entegrasyon ile güçlü duygu modellemesini garanti eder; bu da etkileşimli veya deneyimsel ortamlarda duygusal hesaplamanın hesaplamalı modellemesi için son derece uygundur.

DCCA ile MMFN birleşiminin seçimi, standart tek modlu ve sığ füzyon modellerinin mevcut sınırlamalarına dayanmaktadır. CNN-ResNet ve LSTM-CNN zamansal veya mekansal özellikleri çıkarsa da, farklı çevresel uyarımlar altında EEG, EDA ve yüz ifadeleri gibi heterojen modaliteleri dengelemede zayıftırlar. DCCA, paylaşılan gizli temsilleri sağlamak için modlar arası korelasyonu en üst düzeye çıkarırken, MMFN en bilgilendirici sinyalleri dinamik olarak vurgulamak için hiyerarşik füzyon ve dikkat mekanizmalarını kullanır. Bu modüller birleştiğinde, etkileşimli çok duyusal ortamlar için daha güvenilir, anlaşılır ve geniş uygulanabilir bir affektif kullanıcı deneyimi modelleme yaklaşımı sunar.

Veri toplama
Etkileşimli sergiler için önerilen algı-duygu etkileşimi model çerçevesinde, kamuya açık AMIGOS^{veri seti 24}, çok modlu duygusal verilerin temeli olarak kullanılmaktadır. AMIGOS veri seti, insan katılımcıların video klipleri gibi duygusal uyaranlar altında fizyolojik ve davranışsal ölçümlerin kapsamlı bir koleksiyonunu sunar. Bu veriler, senkronize EEG, EKG ve GSR sinyallerini, yüz video kayıtlarını ve ayrı (örneğin, mutlu, üzgün) ve boyutlu (değerlik/uyarılma) biçimlerde kendi kendini bildiren duygusal etiketleri içerir. Bu modaliteler, burada önerilen sistemin ihtiyaçlarıyla iyi uyum sağlar; sistem, immersiv, çok duyusal sergi etkileşimleri sırasında duygusal kullanıcı deneyimi (UX) durumlarını çıkarmayı amaçlamaktadır. Veri seti, her biri hem kısa (video klipler <150 saniye) hem de uzun (filmler >14 dakika) duygusal uyaranlara maruz kalan 40 deneğin kayıtlarını içeriyor; bu kayıtlar gerçek hayattaki medya etkileşimini simüle eden koşullarda gerçekleşiyor. Bu önerilen çalışmanın kapsamı için, veri setinin önceden işlenmiş bir alt kümesi kullanılmıştır: 30 deneğin artefakt içermemiş, yüksek kaliteli EEG, EKG ve GSR sinyalleriyle kayıtları ile tam yüz videosu ve notlama dosyaları. Bunlar, sergi temelli durumlarda çok modlu duygusal dinamikleri taklit etmek için seçilen örneklerdir. Öğrenilen veri seti, DCCA + Multimodal Fusion Network (MMFN) boru hattı için bir eğitim ve kıyaslama temeli olarak sunulur; etkileşim, sıkılma, kafa karışıklığı ve uyarılma gibi duygusal durumlar, simüle edilmiş bir sergi ortamında görsel, işitsel ve mekansal uyarıcılara yanıt olarak incelenir. Tablo 1, önerilen yöntemin veri seti açıklamasını göstermektedir.

Parametre	Detaylar
Veri Seti Adı	AMIGOS (Duygu, Kişilik ve Duygu Araştırması için Bir Veri Seti)
Hayır. Katılımcılar	Toplam 40 (30 tane tam multimodal verilerle önerilen çalışmalarda kullanıldı)
Uyaran Tipi	Kısa ve uzun video klipler (duygusal olarak açıklamalı)
EEG Kanalları	14 kanallı Emotiv EPOC EEG kulaklık
EKG	Kalp atış hızı sensörü (HRV ve uyarılma için)
GSR	Deri iletkenliği sensörü (sempatik aktiviteyi ölçer)
Yüz Yüzü Videosu	İfade analizi için yüksek çözünürlüklü ön yüz videosu
Duygu Etiketleri	Kendi değerlendirme değeri, uyarılma, baskın (1–9. ölçek), ayrıca ayrık etiketler
Örnekleme Hızı	EEG: 128Hz, EKG/GSR: 1000Hz
Veri Formatı	.mat dosyaları ve senkronize zaman damgası günlükleri
Modalite Senkronizasyonu	Evet – Tüm sensörler ve video arasında senkronize
Oturum Başına Süre	Kısa klipler (<150 saniye) ve uzun filmler (>14 dk)
Uygulama Uyumu	Duygusal UX modellemesi, çok modlu füzyon, gerçek zamanlı algı-duygu haritalaması

Tablo 1: AMIGOS veri seti açıklaması. Önerilen çerçevede kullanılan AMIGOS veri setinin tanımı; katılımcı bilgileri, modaliteler, örnekleme oranları ve deneysel tasarım dahil olmak üzere. Kısaltmalar; AMIGOS = Bireyler ve gruplar üzerinde duygu, kişilik ve ruh hali araştırmaları için bir veri seti.

Önerilen çerçevede uygulanan kamuya açık AMIGOS veri seti, 40 katılımcıdan toplanan çok modlu davranışsal ve fizyolojik verilerden oluşmaktadır; bunlardan 33'ü kayıtların mükemmelliği ve doluluğuna göre bu çalışma için seçilmiştir. Veri seti, kısa ve uzun video kliplerine duygusal tepkileri kaydediyor ve EEG (14 kanallı Emotive kulaklığından), kalp atış hızı değişkenliği için EKG, cilt iletkenliği için GSR ve ifade ölçümü için yüksek çözünürlüklü yüz videosu gibi sinyaller içeriyor. Duygusal durumlar hem boyutlu (değerlik, uyarılma, baskınlık) hem de ayrık kategorilerde kendi kendine bildirilir. Veriler modalitelerde birbirleriyle iyi hizalanmıştır ve uygun şekilde örneklenmiştir - EEG için 128Hz, EKG için 1000Hz ve GSR. Böyle bir yapılandırma, veri setini, etkileşimli sergilerde kullanıcı deneyimini (UX) modellemek için ideal kılar; böylece algı-duygu etkileşimleri yapay zeka tabanlı çok modlu algılama kullanılarak hassas şekilde takip edilebilir.

Veri ön işleme
Tüm ön işleme adımları, model eğitimi ve değerlendirmeler, özel yazılmış Python betiklerinde (Python 3.10, PyTorch 2.0) ayrı ayrı uygulanmış, her modül sinyal ön işleme, DCCA tabanlı hizalama, MMFN eğitimi ve performans değerlendirmesi için kullanılmıştır; anahtar parametrelerin ayarları ve bazı temel hesaplama yapılandırmaları Tablo 1'de özetlenmiştir. Etkileşimli serginin duygusal UX modellemesi için kamuya açık AMIGOS veri setini işlemek için, başlangıçta EEG, EKG, GSR ve yüz videosu gibi fizyolojik ve davranışsal modaliteler üzerinde sistematik bir veri ön işleme boru hattı uygulanır. Başlangıçta, her modaliteyi standartlaştırıp senkronize edin, ardından modaliteye özgü ön işleme gerçekleştirin. Şu anda, bağlamsal bilgi yalnızca video uyarıcılarındaki içsel görsel-görsel ipuçlarından elde edilir; örneğin yüz ifadeleri, görsel hareket kalıpları ve konuşma prozodisi ile arka plan sesi gibi akustik özellikler.

Sinyal normalizasyonu ve yeniden örnekleme
Tüm modalitelerden ham fizyolojik sinyaller x(t), modaliteler arasında zamansal hizalama için ortak frekans fs=128 Hz'ye yeniden örneklenir:

(1)

Yeniden örnekleme, özel tasarlanmış bir algoritma yerine standart bir sinyal işleme kütüphanesi fonksiyonu kullanılarak gerçekleştirildi. Özellikle, uygulama Python sinyal işleme ekosisteminde (SciPy) bulunan yeniden örnekleme aracı kullanılarak gerçekleştirilmiştir; bu yöntem, sinyalleri hedef örnekleme frekansına dönüştürmek için Fourier yöntemi tabanlı interpolasyon uygulamaktadır. Hedef örnekleme hızı, segmentasyon ve özellik çıkarımı öncesinde modaliteler arasında eşit zamansal çözünürlük sağlamak için seçilmiştir. Her sinyal, sonrasında z-skoru normalize edilir ve böylece konular arası değişkenlik ortadan kaldırılır:

(2)

burada μ_x ve σ_x sinyalin deneme penceresi ortalaması ve standart sapmasıdır.

EEG ön işleme
14 kanaldan alınan EEG sinyalleri, bilişsel bağlantılı frekansları korumak için 4–45 Hz arasında bant geçişli filtrelenir:

(3)

Sinyallerdeki frekans desenlerini belirlemek için güç spektrumu kullanılır ve bu, beyin sinyali durumunda duygu türüne göre değişebilir ve sinyal hakkında faydalı bilgiler sağlayabilir. Welch'in tekniği, spektral yoğunluğun tahminini sağlayan ve spektrogramlar elde etmek için kullanılabilen periodogram denklemi 3'ün üstün bir tekniğidir. Welch'in tekniği, zaman alanı sinyalini ayrık zaman aralıklarına ve yapılara ayırır. Her segment için bir spektrogram, ardından tüm spektrogramlar denklem 4'te gösterildiği gibi ortalanır. Bu süreç, tam FFT yaklaşımına kıyasla daha akıcıdır ve bu nedenle sinyallerden maksimum güç alır. Son olarak, Güç Spektral Yoğunluğu (PSD)¹⁹ , frekans alanı özelliklerini yakalamak için Welch tekniği kullanılarak hesaplanır:

(4)

PSD özellikleri beş bant üzerinde toplanmıştır: Theta (4–8 Hz), Alfa (8–13 Hz), Beta (13–30 Hz), Düşük Gamma (30–45 Hz).

Video tabanlı yüz özellikleri
Çok kanallı EEG veri seti veya benzeri yazılım kullanılarak her video kare için Yüz Eylem Birimleri (AU) ve göz bakışı vektörleri çıkarılarak, bunlar zamansal diziler olarak birleştirilir:

(5)

Duygu etiketi eşlemesi
AMIGOS hem değerlik-uyarılma puanları hem de ayrık duygu etiketleri verir. Sürekli derecelendirmeler [0,1] olarak normalleştirilir:

(6)

V, normalizasyondan önceki gerçek gözlem değeri olduğunda, V_min veri setindeki değişkenin en küçük değeri, V_max veri setindeki değişkenin en büyük değeri ve V' 0 ile 1 aralığındaki normalize değerdir. Bu etiketler, denetimli etki modellemesi için temel gerçeklik olarak uygulanır. Bu etiketler, denetimli etki modellemesi için temel gerçeklik olarak uygulanır.

Modaliteler arasında senkronizasyon
Tüm modaliteler, gerektiğinde zaman damgası hizalanması veya dinamik zaman bükültmesi (DTW) kullanılarak senkronize edilir:

(7)

Önceden işlenmiş özellik açısından zengin veriler, modaliteler arasında maksimum korelasyona sahip temsilleri öğrenen Derin Kanonik Korelasyon Analizi (DCCA) modülüne girilir.

DCCA kullanarak özellik çıkarma
Etkileşimli sergiler için öngörülen duygusal UX modelleme çerçevesinde, DCCA EEG, EKG, EDA, yüz ifadeleri ve göz izleme verileri gibi heterojen modalitelerde bağlı gizli özellikleri öğrenmek için kullanılır. Amaç, farklı modalitelerden gelen sinyallerin, bireysel olarak gürültülü veya modaliteye özgü olsun, algılanan duygusal durumlar açısından maksimum korelasyon ve anlamsal tutarlı olduğu ortak bir temsil alanını öğrenmektir. Bu çalışmada DCCA, aşağıdaki modalite çiftlerine uygulanmıştır: i) EEG–EKG, ii) EEG–GSR ve iii) EEG–yüz özelliği temsilleri. Bu çiftler, duygusal etkileşimle ilgili tamamlayıcı sinir-fizyolojik ve sinir-davranışsal korelasyonları yakalamak amacıyla seçildi. DCCA'yı çoklu modal bir ayara genişletmek için, her modalite çifti için çiftli DCCA gömmeleri hesaplanmış ve önerilen MMFN kullanılarak birleştirilmiştir; bu yöntem, çekirdek DCCA formülasyonunu değiştirmeden ikiden fazla modalitenin verimli entegrasyonunu sağlar.

Birleşme öncesinde korelasyon odaklı gizli hizalama yaparak DCCA, yapısal olarak temsil hizalamasını karar birleşmesinden ayırır; buna karşılık, Cross-Modal Attention veya Tensor Fusion Networks (Cross-Modal Attention) veya Tensör Füzyon Ağları (Tensor Fusion Networks) doğrudan yanlış hizalanmış temsiller üzerinde çalışır. Bu iki aşamalı mimariyle fazlalık azalır ve temsil tutarlılığı iyileştirilir. Ayrıca, DCCA, yalnızca paylaşılan kayıp fonksiyonlarına bağlı olmak yerine doğrudan modlar arası istatistiksel bağımlılığı optimize eder; bu, çok görevli öğrenme çerçevelerinden ziyade heterojen fizyolojik veriler için daha uygundur. İlk olarak, DCCA²⁰, bir dizi modalitenin temsillerini, birden fazla üst üste yığılmış doğrusal olmayan dönüşüm katmanları üzerinden ardışık olarak ele alarak hesaplamak için kullanılır. Şekil 2, bu araştırma çalışmasında kullanılan DCCA yapısını göstermektedir. DCCA yaklaşımında kullanılacak derin öğrenme modelinin mimarisi için optimal hiperparametreleri belirlemek amacıyla bir ızgara arama yöntemi kullandık. Kapsamlı bir deneysel analizin ardından yazarlar, bir stokastik gradyan iniş optimizatoru, çapraz entropi kaybı ve 1e5 düzenleyici bir parametre seçtiler. Sonrasında yazarlar, sıfır olarak önyargı vektörü, erken durma kriterleri olarak doğrulama seti ve ağırlık başlatıcısı olarak Xavier başlatıcıyı kullanarak 15 optimizasyon adımı seçtiler. Şekil 2, DCCA'nın çalışma sürecini göstermektedir.

Şekil 2: DCCA'nın çalışma süreci. DCCA'nın süreç iş akışı, çeşitli modalitelerden gelen özelliklerin ortak bir gizli alana eşlenmesini göstererek korelasyonu maksimize ediyor.
Kısaltmalar; DCCA = Derin Kanonik Korelasyon Analizi. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 2, iki farklı modalite, EEG (Modalite A) ve EDA (Modality B) arasında paylaşılan temsil öğrenmesi için Derin Kanonik Korelasyon Analizinin (DCCA) iç çalışma çerçevesini görsel olarak göstermektedir. Her iki modalite, soyut, modalite-spesifik özellikleri öğrenen birkaç gizli katmana sahip derin özellik çıkarıcı ağlarına (Özellik Çıkarıcı A ve B) beslenir. Füzyon öncesi, çapraz modal gizli hizalama Derin Kanonik Korelasyon Analizi (DCCA) kullanılarak gerçekleştirilir. Her modalite çifti için iki paralel derin projeksiyon ağı oluşturulur (EEG–EKG, EEG–EDA ve EEG–Facial). ReLU aktivasyonu kullanılarak, her projeksiyon ağı boyutlu tamamen bağlı üç katmandan oluşur [256, 128, 64]. Paylaşılan gizli alan için, 64 nihai gömüleme boyutudur. Sayısal kararlılığı garanti etmek için 1e-5 arasında L2 düzenleme katsayısıyla, hedef fonksiyon projeksiyon modalitesi gömmeleri arasındaki kanonik korelasyonu en üst düzeye çıkarır. Önyargı vektörleri sıfıra başlatılır, ağırlıklar ise Xavier başlangıldırmasıyla başlatılır. Hizalama öğrenimini stabilize etmek için, DCCA modülleri MMFN eğitiminden önce ayrı ayrı eğitilir. Hizalama tutarlılığını korumak için DCCA ile MMFN arasında uçtan uca ince ayar yoktur. Bu sinir ağlarının boru hatları, giriş veri akışlarını paralel ama izole olarak kabul eder. Her birinden çıkan özellik çıkarıcısı daha sonra ortak gizli uzaya yansıtılır; burada her iki modalitenin özellikleri yapı olarak karşılaştırılabilir hale getirilir. Projeksiyonlar, DCCA'nın amacına göre optimize edilmiştir; yani EEG ve EDA'nın karşılık gelen gizli temsilleri arasındaki korelasyonu en üst düzeye çıkarmaktır. Bu maksimum korelasyona sahip alt uzayı edinerek, DCCA, çıktı gömmelerinin her iki modaliteden de tamamlayıcı ve anlamsal anlamlı kalıpları korumasını garanti eder; bu desenler, duygu tanıma veya duygusal hesaplama gibi sonraki uygulamalar için gereklidir.

Bu çalışmada, özellikler DCCA kullanılarak dönüştürülür ve kategorize edilmek üzere entegre edilir. Şekil 2'de gösterilen DCCA modeli, özellik dönüşümü için derin öğrenme modeli kullanır. CCA katmanı korelasyonu hesaplar, bu da özelliklerin birleştirilmesi ve sınıflandırılması için kullanılır. Diyelim ki matris , EEG modalitesinin denemelerini saklıyor ve matris , yüz video klibi modalite deneylerini içeriyor. Bu durumda, EEG denemeleri ve yüz video kliplerindeki özelliklerin boyutları sırasıyla n₁ ve n₂ ile gösterilirken, toplam deneme sayısı MA ile gösterilir. Her modalite için, yazarlar giriş özelliklerini doğrusal olmayan bir şekilde yeniden düzenlemek amacıyla aşağıdaki derin sinir ağını oluşturdular:

(8)

burada doğrusal olmayan dönüşümün parametreleri HT₁ ve HT₂ olarak temsil edilir; her sinir ağından sonraki özellikler ve DCCA'nın karakteristik ölçümü n olarak gösterilir . DCCA'dan üretilen özyinelemeli olarak öğrenilen HT₁ ve HT₂ parametreleri, ON₁ ile ON₂ arasındaki korelasyonu mümkün olduğunca bir seviyeye çıkarmıştır:

(9)

HT₁ ve HT₂ olarak karşılıklı öğrenilen parametreler, geri yayılma algoritması tarafından eğitilmiştir. Amaçlanan cevabı elde etmek için, hedef fonksiyonun gradyanları önerildiği gibi yaklaştırıldı. Değiştirilmiş özellikler ON1 ve ON2 ∈ SP, iki sinir ağı eğitildikten sonra birleşik hiperuzay SP'de yer alır. DCCA'nın yazarları esas olarak20 özellikle değiştirilmiş özelliklerin kullanımından bahsetmediler. Değiştirilen özellikler, kullanıcının uygulamasına en iyi şekilde hizmet edecek şekilde kullanılabilir. Bu çalışmada, yazarlar değiştirilen özelliklerden aşağıdaki birleşmiş özellikleri elde ettiler:

(10)

burada α ve β, α + β = 1 olan ağırlıkları temsil eder. DCCA ile entegre edilen ON özellikleri SoftMax sınıflandırıcısına girilir. Sınıflandırıcıyı eğitmek için duygu tanıma görevleri kullanılır. Daha önce belirtildiği gibi, veri füzyonu için DCCA oluşturmanın birçok formatta bazı avantajları vardır. Örneğin, modalite merkezli dönüşümlerin özelliklerini ve korelasyonunu gözlemlemek için, DCCA özellik düzeyinde birleşmede her modalite için ON1 ve ON2'yi açıkça elde eder. Ayrıca, duygu tabanlı veriler doğrusal olmayan eşleme fonksiyonları f1(·) ve f2(·) kontrol edilerek korunabilir. Ayrıca, yazarlar ağırlıklı toplam füzyonda her modalite için eşdeğer ağırlıklar kullanmaktadır. Kullanıcı deneyimi durumlarını tahmin eden Multimodal Fusion Network (MMFN) bu birleşik alanı alır. Multimodal hizalama için, ham sinyallerin önce yeniden örnekleme ve zaman damgası hizalanması ile zamansal hizalandığı hiyerarşik bir yaklaşım kullanılır; farklı modalitelerden anlamsal olarak zengin sinyallerin hizalanması ise Derin Kanonik Korelasyon Analizi (DCCA) ile elde edilir. Bu, modalite-farkında temsillerin MMFN'deki dikkat odaklı füzyon sürecinden önce ortak bir gizli uzaya dönüştürülmesini sağlar.

Affektif UX modelleme için multimodal füzyon ağı (MMFN)
MMFN her modaliteyi ayrı ayrı kodlar, ardından füzyon kapısı ve dikkat mekanizması kullanarak onları birleştirerek duygu tahmini için entegre bir temsil üretir.

Modalite-özgül kodlama
x⁽ⁱ⁾∈R^di , i-ci modalitenin karakteristik vektörü olsun (örneğin, EEG, EDA). Her modalite, bir sinir kodlayıcı ile kodlanır:

(11)

Kapılı füzyon mekanizması
Her modaliteden gelen bilgi akışını yönetmek için bir füzyon kapısı kullanılır:

(12)

(13)

σ sigmoid aktivasyon fonksiyonudur. ⊙element bazında gelişimi karakterize eder. Bu, ağın gürültülü modaliteleri azaltmasını veya faydalı özellikleri dinamik olarak ağırlıklandırmasını sağlar.

Çapraz modalite dikkat füzyonu
Bir dikkat katmanı, her modalitenin temsiline ne kadar ağırlık vereceğini öğrenir:

(14)

(15)

α(i) dikkat ağırlıkları, birleşmiş nihai temsildir.

Duygusal durum tahmini
Birleşmiş vektör, değerlik/uyarılma veya UX durumlarının tahminlerini yapmak için bir çıkış katmanına girilir:

22(16)

Burada temsil edilebilir: Ayrık duygu sınıfı (mutlu, nötr, üzgün), Sürekli ölçek (değerlik/uyarılma) ve UX kategorileri (ilgili, dikkati dağılmış, aşırı yüklenmiş).

Şekil 3: MMFN'nin Yapısı. Modalite-spesifik kodlayıcılar, kapalı füzyon ve duygusal durum tahmini için dikkat tabanlı entegrasyon ile MMFN'nin yapısı.
Kısaltmalar; MMFN = Çok Modal Füzyon Ağı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 3 , duygu ve kullanıcı deneyimi (UX) tahmini için duygusal hesaplama çerçevesinde kullanılan Multimodal Fusion Network (MMFN)'nin çalışma sürecidir. Modalite-spesifik kodlayıcılar, kapalı füzyon katmanları, dikkat odaklı bir entegrasyon modülü ve nihai sınıflandırma başı MMFN'nin hiyerarşik füzyon mimarisini oluşturur. Bu makale, EEG (Modalite A), EDA (Modality B) ve Yüz ifadeleri (Modalite C) gibi çeşitli heterojen giriş modalitelerinin kendi özel kodlayıcı ağlarıyla (Kodlayıcı A, B ve C) nasıl işlendiğini gösterir. Bağımsız bir kodlayıcı, her modalitede (EEG, EKG, EDA ve yüz özellikleri) her modalitede ReLU aktivasyon işlemlerine sahip tamamen bağlı iki katmandan oluşur ve ardından bir İki Yönlü Uzun Kısa Süreli Hafıza (BiLSTM) katmanı zamansal bağımlılıkları yakalar. Her kodlayıcı, ilgili veri akışından önemli duygusal veya fizyolojik özellikleri koruyan modaliteye özgü bir özellik temsilini öğrenir. BiLSTM'deki her yön 128 gizli birim içerir ve her modalitede 256 boyutlu bağlamsal gömülme sağlar. Aşırı uyumu önlemek için, BiLSTM katmanından sonra (oran = 0.5) dropout yapılır. Daha sonra, kodlanmış modalite temsillerine sigmoid aktivasyonu kullanarak modalite katkılarını dinamik olarak kontrol eden bir kapalı füzyon yaklaşımı uygulanır. Bir öz-dikkat katmanı, modaliteler arasında dikkat ağırlıklarını hesaplayarak gürültülü sinyalleri bastırır ve ilgili bilgileri vurgular. Tamamen bağlı bir katman ve ya değerlik-uyarılma regresyon görevleri için doğrusal çıkış katmanı ya da ayrık sınıflandırma görevleri için Softmax çıkış katmanı, birleşmiş temsil oluşturur. Her kodlayıcının çıktısı, tüm modalite özelliklerinin birleştirilmesini sağlayan ve daha bilgilendirici sinyalleri vurgulamak ve gürültüyü maskelemek için dikkat mekanizması uygulayan Multimodal Fusion Katmanı'na girilir. Bu işlem, tüm modaliteler boyunca duygusal sinyalleri yüksek seviyeli yoğun bir vektöre entegre eden ortak bir gizli temsil üretir.

Modalite-spesifik ardışık gömmelere uygulanan BiLSTM katmanları, zamansal dinamikleri doğrudan modellemektedir. BiLSTM, segmentli fizyolojik diziler içinde hem ileri hem geri zaman bağımlılıklarını yakalayarak değişen duygusal durumların bağlamsal modellemesini sağlar. Ayrıca, zaman bilgilendirici özelliklerin uyarlanabilir ağırlıklandırması, ardından gelen ve zamansal kodlanmış temsiller üzerinde çalışan dikkat odaklı füzyon katmanı sayesinde mümkün olur. Yazarlar, metni yakın zamanda güncelledilerek dizi oluşturma, tekrarlayan kodlama ve dikkat ağırlıklandırmanın birlikte nasıl birlikte çalıştığını daha net kılmak için güncelledi.

Önerilen sözde kod 1, DCCA-MMFN kullanılarak tekrarlanabilir bir biçimde duygusal kullanıcı deneyimi modellemesinin genel sürecini gösterir. Başlangıçta, çoklu modal fizyolojik ve davranışsal sinyaller, gürültü azaltma ve ölçeklerin normalleştirilmesini içeren bağımsız bir ön işleme adımına aktarılır. Özellikler daha sonra DCCA'ya aktarılır; burada ilişkili özellikler belirli modalite çiftleri için ortak öğrenilir ve sağlam çapraz modal hizalama hedeflenir. Hizalanmış özellikler, bilgilendirici modaliteleri teşvik etmek ve gürültüyü bastırmak amacıyla modalite-spesifik modülasyon için kapalı ve dikkat mekanizmalarından oluşan bir MMFN içinde birleştirilir. Son birleşik özellik temsili, duygusal ve UX ile ilgili durum tahmini için tasarlanmış bir sınıflandırıcıyı eğitmek için kullanılır ve genel performans değerlendirmesi standart metriklere dayanarak yapılır. Bu önerilen sözde kodun adım adım doğası, bu önerilen protokole ilgi duyan teknik olarak bilgi sahibi tüm bireyler için şeffaflık, fizibillik ve başkaları tarafından kolay çoğaltılabilirlik sağlar.

Önerilen çerçeve, AMIGOS veri setinden çok modlu fizyolojik ve davranışsal sinyaller kullanarak affektif kullanıcı deneyimi (UX) durumunu aşağıdaki adımlara göre tahmin etmeyi amaçlamaktadır: Adım 1: Giriş çok modlu veri EEG, EKG, EDA, göz bakışı ve yüz ifadesi sinyallerinden oluşur. Başlangıçta, AMIGOS çok modlu veri setine erişilir ve her modalite, veri kalitesi ve tutarlılığını sağlamak için gürültü filtreleme ve normalizasyon dahil olmak üzere sinyal ön işlemesinden geçer. Adım 2: Modaliteler arasında zamansal eşitliği korumak için tüm sinyaller standart bir frekansa yeniden örneklenir. Daha sonra, modalite-spesifik özellik çıkarımı yapılır ve her sinyal türüne karşılık gelen ayırt edici özellik temsilleri elde edilir. Adım 3: Çapraz modal ilişkileri yakalamak için, seçilmiş modalite çiftleri (EEG–EKG, EEG–EDA ve EEG–Facial) Derin Kanonik Korelasyon Analizi (DCCA) kullanılarak işleniyor. DCCA ağları, eşleştirilmiş modaliteler arasında korelasyonlu gizli temsilleri öğrenmek üzere eğitilir ve bu da her modalite çifti için hizalanmış özellik gömmeleri sağlar. Bu hizalanmış temsiller daha sonra birleşerek birleşik bir multimodal özellik alanı oluşturur. Adım 4: Toplanan hizalanmış özellikler, Multimodal Fusion Network (MMFN) için giriş olarak sağlanır; burada dikkat mekanizmaları ve kapalı füzyon stratejileri kullanılarak modaliteler arasında tamamlayıcı bilgiler etkili şekilde entegre edilir. Bu birleşme süreci, kapsamlı bir duygusal temsil oluşturur. Adım 5: Ortaya çıkan temsil, daha sonra bir sınıflandırıcı etiketlenmiş duygu verileriyle eğitilerek duygusal kullanıcı deneyim durumunu tahmin etmek için kullanılır. Son olarak, model performansı Doğruluk, Hassasiyet, Hatırlama, F1-puan ve Eğri Altı Alan (AUC) gibi standart metrikler kullanılarak değerlendirilir. Tahmin edilen affektif UX durumu, çerçevenin nihai çıktısı olarak döner.

Önerilen DCCA-MMFN çerçevesi kullanılarak algı-duygu modelleme
İnteraktif sergilerin önerilen duygusal kullanıcı deneyimi (UX) hesaplamalı çerçevesinde, Algı–Duygu Modelleme modülü, kullanıcının çevresel uyarılara karşı aldığı algısal tepkileri multimodal biyofiziksel türeme duygusal durumlarıyla bağlayan merkezi süreçtir. Bu modül, kullanıcının duygusal dinamiklerini kaydetmek için EEG, EDA, EKG, yüz ifadeleri ve göz hareketleri gibi fizyolojik ve davranışsal modalitelerin DCCA tarafından elde edilen yaygın temsillerine dayanmaktadır. Aynı zamanda, çevredeki sergi ortamına dair meta veriler—görsel uyarıcılar, ses manzaraları, etkileşim desenleri ve ortam özellikleri—algısal ipuçlarını kodlamak için kullanılır. Bu multimodal temsilleri birleştirmek için Multimodal Fusion Network (MMFN) kullanarak, model algısal uyarı özelliklerinden ve duygusal etiketlerden veya boyutlardan (örneğin, değerlik, uyarılma, etkileşim) detaylı, doğrusal olmayan eşlemeler elde eder. Bu haritalama, sistemin kullanıcının çeşitli sergi öğelerine duygusal tepkisini sürekli olarak bilmesini ve ardından içeriği veya arayüzü buna göre değiştirerek etkileşimi, tatmini veya bilişsel rezonansı artırmasını sağlar. Son olarak, algı-duygu modelleme, hesaplamalı modelleme ve kullanıcıya duyarlı sergi sistemlerinin temelini oluşturan etkileşimin duygu farkında adaptasyonunu kolaylaştırır.

İlk olarak, DCCA modülleri her modalite çifti için korelasyonlu gizli temsilleri öğrenmek üzere eğitildi. Ortaya çıkan gömme, MMFN'ye girdi olarak hizmet eder ve duygusal tahmin görevi için ardışık olarak eğitilir. Eğitimin istikrarını korumak için uçtan uca ince ayar yapılmaz.

Kategori	Parametre	Değer / Açıklama
Sinyal Ön İşleme	EEG bant geçiş filtresi	4–45 Hz
	Yeniden örnekleme frekansı	128 Hz
	Pencere uzunluğu	2 s
	Pencere örtüşmesi	50%
	Normalleşme	Z-skor normalizasyonu
DCCA Mimarisi	Gizli katman sayısı	Her modalite için 3 katman
	Katman başına nöronlar	128–64–32
	Gizli boyut boyutu (n)	32
	Düzenleme parametresi	1 × 10⁻⁵
	Optimizer	Adam
	Öğrenme hızı	0.001
	Parti büyüklüğü	32
	Maksimum eğitim dönemleri	150
	Erken bırakma sabrı	15 dönem
MMFN Konfigürasyonu	Kodlayıcı tipi	BiLSTM
	Gizli birimler	64
	Okuldan ayrılma oranı	0.3
	Füzyon stratejisi	Dikkatle kapalı birleşme
	Dikkat tipi	EEG, EKG, GSR, Video
Eğitim ve Değerlendirme	Kayıp fonksiyonu	Çapraz entropi kaybı
	Tren–test ayrımı	5 kat çapraz doğrulama
	Değerlendirme metrikleri	Doğruluk, Hassasiyet, Hatırlama, F1 puanı, Cohen'in Kappası, AUC–ROC
Tekrarlanabilirlik Kontrol Noktaları	EEG giriş tensör şekli	Kanallar × zaman örnekleri (örneğin, pencere başına 14 × 256)
	DCCA çıkış temsili	32 boyutlu paylaşılan gizli gömme
	MMFN çıkışı	Duygu sınıfı olasılıkları (değerlik–uyarılma veya ayrık sınıflar)
	Beklenen doğrulama performansı	%85–90 sınıflandırma doğruluğu

Tablo 2: Önerilen DCCA–MMFN algoritmasının parametreleri. Önerilen duygusal UX modelleme çerçevesinde ele alınan ön işleme, mimari, füzyon, eğitim, değerlendirme ve tekrarlanabilirlik parametrelerinin özeti. Kısaltmalar; DCCA = Derin Kanonik Korelasyon Analizi; MMFN = Çok Modal Füzyon Ağı; UX = Kullanıcı Deneyimi.

Tablo 2'de, önerilen DCCA-MMFN çerçevesinde kullanılan tüm parametreler sunulmakta olup, sinyal ön işleme, derin mimari tasarım, füzyon tekniği ve eğitim koşulları dikkate alınmaktadır. Fizyolojik sinyaller, ilgili modalitelerine göre senkronize edilmek için eşit şekilde yeniden örneklendi ve normalleştirildi. DCCA katmanı, maksimum korelasyonlu gizli uzayların öğrenilmesine yardımcı olan çok katmanlı doğrusal olmayan dönüşümler kullanacak şekilde yapılandırıldı; MMFN bileşeni ise farklı modalitelerin değerini dinamik olarak tartmak için kapılı dikkat mekanizmalarına sahip BiLSTM kodlayıcı ağları kullandı. Eğitim ve değerlendirme gereksinimleri açıkça tanımlanmıştır, böylece mevcut seçeneklerle adil bir karşılaştırma sağlanır.

Önerilen çerçeve, davranışsal ve fizyolojik bilgileri çeşitli boyutlarda kullanan etki farkında sistemler için hesaplamalı temel olarak hizmet etmeyi amaçlamaktadır. Mimari, akıllı sergi alanları, uyarlanabilir akıllı arayüzler ve etkiye duyarlı insan-bilgisayar etkileşim sistemleri gibi gerçek dünya ortamlarına kavramsal olarak uyarlanabilir; ancak mevcut çalışma, modeli kamuya açık AMIGOS veri seti kullanılarak kontrollü çevrimdışı deneylerle doğrulamaktadır. Çerçeve, birleşik füzyon teknikleri, çapraz modal hizalama ve yapılandırılmış ön işleme sunarak güvenilir duygu çıkarımı gerektiren uygulamalar için temel bir modül olarak işlev görebilir. Ancak, bu çalışmada deneysel olarak dağıtılmış sistemler olmak yerine, bu ortamlar olası dağıtım bağlamları olarak tanımlanmıştır.

Results

Önerilen sistemin değerlendirilmesi
Önerilen sistemi değerlendirmek için, duygusal olarak etkileyici uyaranlara maruz kalan 40 kullanıcının EEG, EKG, GSR, video ve ses ölçümlerini sağlayan halka açık AMIGOS veri seti üzerinde deneyler yaptı. Bu araştırma amacıyla, yazarlar 33 katılımcıdan (eksik çalışmaların ön işlemesi ve çıkarılması sonrası) verilerini kullanarak, değerlik ve uyarılma boyutlarında 1.320 geçerli örnek elde ettiler. Değerlendirme, DCCA tabanlı temsil öğrenme katmanı ve Multimodal Fusi...

Discussion

Mekânsal düzen, kalabalık yoğunluğu veya çevresel koşullar gibi mekansal, çevresel ve fiziksel etkileşim bağlamları AMIGOS veri setinde açıkça belirtilmemiştir. Bu nedenle, bu faktörler mevcut deneylerde doğrudan modellenmemiştir. Duygusal Kullanıcı Deneyimi (UX) modelleme için önerilen hesaplama çerçevesi, temel makalenin biyofiziksel duygu algılamayla kullanıcı, görev odaklı çocuk-robot etkileşimini ele alan temel kavramlarından çok daha ileri ilerlemektedir. Duygusal hesaplamayı dinam...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Veri seti	AMIGOS veri seti	40 katılımcı; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), yüz videosu, kendi bildirilen değerlik/uyarılma etiketleri	Duygusal durum modellemesi için çok modlu temel gerçeklik verileri
Fizyolojik Sensörler	EEG kulaklığı	Emotiv EPOC+ (14 kanal, 128 Hz)	Dikkat, uyarılma ve etkileşimle ilgili beyin aktivitesini yakalamak
	EKG sensörü	Biopac MP150 veya eşdeğeri (1000 Hz)	Kalp atış hızı değişkenliği ve uyarılma
	GSR/EDA sensörü	Shimmer GSR+ veya eşdeğeri (1000 Hz)	Uyarılmanın ölçüsü olarak cilt iletkenliği
Davranışsal Sensörler	Göz takip cihazı	Tobii Pro X2-60 veya eşdeğeri	Bakış takıntısı ve sakkadların kaydedilmesi
	Yüz ifadesi kaydı	Yüksek çözünürlüklü video kamera; OpenFace ile analiz edilir (AU'lar, bakış vektörleri)	Yüz Eylem Birimleri (AU) ve bakış ipuçlarını çıkarmak
Çevresel Girdiler	Ses-görsel kayıt kurulumu	Mikrofon + Kamera (uyaranlarla senkronize edilmiş)	Sergi sırasında bağlamsal uyarıcıları yakalamak
Yazılım / Araç Setleri	OpenFace	Açık kaynak yüz davranışı analiz araç seti	Eylem Birimlerini (AU) Çıkarma, Bakış Yönü
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Sinyal ön işleme (yeniden örnekleme, z-skor normalizasyonu, PSD hesaplaması)	Veri ön işleme ve özellik çıkarma
	TensorFlowv2.13 / PyTorchv2.0	DCCA ve MMFN için derin öğrenme çerçevesi	Model uygulaması ve eğitimi
Algoritmalar / Modeller	Derin Kanonik Korelasyon Analizi (DCCA)	Doğrusal olmayan özellik hizalama yöntemi	Modaliteler arasında korelasyonlu gizli temsilleri öğrenmek
	Çok Modal Füzyon Ağı (MMFN)	BiLSTM + Dikkat tabanlı füzyon katmanları	UX durum sınıflandırması için heterojen modalitelerin hiyerarşik birleşimi
Değerlendirme Metrikleri	Doğruluk, Hassasiyet, Habarat, F1-Puan, Cohen' s Kappa, AUC-ROC, Karışıklık Matrisi	scikit-learn / TensorFlow metrikleriyle uygulanmıştır	Model performans değerlendirmesi
Hesaplama Donanımı	İş istasyonu / GPU kümesi	NVIDIA RTX 3080 (10GB) veya eşdeğeri, 32 GB RAM, Intel i9 işlemci	Model eğitimi ve simülasyonu