Çok Modlu Fizyolojik ve Davranışsal Sinyaller Kullanarak Duygusal Kullanıcı Deneyiminin Hesaplamalı Modellenmesi

Summary

Bu protokol, korelasyona dayalı özellik öğrenimi ve multimodal birleşme teknikleri kullanarak fizyolojik ve davranışsal sinyalleri multimodal bir şekilde entegre ederek duygusal kullanıcı deneyimini modelleyen hesaplamalı bir çerçeve tanımlar. Bu protokol, AMIGOS kıyaslama veri setinde multimodal duygusal modelleme için bir çerçeve önerir ve test eder.

Abstract

Bu çalışma, fizyolojik sinyalleri kullanan çok modlu duygusal modelleme için tekrarlanabilir bir hesaplama protokolü önermektedir. Protokolün amacı, birleşik bir derin öğrenme çerçevesi kullanarak birden fazla biyosinyalin entegre edilmesiyle çevrimdışı duygu tanımasını mümkün kılmaktır. Önerilen çalışma beş adımdan oluşmaktadır: veri toplama, ön işleme, özellik hizalaması, çok modlu füzyon ve değerlendirme. Bu çalışmada kamuya açık AMIGOS verilerinden alınan EEG, EKG ve GSR sinyalleri deneysel temel olarak kullanılmıştır. Biyosinyaller, modaliteye özgü özellikleri çıkarmak için önceden işlenip normalleştirildi. Heterojen özellik uzayları, Derin Kanonik Korelasyon Analizi kullanılarak modaliteler arasında hizalanmış, ardından duygusal bir durumu sınıflandırmak için çok modlu bir füzyon ağı uygulanmıştır. Protokol, çevrimdışı deneylerle değerlendirilmiş ve doğruluk, hassasiyet, hata getirme, F1-puanı ve AUC gibi standart performans metrikleri kullanılarak geleneksel füzyon ve sınıflandırma modelleriyle karşılaştırılmıştır. Bu çalışma, gerçek zamanlı etkileşimli bir sistemin uygulanmasından ziyade, çoklu modal duygusal kullanıcı deneyimi modellemesi için hesaplamalı bir çerçevenin geliştirilmesi ve doğrulanmasına odaklanmaktadır. UX-affektif durum tahmini için %92,1 doğruluk ve değerlik-uyarılma sınıflandırması için %94,2 F1 puanı ile sonuçlar duygusal boyutlarda sürekli olarak temel modelleri geride bıraktı. Bu bulgular, önerilen multimodal füzyon iş akışının fizyolojik verilerin karşılaştırılmasıyla hesaplamalı affektif modelleme için etkinliğini doğruladı.

Introduction

Düşünme, duygu ve eylemin karmaşık etkileşimi, insanların nasıl düşündüğünü ve davranışını şekillendirir. Duygusal bilişim, bu ilişkileri sinirbilim, psikoloji ve yapay zekadan disiplinlerarası bilgilerle insan duygularını analiz edebilen, anlayabilen ve tepki verebilen sistemler inşa ederek incelemektedir. Bu alan, ifade edici bilinci yanıt veren yapay zeka yapılarına entegre ederek insan-teknoloji iletişimine giderek daha fazla uygulanmaya başlandı; teknolojinin sadece entelektüel değil, aynı zamanda duygusal koşullarla da etkileşime girmesini sağladı ve böylece daha bireysel ve duyguya duyarlı kullanıcı bilgisi sağlandı. Bir duygu,....

Protocol

Bu çalışmada kullanılan AMIGOS veri seti kamuoyuna açıktır ve orijinal yayında bildirildiği gibi önceden kurumsal inceleme kurulu onayı ve bilgilendirilmiş onayı ile toplanmıştır. Bu çalışma, veri setinin yalnızca ikincil analizini içermekte olup, ek etik onay gerekmemiştir.

Mevcut yöntem, algı-duygu korelasyonlarını tanımlamak için çoklu modal fizyolojik ve davranışsal verileri işlemek için özellik hizalama ve multimodal füzyon yaklaşımlarını kullanır. Bu çalışma, etkileşimli sergilerde duygusal kullanıcı deneyimi (UX) için çok modlu biyofiziksel algılama ve yapay zeka tabanlı duygu modellemesinden yararlanarak hesaplamalı bir model önerme....

Results

Önerilen sistemin değerlendirilmesi
Önerilen sistemi değerlendirmek için, duygusal olarak etkileyici uyaranlara maruz kalan 40 kullanıcının EEG, EKG, GSR, video ve ses ölçümlerini sağlayan halka açık AMIGOS veri seti üzerinde deneyler yaptı. Bu araştırma amacıyla, yazarlar 33 katılımcıdan (eksik çalışmaların ön işlemesi ve çıkarılması sonrası) verilerini kullanarak, değerlik ve uyarılma boyutlarında 1.320 geçerli örnek elde ettiler. Değerlendirme, DCCA tabanlı temsil öğrenme katmanı ve Multimodal Fusi.......

Discussion

Mekânsal düzen, kalabalık yoğunluğu veya çevresel koşullar gibi mekansal, çevresel ve fiziksel etkileşim bağlamları AMIGOS veri setinde açıkça belirtilmemiştir. Bu nedenle, bu faktörler mevcut deneylerde doğrudan modellenmemiştir. Duygusal Kullanıcı Deneyimi (UX) modelleme için önerilen hesaplama çerçevesi, temel makalenin biyofiziksel duygu algılamayla kullanıcı, görev odaklı çocuk-robot etkileşimini ele alan temel kavramlarından çok daha ileri ilerlemektedir. Duygusal hesaplamayı dinam.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Veri seti	AMIGOS veri seti	40 katılımcı; EEG (128 Hz), EKG (1000 Hz), GSR (1000 Hz), yüz videosu, kendi bildirilen değerlik/uyarılma etiketleri	Duygusal durum modellemesi için çok modlu temel gerçeklik verileri
Fizyolojik Sensörler	EEG kulaklığı	Emotiv EPOC+ (14 kanal, 128 Hz)	Dikkat, uyarılma ve etkileşimle ilgili beyin aktivitesini yakalamak
	EKG sensörü	Biopac MP150 veya eşdeğeri (1000 Hz)	Kalp atış hızı değişkenliği ve uyarılma
	GSR/EDA sensörü	Shimmer GSR+ veya eşdeğeri (1000 Hz)	Uyarılmanın ölçüsü olarak cilt iletkenliği
Davranışsal Sensörler	Göz takip cihazı	Tobii Pro X2-60 veya eşdeğeri	Bakış takıntısı ve sakkadların kaydedilmesi
	Yüz ifadesi kaydı	Yüksek çözünürlüklü video kamera; OpenFace ile analiz edilir (AU'lar, bakış vektörleri)	Yüz Eylem Birimleri (AU) ve bakış ipuçlarını çıkarmak
Çevresel Girdiler	Ses-görsel kayıt kurulumu	Mikrofon + Kamera (uyaranlarla senkronize edilmiş)	Sergi sırasında bağlamsal uyarıcıları yakalamak
Yazılım / Araç Setleri	OpenFace	Açık kaynak yüz davranışı analiz araç seti	Eylem Birimlerini (AU) Çıkarma, Bakış Yönü
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Sinyal ön işleme (yeniden örnekleme, z-skor normalizasyonu, PSD hesaplaması)	Veri ön işleme ve özellik çıkarma
	TensorFlowv2.13 / PyTorchv2.0	DCCA ve MMFN için derin öğrenme çerçevesi	Model uygulaması ve eğitimi
Algoritmalar / Modeller	Derin Kanonik Korelasyon Analizi (DCCA)	Doğrusal olmayan özellik hizalama yöntemi	Modaliteler arasında korelasyonlu gizli temsilleri öğrenmek
	Çok Modal Füzyon Ağı (MMFN)	BiLSTM + Dikkat tabanlı füzyon katmanları	UX durum sınıflandırması için heterojen modalitelerin hiyerarşik birleşimi
Değerlendirme Metrikleri	Doğruluk, Hassasiyet, Habarat, F1-Puan, Cohen' s Kappa, AUC-ROC, Karışıklık Matrisi	scikit-learn / TensorFlow metrikleriyle uygulanmıştır	Model performans değerlendirmesi
Hesaplama Donanımı	İş istasyonu / GPU kümesi	NVIDIA RTX 3080 (10GB) veya eşdeğeri, 32 GB RAM, Intel i9 işlemci	Model eğitimi ve simülasyonu