Computationele modellering van affectieve gebruikerservaring met behulp van multimodale fysiologische en gedragssignalen

Summary

Dit protocol beschrijft een computationeel kader dat de affectieve gebruikerservaring modelleert door fysiologische en gedragssignalen multimodal te integreren, met technieken voor correlatie-gebaseerd feature learning en multimodale fusie. Dit protocol stelt een raamwerk voor en test een kader voor multimodale affectieve modellering op de AMIGOS-benchmarkdataset.

Abstract

Dit werk stelt een reproduceerbaar computationeel protocol voor multimodale affectieve modellering voor dat gebruikmaakt van fysiologische signalen. Het doel van het protocol is om offline emotherkenning mogelijk te maken door meerdere biosignalen te integreren met een uniform deep learning-framework. Het voorgestelde werk bestaat uit vijf stappen: gegevensverzameling, voorverwerking, feature-uitlijning, multimodale fusie en evaluatie. EEG-, ECG- en GSR-signalen uit publiek toegankelijke AMIGOS-gegevens werden als experimentele basis in dit werk gebruikt. Biosignalen werden vooraf verwerkt en genormaliseerd om modaliteitsspecifieke kenmerken te extraheren. Heterogene kenmerkruimtes werden over modaliteiten uitgelijnd met behulp van Deep Canonical Correlation Analysis, gevolgd door een multimodaal fusienetwerk voor het classificeren van een affectieve toestand. Het protocol is geëvalueerd met offline experimenten en vergeleken met conventionele fusie- en classificatiemodellen met behulp van standaard prestatiemetrics zoals nauwkeurigheid, precisie, recall, F1-score en AUC. Deze studie richt zich op de ontwikkeling en validatie van een computationeel kader voor multimodale affectieve gebruikerservaringsmodellering, in plaats van de implementatie van een realtime interactief systeem. Met 92,1% nauwkeurigheid voor UX-affectieve toestandvoorspelling en 94,2% F1-score voor valence-arousal classificatie, presteerden de resultaten consequent beter dan de basismodellen op emotionele dimensies. Deze bevindingen bevestigden de effectiviteit van de voorgestelde multimodale fusieworkflow voor computationele affectieve modellering door fysiologische data te benchmarken.

Introduction

De complexe wisselwerking van denken, voelen en handelen vormt hoe mensen denken en handelen. Affectief computeren bestudeert deze relaties door interdisciplinaire kennis uit neurowetenschap, psychologie en kunstmatige intelligentie te benutten om systemen te bouwen die in staat zijn menselijke emoties te analyseren, begrijpen en erop te reageren. Dit gebied wordt steeds vaker toegepast op mens-technologie communicatie door expressief bewustzijn te integreren in responsieve AI-structuren, waardoor technologie niet alleen met intellectuele, maar ook met emotionele omstandigheden kan interageren, wat resulteert in meer geïndividualiseerde en emotiebewuste gebruikerskennis. Een emotie, een complex mentaal proces, is een weerspiegeling van menselijke waarnemingen en speelt een substantiële rol in menselijke interacties¹. Tegenwoordig zijn er talloze mens-computerinteractie (HCI)-toepassingen die onderzoek vereisen naar emotieherkenning². De HCI-systeemomgeving is dynamisch en complex. In de meeste gevallen moet het zijn functionaliteiten synchroniseren met de gedaagden; Daarom kan een context met emotionele intelligentie zich beter aanpassen aan dit soort omgeving. Daarom wordt in deze studie computationele modellering van affectieve gebruikerservaring via multimodale fysiologische en gedragssignalen onderzocht. In plaats van in de praktijk een interactief systeem te ontwikkelen of te valideren, is het werk meer geneigd bij te dragen aan methodologie gerelateerd aan multimodale signaalintegratie of het afleiden van toepassingen met onderdompelingscontexten of tentoonstellingsomgevingen. Om afstand te nemen van de breedte aan concepten, richt dit werk zich op twee hoofdconcepten: de implementatie van een multimodaal affectief modelleringskader met behulp van computationele benaderingen, en multimodale datafusietechnieken voor de combinatie van zowel fysiologische als gedragsdata. Alle andere onderwerpen die in het manuscript aan bod komen, worden ter context verwezen met betrekking tot de relevantie van de ontwikkelde modellen.

Elke emotievorm geeft verschillende informatie over iemands gevoel die niet uit een ander zintuiglijk systeem kan worden afgeleid. Het extraheren van emotie uit lichaamsbeweging, dat een algemeen lichaamsbewegingspatroon omvat, heeft de voordelen om de non-verbale gevoelens van een persoon te identificeren⁴. Spraak en gezichtsuitdrukking kunnen materiaal overbrengen dat niet beschikbaar is bij lichaamsbeweging en menselijke lichaamssignalen. Mensen gebruiken verschillende emotiemodaliteiten parallel en in combinatie. Elke modaliteit is beperkt en heeft zijn sterke punten. Om een gevoel correct te detecteren, hebben multimodale emotieherkenningsmethoden mogelijk een betere herkenningsprestatie dan unimodale emotieherkenning. Toch hebben gezichtsuitdrukkingssignalen, biosignalen/fysiologische signalen en spraaksignalen de neiging om eerder te verschijnen dan andere signalen. Daarom richt emotiedetectie op computer vision zich voornamelijk op gezichtsuitdrukking⁵.

Affectief computeren is uitgebreid onderzocht in kind-robot interactie (CRI); Emotiebewuste systemen passen hun reactie aan op basis van de fysiologische en gedragssignalen van gebruikers. Deze werken illustreren de haalbaarheid van biofysische emotiedetectie en adaptieve interactie. Echter, meestal zijn de ontworpen CRI-systemen alleen geschikt voor gestructureerde, taakgerichte en participerende contexten. Daardoor hebben CRI-systemen beperkte generaliseerbaarheid naar dynamische, openbare omgevingen zoals interactieve tentoonstellingen. Hun werk wijst op emotiebewuste robots als essentieel om motivatie te vergroten, naast het aanpakken van enkele kwesties zoals personalisatie. Betrokkenheid is een belangrijk element in affectieve kind-robot interactie, omdat emotioneel reactieve robots rijkere en effectievere leerervaringen bieden. De auteur⁶ presenteert een kader om gebruikersbetrokkenheid te detecteren op basis van taak- en sociale interactiekenmerken. Ze bewijzen uit hun bevindingen dat het identificeren van affectieve signalen, waaronder gezichtsuitdrukkingen en sociaal gedrag, robots in staat stelt hun reacties dynamisch aan te passen om de interactie en betrokkenheid van gebruikers te verbeteren. Affectieve aanpassing bij langdurige CRI is een voortdurende uitdaging. De auteurs in⁷ presenteren de emoties van de kinderen over een bepaalde periode, waarmee ze benadrukken dat robots zich moeten aanpassen aan persoonlijke emotiepatronen en leerstijlen.

Het heeft ook sterke prestaties behaald dankzij EEG dankzij de hoge temporele resolutie en gevoeligheid voor affectieve toestanden. Recente werken ^8,9,10 met deep learning-benaderingen verbeterden de robuustheid van onderwerpen door ruimtelijke en tijdsmatige modellering en grafgebaseerde aandachtmechanismen te introduceren. De meeste studies blijven echter unimodaal, en slechts enkele houden rekening met waarneming-emotie interacties over meerdere zintuiglijke kanalen; daarom zijn ze minder toepasbaar in immersive UX-scenario's^{11, 12, 13}. Het model werd geëvalueerd op de dataset, die verbeterde prestaties liet zien ten opzichte van de huidige state-of-the-art technieken. Het emotie-afhankelijke kritische selectie-algoritme werd door de auteurs voorgesteld in¹⁴, en de sterkte, clusteringscoëfficiënt en eigenvectorcentraliteit van de EEG-functionele connectiviteitsnetwerkkenmerken werden onderzocht. De auteurs onderzochten in¹⁵ een diep, eenvoudig recurrent unit network in een poging de temporele kenmerken van EEG-signalen te verkrijgen, en de experimentele resultaten overtroffen gerelateerd werk in de literatuur 16,17,18,19. Het is bijna onmogelijk om een grote dataset EEG-signalen te verzamelen, maar men kan andere benaderingen proberen, zoals de cross-subject benadering.

Recente studies^20,21 hebben aanzienlijke vooruitgang geboekt in het gebruik van extreem geavanceerde ruimtelijke en temporele modelleringsalgoritmen om het probleem van cross-subject Emotion Classification op basis van EEG-signalen aan te pakken. Dit omvat een ruimtelijk-temporeel hybride netwerk met verbeterde domeinadaptatie en dynamische grafiekaandacht voor het omgaan met variabiliteit tussen proefpersonen in Emotieclassificatie uit EEG-signalen²². In het bijzonder verbeterden ze door het gebruik van temporele modelleringsmechanismen en ruimtelijke hersenrelatiemodellering met dynamische aandacht de prestaties van subjectonafhankelijke emotieclassificatie aanzienlijk. Een andere onderzoeksinspanning naar dit probleem omvat een ruimtelijk-temporeel isomorf interactienetwerk tussen hersengebieden²³. In dit onderzoek wordt er meer nadruk gelegd op het modelleren van ruimtelijk-temporele invarianten om de robuustheid tussen proefpersonen voor emotieclassificatie uit EEG-signalen aanzienlijk te vergroten. Hoewel deze twee onderzoeksbijdragen met succes uitstekende prestaties hebben aangetoond op het gebied van emotieclassificatie uit puur neurale signalen, zijn ze beperkt tot monomodale signalen en ontbreken ze aan verkenning van multimodale P-E interacties. Integendeel, het huidige onderzoek richt zich op verbrede unimodale signaalmodellen via het gebruik van deep learning-oplossingen die meerdere P/E-modaliteiten met elkaar verbinden via deep correlation learning, wat een rijkere affectieve UX-modelleringsoplossing biedt.

Hoewel huidig onderzoek, waaronder het project over expressief bewuste kind–robot-interface met biofysische informatie, het potentieel heeft aangetoond om multimodale fysiologische signalen aan te boren om affectherkenning te verbeteren, zijn deze toch beperkt door domeingerelateerde beperkingen. In het bijzonder zijn deze systemen grotendeels geoptimaliseerd voor gestructureerde, taakgerichte interactie met kinderen en niet generaliseerbaar naar meer ingewikkelde, dynamische omgevingen zoals interactieve tentoonstellingen. Bovendien zijn de gebruikte feature fusion-technieken binnen het basiswerk niet schaalbaar en maken ze vaak gebruik van oppervlakkige fusie-benaderingen, die de complexe waarneming-emotie interactie binnen multisensorische UX-omgevingen niet effectief vastleggen. Ook maakt het baseline-artikel geen gebruik van geavanceerde deep learning-technieken die hoogdimensionale multimodale datastromen, zoals EEG, gezichtsuitdrukkingen en oogtracking, onder verschillende omgevingsprikkels kunnen uitlijnen en samenvoegen. Dit legt een fundamentele kenniskloof bloot bij het creëren van een high-performance computationeel paradigma dat niet alleen rekening houdt met uiteenlopende doelgroepsdemografieën en stimuluscontexten, maar ook perceptie-emotie interactie vastlegt via deep canonical correlation analysis (DCCA) en multimodal fusion network (MMFN) architecturen. Het overbruggen van deze kloof kan het begrip van gebruikerservaring (UX) aanzienlijk bevorderen.

Het hoofddoel van dit werk is het creëren van een computationeel systeem dat emotioneel adaptieve gebruikerservaring binnen interactieve tentoonstellingscontexten faciliteert via multimodale biofysische en gedragssensoren. Voortbouwend op de basisprincipes van emotiemodellering uit onderzoek naar kind-robot interactie en affectief computeren, is dit kader bedoeld om gebruikersperceptie-emotie interacties te modelleren en vast te leggen op basis van heterogene fysiologische en gedragssignalen zoals EEG, ECG, EDA, gezichtsuitdrukkingen en oogtracking. Door de integratie van diepe canonieke correlatieanalyse (DCCA) met een multimodaal fusienetwerk (MMFN) probeert het systeem gemeenschappelijke latente emotionele representaties tussen modaliteiten te leren en deze representaties te projecteren op affectieve gebruikerservaring (UX) toestanden. De architectuur heeft als taak de nadelen van oppervlakkige feature-fusie en leeftijdsgeperkte emotionele modellen te overwinnen door contextbewuste emotie-inferentie en multisensorische integratie in dynamische, openbare omgevingen te ondersteunen. Tot slot is dit werk bedoeld om geavanceerdere intelligente en affectief gevoelige tentoonstellingssystemen te ontwikkelen die reageren op de actuele affectieve feedback en interactiemodi van gebruikers, en zo de betrokkenheid, tevredenheid en cognitief-emotionele resonantie in digitale culturele ervaringen verder vergroten.

Dit artikel draagt op de volgende manieren bij aan de literatuur: Een computationeel kader voor multimodale affectieve modellering dat zowel fysiologische als gedragsgegevens meeneemt. Een multimodale fusiebenadering die effectief leren van perceptie en emotierepresentatie uit meerdere databronnen faciliteert. Dit voorgestelde werk introduceert een nieuw computationeel paradigma om de affectieve gebruikerservaring (UX) te versterken via AI-gebaseerde multimodale sensing en multisensorische integratiepipeline-modellering van de waarneming-emotie interactie. De belangrijkste bijdrage is de fusie van DCCA met MMFN om sterke kenmerken uit te lijnen en hoog-niveau representatieleer te faciliteren over heterogene modaliteiten zoals EEG, ECG, EDA, gezichtsexpressie en oogtracking. Dit stelt het mogelijk om een nauwkeurige offline evaluatie van zintuiglijke waarneming te modelleren aan emotionele toestanden zoals interesse, betrokkenheid, verrassing of verveling. Experimentele validatie met de openbaar beschikbare AMIGOS-dataset toont aan dat het ontwikkelde DCCA+MMFN-model beter presteert dan basismodellen (bijv. 1D-CNN, CNN-ResNet en LSTM-CNN) met een gemiddelde classificatienauwkeurigheid van 89,4% voor valentie-arousal emotietoestanden en 87,1% voor discrete emotieklassen.

In tegenstelling tot eerdere studies die deelnemers onder druk zetten, taakgerichte situaties toepasten of oppervlakkige feature-fusion-technieken gebruikten, biedt de voorgestelde aanpak een deep learning-kader dat specifiek is ontworpen voor dynamische expositieomgevingen in de echte wereld. Door de integratie van DCCA en een MMFN biedt dit werk een uitbreidbare en ruis-robuuste methode die in staat is continue waarnemings-emotionele verschuivingen in heterogene gebruikersgroepen te begrijpen. Deze duidelijke samensmelting van hoogdimensionale fysiologische, gedrags- en omgevingssignalen is een primaire innovatie voor affectieve UX-modellering. Dit artikel presenteert een AI-gedreven kader om affectieve gebruikerservaringen in interactieve tentoonstellingen te modelleren met behulp van multimodale sensing en multisensorische integratie. Het voorgestelde kader bereikt robuuste uitlijning en fusie van heterogene modaliteiten zoals EEG, ECG, EDA, gezichtsuitdrukkingen en oogtracking door DCCA te combineren met MMFN. In tegenstelling tot eerdere studies die beperkt waren tot gebruiker- of taakgerichte omgevingen, ondersteunt de voorgestelde aanpak continue waarneming-emotiemodellering binnen dynamische openbare omgevingen, en is daarmee een belangrijke vooruitgang in affectief UX-onderzoek.

De creatie van een systematische, herhaalbare multimodale computationele benadering voor fysiologische affectmodellering die methodisch het uitlijnen van heterogene kenmerken vóór fusie behandelt, is de belangrijkste nieuwigheid van dit werk. Het voorgestelde kader versterkt gecorreleerd representatieleren over EEG-, ECG- en GSR-signalen door een tussenliggende cross-modale latente uitlijningsfase te introduceren met DCCA, in tegenstelling tot traditionele multimodale emotieherkenningsstudies die vertrouwen op directe featureconcatenatie of fusie op beslissingsniveau. Door modaliteitsconsistentie vóór classificatie te garanderen, verbetert deze alignment-gedreven fusiebenadering de generaliseerbaarheid en robuustheid over affectieve dimensies. De bijdrage is een benchmark-georiënteerde, end-to-end workflow die preprocessing, representatie-uitlijning, multimodale fusie en evaluatie standaardiseert binnen één deep learning-architectuur, waardoor herhaalbare en taak-onafhankelijke fysiologische emotiemodellering mogelijk is, in plaats van slechts één algoritmische wijziging voor te stellen. Het voorgestelde kader in deze studie is bedoeld als haalbaarheids- en conceptuele demonstratie van multimodale affectieve modellering voor tentoonstellingsachtige ervaringen. In plaats van te proberen echte multisensorische tentoonstellingsomgevingen direct te modelleren, wordt de AMIGOS-dataset gebruikt als benchmarkproxy om de modelleringsaanpak in een gecontroleerde omgeving te valideren.

Protocol

De AMIGOS-dataset die in deze studie is gebruikt, is openbaar beschikbaar en is verzameld met eerdere goedkeuring van de institutionele beoordelingscommissie en geïnformeerde toestemming, zoals gerapporteerd in de oorspronkelijke publicatie. Deze studie omvat alleen secundaire analyse van de dataset en er was geen aanvullende ethische goedkeuring vereist.

De huidige methode maakt gebruik van feature-alignment en multimodale fusiebenaderingen om multimodale fysiologische en gedragsgegevens te verwerken en zo perceptie-emotie correlaties te beschrijven. Deze studie stelt een computationeel model voor affectieve gebruikerservaring (UX) in interactieve tentoonstellingen, waarbij gebruik wordt gemaakt van multimodale biofysische waarneming en AI-gebaseerde emotiemodellering. Gebaseerd op biofysische data-inzichten uit het basisartikel digitaliseert deze methodologie computermodellering van gebruikerstoestanden uit gesynchroniseerde EEG, ECG, EDA, oogtracking, gezichtsuitdrukkingen en omgevingsinputs. De term "ruimtelijk-temporele modellering" in het manuscript verwijst naar ruimtelijke multikanaals fysiologische kenmerken en intermodaliteitscorrelatie-uitlijning via DCCA. Temporal: sequentiële codering via BiLSTM en behoud van temporele afhankelijkheid binnen gesegmenteerde vensters. Deze diverse signalen worden aanvankelijk vooraf verwerkt en genormaliseerd om rekening te houden met temporele en ruimtelijke correlaties tussen modaliteiten. Featurevectoren worden onafhankelijk geleerd voor elke modaliteit, waarbij emotie-gerelateerde patronen zoals opwinding, aandacht en betrokkenheid worden vastgelegd. Om succesvol te leren van gedeelde emotionele representaties over heterogene datastromen heen, wordt DCCA gebruikt. DCCA projecteert elke modaliteit in een latente gemeenschappelijke subruimte waar gecorreleerde kenmerken worden gemaximaliseerd, terwijl modaliteitsspecifieke informatie behouden blijft door verhoogde cross-modale relevantie. Deze modaliteitsgeoriënteerde latente embeddings worden vervolgens doorgegeven aan een Multimodal Fusion Network (MMFN) dat temporele en contextuele informatie combineert via een hybride BiLSTM en aandachtslagen. Deze fusie stelt het systeem in staat om affectieve toestanden op hoog niveau te produceren, die worden vertaald naar gebruikerservaringsindicatoren (bijv. verveling, interesse, ongemak). Tot slot schat een classificatiemodule de affectieve UX-toestand en geeft feedback voor tentoonstellingsadaptatie, bijvoorbeeld het aanpassen van visuele of audiostimuli in computationele modellering. Figuur 1 toont de architectuur van de voorgestelde methode.

Figuur 1: Architectuur van de voorgestelde methode. Structuur van het voorgestelde UX-modelleringsframework waarbij multimodale inputs worden samengevoegd, waaronder EEG, ECG, EDA, gezichtsuitdrukkingen en oogkijk, met behulp van DCCA en MMFN. Afkortingen; UX = Gebruikerservaring; EEG = Elektro-encefalografie; ECG = Elektrocardiografie; EDA = Elektrodermale activiteit; DCCA = Diepe Canonieke Correlatieanalyse; MMFN = Multimodaal Fusienetwerk. Klik hier om een grotere versie van deze figuur te bekijken.

De voorgestelde architectuur in Figuur 1 illustreert een end-to-end affectieve gebruikerservaring (UX) systeem dat gebruikmaakt van Deep Canonical Correlation Analysis (DCCA) en een Multimodal Fusion Network (MMFN) voor modellering van waarneming-emotie interactie in interactieve tentoonstellingen. Het systeem begint met het opnemen van ruwe multimodale inputs zoals EEG-, ECG- en EDA-fysiologische signalen; gezichtsuitdrukkingen en gedragssignalen van oogkijken; en contextuele input zoals audiovisuele en omgevingsinformatie. Deze signalen worden vervolgens ingevoerd in een preprocessing- en feature-extractiemodule, waar signaalspecifieke verwerking (bijv. ruisverwijdering, normalisatie, feature-berekening) wordt uitgevoerd om betekenisvolle descriptoren voor elke modaliteit te produceren. Ten tweede projecteert de DCCA-module paren van modaliteiten in een gemeenschappelijke latente ruimte en leert het maximaal gecorreleerde embeddings die intrinsieke emotionele patronen over modaliteiten heen coderen. De hoog-correlatie functies van deze meerdere DCCA-modules worden vervolgens samengevoegd met het Multimodal Fusion Network (MMFN), dat de geleerde kenmerken hiërarchisch samenvoegt met deep learning-lagen, mogelijk BiLSTM, aandachtmechanismen of transformers om een compacte en hoog-niveau affectieve representatie te creëren. Deze geïntegreerde representatie wordt vervolgens gevoed in de classificatielaag van emoties en UX-toestanden, waarin het model affectieve uitkomsten voorspelt zoals valentie, opwinding of cognitieve/emotionele toestanden zoals betrokkenheid, verveling of overbelasting. Een adaptieve UX-feedbacklus wordt optioneel geleverd bij het beëindigen van de pijplijn, waardoor het systeem interactief kan reageren op de toestanden van de gebruiker door stimuli of inhoud in de tentoonstellingscontext aan te passen. Deze schaalbare en modulaire architectuur garandeert sterke emotiemodellering door correlatiebewust representatieleren en diepe multimodale integratie, wat uitstekend geschikt is voor computationele modellering van affectief rekenen in interactieve of ervaringsgerichte omgevingen.

De keuze voor de fusie van DCCA met MMFN is gebaseerd op de huidige beperkingen van standaard unimodale en ondiepe fusiemodellen. Hoewel CNN-ResNet en LSTM-CNN temporele of ruimtelijke kenmerken extraheren, zijn ze slecht in het balanceren van heterogene modaliteiten zoals EEG, EDA en gezichtsuitdrukkingen onder verschillende omgevingsstimulaties. DCCA maximaliseert crossmodale correlatie om gedeelde latente representaties te waarborgen, terwijl MMFN hiërarchische fusie- en aandachtmechanismen gebruikt om dynamisch de meest informatieve signalen te markeren. Wanneer deze modules worden gecombineerd, bieden ze een betrouwbaardere, begrijpelijke en breed toepasbare affectieve UX-modelleringsbenadering voor interactieve multisensorische omgevingen.

Data-acquisitie
In het voorgestelde modelkader van waarneming-emotie interactie voor interactieve tentoonstellingen wordt de publiek beschikbare AMIGOS-dataset²⁴ gebruikt als basis voor multimodale affectieve data. De AMIGOS-dataset biedt een uitputtende verzameling fysiologische en gedragsmatige metingen van menselijke deelnemers die affect-oproepende prikkels ondergaan, zoals videoclips. Deze gegevens bevatten gesynchroniseerde EEG-, ECG- en GSR-signalen, gezichtsvideo-opnamen en zelfgerapporteerde emotionele labels in discrete (bijv. blij, verdrietig) en dimensionale (valentie/opwinding) vormen. Deze modaliteiten sluiten goed aan bij de behoeften van het hier voorgestelde systeem, dat tot doel heeft affectieve gebruikerservaringstoestanden (UX) af te leiden tijdens immersieve, multisensorische tentoonstellingsinteracties. De dataset bevat opnames van 40 proefpersonen, die elk werden blootgesteld aan zowel korte (videoclips <150 seconden) als lange (films >14 min) emotieprikkelende prikkels, onder omstandigheden die echte mediabetrokkenheid simuleren. Voor de reikwijdte van dit voorgestelde werk wordt een vooraf bewerkte subset van de dataset gebruikt: records van 30 proefpersonen met artefactvrije, hoogwaardige EEG-, ECG- en GSR-signalen, evenals volledige gezichtsvideo- en annotatiebestanden. Dit zijn de gekozen samples om multimodale emotionele dynamiek na te bootsen tijdens tentoonstellingssituaties. De geleerde dataset vormt een trainings- en benchmarkbasis voor de DCCA + Multimodal Fusion Network (MMFN) pijplijn, waarbij affectieve toestanden zoals betrokkenheid, verveling, verwarring en opwinding worden onderzocht als reacties op visuele, auditieve en ruimtelijke prikkels in een gesimuleerde tentoonstellingsomgeving. Tabel 1 toont de datasetbeschrijving van de voorgestelde methode.

Parameter	Details
Datasetnaam	AMIGOS (Een dataset voor affect-, persoonlijkheids- en stemmingsonderzoek)
Nee. van deelnemers	In totaal 40 (30 gebruikt in voorgesteld werk met volledige multimodale data)
Stimuli-type	Korte en lange videoclips (emotioneel geannoteerd)
EEG-kanalen	14-kanaals Emotiv EPOC EEG-headset
ECG	Hartslagsensor (voor HRV en opwinding)
GSR	Huidgeleidingssensor (meet sympathische activiteit)
Gezichtsvideo	Hoge resolutie frontale gezichtsvideo voor expressieanalyse
Emotielabels	Zelfbeoordeelde valentie, opwinding, dominantie (schaal 1–9), plus discrete labels
Bemonsteringssnelheid	EEG: 128Hz, ECG/GSR: 1000Hz
Dataformaat	.mat-bestanden en gesynchroniseerde tijdstempellogs
Modaliteitssynchronisatie	Ja – Gesynchroniseerd over alle sensoren en video
Duur per sessie	Korte fragmenten (<150 s) en lange films (>14 min)
Applicatiegeschiktheid	Affectieve UX-modellering, multimodale fusie, realtime waarneming-emotie mapping

Tabel 1: Beschrijving van de AMIGOS-dataset. Beschrijving van de AMIGOS-dataset die in het voorgestelde kader is gebruikt, inclusief deelnemersinformatie, modaliteiten, steekproeffrequenties en experimenteel ontwerp. Afkortingen; AMIGOS = Een dataset voor affect-, persoonlijkheids- en stemmingsonderzoek naar individuen en groepen.

De publiek beschikbare AMIGOS-dataset die in het voorgestelde kader wordt toegepast, bestaat uit multimodale gedrags- en fysiologische gegevens verzameld van 40 deelnemers, waarvan 33 voor deze studie zijn geselecteerd op basis van de uitmuntendheid en volledigheid van de opnames. De dataset registreert emotionele reacties op korte en lange videoclips, en bevat signalen zoals EEG (van een 14-kanaals Emotive-headset), ECG voor hartslagvariabiliteit, GSR voor huidgeleiding en hoogresolutie gezichtsvideo voor expressiemeting. Emotionele toestanden worden zelfgerapporteerd in zowel dimensionale (valentie, opwinding, dominantie) als discrete categorieën. De gegevens zijn goed uitgelijnd met elkaar in de modaliteiten en worden correct bemonsterd - 128Hz voor EEG, 1000Hz voor ECG en GSR. Zo'n configuratie maakt de dataset ideaal om de gebruikerservaring (UX) te modelleren in interactieve tentoonstellingen, zodat waarnemings-emotie interacties nauwkeurig kunnen worden gevolgd met AI-gebaseerde multimodale sensing.

Data-voorverwerking
Alle preprocessingstappen, modeltraining en evaluaties werden afzonderlijk geïmplementeerd in op maat geschreven Python-scripts (Python 3.10, PyTorch 2.0), waarbij elke module voor signaalpreprocessing, DCCA-gebaseerde uitlijning, MMFN-training en prestatie-evaluatie werd uitgevoerd; de instelling van sleutelparameters en enkele essentiële computationele configuraties worden samengevat in Tabel 1. Om de publiek beschikbare AMIGOS-dataset voor affectieve UX-modellering van interactieve tentoonstellingen te verwerken, implementeer je aanvankelijk een systematische data-preprocessing pipeline voor fysiologische en gedragsmodaliteiten zoals EEG, ECG, GSR en gezichtsvideo. Eerst standaardiseer en synchroniseer je elke modaliteit, en voer daarna modaliteitsspecifieke preprocessing uit. Momenteel wordt contextuele informatie alleen verkregen uit intrinsieke audiovisuele aanwijzingen binnen de videostimuli, zoals gezichtsuitdrukkingen, visuele bewegingspatronen en akoestische kenmerken zoals spraakprosodie en achtergrondgeluid.

Signaalnormalisatie en resampling
Ruwe fysiologische signalen x(t) van alle modaliteiten worden opnieuw bemonsterd naar een gemeenschappelijke frequentie fs=128 Hz voor temporele uitlijning tussen modaliteiten:

(1)

De resampling werd uitgevoerd met een standaard signaalverwerkingsbibliotheekfunctie in plaats van een speciaal ontworpen algoritme. Specifiek werd de implementatie uitgevoerd met behulp van de resampling-utility die beschikbaar is in het Python-signaalverwerkingsecosysteem (SciPy), waarbij Fourier-methode-gebaseerde interpolatie wordt toegepast om signalen om te zetten naar de beoogde bemonsteringsfrequentie. De beoogde bemonsteringssnelheid f_s werd gekozen om uniforme temporele resolutie over modaliteiten te waarborgen voorafgaand aan segmentatie en feature-extractie. Elk signaal wordt vervolgens z-score genormaliseerd om variabiliteit tussen onderwerpen te elimineren:

(2)

waarbij μ_x en σ_x het gemiddelde van het proefvenster en de standaarddeviatie van het signaal zijn.

EEG-voorverwerking
De EEG-signalen, vastgelegd van 14 kanalen, worden banddoorlaatgefilterd in de keuze van 4–45 Hz om cognitieve gerelateerde frequenties te behouden:

(3)

Het vermogensspectrum wordt gebruikt om frequentiepatronen in signalen te bepalen, en dit kan verschillen afhankelijk van het type emotie, in het geval van het hersensignaal, en kan nuttige informatie over het signaal opleveren. De techniek van Welch is een superieure techniek van periodogrammen vergelijking 3, die een schatting van de spectrale dichtheid biedt en kan worden gebruikt om spectrogrammen te verkrijgen. De techniek van Welch segmenteert het tijdsdomeinsignaal in discrete tijdsintervallen en constructies. Een spectrogram voor elk segment, daarna worden alle spectrogrammen gemiddeld zoals aangetoond in vergelijking 4. Dit proces is soepeler dan de volledige FFT-benadering, en haalt daarom het maximale vermogen uit de signalen. Ten slotte wordt Power Spectral Density (PSD)¹⁹ berekend met behulp van Welchs techniek om frequentiedomeinkenmerken vast te leggen:

(4)

PSD-kenmerken worden opgeteld over vijf banden: Theta (4–8 Hz), Alpha (8–13 Hz), Beta (13–30 Hz), Low Gamma (30–45 Hz).

Video-gebaseerde gelaatstrekken
Door Facial Action Units (AU's) en oogkijkvectoren voor elk videoframe te extraheren met behulp van een multichannel-EEG-dataset of vergelijkbare software, worden deze vervolgens gecombineerd tot temporele sequenties:

(5)

Emotielabelmapping
Zowel valentie-opwindingsscores als discrete emotietags worden gegeven door AMIGOS. De continue beoordelingen worden genormaliseerd naar [0,1]:

(6)

Waarbij V de werkelijke waargenomen waarde vóór normalisatie is, V_min de kleinste waarde van de variabele in de dataset, V_max de grootste waarde van de variabele in de dataset en V' de genormaliseerde waarde in het bereik 0 tot 1. Deze labels worden toegepast als grondwaarheid voor gesuperviseerde affectmodellering. Deze labels worden toegepast als grondwaarheid voor gesuperviseerde affectmodellering.

Synchronisatie tussen modaliteiten
Alle modaliteiten worden gesynchroniseerd met behulp van tijdstempeluitlijning of dynamische tijdvervorming (DTW) wanneer nodig:

(7)

De vooraf bewerkte, feature-rijke data wordt vervolgens ingevoerd in de Deep Canonical Correlation Analysis (DCCA)-module, die maximaal gecorreleerde representaties tussen modaliteiten leert.

Feature-extractie met DCCA
In het beoogde kader van affectieve UX-modellering voor interactieve tentoonstellingen wordt DCCA gebruikt om verbonden latente kenmerken te leren in heterogene modaliteiten zoals EEG, ECG, EDA, gezichtsuitdrukkingen en oogtrackinggegevens. Het doel is om een gemeenschappelijke representatieruimte te leren waarin signalen van verschillende modaliteiten, zij het individueel ruiserig of modaliteitsspecifiek, maximaal gecorreleerd en semantisch consistent zijn in termen van waargenomen emotionele toestanden. In dit werk werd DCCA toegepast op de volgende modaliteitsparen: i) EEG–ECG, ii) EEG–GSR, en iii) EEG–gezichtskenmerken representaties. Deze paren werden geselecteerd om complementaire neurale-fysiologische en neurale-gedragscorrelaties te vangen die relevant zijn voor affectieve betrokkenheid. Om DCCA uit te breiden naar een multimodale setting, werden de pairwise DCCA-embeddings voor elk modaliteitspaar berekend en vervolgens samengevoegd met behulp van het voorgestelde MMFN, wat efficiënte integratie van meer dan twee modaliteiten mogelijk maakt zonder de kernformulering van DCCA te wijzigen.

Door correlatiegedreven latente uitlijning uit te voeren vóór fusie, scheidt DCCA structureel representatie-uitlijning van beslissingsfusie, in tegenstelling tot Cross-Modal Attention of Tensor Fusion Networks, die direct werken aan mogelijk misuitgelijnde representaties. De redundantie wordt verminderd en de representatiecoherentie wordt verbeterd door deze tweefasige architectuur. Bovendien optimaliseert DCCA direct cross-modale statistische afhankelijkheid in plaats van alleen afhankelijk te zijn van gedeelde verliesfuncties, wat geschikter is voor heterogene fysiologische data dan voor multitask-leerkaders. Ten eerste worden DCCA²⁰ gebruikt om representaties van een aantal modaliteiten te berekenen door deze sequentieel te behandelen via meerdere gestapelde lagen van niet-lineaire transformaties. Figuur 2 illustreert de constructie van DCCA die in dit onderzoek wordt toegepast. Wij gebruikten een grid search-methode om optimale hyperparameters te bepalen voor het ontwerpen van het deep learning-model dat in de DCCA-aanpak wordt gebruikt. Na een grondige experimentele analyse kozen de auteurs een stochastische gradient descent optimizer, cross-entropie verlies en een regulerende parameter van 1e5. Vervolgens selecteerden de auteurs 15 optimalisatiestappen waarbij de biasvector als volledig nullen werd gebruikt, de validatieset als criterium voor vroegtijdige stop, en de Xavier-initializer als gewicht-initialisator. Figuur 2 toont het werkproces van DCCA.

Figuur 2: Werkproces van DCCA. Procesworkflow van DCCA, waarbij het in kaart brengen van kenmerken uit diverse modaliteiten wordt weergegeven in een gemeenschappelijke latente ruimte om de correlatie te maximaliseren.
Afkortingen; DCCA = Diepe Canonieke Correlatieanalyse. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2 toont visueel het interne werkkader van Deep Canonical Correlation Analysis (DCCA) voor gedeeld representatieleren tussen twee verschillende modaliteiten, EEG (Modaliteit A) en EDA (Modaliteit B). Beide modaliteiten worden gevoed in hun respectievelijke diepe feature extractor-netwerken (Feature Extractor A en B), die verschillende verborgen lagen hebben die abstracte, modaliteitsspecifieke kenmerken leren. Voorafgaand aan fusie wordt cross-modale latente uitlijning uitgevoerd met behulp van Deep Canonical Correlation Analysis (DCCA). Voor elk modaliteitspaar worden twee parallelle diepe projectienetwerken gebouwd (EEG–ECG, EEG–EDA en EEG–Facial). Met ReLU-activatie bestaat elk projectienetwerk uit drie volledig verbonden lagen met afmetingen [256, 128, 64]. Voor de gedeelde latente ruimte is 64 de ultieme inbeddingsdimensie. Met een L2-regularisatiecoëfficiënt van 1e-5 om numerieke stabiliteit te garanderen, maximaliseert de doelfunctie de canonieke correlatie tussen geprojecteerde modaliteitsinbeddingen. Biasvectoren worden geïnitialiseerd tot nul, en gewichten worden geïnitialiseerd via Xavier-initialisatie. Om alignment learning te stabiliseren, worden de DCCA-modules afzonderlijk getraind voorafgaand aan de MMFN-training. Om de uitlijningsconsistentie te behouden, is er geen end-to-end fine-tuning tussen DCCA en MMFN. Deze pijplijnen van neurale netwerken accepteren de invoerdatastromen parallel maar geïsoleerd. De feature extractor-output van elk van hen wordt vervolgens geprojecteerd in de gemeenschappelijke latente ruimte, waar de kenmerken van beide modaliteiten worden gemapt om vergelijkbaar te worden in structuur. De projecties worden geoptimaliseerd volgens het doel van DCCA, namelijk het maximaliseren van de correlatie tussen de overeenkomstige latente representaties van EEG en EDA. Door deze maximaal gecorreleerde subruimte te verwerven, garandeert DCCA dat de output embeddings complementaire en semantisch significante patronen van beide modaliteiten behouden, die essentieel zijn voor downstream toepassingen zoals emotherkenning of affectief rekenen.

In dit werk worden features omgezet met DCCA en vervolgens geïntegreerd voor categorisatie. Het DCCA-model, weergegeven in Figuur 2, gebruikt een deep learning-model voor feature-transformatie. De CCA-laag berekent de correlatie, die vervolgens wordt gebruikt voor het combineren en classificeren van kenmerken. Stel dat de matrix proeven van de EEG-modaliteit opslaat, en de matrix bevat experimenten met gezichtsvideoclip-modaliteit. In dit geval worden de afmetingen van kenmerken in de EEG-proeven en gezichtsvideoclips respectievelijk weergegeven door n₁ en n₂, terwijl het totale aantal proeven wordt aangegeven door MA. Voor elke modaliteit hebben de auteurs het volgende diepe neurale netwerk gecreëerd om de invoerkenmerken op een niet-lineaire manier te herschikken:

(8)

waarbij parameters van de niet-lineaire transformatie worden weergegeven als HT₁ en HT₂; de daaropvolgende kenmerken van elk neuraal netwerk worden weergegeven als en en meting van karakteristiek van DCCA als n. Recursief geleerde parameters HT₁ en HT₂, gegenereerd uit DCCA, hebben de correlatie tussen ON₁ en ON₂ zoveel mogelijk verhoogd:

(9)

Wederzijds geleerde parameters als HT₁ en HT₂ werden getraind door het backpropagatie-algoritme. Om het beoogde antwoord te verkrijgen, werden de gradiënten van de doelfunctie benaderd zoals voorgesteld. De gewijzigde kenmerken ON1 en ON2 ∈ SP bevinden zich in de gecombineerde hyperspace SP nadat de twee neurale netwerken zijn getraind. De auteurs van DCCA mainly20 noemden het gebruik van gewijzigde kenmerken niet specifiek. De aangepaste functies kunnen op een manier worden gebruikt die het beste dient voor de applicatie van de gebruiker. In dit werk verkregen de auteurs de volgende samengevoegde kenmerken uit gewijzigde kenmerken:

(10)

waarbij α en β gewichten vertegenwoordigen die α + β = 1 behouden. De kenmerken ON geïntegreerd met DCCA worden ingevoerd in de SoftMax-classifier. Emotieherkenningstaken worden gebruikt om de classifier te trainen. Zoals eerder vermeld, heeft het bouwen van DCCA voor datafusie over verschillende formaten enkele voordelen. Om bijvoorbeeld de kenmerken en correlatie van modaliteitsgerichte transformaties te observeren, verkrijgt DCCA expliciet ON1 en ON2 voor elke modaliteit bij de feature-level fusie. Bovendien kunnen emotiegebaseerde gegevens worden bewaard door de niet-lineaire mappingfuncties f1(·) en f2(·) te besturen. Bovendien gebruiken de auteurs equivalente gewichten voor elke modaliteit in de gewogen somfusie. Een Multimodal Fusion Network (MMFN) dat gebruikerservaringstoestanden voorspelt, ontvangt deze gecombineerde ruimte. Voor multimodale uitlijning wordt een hiërarchische benadering gebruikt, waarbij de ruwe signalen eerst tijdelijk worden uitgelijnd met resampling en tijdstempeluitlijning, en de uitlijning van de semantisch rijke signalen uit diverse modaliteiten wordt verkregen via Deep Canonical Correlation Analysis (DCCA). Dit zorgt ervoor dat de modaliteitsbewuste representaties worden omgezet in een gemeenschappelijke latente ruimte vóór het aandachtsgebaseerde fusieproces in de MMFN.

Multimodal fusienetwerk (MMFN) voor affectieve UX-modellering
Het MMFN codeert elke modaliteit afzonderlijk en fuseert ze vervolgens met behulp van een fusiepoort en aandachtsmechanisme om een geïntegreerde representatie voor emotievoorspelling te genereren.

Modaliteitsspecifieke codering
Laat x⁽ⁱ⁾∈R^di de karakteristiekvector zijn voor de i-de modaliteit (bijv. EEG, EDA). Elke modaliteit wordt gecodeerd met een neurale encoder:

(11)

Mechanisme van geblokkeerde fusie
Om de informatiestroom van elke modaliteit te beheren, wordt een fusiepoort gebruikt:

(12)

(13)

σ is de sigmoïde activatiefunctie. ⊙karakteriseert elementgewijze ontwikkeling. Dit stelt het netwerk in staat om dynamisch lawaaierige modaliteiten te verlagen of nuttige functies te verhogen.

Crossmodaliteit aandachtfusie
Een aandachtslaag leert hoeveel gewicht er aan de representatie van elke modaliteit moet worden gehecht:

(14)

(15)

α(i) zijn aandachtsgewichtenvoor de samengevoegde eindrepresentatie.

Affectieve toestandvoorspelling
De gefuseerde vector wordt ingevoerd in een uitvoerlaag om voorspellingen te doen van valentie/arousal- of UX-toestanden:

22(16)

Waar kan worden gebruikt om te representeren: Discrete emotieklasse (blij, neutraal, verdrietig), Continue schaal (valentie/opwinding) en UX-categorieën (betrokken, afgeleid, overbelast).

Figuur 3: Structuur van MMFN. Structuur van het MMFN met modaliteitsspecifieke encoders, gegated fusion en aandachtgebaseerde integratie voor affectieve toestandsvoorspelling.
Afkortingen; MMFN = Multimodaal Fusienetwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3 toont het werkproces van een Multimodal Fusion Network (MMFN) dat wordt toegepast in een affectief computerframework voor het voorspellen van emotie en gebruikerservaring (UX). Modaliteitsspecifieke encoders, gegated fusion-lagen, een aandachtsgebaseerde integratiemodule en een eindclassificatiehoofd vormen de hiërarchische fusiearchitectuur van de MMFN. Het illustreert hoe verschillende heterogene inputmodaliteiten, zoals EEG (Modaliteit A), EDA (Modaliteit B) en Gezichtsuitdrukkingen (Modaliteit C), worden verwerkt met hun eigen gespecialiseerde encodernetwerken (Encoder A, B en C). Een onafhankelijke encoder, bestaande uit twee volledig verbonden lagen met ReLU-activatie, verwerkt elke modaliteit (EEG, ECG, EDA en gezichtskenmerken) voordat een Bidirectioneel Lang Kortetermijngeheugen (BiLSTM) laag temporele afhankelijkheden vastlegt. Elke encoder leert een modaliteitsspecifieke feature-representatie die belangrijke emotionele of fysiologische kenmerken uit de bijbehorende datastroom behoudt. Elke richting in de BiLSTM heeft 128 verborgen eenheden, waardoor elke modaliteit een 256-dimensionale contextuele embedding krijgt. Om overfitting te voorkomen, wordt dropout (snelheid = 0,5) uitgevoerd na de BiLSTM-laag. Een gated fusion-benadering die gebruik maakt van sigmoïde activatie om modaliteitsbijdragen dynamisch te controleren, wordt vervolgens toegepast op de gecodeerde modaliteitsrepresentaties. Een zelf-aandachtslaag berekent vervolgens aandachtsgewichten over modaliteiten heen om ruisachtige signalen te onderdrukken en relevante informatie te benadrukken. Een volledig verbonden laag en ofwel een lineaire uitvoerlaag voor valentie-arousal regressietaken of een Softmax-uitvoerlaag voor discrete classificatietaken projecteren de gefuseerde representatie. De output van elke encoder wordt vervolgens ingevoerd in een Multimodale Fusielaag, die samenvoeging van alle modaliteitskenmerken uitvoert en een aandachtsmechanisme toepast om meer informatieve signalen en maskerruis te markeren. Deze operatie produceert een gemeenschappelijke latente representatie die emotionele signalen over alle modaliteiten integreert in een hoog-niveau dichte vector.

De BiLSTM-lagen, toegepast op modaliteitsspecifieke sequentiële embeddings, modelleren direct temporele dynamiek. De BiLSTM maakt contextuele modellering mogelijk van veranderende affectieve toestanden door zowel voorwaartse als achterwaartse temporele afhankelijkheden binnen gesegmenteerde fysiologische sequenties vast te leggen. Bovendien wordt adaptieve weging van tijdinformatieve features mogelijk gemaakt door de aandachtgebaseerde fusielaag die volgt en die functioneert over tijdelijk gecodeerde representaties. De auteurs hebben de tekst onlangs bijgewerkt om duidelijker te maken hoe sequentieopbouw, recurrente codering en aandachtweging samenwerken ter ondersteuning van temporele modellering.

De voorgestelde pseudocode 1 toont het algemene proces van affectieve gebruikerservaringsmodellering met DCCA-MMFN in reproduceerbare vorm. Om te beginnen worden multimodale fysiologische en gedragssignalen gevoed in een onafhankelijke preprocessingstap die ruisreductie en normalisatie van schalen omvat. De kenmerken worden vervolgens ingevoerd in DCCA, waarbij gecorreleerde kenmerken gezamenlijk worden geleerd voor gespecificeerde modaliteitsparen, met als doel robuuste cross-modale uitlijning. De afgestemde kenmerken worden vervolgens gecombineerd binnen een MMFN bestaande uit afgesloten en aandachtsmechanismen voor modaliteitsspecifieke modulatie, gericht op het bevorderen van informatieve modaliteiten en het onderdrukken van ruis. De uiteindelijke gecombineerde kenmerkrepresentatie wordt gebruikt voor het trainen van een classifier bedoeld voor affectieve en UX-gerelateerde toestandsschatting, en de algehele prestatie-evaluatie wordt uitgevoerd op basis van standaardmetrics. De stapsgewijze aard van deze voorgestelde pseudocode zorgt voor transparantie, haalbaarheid en eenvoudige reproductie door anderen voor alle technisch geïnformeerde personen die interesse tonen in dit voorgestelde protocol.

Het voorgestelde kader heeft als doel de affectieve gebruikerservaring (UX) te voorspellen met behulp van multimodale fysiologische en gedragssignalen uit de AMIGOS-dataset op basis van de volgende stappen: Stap 1: De invoer van multimodale data bestaat uit EEG, ECG, EDA, oogblik en gezichtsuitdrukkingssignalen. Aanvankelijk wordt de AMIGOS multimodale dataset geraadpleegd en ondergaat elke modaliteit signaalvoorbewerking, inclusief ruisfiltering en normalisatie om de gegevenskwaliteit en consistentie te waarborgen. Stap 2: Om temporele uniformiteit tussen modaliteiten te behouden, worden alle signalen opnieuw gesampled naar een standaardfrequentie. Vervolgens wordt modaliteitsspecifieke feature-extractie uitgevoerd om onderscheidende feature-representaties te verkrijgen die overeenkomen met elk signaaltype. Stap 3: Om crossmodale relaties vast te leggen, worden geselecteerde modaliteitsparen (EEG–ECG, EEG–EDA en EEG–Facial) verwerkt met behulp van Deep Canonical Correlation Analysis (DCCA). De DCCA-netwerken zijn getraind om gecorreleerde latente representaties tussen gepaarde modaliteiten te leren, wat resulteert in uitgelijnde feature-embeddings voor elk modaliteitspaar. Deze uitgelijnde representaties worden vervolgens gecombineerd tot een uniforme multimodale featureruimte. Stap 4: De geaggregeerde afgestemde kenmerken worden als input geleverd aan een Multimodal Fusion Network (MMFN), waar aandachtsmechanismen en getated fusion-strategieën worden ingezet om complementaire informatie effectief te integreren tussen modaliteiten. Dit fusieproces genereert een uitgebreide affectieve representatie. Stap 5: De resulterende representatie wordt vervolgens gebruikt om een classifier te trainen met gelabelde emotiegegevens om de affectieve UX-toestand te voorspellen. Ten slotte wordt de modelprestatie geëvalueerd met behulp van standaardmetrics, waaronder Nauwkeurigheid, Precisie, Herinnering, F1-score en Area Under the Curve (AUC). De voorspelde affectieve UX-toestand wordt teruggegeven als de uiteindelijke output van het framework.

Perceptie-emotie modellering met behulp van het voorgestelde DCCA-MMFN-framework
In het voorgestelde computationele kader van affectieve gebruikerservaring (UX) van interactieve tentoonstellingen is de module Perception–Emotion Modeling het centrale proces dat de perceptuele reacties van de gebruiker op omgevingsprikkels verbindt met hun multimodale biofysisch afgeleide emotionele toestanden. Deze module is gebaseerd op de door DCCA verkregen veelvoorkomende representaties van fysiologische en gedragsmodaliteiten zoals EEG, EDA, ECG, gezichtsuitdrukkingen en oogbewegingen om de affectieve dynamiek van de gebruiker vast te leggen. Tegelijkertijd worden metadata over de omringende tentoonstellingsomgeving – visuele stimuli, geluidslandschappen, patronen van interactiviteit en omgevingskenmerken – gebruikt om perceptuele aanwijzingen te coderen. Met behulp van een Multimodal Fusion Network (MMFN) om deze multimodale representaties te combineren, verkrijgt het model gedetailleerde, niet-lineaire afbeeldingen van perceptuele stimuluskenmerken en emotielabels of dimensies (bijv. valentie, opwinding, betrokkenheid). Deze mapping stelt het systeem in staat om voortdurend te weten hoe een gebruiker emotioneel reageert op verschillende tentoonstellingselementen en vervolgens de inhoud of interface dienovereenkomstig aan te passen om betrokkenheid, tevredenheid of cognitieve resonantie te vergroten. Ten slotte faciliteert de waarneming-emotie modellering emotiebewuste aanpassing van interactie, wat de kern vormt van computationele modellering en gebruikersgevoelige tentoonstellingssystemen.

Ten eerste werden DCCA-modules getraind om gecorreleerde latente representaties voor elk modaliteitspaar te leren. De resulterende embedding dient als input voor de MMFN, die sequentieel verder wordt getraind voor de affectieve voorspellingstaak. Er wordt geen volledige finetuning gedaan om de stabiliteit van de training te behouden.

Categorie	Parameter	Waarde / Beschrijving
Signaalvoorverwerking	EEG-banddoorlaatfilter	4–45 Hz
	Herbemonsteringsfrequentie	128 Hz
	Vensterlengte	2 s
	Raamoverlap	50%
	Normalisatie	Z-score normalisatie
DCCA-architectuur	Aantal verborgen lagen	3 lagen per modaliteit
	Neuronen per laag	128–64–32
	Latente dimensiegrootte (n)	32
	Regularisatieparameter	1 × 10⁻⁵
	Optimizer	Adam
	Leertempo	0.001
	Batchgrootte	32
	Maximum trainingsperiodes	150
	Vroeg stoppen met geduld	15 tijdperken
MMFN-configuratie	Encodertype	BiLSTM
	Verborgen eenheden	64
	Uitvalpercentage	0.3
	Fusiestrategie	Gated fusie met aandacht
	Aandachttype	EEG, ECG, GSR, Video
Training & Evaluatie	Verliesfunctie	Kruisentropieverlies
	Trein-testsplitsing	5-voudige kruisvalidatie
	Evaluatiemetrieken	Nauwkeurigheid, Precisie, Terugroepen, F1-score, Cohen's Kappa, AUC–ROC
Reproduceerbaarheidscontrolepunten	EEG-invoertensorvorm	Kanalen × tijdssamples (bijv. 14 × 256 per venster)
	DCCA-uitvoerrepresentatie	32-dimensionale gedeelde latente inbedding
	MMFN-uitzet	Waarschijnlijkheden van emotieklassen (valentie–opwinding of discrete klassen)
	Verwachte validatieprestaties	85–90% classificatienauwkeurigheid

Tabel 2: Parameters van het voorgestelde DCCA–MMFN-algoritme. Samenvatting van preprocessing-, architectuur-, fusie-, trainings-, evaluatie- en reproduceerbaarheidsparameters die zijn overwogen in het voorgestelde affectieve UX-modelleringsraamwerk. Afkortingen; DCCA = Diepe Canonieke Correlatieanalyse; MMFN = Multimodale Fusienetwerk; UX = Gebruikerservaring.

In Tabel 2 wordt de volledige set parameters binnen het voorgestelde DCCA-MMFN-kader weergegeven, die rekening houdt met signaalvoorverwerking, diepe architectuurontwerp, fusietechniek en trainingscondities. Fysiologische signalen werden uniform opnieuw bemonsterd en genormaliseerd om ze te synchroniseren met betrekking tot hun respectievelijke modaliteiten. De DCCA-laag was geconfigureerd om multi-layer niet-lineaire transformaties te gebruiken, wat hielp bij het leren van maximaal gecorreleerde latente ruimtes, terwijl de MMFN-component BiLSTM-encodernetwerken met gated attention-mechanismen gebruikte om de waarde van verschillende modaliteiten dynamisch te wegen. De vereisten voor training en evaluatie zijn expliciet gedefinieerd, zodat een eerlijke vergelijking met bestaande opties mogelijk is.

Het voorgestelde kader is bedoeld als de computationele basis voor affectbewuste systemen die gedrags- en fysiologische informatie in verschillende dimensies gebruiken. De architectuur is conceptueel aanpasbaar aan echte omgevingen zoals intelligente tentoonstellingsruimtes, adaptieve slimme interfaces en affect-bewuste mens-computerinteractiesystemen, hoewel de huidige studie het model valideert via gecontroleerde offline experimenten met behulp van de publiek beschikbare AMIGOS-dataset. Het framework kan functioneren als een fundamentele module voor toepassingen die betrouwbare emotie-inferentie vereisen door uniforme fusietechnieken, cross-modale uitlijning en gestructureerde preprocessing aan te bieden. In plaats van experimenteel ingezette systemen worden deze omgevingen in deze studie beschreven als mogelijke implementatiecontexten.

Results

Beoordeling van het voorgestelde systeem
Om het voorgestelde systeem te beoordelen, voerde het experimenten uit op de publiek beschikbare AMIGOS-dataset, die gesynchroniseerde metingen biedt van EEG, ECG, GSR, video en audio van 40 gebruikers die werden blootgesteld aan emotioneel stimulerende prikkels. Voor dit onderzoek gebruikten de auteurs gegevens van 33 deelnemers (na preprocessing en verwijdering van onvolledige onderzoeken), wat resulteerde in 1.320 geldige mo...

Discussion

Ruimtelijke, omgevings- en fysieke interactiecontexten, zoals ruimtelijke indeling, drukdichtheid of omgevingsomstandigheden, worden expliciet niet gegeven in de AMIGOS-dataset. Dergelijke factoren worden dus ook niet direct gemodelleerd in de huidige experimenten. Het voorgestelde computationele kader voor Affective User Experience (UX)-modellering gaat veel verder dan de basisconcepten van het basisartikel die gingen over gebruikelijke, taakgerichte kind-robot interactie met behulp van...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dataset	AMIGOS dataset	40 deelnemers; EEG (128 Hz), ECG (1000 Hz), GSR (1000 Hz), gezichtsvideo, zelfgerapporteerde valence/arousal labels	Multimodal grondwaarheidsgegevens voor affectieve toestandsmodellering
Fysiologische Sensoren	EEG-headset	Emotiv EPOC+ (14 kanalen, 128 Hz)	Het vastleggen van hersenactiviteit met betrekking tot aandacht, arousal en betrokkenheid
	ECG-sensor	Biopac MP150 of equivalent (1000 Hz)	Hartslagvariabiliteit en arousal
	GSR/EDA-sensor	Shimmer GSR+ of equivalent (1000 Hz)	Huidgeleidbaarheid als maat voor arousal
Gedragssensoren	Eye-tracking apparaat	Tobii Pro X2-60 of equivalent	Het registreren van blikfixatie en saccades
	Geoordeel van gezichtsuitdrukkingen	Hoge resolutie videocamera; geanalyseerd met OpenFace (AUs, blikvectoren)	Het extraheren van faciale Action Units (AUs) en bliksignalen
Omgevingsinputs	Audio-visuele opname setup	Microfoon + Camera (gesynchroniseerd met stimuli)	Het vastleggen van contextuele stimuli tijdens de tentoonstelling
Software / Toolkits	OpenFace	Open-source toolkit voor gezichtsgedragsanalyse	Het extraheren van Action Units (AUs), blikrichting
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Signaalvoorverwerking (hersampling, z-score normalisatie, PSD berekening)	Gegevensvoorverwerking en functie-extractie
	TensorFlowv2.13 / PyTorchv2.0	Deep learning framework voor DCCA en MMFN	Modelimplementatie en -training
Algorithmen / Modellen	Deep Canonical Correlation Analysis (DCCA)	Lineaire niet-lineaire functie-uitlijningsmethode	Het leren van gecorreleerde latente representaties tussen modaliteiten
	Multimodal Fusion Network (MMFN)	BiLSTM + Attention-gebaseerde fusielagen	Hiërarchische fusie van heterogene modaliteiten voor UX-toestandclassificatie
Evaluatiemetrieken	Accuraatheid, Precisie, Recall, F1-Score, Cohen’s Kappa, AUC-ROC, Verwarringsmatrix	Geïmplementeerd met scikit-learn / TensorFlow-metrieken	Modelprestatie-evaluatie
Computerhardware	Werkstation / GPU-cluster	NVIDIA RTX 3080 (10GB) of equivalent, 32 GB RAM, Intel i9 processor	Modeltraining en simulatie