Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Het werk stelt een end-to-end multimodaal raamwerk voor voor emotieanalyse dat gebruikmaakt van transformer-encoders, ontkoppelde emotierepresentaties en grafiekgebaseerde cross-modale aandacht met visuele mapping om de nauwkeurigheid van emotieherkenning over twee datasets te verbeteren.
Door machines in staat te stellen menselijke affectieve toestanden te begrijpen, te interpreteren en daarop te reageren, is de visuele mapping van multimodale emotiekenmerken essentieel voor het ontwerp van intelligente interfaces. Desondanks richten huidige algoritmen voor multimodale emotiedetectie zich primair op predictieve prestaties, waardoor er weinig inzicht wordt geboden in interpreteerbaarheid, interactiebewustzijn of cross-modale interacties op kenmerkniveau. Dit werk introduceerde een raamwerk voor de visuele mapping van multimodale emotieaspecten dat interactiegeoriënteerde visualisatie, interpreteerbaar representatieleerproces en emotiepredictie combineert. Zonder gebruik te maken van handmatig gecreëerde kenmerken, werden transformer-gebaseerde encoders gebruikt om hoogwaardige emotie-embeddings uit tekstuele, audio- en visuele modaliteiten te extraheren. Om de robuustheid te verbeteren, werden emotiespecifieke en modaliteitsspecifieke informatie gescheiden met behulp van een techniek voor ontkoppeld representatieleerproces. Daarnaast werd een grafiekgebaseerd cross-modaal attentienetwerk ontwikkeld om adaptieve attentieweging te gebruiken voor het simuleren van subtiele emotionele relaties tussen modaliteiten. Er werd een multi-view visuele mapping-module ontwikkeld om temporele emotietrajecten, cross-modale attentieverdelingen en latente emotie-embeddings weer te geven om de transparantie te verhogen. De Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) dataset en de Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) werden gebruikt om het voorgestelde raamwerk te evalueren. Volgens de experimentele resultaten bood het voorgestelde raamwerk een verbeterde interpreteerbaarheid op kenmerkniveau en interactiebewuste visualisatie, terwijl het consistent beter presteerde dan representatieve baseline-technieken op het gebied van nauwkeurigheid, F1-score, correlatie en gemiddelde absolute fout. Bovendien faciliteerde de visuele mapping-module de kwalitatieve interpretatie van multimodale emotierepresentaties, cross-modale interacties en temporele emotiedynamiek, wat interactiebewuste visualisatie en analyse ondersteunde.
Het vermogen om menselijke sentimenten correct te identificeren en te begrijpen is cruciaal geworden voor het verbeteren van de interactie tussen mens en machine. Naast dat het essentieel is voor het verbeteren van de mens-computerinteractie, heeft emotieanalyse het potentieel om een reeks vakgebieden te revolutioneren, waaronder pre-diagnostische medische diagnostiek1, gedragsanalyse in het klaslokaal2, psychologische monitoring van patiënten3, vermoeidheidsdetectie in voertuigen4 en intelligent beheer in smart home-omgevingen5. Recente ontwikkeling....
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Het voorgestelde werk beoogt het ontwerp van intelligente interactie te verbeteren door een interpreteerbaar raamwerk te bieden voor de visuele mapping van multimodale emotiekenmerken. In dit werk zijn de publiekelijk toegankelijke databanken CH-SIMS en CMU-MOSEI gebruikt. Beide datasets zijn verkregen uit hun officiële bronnen en zijn gebruikt in overeenstemming met de gebruiksrichtlijnen, onderzoeksnormen en licentievoorwaarden die door de respectievelijke makers zijn vastgesteld. De multimodale inhoud van de datasets, inclusief tekst-, audio- en videagegevens, is oorspronkelijk verzameld en geannoteerd door de datasetproviders, in overeenstemming met hun geautorise....
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Dit werk valideert het voorgestelde visuele mapping-raamwerk voor multimodale emotiekenmerken op het gebied van zowel interactiebewuste interpreteerbaarheid als voorspellende prestaties, gebruikmakend van twee benchmarkdatasets, CH-SIMS en CMU-MOSEI. Volgens de experimentele resultaten presteert de voorgestelde aanpak consistent beter dan huidige technieken voor multimodale emotieherkenning over een verscheidenheid aan metrieken, waaronder correlatie, nauwkeurigheid, F1-score en de gemiddelde absolute fout (MAE). De ontk.......
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De experimentele resultaten tonen aan dat het voorgestelde visual mapping-framework voor multimodale emotiekenmerken over de CH-SIMS- en CMU-MOSEI-datasets beter presteert dan huidige technieken voor multimodale emotieherkenning. Vergeleken met early en late fusion-modellen, zoals EF-LSTM en TFN, behaalt de voorgestelde techniek een hogere nauwkeurigheid en hogere F1-scores, wat de robuustheid bij het verwerken van diverse emotionele informatie aantoont. De verbetering van de methode kan worden toegeschreven aan de ontwa.......
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De auteurs hebben geen belangenconflicten.
De auteurs willen graag de steun erkennen van de School of Housing, Building and Planning, Universiti Sains Malaysia, Penang, Maleisië, en de School of Design Art, Changsha University of Science & Technology, Changsha, China. De auteurs betuigen tevens hun waardering aan de Xiamen Academy of Arts and Design, Fuzhou University, Xiamen, China, voor hun academische en onderzoeksondersteuning gedurende dit werk.
....Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Adam | PyTorch Optimizer Library | https://pytorch-optimizers.readthedocs.io/en/latest/ (Learning Rate = 1 × 10-4) | Parameteroptimalisatie tijdens modeltraining |
| CH-SIMS | Originele Dataset Repository | Laatste Publieke Release | Benchmark-dataset voor Chinese multimodale sentiment- en emotieanalyse |
| CMU-MOSEI | CMU Multimodal SDK Repository | https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Laatste Publieke Release) | Benchmark-dataset voor multimodale sentiment- en emotieherkenning |
| Disentangled Emotion Encoder | Custom Implementatie | https://pytorch-geometric.readthedocs.io/en/latest/(Dual Encoder Architectuur) | Scheiding van emotiespecifieke en modaliteitsspecifieke latente representaties |
| Graph Attention Network (GAT) | PyTorch Geometric | Multi-head GAT (https://pytorch-geometric.readthedocs.io/en/latest/) | Modellering van cross-modale emotionele relaties en adaptieve feature-fusie |
| Graph-Based Cross-Modal Attention Layer | Custom Implementatie | Multi-Head Attention Fusion | Leren van fijnmazige emotionele afhankelijkheden tussen modaliteiten |
| Matplotlib | Matplotlib Project | 3.7+ | Genereren van plots en visuele analyses |
| NetworkX | NetworkX Project | 3.0+ | Constructie en visualisatie van cross-modale interactiegrafen |
| NVIDIA GPU | NVIDIA Corporation | CUDA-compatibele GPU | Versnelling van training van transformers en graph neural networks |
| Principal Component Analysis (PCA) | Scikit-learn | sklearn.decomposition.PCA | Initiële reductie van hoog-dimensionale emotie-embeddings |
| Python | Python Software Foundation | 3.8+ | Kernprogrammeertaal voor de implementatie van het multimodale emotieanalyse-framework |
| PyTorch | PyTorch Foundation | 2.0+ | Ontwikkeling, training en optimalisatie van diepe neurale netwerken |
| RoBERTa | Hugging Face Transformers | https://huggingface.co/docs/transformers/index (roberta-base, 768-dim embeddings) | Extractie van contextuele linguïstische en semantische emotierepresentaties |
| Seaborn | Seaborn Project | 0.12+ | Genereren van attention heatmaps en statistische visualisaties |
| t-distributed Stochastic Neighbor Embedding (t-SNE) | Scikit-learn | scikit-learn.org (Perplexity = 30, Iteraties = 1000) | Visualisatie van latente emotieclusters en trajecten |
| Ubuntu Linux | Canonical Ubuntu | 20.04 LTS of later | Experimentele uitvoeringsomgeving |
| Vision Transformer (ViT-Base) | Google Research Vision Transformer | ViT-Base/16, 768-dim embeddings | Extractie van emotiegevoelige visuele representaties uit videoframes |
| Wav2Vec 2.0 | Meta AI Research | Base Model, 768-dim embeddings | Extractie van contextuele akoestische en spraakemotie-features |
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.