다중 모달 생리학적 및 행동 신호를 이용한 정서 사용자 경험의 계산 모델링

Summary

이 프로토콜은 상관관계 기반 특징 학습과 다중 모달 융합 기법을 사용하여 생리적 및 행동적 신호를 다중 모드로 통합하여 정서적 사용자 경험을 모델링하는 계산 프레임워크를 설명합니다. 이 프로토콜은 AMIGOS 벤치마크 데이터셋에 대한 다중 모달 정서 모델링 프레임워크를 제안하고 테스트합니다.

Abstract

이 연구는 생리학적 신호를 활용하는 다중 모달 정서 모델링을 위한 재현 가능한 계산 프로토콜을 제안합니다. 이 프로토콜의 목표는 통합된 딥러닝 프레임워크를 사용하여 여러 생체 신호를 통합하여 오프라인 감정 인식을 가능하게 하는 것입니다. 제안된 작업은 데이터 수집, 전처리, 특징 정렬, 다중 모달 융합, 평가의 다섯 단계로 구성됩니다. 이 연구에서는 공개적으로 접근 가능한 AMIGOS 데이터의 EEG, ECG, GSR 신호를 실험 기준선으로 사용했습니다. 생체 신호는 모달리티 특이적 특징을 추출하기 위해 사전 처리되고 정규화되었습니다. 이질적인 특징 공간은 심층 정준 상관 분석을 통해 모달리티 간 정렬되었고, 이후 다중 모달 융합 네트워크를 통해 정서 상태를 분류하였습니다. 프로토콜은 오프라인 실험으로 평가되었으며, 정확성, 정밀도, 회상, F1 점수, AUC와 같은 표준 성능 지표를 사용하여 기존 융합 및 분류 모델과 비교되었습니다. 본 연구는 실시간 상호작용 시스템 배포보다는 다중 모달 정서 사용자 경험 모델링을 위한 계산 프레임워크의 개발 및 검증에 중점을 둡니다. UX 정서 상태 예측에서 92.1% 정확도, 원가-각성 분류에서 94.2% F1 점수를 기록하며, 감정 측면에서 기준선 모델을 꾸준히 능가했습니다. 이 결과는 생리학적 데이터를 벤치마킹하여 제안된 다중 모달 융합 워크플로우의 계산 정서 모델링의 효과를 검증하였습니다.

Introduction

사고, 감정, 행동의 복잡한 상호작용이 사람들의 사고와 행동을 형성합니다. 감정 컴퓨팅은 신경과학, 심리학, 인공지능의 학제간 지식을 활용해 인간 감정을 분석하고 이해하며 반응할 수 있는 시스템을 구축함으로써 이러한 관계를 연구합니다. 이 분야는 표현적 의식을 반응형 AI 구조에 통합함으로써 인간-기술 커뮤니케이션에 점점 더 많이 적용되고 있으며, 기술이 지적 조건뿐 아니라 감정적 조건과도 상호작용하게 하여 보다 개별화되고 감정 인식이 풍부한 사용자 지식을 만들어냅니다. 감정은 복잡한 정신 과정으로, 인간의 인식을 반영하며 인간 상호작용에서 중요한 역할을^합니다. 오늘날 감정 인식에 대한 연구가 필요한 수많은 인간-컴퓨터 상호작용(HCI) 응용 분야가 있습니다^. HCI 시스템 환경은 동적이고 복잡합니다. 대부분의 경우, 피고인과 기능을 동기화해야 하며; 따라서 감성 지능이 있는 맥락은 이런 분위기에서 더 잘 적응할 수 있습니다. 따라서 본 연구에서는 다중 모달 생리적 및 행동 신호를 통한 정서 사용자 경험의 계산 모델링을 탐구^합니다. 실제로 상호작용 시스템을 개발하거나 검증하기보다는, 이 연구는 다중 모드 신호 통합과 관련된 방법론에 기여하거나 몰입 환경이나 전시 기반 환경의 적용 맥락에서 추론에 영향을 미치는 데 더 중점을 둡니다. 개념의 폭을 피하기 위해 본 연구는 두 가지 주요 개념에 집중합니다: 계산적 접근법을 이용한 다중 모달 정서 모델링 프레임워크의 구현과 생리적 및 행동적 데이터를 결합하는 멀티모달 데이터 융합 기법입니다. 원고에서 등장하는 다른 모든 주제들은 개발된 모델의 관련성과 관련하여 맥락을 위해 참고됩니다.

모든 감정 양식은 다른 감각 체계로는 도출할 수 없는 사람의 감정에 관한 서로 다른 정보를 전달합니다. 신체 움직임에서 감정을 추출하는 것은 전체적인 신체 움직임 패턴을 포함하며^{, 사람의 비}언어적 감정을 식별하는 장점이 있습니다. 말과 얼굴 외모는 신체 움직임이나 인간의 신체 신호에서 얻을 수 없는 자료를 전달할 수 있습니다. 인간은 다양한 감정 양식을 병행하거나 결합하여 사용합니다. 각 치료법은 제한적이지만 강점이 있습니다. 감정을 올바르게 감지하기 위해, 다중 모달 감정 인식 방법은 단일 모달 감정 인식보다 더 높은 인식 성능을 누릴 수 있습니다. 하지만 감정 변화가 일어날 경우, 얼굴 표정 신호, 생체 신호/생리적 신호, 음성 신호가 다른 신호보다 더 빨리 나타나는 경향이 있습니다. 따라서 컴퓨터 비전 기반 감정 감지는 주로 얼굴 감정 표현에 집중합니다^.

정서 컴퓨팅은 아동-로봇 상호작용(CRI)에서 포괄적으로 연구되었으며; 감정 인식 시스템은 사용자의 생리적 및 행동 신호에 따라 반응을 변화시킵니다. 이 연구들은 생물물리학적 감정 감지와 적응적 상호작용의 실현 가능성을 보여줍니다. 하지만 대부분의 경우 설계된 CRI 시스템은 구조화되고 작업 지향적이며 참여자 중심의 상황에만 적합합니다. 따라서 CRI 시스템은 인터랙티브 전시와 같은 동적이고 공공적인 환경으로는 일반화가 제한적입니다. 그들의 연구는 개인화 같은 문제뿐만 아니라 동기 부여를 높이는 데 필수적인 로봇임을 지적합니다. 참여는 감정적으로 반응하는 로봇이 더 풍부하고 효과적인 학습 경험을 제공하기 때문에 정서적 아동-로봇 상호작용의 핵심 요소입니다. 저자⁶ 은 과제 및 사회적 상호작용 특성을 기반으로 사용자 참여를 감지하는 프레임워크를 제시합니다. 그들은 얼굴 표정과 사회적 행동을 포함한 정서 신호를 식별함으로써 로봇이 반응을 동적으로 조정하여 사용자 상호작용과 참여를 향상시킬 수 있음을 연구 결과를 통해 입증했습니다. 장기 CRI에서의 정서 적응은 지속적인 도전 과제입니다. ⁷ 편의 저자들은 일정 기간 동안 아이들의 감정을 제시하며, 로봇이 개인적인 감정 패턴과 학습 스타일에 적응해야 함을 강조합니다.

또한 높은 시간 해상도와 정서 상태에 대한 민감성 덕분에 EEG에서 강력한 성능을 보였습니다. 최근 연구인^{8, 9, 10}은 딥러닝 접근법을 사용하여 시공간 모델링과 그래프 기반 주의 메커니즘을 도입하여 주제 간 견고성을 향상시켰습니다. 그러나 대부분의 연구는 단방향 연구에 머물러 있으며, 여러 감각 채널에 걸친 지각-감정 상호작용을 고려하는 연구는 극소수에 불과합니다; 따라서 몰입형 UX 시나리오^{11, 12, 13}에서는 덜 적용 가능합니다. 이 모델은 데이터셋에서 평가되었으며, 최신 기법에 비해 성능이 향상되었습니다. 감정 의존적 비판적 선택 알고리즘은¹⁴에서 저자들에 의해 제안되었으며, EEG 기능 연결성 네트워크 특징의 강도, 군집 계수, 고유벡터 중심성을 조사하였다. ¹⁵명의 저자들은 EEG 신호에서 시간적 특징을 얻기 위해 깊고 단순한 반복 단위 네트워크를 연구했으며, 실험 결과는 관련 문헌 연구를 능가했다^{16, 17, 18, 19}. EEG 신호의 대규모 데이터셋을 수집하는 것은 거의 불가능하지만, 교차 피험자 접근법과 같은 다른 접근법을 시도할 수 있습니다.

최근 연구(^20,21)는 EEG 신호를 기반으로 한 교차 주제 감정 분류 문제를 해결하기 위해 매우 진보된 시공간 모델링 알고리즘을 활용하는 데 상당한 진전을 이루었습니다. 여기에는 EEG 신호에 의한 감정 분류의 피험자 간 변동성을 다루기 위한 영역 적응과 동적 그래프 주의를 갖춘 시공간 하이브리드 네트워크가 포함됩니다²². 특히, 시간 모델링 메커니즘과 동적 주의를 이용한 공간적 뇌 관계 모델링을 통해 주체와 독립적인 감정 분류 성과를 크게 향상시켰습니다. 이 문제에 대한 또 다른 연구로는 시공간적 동형인 뇌 교차 영역 상호작용 네트워크(²³)가 있습니다. 본 연구에서는 EEG 신호를 통한 감정 분류의 대상자 간 견고성을 유의미하게 향상시키기 위해 시공간 불변량 모델링에 더 큰 중점을 둡니다. 이 두 연구 기여는 순수 신경 신호에서 감정 분류에 탁월한 성과를 성공적으로 입증했으나, 단일모달 신호에 한정되며 다중 모달 P-E 상호작용에 대한 탐구는 부족하다. 반면, 현재 연구는 딥러닝 솔루션을 활용해 여러 P/E 모달리티를 결합하는 딥 코레이션 학습을 통해 확장된 유니모달 신호 모델에 집중하며, 더 풍부하고 풍부한 감성적 감동 UX 모델링 솔루션을 제공합니다.

현재 연구, 특히 생물물리 정보를 이용한 표현적 의식 아동-로봇 인터페이스 프로젝트는 다중 모달 생리적 신호를 활용해 감정 인식을 향상시킬 수 있는 잠재력을 검증했지만, 도메인 관련 제약에 의해 제한되고 있습니다. 특히 이러한 시스템은 구조적이고 과제 지향적인 아이들과의 상호작용에 최적화되어 있으며, 인터랙티브 전시와 같은 더 복잡하고 역동적인 환경으로는 일반화되지 않습니다. 더불어, 기본 연구에서 사용되는 특징 융합 기법은 확장성이 떨어지며, 다감각 UX 환경에서 존재하는 복잡한 지각-감정 상호작용을 효과적으로 포착하지 못하는 얕은 융합 접근법에 의존하는 경향이 있습니다. 또한, 기초 논문은 EEG, 표정, 시선 추적 등 고차원 다중모달 데이터 스트림을 다양한 환경 자극 하에서 정렬하고 융합할 수 있는 최첨단 딥러닝 기법을 활용하지 않습니다. 이는 다양한 청중 인구통계와 자극 맥락을 수용할 뿐만 아니라, 심층 정준상관관계분석(DCCA)과 다중 모드 융합 네트워크(MMFN) 아키텍처를 통해 지각-감정 상호작용을 포착하는 고성능 계산 패러다임을 만드는 데 근본적인 지식 격차를 드러낸다. 이 격차를 메우면 사용자 경험(UX)에 대한 이해가 크게 향상될 수 있습니다.

이 연구의 주요 목표는 다중 모달, 생물물리학 및 행동적 감지를 통해 상호작용 전시 맥락 내에서 감정적으로 적응적인 사용자 경험을 촉진하는 계산 시스템을 만드는 것입니다. 아동-로봇 상호작용 연구와 정서 컴퓨팅에서 나온 감정 모델링의 기본 원리를 바탕으로, 이 프레임워크는 EEG, ECG, EDA, 얼굴 표정, 시선 추적과 같은 이질적인 생리적·행동적 신호를 기반으로 사용자 지각-감정 상호작용을 모델링하고 기록하는 것을 목표로 합니다. 심도 정준 상관 분석(DCCA)과 다중 모달 융합 네트워크(MMFN)의 통합을 통해, 시스템은 모달리티 간에 공통된 잠재적 감정 표상을 학습하고 이를 정서적 사용자 경험(UX) 상태에 투사하려 합니다. 이 아키텍처는 얕은 특징 융합과 연령에 제한된 감정 모델의 한계를 극복하며, 역동적이고 공공적인 환경에서 맥락 인식 감정 추론과 다감각 통합을 지원하도록 합니다. 마지막으로, 이 연구는 사용자의 실시간 정서 피드백과 상호작용 모드에 반응하는 보다 진보되고 정서적으로 민감한 전시 시스템을 개발하는 데 도움을 주어 디지털 문화 경험에서 참여, 만족, 인지-정서적 공명을 더욱 높이는 것을 목표로 합니다.

이 논문은 다음과 같은 방식으로 문헌에 기여합니다: 생리적 및 행동적 데이터를 모두 고려하는 다중 모달 정서 모델링을 위한 계산 프레임워크. 다중 모달 융합 접근법으로, 여러 데이터 소스에서 지각과 감정 표현을 효과적으로 학습할 수 있게 합니다. 이 제안된 연구는 AI 기반 다중 모달 센싱과 다중 감각 통합 파이프라인 모델링을 통해 지각-감정 상호작용의 정서 사용자 경험(UX)을 증강하는 새로운 계산 패러다임을 도입합니다. 주요 기여는 DCCA와 MMFN의 융합으로, EEG, ECG, EDA, 얼굴 표정, 시선 추적과 같은 이기종 모달리스 전반에 걸쳐 강한 특징 정렬과 고수준 표현 학습을 촉진하는 것입니다. 이를 통해 감각 지각을 관심, 몰입, 놀라움, 지루함과 같은 감정 상태에 매핑하는 정확한 오프라인 평가 모델링을 할 수 있습니다. 공개된 AMIGOS 데이터셋을 이용한 실험적 검증 결과, 개발된 DCCA+MMFN 모델은 기본 모델(예: 1D-CNN, CNN-ResNet, LSTM-CNN)보다 더 우수한 성능을 보이며, 원가-각성 감정 상태에서 평균 분류 정확도는 89.4%, 이산 감정 클래스에서는 87.1%를 기록했습니다.

이전 연구들이 참가자, 과제 중심 상황, 표면적인 특징 융합 기법을 사용했던 것과 달리, 제안된 접근법은 역동적인 실제 전시 환경을 위해 특별히 설계된 딥러닝 프레임워크를 제공합니다. DCCA와 MMFN의 통합을 통해 이 연구는 이질적인 사용자 그룹 내 연속적인 지각-감정 변화를 이해할 수 있는 확장 가능하고 노이즈 강인한 방법을 제공합니다. 이러한 고차원 생리학적, 행동적, 환경적 신호의 명확한 융합은 정서적 UX 모델링의 주요 혁신입니다. 이 논문은 다중 모달 센싱과 다중 감각 통합을 활용해 인터랙티브 전시에서 정서적 사용자 경험을 모델링하는 AI 기반 프레임워크를 제시합니다. 제안된 프레임워크는 DCCA와 MMFN을 결합하여 EEG, ECG, EDA, 얼굴 표정, 시선 추적과 같은 이질적 기법의 견고한 정렬과 융합을 달성합니다. 이전 연구들이 사용자 중심 또는 작업 중심 환경에 한정된 것과 달리, 제안된 접근법은 역동적인 공공 환경 내에서 지속적인 지각-감정 모델링을 지원하여 정서적 UX 연구의 핵심 진전입니다.

융합 전에 이질적 특징 정렬을 체계적으로 처리하는 체계적이고 반복 가능한 다중 모달 계산 접근법을 개발한 것이 이 연구의 주요 혁신이다. 제안된 프레임워크는 DCCA를 이용한 중간 교차 모달 잠재적 정렬 단계를 도입함으로써 EEG, ECG, GSR 신호 전반에 걸쳐 상관 표상 학습을 강제합니다. 이는 직접적인 특징 연결이나 의사결정 수준 융합에 의존하는 전통적인 다중 모달 감정 인식 연구와 대조적입니다. 분류 전에 모달리티 일관성을 보장함으로써, 이 정렬 기반 융합 접근법은 정서 차원 전반에 걸쳐 일반화성과 견고성을 향상시킵니다. 이 기여는 벤치마크 지향의 종단 간 워크플로우로, 단일 딥러닝 아키텍처 내에서 전처리, 표현 정렬, 다중 모달 융합, 평가를 표준화하여 단일 알고리즘 변경을 제안하는 대신 반복 가능하고 작업에 구애받지 않는 생리적 감정 모델링을 가능하게 합니다. 본 연구에서 제안된 프레임워크는 전시와 유사한 경험을 위한 다중 모드 정서 모델링의 실현 가능성 및 개념적 시연으로 설정되어 있습니다. 실제 다감각 전시 환경을 직접 모델링하려는 대신, AMIGOS 데이터셋은 통제된 환경에서 모델링 접근법을 검증하는 벤치마크 프록시로 사용됩니다.

Protocol

본 연구에 사용된 AMIGOS 데이터셋은 공개되어 있으며, 원문에 보고된 대로 기관 심사 위원회의 사전 승인과 사전 동의를 받아 수집되었습니다. 이 연구는 데이터셋의 2차 분석만을 포함하며, 추가적인 윤리적 승인은 필요하지 않았습니다.

본 방법은 특징 정렬과 다중 모달 융합 접근법을 사용하여 다중 모달 생리학 및 행동 데이터를 처리하여 지각-감정 상관관계를 설명합니다. 본 연구는 다중 모달 생물물리 감지와 AI 기반 감정 모델링을 활용하여 인터랙티브 전시에서 정서적 사용자 경험(UX)을 위한 계산 모델을 제안합니다. 기초 논문의 생물물리학적 데이터 통찰을 바탕으로, 이 방법론은 동기화된 EEG, EKG, EDA, 시력 추적, 표정, 환경 입력에서 사용자 상태를 계산 모델링하여 디지털화합니다. 원고에서 '공간-시간적 모델링'이라는 용어는 DCCA를 통한 공간 다중 채널 생리학적 특징 표현과 모달리티 간 상관관계 정렬을 의미합니다. 시간: BiLSTM을 통한 순차 인코딩과 분할된 창 내 시간적 의존성 보존. 이러한 다양한 신호들은 처음에 전처리되고 정규화되어 양측 간 시간적·공간적 상관관계를 반영합니다. 각 모달리티마다 독립적으로 특징 벡터가 학습되며, 각성, 주의력, 몰입과 같은 감정 관련 패턴을 포착합니다. 이기종적인 데이터 스트림 전반에 걸친 공유 감정 표현에서 성공적으로 학습하기 위해 DCCA가 사용됩니다. DCCA는 각 모달리티를 잠재적 공통 부분공간에 투사하여 상관관계가 극대화되면서도, 확대된 교차 모달 관련성을 통해 모달리티 특화 정보를 유지합니다. 이러한 모달리티 정렬 잠재 임베딩은 하이브리드 BiLSTM과 주의 계층을 통해 시간적 및 맥락적 정보를 결합하는 다중 모달 융합 네트워크(MMFN)로 전달됩니다. 이 융합은 시스템이 고차원의 정서 상태를 생성하게 하며, 이는 사용자 경험 지표(예: 지루함, 흥미, 불편함)로 변환됩니다. 마지막으로, 분류 모듈은 정서적 UX 상태를 추정하고 전시 적응을 위한 피드백을 제공합니다. 예를 들어, 계산 모델링에서 시각 또는 청각 자극을 조정하는 데 도움을 줍니다. 그림 1 은 제안된 방법의 아키텍처를 보여줍니다.

그림 1: 제안된 방법의 구조. DCCA와 MMFN을 사용하여 EEG, ECG, EDA, 얼굴 표정, 눈 시선 등 다중 모달 입력을 융합한 제안된 UX 모델링 프레임워크의 구조. 약어; UX = 사용자 경험; EEG = 뇌파; ECG = 심전도; EDA = 전기피부 활성; DCCA = 심층 정준상관 분석; MMFN = 다중 모드 핵융합 네트워크. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 1에 제안된 아키텍처는 심층 정준상관분석(DCCA)과 멀티모달 융합 네트워크(MMFN)를 활용한 끝 간 정서 사용자 경험(UX) 시스템을 보여주며, 인터랙티브 전시에서 지각-감정 상호작용 모델링을 수행합니다. 시스템은 EEG, ECG, EDA 생리학적 신호와 같은 원시 다중 모달 입력을 먼저 받아; 표정과 눈빛 시선 행동 신호; 그리고 시청각 및 환경 정보와 같은 맥락적 입력이 포함됩니다. 이 신호들은 전처리 및 특징 추출 모듈로 입력되며, 여기서 신호별 처리(예: 노이즈 제거, 정규화, 특징 계산)가 실행되어 모든 모달리티에 대해 의미 있는 기술자를 생성합니다. 둘째, DCCA 모듈은 두 가지 모달리티를 공통 잠재 공간에 투사하고, 모달리티 간에 내재된 감정 패턴을 인코딩하는 최대 상관 관계의 임베딩을 학습합니다. 이 여러 DCCA 모듈의 고상관관계 특성들은 이후 멀티모달 융합 네트워크(MMFN)에 의해 융합되어, 학습된 특징들을 딥러닝 계층(아마도 BiLSTM), 주의 메커니즘, 또는 트랜스포머와 계층적으로 융합하여 간결하고 고수준 정서적 표현을 만듭니다. 이 통합된 표현은 감정 및 사용자 사용자 음색 상태 분류 계층에 입력되어, 모델이 가치, 각성 또는 몰입, 지루함, 과부하 같은 인지/감정 상태를 예측합니다. 파이프라인 종료 지점에는 적응형 UX 피드백 루프가 선택적으로 제공되어, 시스템이 전시 맥락에서 자극이나 콘텐츠를 조정하여 사용자의 상태에 상호작용적으로 반응할 수 있습니다. 이 확장 가능하고 모듈화된 아키텍처는 상관인식 표현 학습과 심층 다중 모달 통합을 통해 강력한 감정 모델링을 보장하며, 이는 상호작용 또는 체험 환경에서 정서 컴퓨팅의 계산 모델링에 매우 적합합니다.

DCCA와 MMFN의 융합 선택은 표준 단모달 및 얕은 융합 모델의 현재 한계에 기반합니다. CNN-ResNet과 LSTM-CNN은 시간적 또는 공간적 특징을 추출하지만, EEG, EDA, 다양한 환경 자극 하에서의 얼굴 표정과 같은 이질적 모달리티를 균형 있게 맞추는 데는 부족합니다. DCCA는 교차 모달 상관관계를 극대화하여 공유된 잠재적 표현을 보장하는 반면, MMFN은 계층적 융합과 주의 메커니즘을 활용해 가장 유익한 신호를 동적으로 강조합니다. 이 모듈들이 결합되면, 인터랙티브 다감각 환경에 더 신뢰할 수 있고 이해하기 쉬우며 폭넓게 적용 가능한 정서 UX 모델링 접근법을 제공합니다.

데이터 수집
인터랙티브 전시를 위한 지각-감정 상호작용 모델 프레임워크에서 공개된 AMIGOS 데이터셋²⁴가 다중 모달 정서 데이터의 기반으로 사용됩니다. AMIGOS 데이터셋은 영상 클립과 같은 감정 유발 자극을 받는 인간 참가자들의 생리적·행동적 측정값을 방대한 수집으로 제공합니다. 이 데이터에는 동기화된 EEG, ECG, GSR 신호, 얼굴 영상 기록, 그리고 이산적(예: 행복, 슬픔) 및 차원적(가치/각성) 형태의 자기보고적 감정 라벨이 포함되어 있습니다. 이러한 방식들은 몰입형 다감각 전시 상호작용 중 정서적 사용자 경험(UX) 상태를 추론하는 데 목적이 있는 여기서 제안된 시스템의 요구와 잘 부합합니다. 데이터셋에는 40명의 피험자가 녹화한 영상이 포함되어 있으며, 각 피험자는 실제 미디어 참여를 모방한 상황에서 짧은(동영상 클립<150초)과 장(영화>14분) 감정 자극에 노출되었습니다. 이 제안된 연구의 범위에는 사전 처리된 데이터셋 일부가 사용되었습니다: 30명의 피험자 기록과 함께 인공물이 없는 고품질 EEG, ECG, GSR 신호와 완전한 얼굴 영상 및 주석 파일을 포함합니다. 이들은 전시 기반 상황에서 다중 모드 감정 역학을 모방하기 위해 선정된 샘플입니다. 학습된 데이터셋은 DCCA + 멀티모달 융합 네트워크(MMFN) 파이프라인의 훈련 및 벤치마킹 기반으로, 몰입, 지루함, 혼란, 각성 등 정서 상태를 시각, 청각, 공간 자극에 대한 반응으로 시뮬레이션된 전시 환경에서 탐구합니다. 표 1은 제안된 방법의 데이터셋 설명을 보여줍니다.

매개변수	세부 사항
데이터셋 이름	AMIGOS (정서, 성격 및 기분 연구를 위한 데이터셋)
아니. 참가자 중	총 40개 (30개 프로젝트는 완전한 다중 모달 데이터를 포함한 제안된 연구에 사용됨)
자극 유형	짧은 영상과 긴 영상 클립 (감정 주석 포함)
EEG 채널	14채널 Emotiv EPOC EEG 헤드셋
심전도	심박수 센서 (HRV 및 각성 감지)
GSR	피부 전도 센서(교감 신경 활동 측정)
얼굴 영상	표정 분석을 위한 고해상도 정면 얼굴 영상
감정 라벨	자가 평가 가치, 각성, 우성(척도 1–9), 그리고 개별 라벨
샘플링 속도	EEG: 128Hz, ECG/GSR: 1000Hz
데이터 형식	.mat 파일 및 동기화된 타임스탬프 로그
모달리티 동기화	네 – 모든 센서와 영상에 동기화됨
세션당 시간	짧은 영상(<150초)과 긴 영화(>14분)
적용 적합성	정서적 UX 모델링, 멀티모달 융합, 실시간 지각-감정 매핑

표 1: AMIGOS 데이터셋 설명. 제안된 프레임워크에 사용된 AMIGOS 데이터셋의 설명, 참여자 정보, 모달리티, 샘플링 비율, 실험 설계 등이 포함됩니다. 약어; AMIGOS = 개인과 집단에 대한 정서, 성격, 기분 연구를 위한 데이터셋.

제안된 프레임워크에 적용된 공개된 AMIGOS 데이터셋은 40명의 참가자로부터 수집된 다중 모달 행동 및 생리학적 데이터로 구성되어 있으며, 이 중 33명은 기록의 우수성과 충분성을 바탕으로 이 연구에 선정되었습니다. 이 데이터 세트는 짧고 긴 영상에 대한 감정 반응을 기록하며, 14채널 감정 헤드셋에서 발췌한 EEG, 심박 변이도를 위한 심전도(ECG), 피부 전도도를 측정하는 GSR, 표정 측정을 위한 고해상도 얼굴 영상 등의 신호를 포함합니다. 감정 상태는 차원(가치, 각성, 지배)과 개별 범주 모두에서 스스로 보고됩니다. 데이터는 양측 면에서 잘 정렬되어 있으며 적절히 샘플링됩니다 - EEG는 128Hz, ECG는 1000Hz, GSR은 1000Hz입니다. 이러한 구성은 인터랙티브 전시에서 사용자 경험(UX)을 모델링하는 데 이상적이며, AI 기반 멀티모달 센싱을 통해 인지-감정 상호작용을 정확히 추적할 수 있게 합니다.

데이터 전처리
모든 전처리 단계, 모델 학습 및 평가는 각각 신호 전처리, DCCA 기반 정렬, MMFN 훈련, 성능 평가를 위한 맞춤형 Python 스크립트(Python 3.10, PyTorch 2.0)로 개별적으로 구현되었습니다; 주요 매개변수의 설정과 몇 가지 필수 계산 구성은 표 1에 요약되어 있습니다. 상호작용 전시의 정서 UX 모델링을 위해 공개된 AMIGOS 데이터셋을 처리하기 위해, 초기에는 EEG, ECG, GSR, 얼굴 영상과 같은 생리적 및 행동 기법에 대한 체계적인 데이터 전처리 파이프라인을 구현해야 합니다. 먼저 각 모달리티를 표준화하고 동기화한 후, 모달리티별 전처리를 수행합니다. 현재는 맥락 정보는 얼굴 표정, 시각적 움직임 패턴, 음성 운율 및 배경 음향 같은 음향적 특징과 같은 영상 자극 내재적 청각적 단서에서만 얻어집니다.

신호 정규화 및 재샘플링
모든 모달리티에서 나오는 원시 생리적 신호 x(t)는 모달리티 간 시간적 정렬을 위해 공통 주파수 fs=128 Hz로 재샘플링됩니다:

(1)

재샘플링은 맞춤형 알고리즘 대신 표준 신호 처리 라이브러리 함수를 사용하여 수행되었습니다. 구체적으로, 이 구현은 Python 신호 처리 생태계(SciPy)에서 제공하는 리샘플링 유틸리티를 사용하여 푸리에 방법 기반 보간을 적용하여 신호를 목표 샘플링 주파수로 변환하는 방식으로 수행되었습니다. 분할 및 특징 추출 전에 모달리티 간 균일한 시간 해상도를 보장하기 위해 표본 추출율 f_s가 선택되었습니다. 모든 신호는 이후 z-점수로 정규화되어 피험자 간 변동성을 제거한다:

(2)

여기서 _{μ x}와 σ_x는 시험 창 평균과 신호의 표준편차입니다.

EEG 전처리
14개 채널에서 캡처된 EEG 신호는 인지 관련 주파수를 보존하기 위해 4–45 Hz 대역을 선택해 대역통과 필터링을 거칩니다:

(3)

파워 스펙트럼은 신호의 주파수 패턴을 결정하는 데 사용되며, 이는 뇌 신호의 경우 감정의 유형에 따라 달라질 수 있어 신호에 관한 유용한 정보를 제공할 수 있습니다. 웰치의 기법은 주기도 방정식 3의 우수한 기법으로, 스펙트럼 밀도를 추정하고 스펙트로그램을 얻는 데 활용할 수 있습니다. 웰치의 기법은 시간 영역 신호를 시간과 구성물의 이산적인 구간으로 분할합니다. 각 구간에 스펙트로그램을 한 번 두고, 모든 스펙트로그램을 식4에서 보여준 대로 평균화합니다. 이 과정은 전체 FFT 접근법에 비해 더 부드럽고, 따라서 신호에서 최대한의 출력을 얻을 수 있습니다. 마지막으로, 파워 스펙트럼 밀도(PSD)¹⁹ 는 웰치 기법을 사용하여 주파수 영역 특성을 포착하여 계산합니다:

(4)

PSD 기능은 다섯 대역에 걸쳐 합산됩니다: 쎄타(4–8 Hz), 알파(8–13 Hz), 베타(13–30 Hz), 저감마(30–45 Hz).

영상 기반 얼굴 특징
다중 채널 EEG 데이터셋 또는 유사 소프트웨어를 사용하여 각 영상 프레임에 대해 얼굴 행동 단위(AU)와 눈 시선 벡터를 추출한 후, 이들은 시간 순서로 결합됩니다:

(5)

감정 라벨 매핑
AMIGOS는 원가-각성 점수와 개별 감정 태그를 모두 제공합니다. 연속 등급은 [0,1]로 정규화됩니다:

(6)

여기서 V는 정규화 전 실제 관측값, V_min은 데이터셋 내 변수의 가장 작은 값, V_max는 데이터셋 내 변수의 가장 큰 값, V'는 0에서 1 범위 내의 정규화된 값입니다. 이러한 라벨들은 감독 하 정서 모델링의 근본적인 진실로 적용됩니다. 이러한 라벨들은 감독 하 정서 모델링의 근본적인 진실로 적용됩니다.

모달리티 간 동기화
모든 모달리티는 필요할 때 타임스탬프 정렬 또는 동적 시간 왜곡(DTW)을 사용하여 동기화됩니다:

(7)

사전 처리된 특징이 풍부한 데이터는 딥 캐논 상관 분석(DCCA) 모듈에 입력되며, 이 모듈은 모달리티 간 최대 상관 표현을 학습합니다.

DCCA를 이용한 특징 추출
인터랙티브 전시를 위한 정서적 UX 모델링이라는 상상된 프레임워크에서, DCCA는 EEG, ECG, EDA, 얼굴 표정, 시선 추적 데이터와 같은 이질적인 모달리스에서 연결된 잠재적 특성을 학습하는 데 활용됩니다. 목표는 개별적으로 노이즈가 있거나 모달리티에 특이적이더라도 다양한 양상에서 신호가 최대 상관관계가 있고 지각된 감정 상태에 있어 의미적으로 일관된 공통 표상 공간을 배우는 것이다. 이 연구에서 DCCA는 다음 모달리티 쌍에 적용되었습니다: i) EEG–ECG, ii) EEG–GSR, iii) EEG–얼굴 특징 표현. 이 쌍들은 정서적 참여와 관련된 상호보완적인 신경-생리적 및 신경-행동적 상관관계를 포착하기 위해 선정되었습니다. DCCA를 다중 모달 설정으로 확장하기 위해, 각 모달리티 쌍의 쌍별 DCCA 임베딩을 계산한 후 제안된 MMFN을 사용해 MMFN을 결합하여, 핵심 DCCA 공식화를 변경하지 않고 두 개 이상의 모달리티를 효율적으로 통합할 수 있게 했습니다.

DCCA는 융합 전에 상관 기반 잠재적 정렬을 수행함으로써, 교차 모달 주의(Cross-Modal Attention) 또는 텐서 융합(Tensor Fusion Networks)과 달리 표현 정렬과 의사결정 융합을 구조적으로 분리합니다. 이 2단계 아키텍처는 중복성을 줄이고, 표현의 일관성을 향상시킵니다. 더 나아가, DCCA는 공유 손실 함수에만 의존하는 대신 교차 모달 통계 의존성을 직접 최적화하는데, 이는 다중 작업 학습 프레임워크보다 이기종 생리학적 데이터에 더 적합합니다. 첫째, DCCA²⁰은 여러 겹의 비선형 변환 층을 통해 순차적으로 처리하여 여러 모달리티의 표현을 계산하는 데 사용됩니다. 그림 2 는 이 연구에 사용되는 DCCA의 구성법을 보여줍니다. 우리는 그리드 탐색 방법을 사용하여 DCCA 접근법에 활용할 딥러닝 모델 설계에 최적의 하이퍼파라미터를 결정했습니다. 철저한 실험 분석 후, 저자들은 확률적 구배 하강 최적화기, 교차 엔트로피 손실, 조절 매개변수 1e5를 선택했습니다. 다음으로, 저자들은 바이어스 벡터를 모두 0으로 설정하고, 검증 기준을 조기 종료 기준으로, Xavier 초기화기를 가중치 초기화자로 사용하여 15개의 최적화 단계를 선택했습니다. 그림 2 는 DCCA의 작동 과정을 보여줍니다.

그림 2: DCCA의 작동 과정. DCCA의 프로세스 워크플로우는 다양한 모달리티의 특성을 공통 잠재 공간으로 매핑하여 상관관계를 극대화하는 방식을 보여줍니다.
약어; DCCA = 심층 정준 상관 분석. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 2 는 EEG(모달리티 A)와 EDA(모달리티 B) 간의 공유 표현 학습을 위한 딥 캐논 상관 분석(DCCA)의 내부 작업 프레임워크를 시각적으로 보여줍니다. 두 모달리티는 각각의 딥 피처 추출기 네트워크(피처 추출기 A와 B)에 입력되며, 이 네트워크는 추상적이고 모달리티별 특성을 학습하는 여러 숨겨진 계층을 가지고 있습니다. 융합 이전에는 딥 캐논 상관 분석(DCCA)을 사용하여 교차 모드 잠재적 정렬이 수행됩니다. 각 모달리티 쌍(EEG–ECG, EEG–EDA, EEG–FACIAL)마다 두 개의 병렬 심층 투사 네트워크가 구축됩니다. ReLU 활성화를 사용하면 각 투영 네트워크는 크기가 [256, 128, 64]인 세 개의 완전히 연결된 층으로 구성됩니다. 공유 잠재 공간의 경우 64가 궁극적인 임베딩 차원입니다. 수치 안정성을 보장하기 위해 L2 정규화 계수가 1e-5로 설정되면, 목적함수는 투영된 모달리티 임베딩 간의 정준적 상관관계를 극대화합니다. 바이어스 벡터는 0으로 초기화되고, 가중치는 자비에 초기화를 통해 초기화됩니다. 정렬 학습을 안정화하기 위해 DCCA 모듈들은 MMFN 훈련 전에 별도로 훈련됩니다. 정렬 일관성을 유지하기 위해 DCCA와 MMFN 간의 종단 간 미세 조정은 없습니다. 이러한 신경망 파이프라인은 입력 데이터 스트림을 병렬로 수용하지만 격리되어 있습니다. 각 특성 추출기 출력은 공통 잠재 공간에 투영되며, 두 모달리티의 특징이 구조적으로 비교 가능하도록 매핑됩니다. 투사는 DCCA의 목표에 따라 최적화되며, 이는 EEG와 EDA의 잠재 표현 간의 상관관계를 극대화하는 것입니다. 이 최대 상관관계 부분공간을 획득함으로써, DCCA는 출력 임베딩이 두 모달리티에서 상보적이고 의미적으로 중요한 패턴을 유지하도록 보장하며, 이는 감정 인식이나 정서 컴퓨팅과 같은 하위 응용 분야에 필수적입니다.

이 작업에서는 DCCA를 사용하여 특징을 변환한 후 분류를 위해 통합합니다. 그림 2에 보이는 DCCA 모델은 특징 변환을 위해 딥러닝 모델을 사용합니다. CCA 계층은 상관관계를 계산하고, 이를 특징 결합 및 분류에 사용합니다. 매트릭스 가 EEG 모달리티의 시험을 저장하고, 매트릭스 에는 얼굴 비디오 모달리티 실험이 포함된다고 가정해 봅시다. 이 경우 EEG 시험과 얼굴 영상 클립의 특징 차원은 각각 n₁과 n₂로 나타내며, 총 시험 수는 MA로 표시됩니다. 모든 모달리티에 대해 저자들은 입력 특성을 비선형적으로 재배열하는 다음과 같은 딥 뉴럴 네트워크를 만들었습니다:

(8)

여기서 비선형 변환의 매개변수는 HT₁과 HT₂로 표현됩니다; 모든 신경망의 후속 특성은 와 로 표현되며, DCCA의 특성 측정값은 n으로 표현된다. DCCA에서 생성된 재귀적으로 학습된 매개변수 HT₁과 HT₂는 ON₁과 ON₂ 간의 상관관계를 가능한 한 높은 수준으로 향상시켰다:

(9)

HT₁과 _{HT 2} 가 역전파 알고리즘에 의해 학습되면서 상호 학습된 매개변수가 이루어졌습니다. 의도한 답을 얻기 위해 목적 함수의 기울기를 제안한 대로 근사했습니다. 변형된 특징인 ON1과 ON2 ∈ SP는 두 신경망이 훈련된 후 결합된 초공간 SP에 포함되어 있습니다. DCCA의 저자들은 주로 변형된 특성의 사용에 대해 구체적으로 언급하지 않았습니다. 변경된 기능들은 사용자의 애플리케이션에 가장 적합한 방식으로 사용할 수 있습니다. 이 연구에서 저자들은 변형된 특징에서 다음과 같은 융합 특징을 얻었다:

(10)

여기서 α와 β는 α + β = 1을 유지하는 가중치를 나타냅니다. DCCA를 사용해 통합된 ON의 특성은 SoftMax 분류기에 입력됩니다. 감정 인식 과제는 분류기를 훈련하는 데 사용됩니다. 앞서 언급했듯이, 다양한 포맷에서 데이터 융합을 위한 DCCA를 구축하는 데는 몇 가지 장점이 있습니다. 예를 들어, 모달리티 중심 변환의 특성과 상관관계를 관찰하기 위해 DCCA는 각 모달리티에 대해 특징 수준의 융합에서 ON1과 ON2를 명시적으로 얻습니다. 더불어, 감정 기반 데이터는 비선형 매핑 함수 f1(·)와 f2(··)를 제어함으로써 보존할 수 있습니다. 더불어, 저자들은 가중 합 융합에서 각 양상에 대해 동등한 가중치를 사용하고 있습니다. 사용자 경험 상태를 예측하는 멀티모달 퓨전 네트워크(MMFN)가 이 결합된 공간을 받습니다. 다중 모달 정렬의 경우, 원시 신호를 먼저 재샘플링과 타임스탬프 정렬로 시간적으로 정렬하고, 다양한 모달리티에서 의미적으로 풍부한 신호의 정렬은 딥 캐논 상관 분석(DCCA)을 통해 얻는 계층적 접근법이 사용됩니다. 이로 인해 양상 인식 표현들이 MMFN에서 주의 기반 융합 과정 전에 공통 잠재 공간으로 변환됩니다.

감정적 UX 모델링을 위한 멀티모달 융합 네트워크(MMFN)
MMFN은 각 모달리티를 개별적으로 인코딩한 후, 융합 게이트와 주의 메커니즘을 통해 융합하여 감정 예측을 위한 통합 표현을 출력합니다.

모달리티 특이 인코딩
x⁽ⁱ⁾∈R^di 를 i번째 모달리티(예: EEG, EDA)의 특성 벡터라고 하자. 각 모달리티는 신경 인코더로 인코딩됩니다:

(11)

게이트 융합 메커니즘
각 모달리티에서 오는 정보 흐름을 관리하기 위해 융합 게이트가 사용됩니다:

(12)

(13)

σ 시그모이드 활성화 기능입니다. ⊙원소별 발전을 특징지어. 이를 통해 네트워크는 노이즈가 있는 모달리티를 다운가트하거나 유용한 특징을 동적으로 가중치할 수 있습니다.

교차 모달리티 주의 융합
주의층은 각 양상의 표현에 얼마나 가중치를 두어야 하는지 학습합니다:

(14)

(15)

α(i)는 융합된 최종 표현의 주의 가중치입니다.

정서 상태 예측
융합된 벡터는 출력 계층에 입력되어 가치/각성 또는 UX 상태를 예측합니다:

22(16)

여기서 는 다음을 나타내는 데 사용될 수 있습니다: 이산 감정 클래스(행복, 중립, 슬픔), 연속 척도(가치/각성), 그리고 UX 카테고리(몰입, 산만, 과부하).

그림 3: MMFN의 구조. 정서 상태 예측을 위한 모달리티 특이 인코더, 게이티드 퓨전, 주의 기반 통합을 통한 MMFN 구조.
약어; MMFN = 다중 모드 핵융합 네트워크. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 3 은 감정 및 사용자 경험(UX) 예측을 위한 감성 컴퓨팅 프레임워크에 사용되는 다중 모달 융합 네트워크(MMFN)의 작업 과정을 보여줍니다. 모달리티 특화 인코더, 게이티드 퓨전 레이어, 주의 기반 통합 모듈, 최종 분류 헤드가 MMFN의 계층적 융합 아키텍처를 구성합니다. EEG(모달리티 A), EDA(모달리티 B), 얼굴 표정(모달리티 C)과 같은 다양한 이기종 입력 모달리티가 각각 특수한 인코더 네트워크(인코더 A, B, C)로 처리되는 과정을 보여줍니다. ReLU 활성화가 이루어진 두 개의 완전히 연결된 층으로 구성된 독립적인 인코더가 각 모달리티(EEG, ECG, EDA, 얼굴 특성)를 처리한 후, 양방향 장기 단기 기억(BiLSTM) 계층이 시간적 의존성을 포착합니다. 각 인코더는 해당 데이터 스트림에서 중요한 감정적 또는 생리적 특징을 유지하는 모달리티별 특징 표현을 학습합니다. BiLSTM의 각 방향은 128개의 숨겨진 단위를 가지며, 각 양상은 256차원의 맥락적 임베딩을 제공합니다. 과적합을 방지하기 위해 BiLSTM 층 이후에 드롭아웃(속도 = 0.5)이 수행됩니다. 이후 시그모이드 활성화를 이용해 모달리티 기여도를 동적으로 제어하는 게이티드 퓨전 접근법이 인코딩된 모달리티 표현에 적용됩니다. 자기 주의 계층은 모달리티 간 주의 가중치를 계산하여 잡음 신호를 억제하고 관련 정보를 강조합니다. 완전 연결 계층과 원가-각성 회귀 작업용 선형 출력 계층 또는 이산 분류 작업용 Softmax 출력 계층이 융합 표현을 투사합니다. 각 인코더의 출력은 멀티모달 퓨전 레이어에 입력되며, 이 레이어는 모든 모달리티 특징을 연결하고 더 유익한 신호와 잡음을 차단하는 주의 메커니즘을 적용합니다. 이 연산은 모든 모달리티에 걸쳐 감정 신호를 통합하여 고수준 밀집 벡터로 만드는 공통 잠재 표현을 생성합니다.

모달리티별 순차 임베딩에 적용된 BiLSTM 계층은 시간적 역학을 직접 모델링합니다. BiLSTM은 분할된 생리학적 시퀀스 내에서 전방 및 후방 시간 의존성을 모두 포착함으로써 변화하는 정서 상태의 맥락적 모델링을 가능하게 합니다. 더 나아가, 시간 정보 특징의 적응적 가중치는 시간 인코딩된 표현 위에 작용하는 주의 기반 융합 계층에 의해 가능해집니다. 저자들은 최근 교재를 업데이트하여 시퀀스 구축, 반복 인코딩, 주의 가중치가 어떻게 함께 작동하여 시간 모델링을 지원하는지 더 명확히 했습니다.

제안된 의사코드 1은 DCCA-MMFN을 활용한 정서 사용자 경험 모델링 전체 과정을 재현 가능한 형태로 보여줍니다. 우선, 다중 모달 생리학 및 행동 신호가 노이즈 감소와 스케일의 정규화를 포함하는 독립적인 전처리 단계에 입력됩니다. 특징들은 DCCA에 입력되어, 지정된 모달리티 쌍에 대해 상관관계 특징을 공동으로 학습하여 견고한 교차 모달 정렬을 목표로 합니다. 정렬된 특징들은 이후 MMFN 내에서 결합되어, 정보 전달 방식과 잡음 억제를 목표로 하는 모달리티별 변조를 위한 게이티드 및 주의 메커니즘으로 구성됩니다. 최종 결합 특징 표현은 정서 및 UX 관련 상태 추정을 위한 분류기를 학습하는 데 사용되며, 전반적인 성능 평가는 표준 지표를 기반으로 수행됩니다. 이 제안된 의사코드의 단계별 특성은 기술적으로 잘 아는 모든 개인이 이 프로토콜에 관심을 가질 때 투명성, 실현 가능성, 그리고 다른 이들이 쉽게 복제할 수 있도록 보장합니다.

제안된 프레임워크는 다음 단계를 기반으로 AMIGOS 데이터셋의 다중 모달 생리적 및 행동 신호를 사용하여 정서 사용자 경험(UX) 상태를 예측하는 것을 목표로 합니다: 1단계: 입력된 멀티모달 데이터는 EEG, ECG, EDA, 눈-시선, 얼굴 표정 신호로 구성됩니다. 초기에는 AMIGOS 멀티모달 데이터셋에 접근하며, 각 모달리티는 노이즈 필터링과 정규화 등 신호 전처리를 거쳐 데이터 품질과 일관성을 보장합니다. 2단계: 모달리티 간 시간적 통일성을 유지하기 위해 모든 신호를 표준 주파수로 재샘플링합니다. 이후 각 신호 유형에 대응하는 독특한 특징 표현을 얻기 위해 모달리티별 특징 추출이 수행됩니다. 3단계: 교차 모달 관계를 포착하기 위해, 선택된 모달리티 쌍(EEG–ECG, EEG–EDA, EEG–FACIAL)을 심부 정통 상관 분석(DCCA)으로 처리합니다. DCCA 네트워크는 쌍 모달리티 간의 상관 잠재 표현을 학습하도록 훈련되어, 각 모달리티 쌍에 정렬된 특징 임베딩을 만듭니다. 이 정렬된 표현들은 결합되어 통합된 다중양식 특징 공간을 형성합니다. 4단계: 집계된 정렬된 특징들은 다중 모드 융합 네트워크(MMFN)에 입력으로 제공되며, 여기서 주의 메커니즘과 게이트 융합 전략을 활용하여 모달리티 간 보완적 정보를 효과적으로 통합합니다. 이 융합 과정은 포괄적인 정서적 표현을 생성합니다. 5단계: 결과된 표현은 이후 감정 데이터를 분류기로 학습시켜 정서적 UX 상태를 예측합니다. 마지막으로, 모델 성능은 정확도, 정밀도, 회상, F1 점수, 곡선 면적(AUC) 등 표준 지표를 사용하여 평가됩니다. 예측된 정서적 UX 상태가 프레임워크의 최종 결과물로 반환됩니다.

제안된 DCCA-MMFN 프레임워크를 이용한 지각-감정 모델링
인터랙티브 전시의 정서 사용자 경험(UX)이라는 제안된 계산 프레임워크에서, 지각-감정 모델링 모듈은 사용자의 환경 자극에 대한 지각 반응과 그들의 다중 모달 생물물리학에서 파생된 감정 상태를 연결하는 중심 과정입니다. 이 모듈은 DCCA가 획득한 EEG, EDA, ECG, 얼굴 표정, 안구 운동 등 생리적·행동적 모달리티의 공통 표현을 기반으로 하여 사용자의 정서 역학을 기록합니다. 동시에 주변 전시 환경에 대한 메타데이터—시각적 자극, 음향 풍경, 상호작용 패턴, 주변 특성—이 지각 단서를 인코딩하는 데 사용됩니다. 이 다중 모달 표현을 결합하는 다중 모달 융합 네트워크(MMFN)를 사용하여, 모델은 지각 자극 특징과 감정 라벨 또는 차원(예: 가자, 각성, 참여)으로부터 상세하고 비선형적인 매핑을 획득합니다. 이 매핑 덕분에 시스템은 사용자가 다양한 전시 요소에 대해 감정적으로 어떻게 반응하는지 지속적으로 파악하고, 콘텐츠나 인터페이스를 그에 맞게 수정하여 참여도, 만족도, 인지 울림을 증진시킬 수 있습니다. 마지막으로, 지각-감정 모델링은 상호작용의 감정 인식 적응을 촉진하며, 이는 계산 모델링과 사용자 민감 전시 시스템의 핵심을 이룹니다.

먼저, DCCA 모듈은 각 모달리티 쌍에 대해 상관된 잠재 표현을 학습하도록 훈련되었습니다. 결과적으로 임베딩된 이 임베딩은 MMFN에 입력되며, 정서 예측 과제를 위해 순차적으로 추가로 학습됩니다. 훈련의 안정성을 유지하기 위한 종단 간 미세 조정은 이루어지지 않습니다.

카테고리	매개변수	가치 / 설명
신호 전처리	EEG 밴드패스 필터	4–45 Hz
	재샘플링 주파수	128 Hz
	창 길이	2 s
	윈도우 오버랩	50%
	정규화	Z-점수 정규화
DCCA 아키텍처	숨겨진 층의 수	모달리티당 3층
	층당 뉴런 수	128–64–32
	잠재 차원 크기 (n)	32
	정규화 매개변수	1 × 10⁻⁵
	옵티마이저	아담
	학습 속도	0.001
	배치 크기	32
	최대 훈련 시기	150
	조기 정지 인내심	15시대
MMFN 구성	인코더 타입	BiLSTM
	숨겨진 유닛	64
	중도 탈락률	0.3
	융합 전략	게이티드 퓨전 with 주의
	주의 유형	뇌파도(EEG), 심전도(ECG), 대뇌 검사(GSR), 비디오
교육 및 평가	손실 함수	교차 엔트로피 손실
	열차-시험 분열	5중 교차 검증
	평가 지표	정확도, 정확성, 리콜, F1 점수, 코헨 카파, AUC–ROC
재현성 체크포인트	EEG 입력 텐서 모양	채널 × 시간 샘플(예: 창당 14개 × 256개)
	DCCA 출력 표현	32차원 공유 잠재 임베딩
	MMFN 출력	감정 클래스 확률 (가치-각성 또는 이산 클래스)
	기대 검증 성능	분류 정확도 85–90%

표 2: 제안된 DCCA–MMFN 알고리즘의 매개변수. 제안된 정서 UX 모델링 프레임워크에서 고려된 전처리, 아키텍처, 융합, 교육, 평가 및 재현성 매개변수의 요약. 약어; DCCA = 심층 정준상관 분석; MMFN = 다중 모달 핵융합 네트워크; UX = 사용자 경험.

표 2에는 제안된 DCCA-MMFN 프레임워크 내에서 사용되는 전체 매개변수 집합이 제공되며, 이는 신호 전처리, 딥 아키텍처 설계, 융합 기법, 훈련 조건을 모두 고려합니다. 생리학적 신호들은 각각의 모달리즘에 맞게 균일하게 재샘플링되고 정규화되었습니다. DCCA 계층은 다층 비선형 변환을 사용하도록 구성되어 최대 상관관계가 있는 잠재 공간의 학습을 도왔고, MMFN 구성 요소는 게이트 어텐션 메커니즘을 가진 BiLSTM 인코더 네트워크를 사용하여 다양한 모달리티의 값을 동적으로 가중치에 가중치했습니다. 교육 및 평가 요건은 명확히 정의되어 있어 기존 옵션과의 공정한 비교를 보장합니다.

제안된 프레임워크는 행동 및 생리적 정보를 여러 차원에서 활용하는 정서 인지 시스템의 계산적 기반이 되도록 설계되었습니다. 이 아키텍처는 지능형 전시 공간, 적응형 스마트 인터페이스, 감정 인식 인간-컴퓨터 상호작용 시스템과 같은 실제 환경에 개념적으로 적응 가능하지만, 현재 연구는 공개된 AMIGOS 데이터셋을 이용한 통제된 오프라인 실험을 통해 모델을 검증했습니다. 이 프레임워크는 통합 융합 기법, 교차 모달 정렬, 구조화된 전처리를 제공하여 신뢰할 수 있는 감정 추론이 필요한 응용 분야의 기본 모듈로 기능할 수 있습니다. 그러나 이 연구에서는 이러한 환경들을 실험적으로 배포된 시스템이 아니라, 가능한 배포 맥락으로 설명합니다.

Results

제안된 시스템 평가
제안된 시스템을 평가하기 위해, 40명의 감정적 자극에 노출된 사용자들의 EEG, EKG, GSR, 비디오, 오디오 측정을 동기화한 측정을 제공하는 공개된 AMIGOS 데이터셋에서 실험을 수행했습니다. 본 연구를 위해 저자들은 33명의 참가자(불완전 시험 전처리 및 제거 후)의 데이터를 사용하여 원가 및 각성 측면에서 1,320개의 유효 표본을 얻었습니다. 평가는 DCCA 기반 표현 학습 계층과 다중 모달 융합 네트워크(MMFN)를 사용하여 감정 분류와 정서적 UX 상태 예측을 강조했습니다. 결과는 모든 정서 상태에서 예측 정확도와 견고성 면에서 현저히 우수한 성능을 보입니다. MMFN에서의 주의력 강화 융합 과정은 각 맥락에서 우세한 모달리티의 역할을 강조하는 데 핵심적이었습니다. 표 3은 시뮬레이션 환경을 보여줍니다.

Discussion

공간적 배치, 군중 밀도, 주변 환경 조건과 같은 공간적, 환경적, 물리적 상호작용 맥락은 AMIGOS 데이터셋에 명시적으로 제공되지 않습니다. 따라서 이러한 요인들은 현재 실험에서 직접 모델링되지 않습니다. 정서적 사용자 경험(UX) 모델링을 위한 제안된 계산 프레임워크는 기본 논문의 기초 개념보다 훨씬 더 발전하고 있습니다. 이는 생물물리적 감정 감지를 활용한 사용자 작업 지향 아동-로봇 상호작용입니다. 정서 컴퓨팅을 동적이고 상호작용적인 전시 환경으로 일반화한 제안 모델은 적용 범위, 사용자 집단, 조건을 확장합니다. 동적 베이지안 혼합 모델(DBMM)을 통한 구조적 상호작용과 정적 개입 논리를 사용한 기본 논문과 달리, 새로운 프레임워크는 딥 캐노니컬 상관 분석(DCCA)과 멀티모달 융합 네트워크(MMFN)를 포함하는 보다 확장 가능하고 견고한 아키텍처를 통합합니다. 이를 통해 시스템은 EEG, ECG, EDA, 얼굴 표정, 시선 추적, 맥락 환경 정보 등 여러...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
데이터셋	AMIGOS 데이터셋	40명의 참가자; EEG(128 Hz), ECG(1000 Hz), GSR(1000 Hz), 얼굴 영상, 자가 보고된 가치/각성 표시	정서 상태 모델링을 위한 다중 모달 기반 진실 데이터
생리학적 센서	EEG 헤드셋	이모티브 EPOC+ (14채널, 128 Hz)	주의력, 각성, 몰입과 관련된 뇌 활동을 포착하기
	심전도 센서	바이오팩 MP150 또는 이에 상응하는 기기 (1000 Hz)	심박수 변이성 및 각성
	GSR/EDA 센서	쉬머 GSR+ 또는 이에 상응하는 기기 (1000 Hz)	각성의 척도로 피부 전도도
행동 센서	시력 추적 장치	토비이 프로 X2-60 또는 동급 모델	시선 고정과 사카드 기록
	표정 기록	고해상도 비디오 카메라; OpenFace(AU, gaze vectors)로 분석됨	얼굴 행동 유닛(AU)과 시선 신호 추출
환경 투입물	시청각 녹음 장치	마이크 + 카메라 (자극과 동기화됨)	전시 중 맥락적 자극 포착
소프트웨어 / 툴킷	오픈페이스	오픈 소스 얼굴 행동 분석 툴킷	액션 유닛(AU) 추출, 시선 방향
	MATLAB / Python (NumPy, SciPy, scikit-learn)	신호 전처리(재샘플링, z-점수 정규화, PSD 계산)	데이터 전처리 및 특징 추출
	TensorFlowv2.13 / PyTorchv2.0	DCCA와 MMFN을 위한 딥러닝 프레임워크	모델 구현 및 교육
알고리즘 / 모델	심층 정준상관 분석(DCCA)	비선형 특징 정렬 방법	양상 간 상관 잠재적 표현 학습
	멀티모달 핵융합 네트워크(MMFN)	BiLSTM + 주의 기반 융합 층	UX 상태 분류를 위한 이질적 모달리티의 계층적 융합
평가 지표	정확성, 정밀함, 리콜, F1 점수, 코헨 s 카파, AUC-ROC, 혼란 매트릭스	scikit-learn / TensorFlow 메트릭으로 구현됨	모델 성과 평가
컴퓨팅 하드웨어	워크스테이션 / GPU 클러스터	NVIDIA RTX 3080 (10GB) 또는 동급 모델, 32GB RAM, 인텔 i9 프로세서	모델 학습 및 시뮬레이션