건강한 성인의 정서 유발 과제 수행 중 안면 표정 및 움직임 분석 알고리즘의 예비 검증

요약

본 연구는 정서 자극 과제 중의 반응을 검출하기 위한 독자적인 머신러닝 알고리즘인 FEA 알고리즘을 예비적으로 검증합니다. 건강한 성인을 대상으로 Navarasa 프레임워크를 사용하여 FEA 알고리즘 점수와 표준화된 얼굴 정서 자극 간의 일치도를 조사함으로써, 해당 시스템이 통제된 실험 조건 하에서 정서 관련 반응을 신뢰성 있게 반영하는지 평가합니다.

초록

본 프로토콜은 Navarasa 프레임워크 기반의 독자적인 머신러닝 알고리즘인 Emoscape를 예비 검증하기 위해 설계되었으며, 건강한 성인을 대상으로 표준화된 감정 유발 과제에 따라 감정 점수가 일치하게 변화하는지 테스트하였습니다. 서면 동의를 제공한 건강한 성인 72명을 모집하였습니다. 참가자들은 Patient Health Questionnaire-9와 Generalized Anxiety Disorder-7 설문을 완료한 후, TRENDS 세트의 얼굴 감정 자극과 Navarasa 이미지를 시청하였으며, 이 과정 동안 FEA 알고리즘이 상체의 미세 움직임을 기록하였습니다. 또한 참가자들은 제시된 감정을 식별하였습니다. TRENDS의 중립, 행복, 공포, 분노 자극 및 Navarasa 이미지 노출 동안 기준선 대비 FEA 알고리즘 점수의 변화를 분석하였습니다. 감정 범주 간의 구별을 위한 민감도와 특이도를 추정하기 위해 수신자 조작 특성(ROC) 분석을 사용하였습니다. FEA 알고리즘 점수는 해당 감정과 매칭된 TRENDS 이미지(Neutral–Shanta, Happy–Haasya, Fear–Bhayanaka, Anger–Raudra)에서 기준선으로부터 유의미한 편차를 보였습니다. Navarasa 이미지에서도 일치하는 변화가 관찰되었으며, 모든 평균 차이는 통계적으로 유의미하였습니다(p < 0.001). 곡선하 면적(AUC) 값은 범주별로 다르게 나타났습니다. FEA 알고리즘은 긍정적 감정(70–80%)과 부정적 감정(60–70%)에 대해 중간 정도의 민감도를 보였습니다. 이러한 결과는 본 프로토콜과 건강한 성인을 대상으로 한 통제된 감정 유발 과제 중 감정 관련 반응을 평가하기 위한 FEA 알고리즘 사용에 대한 예비적 근거를 제공합니다.

서론

정서 인식은 사회 인지 신경과학 내에서 중요한 연구 분야이며, 잠재적인 임상 및 연구 응용 가능성을 가지고 있습니다. 기존의 정서 평가 방법은 뇌파(EEG)나 전기 피부 반응(GSR)과 같은 생리적 활동의 변화를 정량화하여 정서 상태를 추론합니다. 그러나 이러한 방법들은 복잡하고 침습적입니다. 얼굴과 신체 움직임을 직접 측정하는 방식은 개인의 정서 상태를 보다 즉각적이고 관찰 가능한 지표로 제공합니다^1,2,3. 머신러닝(ML) 알고리즘, 특히 안면 표정의 대규모 이질적 데이터셋으로 학습된 알고리즘은 이러한 미묘한 비언어적 신호를 해독하고 정서 상태를 분류하는 데 사용됩니다. 서포트 벡터 머신(SVM)과 같은 기존의 ML 알고리즘이 여전히 널리 사용되고 있지만, 신경망(NN)을 비롯한 딥러닝 아키텍처는 자동 특징 추출 능력 덕분에 특히 대규모 데이터셋으로 학습되었을 때 우수한 성능을 입증했습니다^4,56. 인도적 맥락에서의 기존 모델 사례로는 각성도를 결정하기 위해 정서가 기반의 차원 모델을 채택한 인터랙티브 도구가 있습니다. 정서 인식 프레임워크는 문화적 맥락에 민감해야 합니다. 인도의 문화적 환경에서 Navarasa 프레임워크는 9가지 기본 정서에 대한 세밀한 분류 체계를 제공하지만, ML 기반의 정서 인식 연구에서는 여전히 거의 검토되지 않은 상태입니다. 안면 미세 표정과 신체 움직임과 같이 관찰 가능한 행동 단서를 직접 분석하는, 엄격하게 검증된 ML 접근 방식은 상대적으로 부족한 실정입니다^7,8. 이러한 표정 기반의 ML 알고리즘은 실시간으로 사용할 수 있고, 적용이 쉬우며, 비침습적입니다.

안면 표정 및 움직임 분석 알고리즘[이하 FEA 알고리즘]은 안면 미세 표정과 상체 움직임을 분석하여, Navarasa 프레임워크를 기반으로 9가지 rasa 각각에 대한 정서적 궤적의 동적 표현과 합산 점수를 생성하는 독자적인 ML 기반 알고리즘입니다. 본 연구는 건강한 성인 지원자를 대상으로 FEA 도출 점수와 표준화된 안면 정서 자극에 대한 반응 사이의 일치도를 조사함으로써 FEA 알고리즘의 예비 검증을 수행하는 것을 목표로 하였습니다.

이를 위해, 본 연구에서는 마음 이론(Theory of Mind, ToM)과 거울 신경계의 개념을 활용합니다. ToM은 개인이 사회적 상황에서 타인의 정신적 및 정서적 상태를 추론하고 해석할 수 있게 하는 핵심적인 사회-인지 능력입니다⁹. 실증적 근거에 따르면, 얼굴의 정서적 자극에 노출되면 거울 신경망이 활성화되며, 이는 다시 관찰자에게 그와 일치하는 대리 정서 상태를 유도합니다¹⁰. 얼굴의 정서 표정을 보는 것에 반응하여 개인의 내부적, 주관적 정서 상태가 조절되는 결과가 FEA 알고리즘에 의해 포착된다면, 이는 해당 알고리즘의 예비 검증 수단이 될 수 있습니다.

우리는 특정 Navarasa 범주에 해당하는 얼굴 감정 자극에 노출되면, 해당 Navarasa 감정에 대한 FEA-알고리즘 점수가 기저선(baseline)에서 통계적으로 유의미한 편차를 보일 것이라는 가설을 세웠습니다.

프로토콜

본 연구 프로토콜은 인도 카르나타카주 후발리, Sushruta Hospitals 윤리위원회(EC 등록 번호: ECR/372/INST/KA/2013/RR-19)의 승인을 받았으며, 등록 전 모든 참여자로부터 서면 동의를 얻었습니다.

FEA 알고리즘은 Navarasa 프레임워크를 사용하여 정서 상태를 추론하기 위해 얼굴 미세 표정과 상체 움직임을 실시간으로 분석하는 독자적인 ML 기반 방법입니다. 고전 인도 미학 이론에서 유래한 Navarasa 프레임워크는 아홉 가지의 주요 감정, 즉 shringara(사랑), haasya(기쁨), karuna(슬픔/생각에 잠김), adbhuta(놀람), shanta(평온), raudra(분노), veera(용기), bhayanaka(공포), vibhitsa(혐오)로 정의합니다. FEA 알고리즘은 아홉 가지 Navarasa 감정을 연기하는 배우들의 이미지에서 추출한 얼굴 미세 표정과 상체 움직임으로 학습된 머신러닝 모델을 사용합니다. 이 알고리즘은 단일 RGB 카메라로 캡처된 시각적 입력 데이터에서 미묘한 얼굴 역동성과 미세 움직임을 분석하여 개인의 정서 상태를 추론하며, 아홉 가지 주요 감정 각각에 대한 정량적 점수를 생성합니다. 이러한 비침습적 구성은 자연스럽고 방해 없는 정서 평가를 가능하게 하여, 광범위한 연구 및 응용 환경에 적합합니다.

모델 개발

FEA 알고리즘은 신경망(NN) 아키텍처를 기반으로 합니다. 학습 데이터셋은 내부적으로 수집되었으며, 아홉 가지 나바라사(Navarasa) 감정을 연기하는 인도 배우들의 수 시간 분량의 녹화 비디오 데이터로 구성됩니다. 이 데이터셋은 여러 배우 및 참가자를 대상으로 통제된 비디오 녹화를 통해 도출되었으며, 각 배우 및 참가자에 대해 다양한 유도된 감정 상태에 걸쳐 여러 차례의 녹화 및 테스트가 수행되었습니다. 얼굴 랜드마크 검출, 시간적 일관성 확인, 품질 필터링, 사용 불가능하거나 신뢰도가 낮은 프레임 제거를 포함한 전처리를 거쳐 약 25,000개의 구조화된 학습 샘플이 유지되었습니다. 데이터셋 큐레이션 과정에서 녹화본은 연령, 성별 및 기타 관련 속성을 포함한 10가지 이상의 인구통계학적 및 녹화 관련 파라미터에 따라 층화되었으며, 이러한 파라미터 전반에 걸쳐 공평한 표현력을 확보하고 인구통계학적 편향을 최소화하기 위해 의도적으로 균형을 맞췄습니다. 성별 분포는 남성 약 52%, 여성 약 48%로 유지되었습니다. 참가자들은 청소년 및 성인 연령층을 폭넓게 포함하며, 청년, 중년, 노년 성인 집단이 모두 대표되었습니다. 배우 및 참가자들은 인도에 거주하며 다양한 인도의 지역적, 문화적 배경뿐만 아니라 인도 내의 다양한 국제적 민족 배경을 대표했습니다. 독점적 제한 사항으로 인해 배우 및 참가자의 정확한 수, 개인 식별 정보, 배우당 정확한 비디오 및 녹화 횟수, 정밀한 프레임 수, 그리고 내부 어노테이션 방법론은 공개할 수 없습니다. 이는 Nihilent Ltd.의 독점 데이터셋 및 모델 개발 지적 재산의 일부를 구성하기 때문이며, 이러한 제한 사항은 토론(Discussion) 섹션에서 명시적으로 인정되었습니다.

해당 녹화물에서 추출한 안면 이미지는 영상 처리 기술을 통해 정량적 특징을 도출하였으며, 이는 이후 예측을 위한 신경망의 입력값으로 사용되었습니다. 이 모델을 대상 집단에 대해 평가하고, 여기서 얻은 통찰을 통해 후속 버전을 반복적으로 개선했습니다. 이러한 개발, 테스트 및 개선 주기는 모델 성능이 안정될 때까지 반복되었습니다. 최종 예측 모델은 약 300개의 선택된 특징으로 구성된 입력층, 은닉층, 그리고 9가지 Navarasa 감정 범주에 해당하는 9차원 점수 벡터를 생성하는 출력층으로 이루어진 다층 퍼셉트론(MLP)으로 구현되었습니다. 초기에는 캡처된 데이터에서 700개 이상의 특징을 도출했으며, 이후 특징 선택 및 모델 최적화 절차를 통해 이를 축소했습니다. 그 후 MLP 출력 점수는 독자적인 후처리 알고리즘으로 전달되어 최종 집계된 FEA-알고리즘 점수를 도출합니다. 학습 가능한 파라미터의 정확한 수와 특정 레이어 차원을 포함한 세부 구조 정보는 기업 비밀로 공개할 수 없으며, 이는 본 보고서의 한계점으로 인정됩니다. 모델 개발에 대한 자세한 설명은 보충 자료(Supplementary File 1 및 Supplementary Figure 1)에 제공되어 있습니다.

반복적인 개발 과정 동안, 자체 데이터 세트에 대한 교차 검증을 통해 모델 성능을 평가하였으며, 9가지 Navarasa 범주에 대해 96%의 교차 검증 분류 정확도를 달성했습니다. 이후 15,000분 이상의 비디오 데이터를 대상으로 독립적인 검증을 수행했습니다. 9가지 Navarasa 범주 전체의 분류 성능을 요약한 정규화된 9 × 9 혼동 행렬은 보충 자료(보충 파일 1)에 제공되어 있습니다.

안정화 이후, 모델은 전문가의 감독하에 통제된 내부 검증을 거쳤습니다. 이러한 접근 방식은 실제 피험자 테스트를 통한 경험적 검증을 강조하여, 다양한 인구 집단에 걸친 실제 적용 가능성과 강건성을 평가할 수 있게 합니다. 모델 개발 과정은 그림 1에 요약되어 있습니다.

환자 건강 설문지-9 (PHQ-9) 및 범불안장애-7 (GAD-7) 척도: 참가자들은 현재의 정서 상태를 평가하기 위해 훈련된 심리학자의 감독 하에 자기 보고식 설문지를 작성하였습니다. 사용된 측정 도구에는 환자 건강 설문지-9 (PHQ-9)와 범불안장애-7 (GAD-7) 척도가 포함되었습니다. 두 척도 중 어느 하나라도 9점보다 높은 경우 임상적으로 유의미한 것으로 간주하였습니다.

동향

신경정신질환 정서 인식 도구(Tool for Recognition of Emotions in Neuropsychiatric Disorders, TRENDS)는 안면 정서 인식 능력을 평가하기 위해 설계된, 문화적으로 검증되고 생태학적 민감도를 갖춘 도구입니다¹¹. 이 도구는 인도 인구 집단을 대상으로 사용 가능함이 검증되었으며, 중립, 행복, 공포, 분노, 슬픔이라는 보편적인 기본 정서를 표현하는 배우들의 사진 40장으로 구성되어 있습니다. FEA 알고리즘의 정서 분류 출력값을 검증하기 위한 기준 자극물로 TRENDS의 이미지들이 사용되었습니다.

실험 설계

본 실험은 정서적 자극에 대한 알고리즘적 반응을 유도하도록 설계되었습니다. 이를 위해 두 가지 정서 유발 패러다임이 개발되어 연구에 사용되었습니다.

TRENDS 이미지 패러다임

첫 번째 패러다임에서는 비디오 시퀀스가 처음에 60 s 동안 빈 화면을 보여준 후, 정서적 자극을 제시하였습니다. 정서적 자극은 TRENDS 도구에서 선택하였습니다. 총 20장의 이미지가 제시되었으며, 이는 중립, 행복, 슬픔, 분노, 공포 × 두 가지 성별 × 두 가지 연령층을 나타냅니다. 각 자극은 5 s 동안 표시되었습니다. 따라서 총 자극 제시 시간은 20 × 5 s였으며, 연속된 이미지 사이에 10 s의 빈 화면 간격이 추가되어 총 지속 시간은 300 s가 되었습니다. 각 10 s의 빈 간격 동안 참가자들은 화면에 표시된 다섯 가지 정서 라벨 중 하나를 선택하여 이전 이미지에 묘사된 정서를 식별해야 했습니다.

나바라사 패러다임

아홉 가지 rasa의 Navarasa 프레임워크를 기반으로 하여 이와 유사한 두 번째 비디오 패러다임을 구축하였다. 총 18장의 이미지(9가지 감정 × 2가지 성별)가 제시되었다. 각 자극은 5 s 동안 표시되었으며, 이미지 사이에 10 s의 빈 화면이 배치되어 총 소요 시간은 270 s였다. 아홉 가지 감정은 중립(shanta), 쾌적(haasya, veera, shringara, adbhuta), 또는 불쾌(Krodha, vibhitsa, bhayanaka, karuna)로 분류되었다. 10 s의 각 빈 간격 동안 참가자들은 화면에 제시된 세 가지 옵션(중립, 쾌적, 불쾌) 중 하나를 선택하여 이전 이미지에 묘사된 감정을 분류해야 했다. 감정 식별에 대한 참가자의 반응 기록을 용이하게 하기 위해 아홉 가지 Navaras를 세 가지 범주로 그룹화하였다.

참가자

건강한 성인 지원자를 직장 및 교육 기관에서 모집하였습니다. 선정 기준은 성별이나 성 정체성에 관계없이 18~50세의 개인으로 하였습니다. 제외 기준은 진단된 정신 질환, 신경 질환, 심각한 시각 장애의 병력이 있거나 머리와 목의 움직임을 제한하는 신체적 장애가 있는 경우를 포함하였습니다.

실험 절차

피험자들은 카메라가 눈높이에 오도록 하고 60–70 cm 거리에 위치하도록 앉았습니다. 본 연구에는 FEA 알고리즘이 사용되었습니다. 노트북에서 애플리케이션을 실행한 후, 연구자가 피험자 ID를 입력했습니다. 실험 전반에 걸쳐 FEA 알고리즘은 안면 표정과 미세 움직임을 사후 분석할 수 있도록 비디오 데이터를 지속적으로 기록했습니다. 우선 60 s의 기저선(baseline) 기록을 수행하였으며, 이 동안 피험자들은 편안한 상태를 유지하고 외현적인 표정 행동을 자제하도록 안내받았습니다. 기저선 획득 후, 피험자들은 두 가지 비디오 패러다임(TRENDS 이미지에 이어 Navarasa 순)에 노출되었습니다. 모든 피험자는 제시 순서와 관련된 잠재적 혼란 변수를 최소화하기 위해 동일한 고정 순서로 패러다임을 시청하였으나, 이러한 고정 순서로 인해 순서 효과(order effects)가 발생했을 가능성이 있습니다. 기록 세션 동안 연구자는 방해 요인을 줄이기 위해 방 밖에서 대기하였습니다. 연구자는 방 밖에서 모바일 애플리케이션을 통해 실험 과정을 원격으로 모니터링했습니다. 두 패러다임 사이에 피험자들에게 짧은 휴식 시간이 제공되었습니다(그림 2).

분석

데이터의 충실도를 보장하기 위해 수집된 데이터는 애플리케이션에 입력된 피험자 ID와 매핑되었습니다. FEA 알고리즘은 비디오 획득, 특징 검출 및 추출, 데이터 전처리, 감정 분류, 출력 해석의 다섯 가지 주요 단계로 구성된 자동 감정 추론을 위한 구조화된 엔드-투-엔드 계산 파이프라인을 활용합니다. 추출된 특징은 노이즈 감소, 피험자 및 조명 조건 간의 정규화, 누락된 프레임의 보간을 포함하는 일련의 전처리 과정을 거쳤습니다. 신호 안정성을 높이기 위해 시간적 평활화(Temporal smoothing)를 적용하였습니다. 생성된 특징 벡터는 분류 모델의 후속 입력 처리를 위해 시간적으로 정렬되었습니다. 이렇게 시간 정렬 및 노이즈 제거가 완료된 특징 행렬이 감정 분류 구성 요소의 입력값으로 사용되었습니다.

특징 추출

추출 프레임워크는 표준 2D 단안 비디오 이미지 피드를 재구성된 3D 좌표 공간으로 변환하는 다중 특징 추출 단계 알고리즘 파이프라인을 사용합니다. 본 시스템은 단순한 2D 픽셀 추적에 의존하는 대신, 얼굴과 상체 전반의 국소 공간 좌표를 매핑합니다. 도출된 특징은 크게 세 가지 범주로 나뉩니다: (i) 안면 랜드마크 영역안면 구조 및 역학의 기하학적 기술자(UNESCO가 인정한 인간 감정 표현의 가장 초기 공식 체계인 Natyashastra에 뿌리를 둔 Navarasa 프레임워크에서 도출된 안구 영역 단서 및 안면 미세 표정 상관 관계 포함)를 포괄하며, (ii) 머리 자세 정보, 머리의 방향과 움직임을 포착하는 항목; 그리고 (iii) 상체의 결과적인 움직임을 포착하는 상체 움직임 특징입니다. 정확한 랜드마크 인덱스와 키포인트 식별자를 포함한 구체적인 특징 정의는 독점 정보이므로 완전히 공개할 수 없으며, 이는 본 연구의 제한점으로 인정됩니다. 본 시스템은 얼굴 동작 코딩 시스템(Facial Action Coding System, FACS)의 액션 유닛 레이블을 직접 사용하지 않고, 대신 얼굴과 신체 움직임으로부터 기하학적 및 시간적 특징을 도출합니다. 이러한 3D 공간 변환은 시간에 따라 집계되어 종합적인 행동 요약 벡터를 생성하며, 이는 MLP 분류기의 입력값으로 사용됩니다. 총 700개 이상의 후보 특징이 캡처된 데이터로부터 일차적으로 도출되었으며, 이후 특징 선택 및 모델 최적화를 통해 약 300개의 선택된 특징으로 축소되었습니다. 구조적 파이프라인은 비디오 획득에서 시작하여 2D-3D 공간 재구성, 시간적 집계, 그리고 분류 전 특징 정규화 단계로 진행됩니다.

감정 분류 모델

전처리된 특성 벡터는 9가지 Navarasa 감정 범주인 Śṛṅgāra(사랑), Hāsya(기쁨), Karuṇā(슬픔), Raudra(분노), Vīra(용기), Bhayānaka(공포), Bībhatsa(혐오), Adbhuta(경이), Śānta(평온)에 대응하여 자체적으로 주석을 단 데이터셋으로 학습된 지도 학습 기반의 다층 퍼셉트론(MLP) 신경망 구조에 제공되었습니다. 이 모델은 표현적 행동 데이터의 시공간적 의존성을 포착하도록 명시적으로 설계되었습니다. 각 시간 단계에서 이 아키텍처는 9가지 범주에 대한 예측 감정 강도 벡터를 생성하였습니다.

모델 출력값의 후처리

모델의 원시 출력값은 안정적이고 해석 가능한 감정 점수를 산출하기 위해 이후 후처리를 거쳤습니다. 다음의 세 가지 순차적 작업이 적용되었습니다: (i) 단기 변동을 줄이기 위한 시간적 평활화, (ii) 시간 및 감정 차원 간의 비교 가능성을 확보하기 위한 정규화, (iii) 지정된 시간 창 또는 전체 시퀀스에 대한 요약 측정값을 도출하기 위한 집계. 이러한 후처리 과정은 피험자 간의 비교 가능성을 보장하고 개인별 기저선 변동을 제어합니다.

결과 해석 및 시각화

FEA 알고리즘은 비디오 데이터로부터 추론된 정서적 역동성의 정량적 및 시각적 표현을 생성합니다. 두 가지 주요 출력 형태는 다음과 같습니다.시간적 정서 궤적 정서 강도 값은 비디오 전반에 걸쳐 각 정서의 변화를 보여주는 시계열 플롯으로 시각화됩니다. 이러한 표현 방식은 정서적 변동에 대한 연속적인 관점을 제공하여, 정서적 각성 상태에서의 일시적인 변화, 정점 활성화, 그리고 회복 또는 완화 단계를 분석하는 것을 용이하게 합니다. 비교 정서 점수: 9가지 Navarasa 범주 각각에 대한 합산 감정 수치가 비교 점수 도표로 표시되어, 분석 구간 전반에 걸친 각 감정의 상대적 크기를 보여줍니다. 이러한 비교 시각화 자료를 통해 감정 간의 직접적인 비교가 가능하며, 전반적인 정동 프로필(affective profile)에 대한 간결한 요약을 제공합니다. 베이스라인에서 생성된 FEA-알고리즘 점수를 검토하여 평탄선(flatline)이나 유의미한 변화의 부재가 있는지 확인하였으며, 이는 기록이 부적절했음을 나타냅니다.

통계 분석

패러다임 내 각 이미지 제시 후 10 s 간격 동안 FEA 알고리즘에 의해 생성된 9가지 Navarasa 감정 영역의 점수를 결과 변수로 처리하였다. FEA 알고리즘 점수는 10 s 윈도우 내의 각 s(T0, T1, T2… T9)에 대해 생성되었다. T0에서의 FEA 알고리즘 점수를 기저선 점수로 간주하였다. T1–T9까지의 기록 중 가장 높은 FEA 알고리즘 점수를 Tmax로 정의하였다. 기저선으로부터의 FEA 알고리즘 점수 변화량(Tmax − T0)을 계산하여 분석의 결과 변수로 사용하였다. 각 감정에 따른 시계열에 따른 FEA 알고리즘 점수의 변화는 그림 3A–D에 나타나 있다.

TRENDS 이미지의 경우, 대응하는 표적 감정 범주를 다음과 같이 매핑하였습니다: Shanta > 중립(Neutral); Haasya > 행복(Happy); Krodha > 분노(Anger); 그리고 Bhayanaka > 공포(Fear). Navarasa 이미지의 경우, FEA 알고리즘 점수를 중립(Shanta), 쾌적(Haasya, Veera, Shringara, Adbhuta), 불쾌(Krodha, Vibhitsa, Bhayanaka, Karuna)의 세 가지 복합 범주로 그룹화하여 평균을 냈습니다.

집단 수준 및 피험자 수준 분석이 모두 수행되었습니다.

집단 수준 분석: 위에서 설명한 각 감정 범주에 대해, 기선(baseline)부터 Tmax까지의 FEA-알고리즘 점수 변화를 대응표본 t-검정(paired t-tests)을 사용하여 비교하였습니다. FEA-알고리즘 점수가 기선 대비 유의미하게 변화했다면, 이는 감정 인식과 좋은 일치도를 보임을 나타냅니다. 하지만, 유의미한 차이가 있다고 해서 반드시 분류 정확도가 높다는 것을 의미하지는 않습니다.

피험자 수준 분석: FEA 알고리즘의 감정 영역 점수가 기선 수치보다 증가한 모든 경우는 긍정적인 정서적 반응으로 분류되었습니다. 이후 민감도(sensitivity)와 특이도(specificity)라는 정확도 지표를 도출하였습니다. 민감도와 특이도는 각각 대상 조건이 존재할 때(+) 테스트가 양성으로 나올 확률과, 대상 조건이 없을 때(−) 음성으로 나올 확률을 정량화합니다. 두 추정치 모두 1에 가까울수록 진단 정확도 측면에서 테스트 성능이 우수한 것입니다. 추정된 민감도와 특이도는 각각 기준 조건(Navarasa 표정)이 있는 참가자와 없는 참가자 중 정확하게 분류된 비율로 정의되었습니다.

피험자가 묘사된 감정의 75% 이상을 정확하게 식별한 경우, 해당 표적 상태가 있는 것(+)으로 간주하였습니다. 이러한 분류는 60–80%의 정확도를 적절한 판별 타당도로 간주한 TRENDS 검증 연구를 기반으로 하였습니다. 연속 예측 변수에 대한 수신자 조작 특성(ROC) 분석을 수행하여 곡선 아래 면적(AUC)과 그에 따른 민감도 및 특이도 값을 추정하였습니다. 민감도가 80% 이상이면 양호한 판별 능력으로, 80% 미만이면 보통 수준으로 간주하였습니다.

결과

본 연구에서는 감정 유발 자극에 따른 FEA-알고리즘 점수의 변화를 조사하였으며, 수신자 조작 특성(ROC) 분석을 통해 FEA 알고리즘의 진단 성능을 평가하였습니다. 총 72명의 건강한 자원자가 연구에 모집되었습니다. 평균(SD) 연령은 31.9(11.9)세였으며, 표본은 남성 26명과 여성 46명으로 구성되었습니다. 모든 참가자는 최소 10년 이상의 교육을 받았으며, 모두 인도인 혈통이었습니다. 이들의 평균(SD) PHQ-9 및 GAD-7 점수는 각각 4.4(4.8)점과 4.7(4.5)점이었습니다.

정서적 자극에 따른 FEA-알고리즘 점수의 변화: TRENDS 이미지와 Navarasa의 두 자극 조건 모두에서, 대응 표본 t-검정 결과 FEA-알고리즘 기반 측정치가 기저선(T0)부터 Tmax까지 통계적으로 유의미한 변화를 보였습니다 (p < 0.001; 표 1, 그림 4, 표 2 및 그림 5).

FEA 알고리즘의 진단 정확도: FEA 알고리즘의 진단 성능은 수신자 작동 특성(ROC) 곡선 분석을 사용하여 평가하였으며, 각 정서 상태에 대한 곡선 아래 면적(AUC) 값을 계산하였습니다(표 3). 가장 높은 AUC는 중립적인 얼굴 표정 자극에 반응하는 Shanta 상태의 FEA 알고리즘 점수에서 나타났으며(AUC = 0.665), 다음으로 행복이라는 긍정적 정서에서 나타났습니다(AUC = 0.637) (그림 6). 중립 및 긍정적 정서(행복, 즐거움)의 민감도는 70–80%였으며, 부정적 정서(분노, 공포, 불쾌함)의 민감도는 60–70%였습니다. 이러한 민감도 값은 80% 미만으로, 보통 수준의 판별 성능을 나타냅니다.

FEA-알고리즘 점수와 PHQ-9 및 GAD-7 점수 간의 상관관계: FEA-알고리즘 점수와 PHQ-9 또는 GAD-7 점수 사이에 유의미한 상관관계는 관찰되지 않았습니다.

데이터 가용성:

모든 원시 데이터는 보충 파일 2에 제공됩니다.

그림 1: FEA 알고리즘 모델 개발 파이프라인의 모식도. 이 모식도는 남녀 인도 배우로 구성된 자체 비디오 데이터셋에서 프레임 추출 및 세 가지 범주(Natyashastra/Navarasa 유래 안구 및 얼굴 미세 표정 단서를 포함한 얼굴 랜드마크 영역, 머리 포즈 정보, 상체 움직임)의 특징 추출이 이루어지는 과정을 보여줍니다. 추출된 정보는 단일 특징 벡터로 통합되어 다층 퍼셉트론(MLP) 분류기로 전달됩니다. MLP 출력물은 최종적으로 9가지 범주의 Navarasa 예측 출력을 생성하기 전에 독자적인 후처리(시간적 평활화, 정규화 및 통합; 주황색 점선 상자) 과정을 거칩니다. 실선 파란색 상자는 처리 단계를, 음영 처리된 파란색 상자는 특징 범주를 나타내며, 주황색 점선 상자는 내부 매개변수를 공개할 수 없는 독자적인 처리 단계를 나타냅니다. 본 도표는 데이터 플롯이 아닌 프로세스 모식도이므로 오차 막대 및 스케일 바는 적용되지 않았습니다. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.

그림 2: FEA-알고리즘 실험 절차. 실험 프로토콜의 순차적 단계를 나타낸 흐름도: 반구조화된 임상 평가(PHQ-9, GAD-7); 참가자로부터 60–70 cm 떨어진 눈높이에 카메라를 배치한 상태로 참가자 착석; 60 s의 기저선 기록; TRENDS 감정-이미지 패러다임(5가지 감정 범주에 걸쳐 20장의 이미지; 이미지당 5 s의 자극 제시 및 10 s의 응답 간격; 총 300 s); 짧은 휴식 간격; 그리고 Navarasa 감정-이미지 패러다임(9가지 Navarasa 범주에 걸쳐 18장의 이미지; 이미지당 5 s의 자극 제시 및 10 s의 응답 간격; 총 270 s). 화살표는 등록부터 데이터 수집 완료까지의 절차적 시간 순서를 나타냅니다. 본 그림은 데이터 플롯이 아닌 프로세스 흐름도이므로 오차 막대와 스케일 바는 적용되지 않습니다. 이 그림의 확대 버전을 보시려면 여기를 클릭하십시오.

그림 3: 해당 TRENDS 감정 이미지에 반응하여 나타난 FEA 알고리즘 점수의 시계열 변화(T0 ~ T9 s). 네 개의 패널(A-D)은 자극 제시 후 10 s 윈도우(x축; T0 = 해당 시행의 자극 종료 시점/기선 점수, T1-T9 = 이후 매 초) 동안의 FEA 알고리즘 점수(y축; 독자적인 점수 산출 알고리즘에 의해 생성된 임의 점수 단위)의 그룹 수준 초단위 궤적을 보여주며, 각각 (A) 중립 이미지 이후의 Shanta 도메인, (B) 행복 이미지 이후의 Haasya 도메인, (C) 공포 이미지 이후의 Bhayanaka 도메인, (D) 분노 이미지 이후의 Krodha 도메인을 나타낸다(패널당 n = 72명의 참가자). 데이터 포인트 및 선은 각 시점의 그룹 평균을 나타내며, 오차 막대 및 음영 영역은 참가자 간의 표준 편차(SD)를 나타낸다. 스케일 바는 이 시계열 선 그래프 형식에 적용되지 않는다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 4: TRENDS 감정 이미지 시청에 따른 FEA-알고리즘 점수의 평균 변화를 나타내는 막대 그래프. 막대는 네 가지 TRENDS 매핑 감정 범주(Shanta/중립, Haasya/행복, Krodha/분노, Bhayanaka/공포; x축) 각각에 대한 FEA-알고리즘 점수의 그룹 평균 변화(Tmax −T0; y축, 임의 점수 단위)를 나타냄(n = 72). 오차 막대는 각 범주 내 변화 점수의 표준 편차(SD)를 나타냄. 대응 표본 t-검정 결과, 네 가지 범주 모두 기저치로부터 통계적으로 유의미한 변화를 보임(p < 0.001; 표 1 참조). 이 막대 그래프 형식에는 스케일 바가 적용되지 않음. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 5: Navarasa 감정 이미지 시청에 따른 FEA-알고리즘 점수의 평균 변화를 나타내는 막대 그래프. 막대는 세 가지 복합 Navarasa 범주인 중립(Shanta), 쾌적(Haasya, Veera, Shringara, Adbhuta의 평균), 불쾌(Krodha, Vibhitsa, Bhayanaka, Karuna의 평균)(x축)에 대한 FEA-알고리즘 점수의 그룹 평균 변화(Tmax − T0; y축, 임의 점수 단위)를 나타냄(n = 72). 오차 막대는 각 범주 내 변화 점수의 표준 편차(SD)를 나타냄. 대응 표본 t-검정 결과, 세 가지 범주 모두 기저선 대비 통계적으로 유의미한 변화를 보임(p < 0.001; 표 2 참조). 이 막대 그래프 형식에는 스케일 바가 적용되지 않음. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 6: 중립 정서 이미지에 대한 FEA-알고리즘 Shanta 점수의 다양한 컷오프 값에 따른 민감도를 나타내는 수신자 조작 특성(ROC) 곡선. y축은 민감도(진양성률, %)를 나타내고 x축은 1 − 특이도(위양성률, %)를 나타내며, 가능한 Shanta 점수 컷오프 값의 범위에 걸쳐 도식화되었습니다. 대각선 기준선은 우연 수준의 판별력(AUC = 0.5)을 나타냅니다. 곡선 아래 면적(AUC) = 0.665 (모든 정서 범주에 대한 AUC, 민감도 및 특이도 값은 표 3 참조). 오차 막대 및 스케일 바는 이 곡선 형식에 해당되지 않습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

감정 (TRENDS 자극물)	평균 T0	평균 Tmax	평균 차이	p-값
중립 – Shanta	0.2261	0.2664	0.0403	<0.001
행복 – Haasya	0.0834	0.1127	0.0294	<0.001
공포 – Bhayanaka	0.0648	0.0848	0.02	<0.001
분노 – Raudra	0.0901	0.1108	0.0207	<0.001

표 1: TRENDS 감정 자극 시청에 따른 FEA 알고리즘 점수의 평균 T0 및 Tmax 값. 각 TRENDS 매핑 감정 범주(Shanta/중립, Haasya/행복, Krodha/분노, Bhayanaka/공포)에 대해, 본 표는 기선(T0) 및 시행 내 최대치(Tmax)에서의 집단 평균 FEA 알고리즘 점수(± SD), 평균 변화량(Tmax − T0), 그리고 T0와 Tmax를 비교한 대응표본 t-검정 결과(p-값)를 나타냅니다(n = 72). 모든 값은 임의의 FEA 알고리즘 점수 단위로 보고되었으며, p < 0.05를 통계적으로 유의미한 것으로 간주하였습니다.

감정 범주 (나바라사 자극물)	평균 T0	평균 최대혈중농도 도달 시간(Mean Tmax)	평균 차이	p-값
중립 – Shanta	0.24	0.29	0.047	<0.001
즐거움 (하스야, 비라, 슈링가라, 아드부타)	0.034	0.045	0.011	<0.001
불쾌함 (Krodha, Vibhitsa, Bhayanaka, Karuna)	0.054	0.068	0.014	<0.001

표 2: Navarasa 감정 자극 시청에 따른 FEA 알고리즘 점수의 평균 T0 및 Tmax 값. 각 복합 Navarasa 범주(중립, 긍정, 부정)에 대해, 본 표는 기저선(T0)과 시행 내 최대치(Tmax)에서의 집단 평균 FEA 알고리즘 점수(± SD), 평균 변화량(Tmax − T0), 그리고 T0와 Tmax를 비교한 대응표본 t-검정 결과(p-값)를 나타냅니다(n = 72). 모든 값은 임의의 FEA 알고리즘 점수 단위로 보고되었으며, p < 0.05인 경우 통계적으로 유의미한 것으로 간주하였습니다.

패널 A: TRENDS 자극물
TRENDS 자극제	곡선 아래 면적 (AUC)	95% 신뢰구간	컷오프(Cutoff) Δ 에모스케이프 점수(Emoscape Score)	민감도 (%)	특이도 (%)
중립 – Shanta	0.665	0.456–0.873	0.065	82.5	50
행복 – 하스야(Haasya)	0.637	0.493–0.780	0.0345	70.7	46.2
공포 – 바야나카(Bhayanaka)	0.583	0.446–0.721	0.018	61.2	54.5
분노 – 라우드라 (Raudra)	0.532	0.374–0.689	0.023	67.3	45.5
패널 B: 나바라사(Navarasa) 자극물
나바라사 자극물	곡선 아래 면적(AUC)	95% 신뢰구간	컷오프 (Cutoff) Δ 이모스케이프 점수(Emoscape Score)	민감도 (%)	특이도 (%)
샨타 (중성)	0.596	0.412–0.779	0.03	85.7	44.6
즐거움 (하스야, 비라, 슈링가라, 아드부타)	0.515	0.369–0.660	0.012	70.2	40
불쾌한 (분노, 혐오, 공포, 슬픔)	0.565	0.384–0.745	0.007	67.8	38

표 3: 감정 범주별 FEA 알고리즘 점수의 곡선 아래 면적(AUC), 민감도 및 특이도 값. 수신자 조작 특성(ROC) 분석을 사용하여 평가한 각 감정 범주에 대해, 본 표는 AUC, 민감도(%) 및 특이도(%)를 나타냅니다. 민감도 ≥ 80%는 우수한 판별 능력을 나타내는 것으로 사전 지정되었으며, 이 임계값 미만의 값은 보통 수준으로 분류되었습니다(통계 분석 참조).

보충 그림 1: 9개 클래스 Navarasa 감정 분류 모델의 정규화된 혼동 행렬. 행은 실제 감정 클래스를 나타내고 열은 모델이 예측한 감정 클래스를 나타냅니다. 셀 값은 각 예측 클래스에 할당된 실제 클래스 인스턴스의 비율을 나타내며, 0–1 척도로 정규화되었습니다(오른쪽 컬러 바). 클래스 레이블(1–9)은 9가지 Navarasa 감정 범주에 대응합니다. 독점적 제한 사항으로 인해 특정 숫자와 감정의 매핑 관계는 공개되지 않았습니다. 9개 범주 전체에 대한 교차 검증 분류 정확도는 96%였습니다. 이 행렬 형식에는 오차 막대가 적용되지 않습니다.이 파일을 다운로드하시려면 여기를 클릭하십시오.

보충 파일 1: FEA-알고리즘 모델 개발 설명(내부 검증 지표, 교차 검증 정확도 및 9 × 9 Navarasa 혼동 행렬 포함).이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 2: 원시 데이터를 포함하는 파일입니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

본 연구는 건강한 성인 자원봉사자를 대상으로 FEA 알고리즘으로 도출된 점수와 표준화된 안면 감정 자극에 대한 반응 사이의 일치도를 조사함으로써 FEA 알고리즘의 예비 검증을 제공하고자 하였다. 이러한 초기 결과는 FEA 알고리즘이 중립(shanta), 행복(haasya), 공포(bhayanaka), 분노(raudra)를 포함한 다양한 개별 감정 범주뿐만 아니라 쾌적함과 불쾌함이라는 더 넓은 분류의 감정 유발 시각 자극에 대해 통계적으로 감지 가능한 변화를 보임을 나타낸다. 이는 FEA 알고리즘 점수가 감정 자극 과제에 대한 반응과 일치함을 시사한다.

FEA 알고리즘의 민감도는 중립 또는 긍정적 감정의 경우 70%에서 80%, 부정적 감정의 경우 60%에서 70% 범위인 것으로 관찰되었습니다. 이러한 민감도 값은 선별 측정 도구로 사용하려는 모든 검사 기준으로 볼 때 보통 수준입니다¹². 이와 비교하여, 뇌파(EEG)와 같은 신경생리학적 마커를 활용하는 광범위한 머신러닝 기반 감정 추론 모델은 최대 90%의 분류 정확도를 보고합니다¹³. 자폐증 검출을 위해 EEG 및 GSR로부터 감정을 분류하는 앙상블 분류기 시스템은 99.97%의 검출 정확도를 보여주었습니다¹⁴. 그러나 이러한 모델들은 계산 집약적인 경향이 있으며 오프라인 처리가 필요합니다. 반면, FEA 알고리즘의 주목할 만한 강점은 관찰 가능한 얼굴 및 신체적 단서에 집중하여 실시간 환경에서 작동이 가능하다는 점에 있습니다.

FEA-알고리즘 절차는 FEA-알고리즘 기록의 품질과 신뢰성에 결정적인 여러 절차적 요인에 따라 달라집니다. 여기에는 카메라 위치와 주변 조명이 포함됩니다. 일관되지 않거나 낮은 주변 조명 하에서 수행된 기록은 특징 추출 품질을 현저히 저하시킬 수 있습니다. 각 기록 세션 동안 머리와 신체 자세는 안정적으로 유지되어야 하며, 따라서 머리나 목의 가동성이 제한된 참가자는 제외되었습니다. 기록 중 행동적 간섭을 최소화하는 것이 필수적입니다. 사회적 바람직성 편향과 자연스러운 얼굴 표현을 억제할 수 있는 자기 감시 효과를 줄이기 위해, 연구자가 없는 상태에서 참가자들을 단독으로 앉혔습니다.

Navarasa 프레임워크의 통합을 통해 문화적으로 민감한 정서 분류를 제공하였습니다. 본 연구에서는 정서적 자극에 반응하여 FEA-알고리즘 점수가 어떻게 변화하는지 평가하기 위해 마음 이론(ToM) 접근법을 적용하였습니다. ToM은 고차원적인 사회 인지 기능을 나타내며, 이에 대한 신경생물학적 기질이 문헌¹⁵을 통해 입증되었으므로, 관찰된 FEA-알고리즘 점수 변화의 생물학적 타당성을 뒷받침합니다.

FEA 알고리즘 점수와 우울증 또는 불안 점수 사이에는 상관관계가 발견되지 않았으며, 이는 참가자의 내면적 정서 상태가 FEA 알고리즘 기록에 영향을 주었을 가능성이 낮음을 시사합니다. 하지만 실험 중에 참가자의 정서 상태를 완전히 제어하는 것은 어렵습니다. 또한, 하향식 인지 처리(top-down cognitive processing)가 특히 부정적인 정서 자극에 대한 자연스러운 정서적 반응을 억제할 수 있습니다. 향후 연구에서는 정서적 자극을 시청하는 동안 참가자의 주관적 경험을 평가해야 하며, 이는 수동적 시청이 실제로 주관적 정서 상태를 유도하는지 추가로 검증하는 방법이 될 수 있습니다. FEA 알고리즘 단독으로 나타난 완만한 민감도는 EEG, 심박 변이도(HRV) 또는 피부 전도도 반응(GSR)과 같은 추가적인 신경생리학적 데이터를 통해 잠재적으로 향상될 수 있습니다. 이는 향후 검증 연구에서 평가되어야 합니다. 본 검증은 건강한 성인 집단을 대상으로 수행되었습니다. 우울증 및 불안과 같은 임상적 상태에서 주관적 정서 상태를 평가하는 FEA 알고리즘의 유용성은 사례-대조군 연구를 통한 추가 조사가 필요합니다.

본 연구의 몇 가지 제한 사항에 대해 밝힐 필요가 있다. FEA 알고리즘의 독점적 특성으로 인해 처리 파이프라인의 투명성에 제한이 있다. 구체적으로, 배우/참가자의 정확한 수, 배우/참가자 수준의 신원, 배우당 정확한 비디오/녹화 횟수, 정확한 특징 정의(랜드마크 인덱스 및 키포인트 식별자), 그리고 상세한 MLP 구조 파라미터(정확한 레이어 차원 및 파라미터 수)는 공개할 수 없다. 내부 검증 지표(교차 검증 정확도 96%; >15,000 min의 비디오를 통한 독립 검증)는 보충 자료에 보고되어 있다. 감정 이름을 나타내는 클래스 레이블은 독점적 제약으로 인해 익명화되었다. 우리는 이러한 제약이 독립적인 재현을 제한한다는 점을 인정한다.

본 연구는 건강한 성인을 대상으로 FEA 알고리즘 점수와 감정 인식 정확도 사이의 자극 일치성을 관찰하였으며, 감정 상태를 구별하는 데 있어 어느 정도의 민감도를 확인하였습니다. 이는 Navarasa 프레임워크를 기반으로 상체 미세 움직임을 분석하여 9가지 rasa 각각에 대한 정적 점수와 감정 궤적의 동적 표현을 생성하는 독자적인 ML 기반 알고리즘인 FEA 알고리즘에 대한 예비 검증을 제공합니다. 향후 알고리즘의 반복 개선을 통해 추가적인 생리학적 또는 상황적 데이터를 통합함으로써 모든 감정 범주에 걸친 판별력을 높이는 것을 목표로 해야 합니다. 더 광범위한 임상 집단에 대한 검증은 추가적인 연구가 필요합니다.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
Emoscape	Nihilent Ltd, Pune	1	Emoscape 개발사
정서적 웰빙을 위한 Manoshanti 센터	GNR Health Care Pvt Ltd.	2	임상 및 연구 파트너
신경정신질환의 정서 인식 도구	해당 연구의 교신저자 저작권 소유	3	연구 내 검증에 사용된 도구