Summary
이 연구는 연구자들이 실시간 행동 자극을 제시하고, 참가자가 각 자극 표시 후에 반응하는 동안 응답 시간 및 마우스 추적 데이터를 얻고, 특수 투명 유기 발광 다이오드(OLED) 화면 및 조명 조작을 포함한 고유한 시스템으로 실험 조건 간에 행위자를 변경할 수 있는 자연주의적 실험 설정을 제시합니다.
Abstract
다른 사람의 행동에 대한 인식은 생존, 상호 작용 및 의사 소통에 매우 중요합니다. 행동의 인식을 이해하는 데 전념하는 수십 년간의 인지 신경과학 연구에도 불구하고, 우리는 여전히 인간의 행동 인식에 접근하는 신경에서 영감을 받은 컴퓨터 비전 시스템을 개발하는 것과는 거리가 멉니다. 주요 과제는 현실 세계에서의 행동이 "지금 여기"에서 발생하고 적용 가능한 공간에서 일시적으로 전개되는 사건으로 구성된다는 것입니다. 대조적으로, 지금까지의 시각적 인식 및 인지 신경과학 연구는 공간과 시간에 배우의 존재가 없는 2D 디스플레이(예: 이미지 또는 비디오)를 통한 행동 인식을 주로 연구했기 때문에 이러한 디스플레이는 작동 가능성을 제공하는 데 한계가 있습니다. 현장에서 지식의 증가에도 불구하고 현실 세계에서 다른 사람들의 행동을 인식하는 기본 메커니즘을 더 잘 이해하기 위해서는 이러한 도전을 극복해야 합니다. 이 연구의 목적은 실제 설정에 가까운 시나리오에서 실제 배우와 함께 자연주의적 실험실 실험을 수행하기 위한 새로운 설정을 도입하는 것입니다. 이 연구에 사용된 설정의 핵심 요소는 투명 유기 발광 다이오드(OLED) 화면으로, 이를 통해 참가자는 프레젠테이션 타이밍을 정밀하게 제어하면서 물리적으로 존재하는 배우의 라이브 액션을 볼 수 있습니다. 이 작업에서이 설정은 행동 실험에서 테스트되었습니다. 우리는 이 설정이 연구자들이 행동 지각의 근본적이고 이전에는 접근할 수 없었던 인지 및 신경 메커니즘을 밝히는 데 도움이 될 것이며 자연주의적 환경에서 사회적 지각과 인지를 조사하는 향후 연구의 기초가 될 것이라고 믿습니다.
Introduction
생존과 사회적 상호 작용을위한 기본 기술은 다른 사람들의 행동을 인식하고 이해하고 주변 환경에서 그들과 상호 작용하는 능력입니다. 지난 수십 년 동안의 이전 연구는 개인이 다른 사람의 행동을 어떻게 인식하고 이해하는지에 대한 기본 원칙을 이해하는 데 크게 기여했습니다 1,2,3,4,5,6,7,8,9,10,11 . 그럼에도 불구하고 상호 작용의 복잡성과 상호 작용이 발생하는 상황을 감안할 때 일상 생활 환경에서 이 복잡한 기술에 대한 보다 완전한 이해에 도달하기 위해 자연주의적 환경에서 지식 체계를 더욱 발전시킬 필요가 있습니다.
우리의 일상 생활 환경과 같은 자연 환경에서 지각과 인지는 구체화, 내재, 확장 및 능동적 특성을 나타냅니다12. 신체와 환경의 역할을 과소 평가하는 경향이있는 뇌 기능에 대한 내부 주의적 설명과는 달리, 구체화 된인지에 대한 현대의 접근 방식은 뇌, 신체 및 환경의 역동적 인 결합에 중점을 둡니다. 반면에, 행동 지각에 관한 대부분의 사회 심리학, 인지 심리학 및 신경과학 연구는 실험실 조건(예: 컴퓨터 작업의 이미지 또는 비디오)에서 잘 제어되고 단순화된 실험 설계를 활용하면 실제 상호 작용과 같은 보다 복잡한 시나리오로 일반화될 수 있는 결과를 산출한다고 가정하는 경향이 있습니다 1,2,3,4,5,6,7 ,8,9,10,11. 이 가정은 많은 상황에서 강력하고 신뢰할 수 있는 데이터를 얻을 수 있음을 보장합니다. 그럼에도 불구하고, 잘 알려진 도전은 신중하게 통제된 실험으로부터 도출된 모델들의 타당성이 실제 상황(13)에서 시험될 때 제한된다는 것이다. 결과적으로 다양한 연구 분야에서 자극 및 실험 설계의 생태학적 및 외부적 타당성을 다루기 위해 추가 조사(13,14,15,16,17,18,19,20,21,22)가 수행되었습니다.
이 연구에서는 물리적으로 존재하는 실제 행위자가 수행하는 실제 행동을 사용하여 개인이 다른 사람의 행동을 어떻게 인식하고 평가하는지 조사하기 위한 새로운 방법을 제안합니다. 실제 상황과 유사한 시나리오가 사용되며 실험자는 가능한 교란 요인을 제어 할 수 있습니다. 이 연구는 Matusz et al.14의 틀 내에서 "자연주의적 실험실 연구"의 한 형태로, 종종 자연스러움을 희생시키면서 자극과 환경에 대한 최대한의 통제를 사용하는 "고전적 실험실 연구"와 자극과 환경에 대한 통제를 희생시키면서 자연스러움을 극대화하는 것을 목표로 하는 "완전 자연주의적 실제 연구"사이의 중간 단계로 생각할 수 있습니다 14. 이 연구는 높은 수준의 실험 통제를 통해 전통적인 실험실 실험에서 얻은 결과와 완전히 제한되지 않은 자연 환경에서 수행된 연구에서 얻은 결과 사이의 격차를 해소하기 위해 행동 인식 연구에서 이 수준에서 경험적 조사의 필요성을 해결하는 것을 목표로 합니다.
통제된 실험과 제약되지 않은 실험
실험 제어는 연구자가 교란 요인에서 목표 변수를 분리할 수 있도록 하기 때문에 특정 가설을 테스트하기 위한 실험을 설계하는 효율적인 전략입니다. 또한 동일한 설계에서 약간 또는 완전히 다른 자극을 사용하거나 대체 실험 설정에서 동일한 자극을 테스트하는 것과 같이 특정 수준의 수정으로 동일한 가설을 재검토할 수 있습니다. 통제된 실험을 통한 체계적인 조사는 인지 과학 및 관련 영역 연구에서 전통적인 형태의 방법론입니다. 통제된 실험은 여전히 주의력, 기억력 및 지각과 같은 다양한 연구 영역에서 인지 과정의 기본 원리에 대한 지식 체계를 확립하는 데 도움이 됩니다. 그러나 최근의 연구는 또한 결과를 실제 환경으로 일반화하는 측면에서 전통적인 실험실 실험의 한계를 인정했으며 연구자들은 향상된 생태 환경에서 연구를 수행하도록 권장되었습니다 13,14,15,16,17,18,19,20,21. 이러한 변화는 전통적인 실험실 실험과 실제 환경 간의 불일치와 관련된 두 가지 중요한 문제를 해결하는 것을 목표로 합니다. 첫째, 실험실 밖의 세계는 실험보다 덜 결정론적이어서 체계적인 실험 조작의 대표성을 제한합니다. 둘째, 인간의 뇌는 적응력이 뛰어나며, 이는 실험 연구를 설계하고 수행하는 데 실질적인 한계가 있기 때문에 종종 과소평가된다22. "생태학적 타당성"23,24의 개념은 이 문제를 해결하기 위한 방법을 다루는 데 사용되어 왔다. 이 용어는 일반적으로 실험실 맥락 외부의 실제 세계에 대한 실험 결과를 일반화하기 위한 전제 조건을 나타내는 데 사용됩니다. 생태학적 타당성은 또한 연구 설계가 실제 시나리오와 유사한지 확인하기 위해 제한되지 않은 자극으로 사실상 자연주의적 실험 설정을 검증하는 것을 의미하는 것으로 해석되었습니다25. 이 용어의 해석에 있어 높은 수준의 차이로 인해 대체 방법론과 자극 선택의 장점과 한계에 대한 이해가 필요합니다.
자극과 실험 설계의 자연주의 수준
실험 심리학 및 인지 신경과학의 이전 연구는 다양한 수준의 자연주의와 함께 광범위한 자극을 사용했습니다26. 대부분의 연구자들은 정적 이미지나 짧은 동적 비디오를 사용하는 것을 선호하는데, 그 이유는 이러한 자극이 실제 행동이나 사건을 시뮬레이션할 수 있는 자극보다 준비하기가 더 쉽기 때문입니다. 장점이 있음에도 불구하고 이러한 자극은 연구자가 사회 행위자들 사이에서 우발적 인 행동을 측정하는 것을 허용하지 않습니다. 다시 말해, 그들은 수용 가능하지 않으며 사회적 어포던스가 없습니다27. 최근 몇 년 동안 이러한 비대화형 자극에 대한 대안인 가상 아바타의 실시간 애니메이션이 개발되었습니다. 이러한 아바타를 사용하면 아바타와 사용자 간의 상호 작용을 조사할 수 있습니다. 그러나, 가상 아바타의 사용은 특히 그들이 그들의 현실적이고 우발적인 행동의 관점에서 특별히 매력적으로 보이지 않을 때, 사용자들의 불안을 감소시킬 수 있다(26). 따라서 실험 연구에서 실제 사회적 자극을 사용하는 데 더 많은 관심이 있습니다. 설계, 데이터 기록 및 분석에는 고급 장비와 복잡한 데이터 분석이 필요할 수 있지만 자연주의적 인간 행동과 인지를 이해하는 데 가장 적합한 후보입니다.
본 연구는 실험실 환경에서 실제 사회적 자극을 사용하는 방법론을 제안합니다. 이 연구는 전통적인 실험실 실험에 비해 생태학적 타당성이 향상된 환경에서 사람들이 다른 사람의 행동을 어떻게 인식하고 평가하는지 조사하는 것을 목표로 합니다. 우리는 참가자들이 물리적으로 존재하고 그들과 동일한 환경을 공유하는 실제 배우에게 노출되는 새로운 설정을 개발하고 설명했습니다. 이 프로토콜에서는 참가자의 반응 시간과 마우스 궤적을 측정하므로 자극 표현의 정확한 타이밍과 이 향상된 생태 환경에서 실험 조건에 대한 엄격한 제어가 필요합니다. 따라서 실험 패러다임은 환경에 대한 통제력을 희생하지 않고 자극의 자연 스러움이 극대화되기 때문에 문헌에 존재하는 틀 중에서 두드러진다. 아래에서 프로토콜은 이러한 시스템을 구축하는 단계를 제시한 다음 샘플 데이터에 대한 대표 결과를 계속합니다. 마지막으로 패러다임의 중요성, 한계 및 수정 계획에 대한 논의가 제시됩니다.
실험 설계
프로토콜 섹션으로 진행하기 전에 본 연구에서 사용된 매개변수를 설명하고 실험 설계와 함께 자극의 세부 사항을 제시합니다.
연구의 매개 변수
이 연구는 배우의 유형과 그들이 수행하는 행동의 종류가 참가자의 마음 인식 과정에 어떤 영향을 미치는지 측정하는 것을 목표로 합니다. 프로토콜에서 마음 지각 과정은 이전 연구28에서 제안한 바와 같이 선택의지와 경험이라는 두 가지 주요 차원으로 측정됩니다. 이 두 차원의 고가와 저가도 최근 Li et al.29에 의해 도입된 바와 같이 포함됩니다.
이 연구의 구조는 일반적으로 사용되는 암시적 연관 작업(IAT)31 의 단일 범주 버전 30에서 영감을 받았습니다. 이 작업에서 속성 개념을 대상 개념과 일치시키는 동안 참가자의 응답 시간은 이 두 개념에 대한 암시적 연관의 강도를 나타내는 데 사용됩니다. 이 암묵적인 작업의 적응에서 참가자는 실제 배우가 수행하는 라이브 액션을 제시하고 대상 개념과 일치시켜야 합니다. 대상 개념은 실험의 블록에 따라 에이전시 또는 경험 차원의 상한선과 하한선입니다.
요약하자면, 독립 변수는 액터 타입(Actor Type)과 액션 클래스(Action Class)입니다. 액터 유형에는 두 가지 레벨이 있습니다(즉, 스터디에서 연기하는 두 개의 다른 액터, 액터1 및 액터2). Action Class에는 Action Class1과 Action Class2의 두 가지 수준이 있으며 각 클래스에는 네 개의 작업이 포함되어 있습니다. 참가자들은 두 액터를 4개의 블록(각 블록에 한 액터)으로 따로 평가하고, 각 블록에서 액터는 균형 잡힌 순서로 모든 동작을 수행합니다. 참가자는 사전 정의되고 강제적인 두 가지 차원인 선택의지와 경험에 대한 평가를 수행합니다. 실험의 4개 블록은 (1) 에이전시 블록의 액터1, (2) 에이전시 블록의 액터2, (3) 경험 블록의 액터1, (4) 경험 블록의 액터2입니다. 블록의 순서도 참가자 간에 균형을 이루어 동일한 에이전트를 가진 블록이 서로를 따르지 않도록 합니다.
참가자의 답변 외에도 두 가지 응답 대안 중 하나로 이동하는 동안 사용하는 무선 마우스의 응답 시간과 xy 좌표가 기록됩니다. 따라서 종속 변수는 참가자의 응답 및 응답 시간(RT)뿐만 아니라 컴퓨터 마우스 추적에서 파생된 최대 편차(MD) 및 곡선 아래 면적(AUC)의 측정값입니다. 변수 반응은 범주형입니다. 높음 또는 낮음일 수 있으며 평가가 지정된 블록 중 하나에서 수행되므로 응답은 높은 기관, 낮은 기관, 높은 경험 또는 낮은 경험으로 레이블을 지정할 수도 있습니다. 응답 시간은 계량형 변수입니다. 단위는 초이며 작업 프레젠테이션 시작과 응답 대안 중 하나에서 마우스 클릭 발생 사이의 경과 시간을 나타냅니다. 궤적의 MD는 연속 변수이며 참가자의 궤적과 이상적인 궤적(직선) 사이의 가장 큰 수직 편차를 나타냅니다. 궤적의 AUC는 또한 연속적인 변수이며, 참가자(들)의 궤적과 이상화된 궤적(32) 사이의 기하학적 영역을 의미한다.
실험의 자극과 설계
본 연구에서는 3단계 실험이 사용됩니다. 세 번째 부분의 측정값은 분석에 사용됩니다. 처음 두 부분은 마지막 부분을 준비하는 역할을 합니다. 아래에서는 실험 자극 및 가설과 함께 실험의 각 부분을 설명합니다.
실험 파트 1(어휘 교육 파트)에서 참가자는 에이전시 및 경험의 개념과 높음과 낮음이라는 단어로 표시되는 역량 수준을 이해하기 위한 교육 세션을 완료합니다. 이 교육 세션에서 사용할 개념 (n = 12)을 선택하기 위해 현재 연구의 저자 중 일부는 규범 적 연구33을 수행했습니다. 본 연구는 참가자들의 모국어로 진행될 예정이었기 때문에 개념도 정규화되기 전에 터키어로 번역되었습니다. 개념은 2차원의 높음(n=3) 및 낮음(n=3) 끝과 밀접하게 관련된 개념(각각 6개의 개념) 중에서 선택되었습니다. 이 부분은 개념에 대한 참가자의 이해가 평가 프로세스를 안내할 것으로 예상되기 때문에 매우 중요합니다.
실험 파트 2(행동 식별 파트)에서 참가자는 Actor1과 Actor2가 수행하는 동일한 8가지 동작을 차례로 보고 실험자에게 행동이 무엇인지 보고합니다. 이 섹션은 조작 검사 역할을 합니다. 두 액터가 모두 수행할 때 모든 액션을 제시함으로써 참가자가 빠른 평가가 필요한 암시적 테스트를 시작하기 전에 액션을 이해하고 액터에 익숙해지도록 할 수 있습니다. Action Class1 및 Action Class2에 대해 선택된 행동은 각 행위자 조건에 대한 두 가지 규범 연구(N = 219)의 결과에 따라 H 점수와 신뢰 수준이 가장 높은 행동(각 행동 등급에서 4가지 다른 행동 예시)을 가진 행동입니다. 모든 작업은 6초의 동일한 시간 내에 수행됩니다.
이것은 진행중인 연구이며 몇 가지 다른 구성 요소가 있습니다. 그러나, 상술한 섹션들에 대한 가설들은 다음과 같다: (i) 행위자의 유형은 종속변수들에 영향을 미칠 것이다; Actor2는 Actor1에 비해 더 긴 RT, 더 높은 MD 및 더 큰 AUC를 생성합니다. (ii) 작용 유형이 종속 측정에 영향을 미칩니다. Action Class1은 Action Class2에 비해 더 긴 RT, 더 높은 MD 및 더 큰 AUC를 생성합니다. (iii) 동일한 행위자 및 행동 클래스에 대한 높음 및 낮음 응답에 대한 종속 측정은 블록 차원(선택 의지 및 경험)에 따라 다릅니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 연구의 실험 프로토콜은 Bilkent University의 인간 참가자 연구 윤리 위원회의 승인을 받았습니다. 연구에 포함된 모든 참가자는 18세 이상이었고 연구를 시작하기 전에 정보에 입각한 동의서를 읽고 서명했습니다.
1. 일반 설계 단계
알림: 그림 1A(상단 view) 및 그림 1B 및 그림 1C(전면 및 후면 view)는 실험실 레이아웃을 보여줍니다. 이 수치는 이 특정 연구를 위해 설계된 원래 실험실 설정 및 구성과 관련하여 작성되었습니다. 그림 1A는 랩의 평면도 레이아웃을 보여줍니다. 이 그림에서는 천장과 액터 캐비닛의 LED 조명을 볼 수 있습니다. 암막 커튼 시스템은 방을 반으로 나누고 빛이 방 앞부분(참가자 영역)으로 새는 것을 방지하여 조명 조작을 돕습니다. 그림 1B는 실험자의 관점에서 실험실의 모습을 나타냅니다. 참가자는 OLED 화면 바로 앞에 앉아 투명 디스플레이를 사용하여 배우가 수행하는 라이브 액션을 볼 수 있습니다. 그들은 앞에 있는 응답 장치(무선 마우스)를 사용하여 응답합니다. 실험자는 참가자 디스플레이(OLED 화면)와 보안 카메라에서 나오는 영상을 통해 배우를 동시에 볼 수 있습니다. 그림 1C는 참가자가 볼 수 없는 보안 카메라와 배우 개인용 컴퓨터(PC)가 있는 연구의 백스테이지(행위자 영역)를 보여줍니다. 보안 카메라 영상은 배우와 실험자 간의 통신을 설정하기 위해 카메라 PC로 이동합니다. 행위자 PC는 블록 순서와 다음 행동 정보를 행위자에게 표시하여 실험이 중단 없이 진행되도록 합니다. 행위자는 참가자가 이전 시도의 행동에 응답하는 동안 다음 행동을 빠르게 확인할 수 있습니다.
그림 1: 자연주의적 실험실 설정. (A) 자연주의적 실험실 설정의 하향식 보기. (B) 참가자의 관점에서 본 자연주의적 실험 설정의 뒷면과 앞면. (C) 배우의 관점에서 본 자연주의적 실험 설정의 뒷면과 앞면. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
- (1) 주 제어 데스크톱(실험자 PC), (2) 행위자 노트북(행위자 PC), (3) 카메라 PC, 무선 응답 장치 1개(참가자 마우스), 디스플레이 2개, 조명 회로 및 보안 카메라를 포함한 3대의 컴퓨터를 포함하는 설정을 설계합니다(이 연구 설정의 시스템 다이어그램은 그림 2A 참조).
참고 : 실험자 PC는 실험자가 실험 스크립트를 실행하는 데 사용하고, 액터 PC는 행위자가 실험 블록과 블록의 작업 순서를 추적하는 데 사용하며, 세 번째 장치 인 카메라 PC는 행위자 영역에있는 보안 카메라에 연결되어 실험자가 무대 뒤를 모니터링하는 데 사용됩니다. - 별도의 디스플레이(자극 프레젠테이션용 디스플레이[참가자 디스플레이], OLED 화면)와 실험 모니터링용 화면, 응답 장치 및 조명 회로(유선 또는 무선 연결을 통해 )를 실험자 PC에 연결합니다( 그림 2A 참조).
- 실험자 PC와 액터 PC를 무선 네트워크로 연결하여 실험 상태와 관련된 정보(예: "다음 액션 ID는 '인사말''")를 액터에게 전달합니다.
- 마이크로 컨트롤러로 제어하여 LED를 켜고 끌 수 있는 조명 회로(회로 기판의 경우 그림 2B 참조)를 설계하고 구축합니다.
참고: 그림 3A 는 실험자의 관점에서 연구에 사용된 OLED 화면의 불투명한 사용을 보여줍니다. 불투명도를 보장하기 위해 화면의 배경이 흰색(RGB: 255, 255, 255)으로 조정되고 회의실의 모든 조명(참가자 영역 및 액터 영역 모두)이 꺼집니다. 참가자는 자극 전에 고정을 봅니다. 도 3B 는 실험자의 관점에서 본 연구에서 디지털 스크린의 투명한 사용을 보여준다. 투명도를 활성화하기 위해 화면의 배경이 검은색(RGB: 0, 0, 0)으로 조정되고 천장의 LED 조명이 켜집니다. 참가자는 배우를 봅니다. 도 3C 는 연구에서 디지털 스크린의 불투명한 사용을 보여준다. 불투명도를 보장하기 위해 화면의 배경이 흰색(RGB: 255, 255, 255)으로 조정되고 방의 모든 조명이 꺼집니다. 참가자에게 응답을 제공할 수 있는 평가 화면이 표시됩니다. 무선 마우스를 사용하여 커서를 화면의 왼쪽 위 또는 오른쪽 위(높음 또는 낮음의 두 가지 응답 선택 중 하나)로 드래그해야 합니다. 마우스 궤적과 응답 시간이 기록됩니다. - 마이크로 컨트롤러를 실험자 PC에 연결합니다.
- 실험자 PC에 실험을 실행하는 스크립트를 저장합니다.
참고: 그림 4A 는 실험 중 백스테이지(액터 영역)를 보여줍니다. 룸의 전면 조명(참가자 영역)이 꺼지고, 액터 PC에 액터가 수행할 액션의 이름이 표시됩니다. 그림 4B 는 배우가 자신의 차례를 기다렸다가 의상을 변경할 수 있는 액터 캐비닛을 보여줍니다. 배우 캐비닛은 참가자의 시야에서 보이지 않으며 커튼 시스템을 사용하기 때문에 배우가 원하는 입구를 사용할 수 있습니다. 실험 중에는 그림에 표시된 형광등이 꺼집니다.
그림 2: 시스템 및 배선도 . (A) 자연주의적 실험 설정의 시스템 다이어그램. (B) 실험 중 OLED 스크린을 지지하는 광 회로의 배선도. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3 : 실험자의 관점에서 본 OLED 화면. (a) 실험자의 관점에서 OLED 디지털 스크린의 불투명한 사용. (B) 실험자의 관점에서 OLED 디지털 스크린의 투명한 사용. (C) 반응 기간 동안 실험자의 관점에서 OLED 디지털 스크린의 불투명한 사용. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 실험의 백스테이지. (A) 실험 시험 중 백스테이지. (B) 배우 캐비닛은 OLED 화면의 뒤쪽에 있으며, 배우들은 실험 중에 자신의 차례가 보일 때까지 기다릴 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
2. 조명 회로의 설계 및 구현
- 회로의 장치/구성 요소에 전원을 공급하기 전에 따라야 할 단계
- 무대 뒤에서 설치된 LED의 상태(행위자 영역)를 변경하려면 실험자 PC에 LED를 ON 또는 OFF로 전환할 수 있는 기능을 제공합니다.
- USB 케이블을 통해 실험자 PC에서 전송 될 디지털 명령을 전달하려면 디지털 입력을 받고 디지털 출력을 생성 할 수있는 마이크로 컨트롤러 장치를 선택하십시오 (이 연구에 사용 된 마이크로 컨트롤러에 대한 재료 표 참조).
- 실험자 PC의 특정 USB 포트를 선택하여 USB 케이블을 통해 마이크로 컨트롤러의 USB 입력에 연결합니다. 모든 연결이 성공적으로 설정되었는지 확인하기 전에 PC를 켜지 마십시오.
- 마이크로 컨트롤러에서 생성되는 출력 신호(약 3.3V)의 진폭을 증가시키는 스위칭 모듈을 포함합니다.
- 지정된 디지털 출력 핀(이 실험에서 지정된 핀은 D9)과 마이크로 컨트롤러의 접지 핀을 스위칭 모듈에 연결합니다.
- 부하(LED)를 실행하려면 스위칭 모듈에서 생성된 신호에 의해 구동되는 고전력 MOSFET(Metal-Oxide-Semiconductor Field-Effect Transistor) 모듈(또는 MOSFET 모듈)을 포함하고 MOSFET 모듈의 신호 핀을 스위칭 모듈의 해당 신호-접지 쌍에 연결합니다.
- MOSFET 모듈의 핫베드 핀을 부하에 연결합니다.
- 조정된 정전압을 모듈에(간접적으로 LED에) 공급하려면 교류(AC) 주전원 입력을 받아 회로에 일정한 DC 전압을 생성하는 LED 전원 공급 장치를 포함합니다.
- LED 전원 공급 장치의 출력을 MOSFET 모듈과 스위칭 모듈의 전원 입력에 연결합니다.
- 회로 구성 요소를 배선한 후 따라야 할 단계
- 실험자 PC의 선택한 USB 포트에 USB 케이블을 연결합니다.
- 마이크로 컨트롤러와 실험자 PC에서 실행되는 소프트웨어 환경 간에 직렬 통신 링크를 만듭니다( 실험자 PC에 마이크로 컨트롤러 연결 하위 섹션 참조).
- LED 전원 공급 장치를 AC 주전원 입력에 연결합니다.
3. 실험 프로그래밍
참고: 세 가지 주요 실험 스크립트(ExperimentScript1.m [보충 코딩 파일 1], ExperimentScript2.m [보충 코딩 파일 2] 및 ExperimentScript3.m [보충 코딩 파일 3])와 여러 함수(RecordMouse.m [보충 코딩 파일 4], InsideROI.m [보충 코딩 파일 5], RandomizeTrials.m [보충 코딩 파일 6], RandomizeBlocks.m [보충 코딩 파일 7], GenerateResponsePage.m [보충 코딩 파일 8], GenerateTextures.m [보충 코딩 파일 9], ActorMachine.m [보충 코딩 파일 10], MatchIDtoClass.m [보충 코딩 파일 11], RandomizeWordOrder.m [보충 코딩 파일 12])을 사용하여 실험을 수행하였다.
참고: 자세한 설명은 관련 스크립트를 참조하십시오.
- 시험 및 블록 주문의 무작위화
- 무작위화 파라미터(예: 참가자 ID)를 입력값으로 받고 의사 랜덤화된 시퀀스로 구성된 배열을 반환하는 시험 주문(RandomizeTrials.m)과 블록 주문(RandomizeBlocks.m)을 랜덤화하는 두 개의 함수를 정의하고 생성합니다.
- 무작위 시퀀스가 생성되는 방법에 대한 자세한 내용은 스크립트 RandomizeBlocks.m(2-24행) 및 RandomizeTrials.m(3-26행)을 참조하십시오.
- 응답 추적(RecordMouse, InsideRoi)
- 실험 중 참가자의 마우스 궤적과 경과 시간을 추적하고 기록하는 함수를 만듭니다(RecordMouse.m 참조).
- 클릭한 좌표가 허용 가능한 영역 내에 있는지 여부를 확인하는 도우미 함수를 만듭니다(스크립트 InsideRoi.m 참조).
- 지침 및 피드백을 위한 텍스처 생성(GenerateTextures.m, GenerateResponsePage.m)
- 실험과 관련된 지침과 시도와 관련된 피드백을 이미지로 준비합니다.
- 이러한 영상의 내용을 .mat 파일에 저장합니다(ExperimentImages.mat 파일 [보충 코딩 파일 13] 참조).
- 화면 창을 만든 후 .mat 파일을 작업 공간으로 불러옵니다(GenerateTextures.m 라인 25 참조).
- 각 이미지에 대해 별도의 텍스처와 식별자를 만듭니다(GenerateTextures.m 27-165행 참조).
- 각 실험 스크립트에 대해 관련 응답 페이지 텍스처를 그리는 함수를 정의합니다(GenerateResponsePage.m 참조).
- TCP/IP를 통해 Actor PC를 Experimenter PC에 연결
- Experimenter PC에서 실행되는 스크립트(ExperimentScript2.m 줄 174행 참조)에 TCP 서버 소켓을 만듭니다.
- 액터 PC에서 실행되는 스크립트(ActorMachine.m 라인 16 참조)에 해당 TCP 클라이언트 소켓을 생성합니다.
- Experimenter PC에서 실행되는 스크립트(ExperimentScript2.m의 207, 229, 278행 참조, ExperimentScript3.m의 136, 141, 153, 159, 297행 참조)에서 액터에게 예정된 블록/트라이얼에 대한 정보를 보냅니다.
- 실험자 PC로부터 수신된 정보를 액터 PC의 화면 창에 표시합니다 (ActorMachine.m 의 31-47행 참조).
- 마이크로 컨트롤러를 실험자 PC에 연결
- 마이크로 컨트롤러를 특정 USB 포트(예: PORT 9)에 연결하여 무대 뒤에서 설치된 LED의 상태(ON 또는 OFF)를 제어합니다.
- 마이크로 컨트롤러 장치와 실험자 PC 간에 직렬 통신을 설정합니다(ExperimentScript2.m 스크립트의 185행 참조).
- 실험자 PC에서 실행되는 스크립트(ExperimentScript2.m의 290행 또는 ExperimentScript3.m 스크립트의 311행 참조)에서 마이크로컨트롤러로 로직 하이 신호(1)를 보내 USB 케이블을 통해 동작이 표시될 때 LED를 켭니다.
- Experimenter PC에서 실행되는 스크립트(ExperimentScript2.m의 292행 또는 ExperimentScript3.m 스크립트의 314행 참조)에서 마이크로컨트롤러로 로직 로우 신호(0)를 보내 참가자가 응답을 제공할 것으로 예상될 때 LED를 끕니다.
4. 샘플 실험의 흐름
- 실험 전 단계
- 랩의 모든 장치(실험자 PC, 카메라 PC, 액터 PC 및 참가자 디스플레이)가 UPS에 의해 전원이 공급되는지 확인합니다.
- USB 케이블을 통해 번개 마이크로 컨트롤러를 실험자 PC에 연결하면 실험자 PC가 켜지면 자동으로 켜집니다.)
- 실험자 PC를 켜고 5GHz Wi-Fi에 연결되어 있는지 확인합니다.
- 사운드 장치( 재료 표의 스피커)를 실험자 PC의 사운드 출력 장치로 선택합니다.
- 참가자 디스플레이를 켜고 볼륨 설정을 80%로 설정합니다.
- 여러 모니터에 대한 실험자 PC의 화면 설정을 지정합니다. 실험 PC의 디스플레이를 참가자 디스플레이로 확장합니다. 실험자 PC의 디스플레이는 1이고 참가자 디스플레이는 2입니다.
- 액터 PC를 켜고 5GHz Wi-Fi에 연결되어 있는지 확인합니다.
- USB 케이블을 통해 보안 카메라를 Actor PC에 연결하면 Actor PC가 켜지면 자동으로 전원이 켜집니다.
- 카메라 PC를 켜고 바탕 화면에서 카메라 응용 프로그램을 엽니다. 각 배우, 그들의 움직임, 캐비닛 출입이 카메라에서 보이는지 확인하십시오.
- 모든 컴퓨터, 디스플레이 및 장치(Experimenter PC 및 Actor PC의 응답 장치[참가자의 무선 마우스], 스피커, 키보드 및 마우스 및 번개 마이크로컨트롤러)가 제대로 작동하는지 확인합니다.
- 참가자를 다른 방에 오신 것을 환영합니다. 연구에 대한 간략한 정보를 제공한 후 동의서를 제공하고 참가자가 서명하도록 합니다.
- 참가자에게 가방에서 숫자를 꺼내도록 요청하고 그 숫자가 연구 내내 참가자 ID가 될 것이라고 말합니다.
- 참가자가 익명의 참가자 ID로 온라인 인구 통계 양식을 작성하도록 합니다.
참고: 참가자가 실험 전에 배우를 않는 것이 중요합니다. 그래서 이 서류 작업은 메인 실험실이 아닌 다른 방에서 완성되어 배우들이 참가자들 사이에 휴식을 취할 수 있도록 합니다.
- 실험 단계
- 실험자 PC에서 실험 소프트웨어를 열고 ExperimentScript1.m 스크립트를 열고 실행합니다.
- 참가자 ID와 나이를 입력합니다. 그런 다음 스크립트는 실험의 첫 번째 부분을 시작합니다(첫 번째 가시적 자극은 참가자 디스플레이 중앙에 있는 십자 표시입니다).
- 액터 PC에서 실험 소프트웨어를 열고 ActorMachine.m 스크립트를 엽니다.
- 카메라 PC를 실험자 PC 근처에 놓고 foo를 확인하십시오.tage 보안 카메라에서 오는 것은 참가자에게 표시되지 않습니다.
- 참가자를 메인 실험실로 초대하고 참가자 디스플레이 앞에 앉게 합니다.
- 참가자에게 십자가가 중앙에 있고 똑바로 앞에 있도록 자신을 정리하라고 말합니다.
- 화이트보드에 적힌 설명과 기간을 참조하여 실험의 각 부분에 대한 지침을 간략하게 설명한다.
- 실험실의 모든 조명을 끕니다.
- 실험 파트 1:
- 참가자에게 실험의 첫 번째 부분에서 어휘/개념 교육을 완료할 것이라고 말합니다. 교육을 통과할 수 있도록 지침을 주의 깊게 따르도록 경고합니다.
- 참가자에게 준비가 되면 실험을 시작할 수 있다고 말합니다.
- 참가자가 첫 번째 파트를 준비했다고 말하면 ESC 버튼을 누릅니다.
참고: 이제부터 참가자는 참가자 디스플레이의 지침을 읽고 선택 항목 중 하나를 선택하여 실험을 진행합니다. 그들은 훈련에서 잘 진행할 수 있도록 정답과 오답에 대한 피드백을 받게 됩니다. 매칭은 참가자가 10블록 반복 내에서 최소 임계값(80%)에 도달할 때까지 계속됩니다. - 참가자가 훈련 부분을 완료하면 ESC 버튼을 누르고 실험자가 실험의 두 번째 부분을 시작하기 위해 마우스를 제어하고 있음을 참가자에게 알립니다.
- 실험 파트 2:
- ExperimentScript2.m 스크립트를 열고 Waiting for the Actor PC 프롬프트를 기다립니다.
- 프롬프트가 표시되면 벨을 눌러 액터 중 한 명이 액터 PC에서 스크립트를 실행하여 실험자 PC와의 연결을 활성화할 수 있도록 합니다.
- 실험 파트 2가 준비되었습니다라는 메시지가 표시될 때까지 기다립니다.
- 참가자에게 이제 화면이 투명해질 것이며 짧은 동작을 통해 볼 수 있다고 말합니다.
- 각 동작을 주의 깊게 관찰하도록 경고하고 행동이 무엇인지 큰 소리로 말해야 한다고 알려줍니다.
- 참가자에게 준비가 되면 실험을 시작할 수 있다고 말합니다.
- 참가자가 첫 번째 파트를 준비했다고 말하면 ESC 버튼을 누릅니다.
참고: 참가자는 지침을 진행하고 첫 번째 작업을 시청합니다. 액터1 은 LED 라이트가 켜졌을 때 액션을 수행하고, 라이트가 꺼졌을 때 액터 PC의 프롬프트에서 다음 액션을 확인합니다. 각 작업이 끝나면 실험자 PC 화면에 대화 상자가 나타납니다. - 대화 상자에 참가자가 동작에 대해 말한 내용을 입력하고, 동작의 올바른 식별 또는 잘못된 식별에 따라 두 번째 대화 상자에 각각 1 또는 0을 입력합니다.
참고: 이 단계는 첫 번째 액터에 대해 8번 반복되며, 액터가 장소를 변경할 때 배경 음악이 재생되기 시작합니다. - 카메라 PC의 보안 카메라 영상에서 무대 뒤를 시청합니다.
- ESC 버튼을 누르면 배우가 I am ready 제스처로 보안 카메라를 향해 손을 흔들 때 Actor2에 대한 식별이 시작됩니다.
- 4.4.7 단계와 4.4.8 단계를 참가자와 함께 반복하여 Actor2가 수행하는 동안 동일한 8개의 동작이 식별될 때까지 합니다.
- 참가자가 식별이 완료 되었다는 경고를 보고 화살표를 클릭하여 부품을 종료하면 ESC 버튼을 누르고 참가자에게 실험자가 실험의 세 번째 부분을 시작하기 위해 마우스를 제어하고 있음을 알립니다.
- 실험 파트 3:
- ExperimentScript3.m 스크립트를 엽니다.
- 참가자에게 두 배우의 행동을 지켜볼 것이라고 말한 다음 적합하다고 생각되는 옵션을 클릭할 것입니다.
참고: 참가자는 4개의 블록에서 배우의 행동을 평가합니다. 두 블록에서 Actor1은 액션을 수행하고, 다른 두 블록에서는 Actor2가 동일한 액션을 수행합니다. 블록 중 두 개에서 참가자는 높거나 낮은 기관 역량을 부여하여 행동을 평가하고 다른 두 블록에서는 높거나 낮은 경험 능력을 부여합니다. - 참가자가 세 번째 파트를 준비했다고 말하면 ESC 버튼을 누릅니다.
참고: 참가자는 지침을 진행하고 첫 번째 블록부터 시작합니다. 배우들은 빛 속에서 액션을 수행하고, 참가자들이 응답하는 동안 화면은 불투명해지고 조명은 꺼지므로 배우들은 다음에 어떤 액션이 나올지 알 수 있습니다. 각 블록이 끝나면, 액터는 액터 PC의 프롬프트에 따라 장소를 변경합니다. - 무대 뒤에서 모든 것이 잘 진행되는지, 블록 중에 올바른 배우가 올바른 행동을 수행하고 있는지 확인하십시오.
- ESC 버튼을 누르면 오른쪽 액터가 액터를 교체한 후 I am ready 제스처로 손을 흔들 때 다음 블록을 시작합니다.
- 4개의 블록이 완료될 때까지 참가자 및 행위자와 협력하여 4.5.4단계와 4.5.5단계를 반복합니다.
- 참가자가 실험이 끝났습니다, 감사합니다 메시지가 표시되면 ESC 버튼을 누릅니다.
- 참가자에게 감사를 표하고 브리핑하고 서명을 받은 후 참가자를 보냅니다.
그림 5 는 참가자의 관점에서 샘플 시험을 보여줍니다. 그림 5A 는 참가자가 불투명 한 사용으로 화면 중앙에 커서를 보는 것을 보여줍니다. 도 5B 는 스크린을 통해 라이브 액션 자극을 시청하는 참가자를 보여준다. 도 5C 는 자극 후에 참가자에게 제시된 평가 스크린을 도시하며, 여기서 그들은 스크린의 각각의 상부 코너에 있는 두 개의 대안들 중 하나에 마우스를 드래그할 필요가 있다.
그림 5: 참가자의 관점에서 본 OLED 화면. (A) 고정 화면 중 참가자의 관점에서 OLED 디지털 화면을 불투명하게 사용합니다. (B) 라이브 액션을 발표하는 동안 참가자의 관점에서 OLED 디지털 화면을 투명하게 사용합니다. (C) 응답 기간 동안 참가자의 관점에서 OLED 디지털 화면을 불투명하게 사용합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
5. 데이터 전처리 및 분석
- 데이터를 조건으로 분할
- 모든 참가자 데이터 파일을 소프트웨어 환경의 작업공간으로 읽어 들입니다.
- 데이터를 그룹화하기 위한 조건을 정의합니다(두 개의 작업 클래스 [Action Class1 및 Action Class2] x 두 개의 행위자 [Actor1 및 Actor2] x 2차원 [Agency and Experience] x 두 가지 수준 [High 및 Low]).
- 데이터를 4개의 주요 그룹(Agency High, Agency Low, Experience High, Experience Low)으로 나눕니다.
- 이러한 주요 그룹을 4개의 하위 그룹(2개의 행위자 x 2개의 액션 클래스)으로 나눕니다.
- 각 데이터 파일을 반복하여 이전에 정의된 4개의 부분군 중 하나에 속하는 시행을 그룹화합니다.
- 관련 시행 정보(응답 시간, 커서 이동 및 커서 위치가 샘플링되는 시점)를 각 하위 그룹에 대한 별도의 데이터 구조로 저장합니다.
- 모든 시도가 그룹화되면 루프를 종료합니다.
- 궤적의 시각화
- 데이터를 분할한 후 다음 단계를 수행하여 마우스 궤적을 시각화합니다.
- 반응 궤적에 시간 보간을 적용하려면 각 시행에 대해 궤적 배열에서 101(x,y) 쌍을 선택하여 데이터의 각 부분군이 동일한 시간 스텝 수를 갖는 시행을 갖도록 합니다.
알림: 쌍 수를 101로 고정하는 동안 올바른 시간 정규화를 수행하려면 규칙32를 따라야 합니다. 따라서 다음 방정식을 사용하여 시간 정규화를 달성하며, 여기서 n 은 궤적 배열의 샘플 수입니다.
- 101개의 시점 각각에서 (x,y) 쌍의 합을 계산한 다음 얻은 결과를 해당 하위 그룹의 총 시행 횟수로 나누어 각 하위 그룹(예: 경험 낮은 행위자1 또는 경험 낮은 행위자2)에 대한 평균을 얻습니다.
- 행 값에 스케일링 연산을 적용하여 평균 궤적을 시각화합니다.
참고: 2D 좌표 평면은 두 축이 창의 왼쪽 아래 모서리에 있는 영점(좌표가 양의 정수라고 가정)에서 증가한다고 가정하는 반면, 픽셀 형식은 창의 왼쪽 위 모서리를 참조(예: 영점)로 사용합니다. 따라서 총 행 수의 값에서 각 시행의 샘플링된 y 좌표를 추출하여 샘플링된 위치의 y 좌표(픽셀 형식의 행 값에 해당)에 대한 크기 조정 연산을 적용합니다. - 비교를 위해 동일한 그림에 관련 부분군을 플로팅합니다.
참고: 각 궤적은 시작 레이블이 아래쪽 가운데에 있는 사각형의 중심에서 시작하여 왼쪽 위 또는 오른쪽 위 모서리에 있는 사각형 안쪽에서 끝납니다.
6. 시스템 장애의 원인이 될 수 있는 조건 및 주의사항
참고: 시스템 오류가 발생한 경우 액터에게 오류에 대해 알리고 참가자가 볼 수 없는 장소에 머물도록 경고하는 물리적 표시(벨 울림)를 갖는 것이 중요합니다.
- 네트워크 연결로 인한 오류
- 컴퓨터 중 하나가 다른 네트워크에 연결되어 있으면 TCP/IP 연결 요청이 실패하고 시스템에 오류가 표시됩니다. 이를 방지하려면 실험자 PC와 액터 PC가 동일한 무선 네트워크의 동일한 대역에 있는지 확인하십시오.
- 두 PC가 동일한 네트워크에 유지되도록 하려면 두 PC에서 이전에 연결된 무선 네트워크를 지웁니다.
- 네트워크의 IP 주소는 예고 없이 변경될 수 있으므로 선택한 네트워크의 장치에 대해 고정 IP 주소를 설정합니다.
- 네트워크에 대한 일시적인 연결 끊김(예: 정전, 인터넷 중단 등으로 인해)으로 인해 스크립트가 실패할 수 있습니다. 이러한 상황에서는 TCP/IP 연결을 다시 설정하려면 시스템을 처음부터 다시 시작해야 합니다.
참고: 장치에 대한 고정 IP 요구 사항은 인터넷 서비스 공급자가 충족할 수 있습니다. 특정 포트는 운영 체제 또는 지정된 장치의 하드웨어에 의해 비활성화될 수 있습니다. 따라서 실험에 사용할 포트를 열어야 하며 실험 스크립트가 시작될 때까지 활성 연결이 없어야 합니다.
- 소프트웨어 충돌로 인한 오류
- 연결 실패(예: 직렬 포트 연결, TCP/IP 연결, 디스플레이 연결 등)로 인해 소프트웨어 환경이 충돌할 수 있으며, 이로 인해 데이터가 손실될 수 있습니다. 이를 극복하려면 기본 실험 스크립트를 여러 스크립트로 나눕니다. 예를 들어 액터가 작업 수행을 시작하기 전에 완료해야 하는 블록이 있는 경우 이 블록 중에 실험자 PC에 서버를 만들 필요가 없습니다. 서버는 액션을 수반하고, 따라서 실험자 PC와 액터 PC 간의 통신이 필요한 블록이 시작되려고 할 때 생성될 수 있다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
응답 시간(RT) 비교
현재 연구는 진행중인 프로젝트이므로 대표적인 결과로 실험의 주요 부분 (실험 파트 3)의 데이터를 제시합니다. 이 데이터는 18-28세 범위의 여성 23명과 남성 17명을 포함한 40명의 참가자로부터 얻은 것입니다(미디엄 = 22.75, SD = 3.12).
분석에 적합한 통계적 방법을 선택하기 위해서는 종속 변수 분포의 정규성 정도를 조사하는 것이 필요했습니다. 따라서 응답 시간(RT), 최대 편차(MD) 및 곡선 아래 면적(AUC)의 세 가지 종속 변수가 정상적으로 분포되었는지 여부를 이해하기 위해 Shapiro-Wilk 테스트를 수행했습니다. 점수는 응답 시간, W=0.56 , p< 0.001, 최대 편차, W=0.56, p< 0.001, 및 곡선하 면적, W=0.71, p< 0.001에 대한 데이터가 모두 유의하게 비정상임을 보여주었다.
종속 변수의 분산 동질성도 독립 변수, 즉 행위자 유형(Actor1 및 Actor2) 및 Action Class(Action Class1 및 Action Class2)의 수준에 대한 Levene의 테스트를 적용하여 확인했습니다. 응답 시간 점수의 경우 Actor1과 Actor2의 분산은 NS(1, 1260) = 0.32, p = 0.571로 유사했지만 Action Class1과 Action Class2의 분산은 NS(1, 1260) = 8.82, p = 0.003으로 유의하게 달랐습니다. 최대 편차에 대한 점수의 경우, Actor1과 Actor2의 분산은 F(1, 1260) = 3.71, p = 0.542로 유사했지만, Action Class1과 Action Class2의 분산은 유의하게 달랐습니다(NS(1, 1260) = 7.51, NS = 0.006). 곡선 아래 면적에 대한 점수의 경우, Action Class1과 Action Class2의 분산은 유사했으며, F(1, 1260) = 3.40, p = 0.065, Actor1과 Actor2의 분산은 유의하게 달랐습니다(NS(1, 1260) = 4.32, NS = 0.037).
이 연구의 데이터는 정규 ANOVA(분산 분석)의 정규 분포 및 분산 동질성 가정을 충족하지 않았고 연속 결과에 대해 4개의 독립적인 그룹이 있었기 때문에 ANOVA의 비모수적 등가물인 Kruskal-Wallis 테스트가 적용되었습니다. 4개의 독립적인 그룹은 2개의 사전 강제 블록 차원(Agency 및 Experience) 내의 2개의 범주형 반응 변수(높음 또는 낮음)에서 파생되었습니다. 차원에서 참가자 응답 간에 종속 변수가 어떻게 다른지에 관심이 있었기 때문에 데이터는 에이전시 차원(에이전시 높음 및 에이전시 낮음 포함)과 경험 차원(경험 높음 및 경험 낮음 포함)의 응답에 따라 4개의 하위 그룹으로 나뉩니다. 아래에는 세 가지 독립 변수에 대한 Kruskal-Wallis 검정 결과가 나와 있습니다. 모든 경우에, 유의성 역치는 p < 0.05로 설정하였다.
응답 시간 결과
그림 6은 4개의 블록 차원에서 높음 또는 낮음의 응답에 따른 참가자의 응답 시간을 나타냅니다. 참가자의 응답 시간은 두 개의 독립 변수인 행위자 유형 및 행동 등급의 각 수준에 대해 표시됩니다. A1과 A2는 각각 행위자 1과 행위자 2를 나타내고, AC1과 AC2는 각각 행위자 1과 작용 등급 2를 나타냅니다.
그림 6: 행위자 유형 및 작업 클래스에 대한 작업에서 참가자의 응답 시간. 각 패널은 참가자가 특정 차원(에이전시 및 경험)의 수준(높음 또는 낮음) 중 하나에 응답하는 데 소요된 시간을 보여줍니다. 별표는 행위자 유형 또는 액션 클래스 수준 간에 상당한 차이를 보여줍니다(p < .05). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
응답 시간은 Agency-High, H(1) = 1.03, p = 0.308, Agency-Low, H(1) = 2.84, p = 0.091, Experience-High, H( 1) = 0.001, p = 0.968 답변에 대한 행위자 유형에 의해 유의한 영향을 받았지만, Experience-Low 답변, H(1) = 8.54, p = 0.003입니다. Wilcoxon 부호 순위 테스트는 Experience-Low 답변에 대한 행위자 유형의 영향을 조사하기 위해 계산되었습니다. Actor1에 대한 중간 응답 시간(Mdn = 1.14)은 Actor2에 대한 응답 시간 중앙값(Mdn = 1.31), W = 8727, p = 0.001보다 유의하게 짧았습니다.
응답 시간은 Agency-Low, H(1) = 1.99, p = 0.158 및 Experience-High, H(1) = 0.17, p = 0.675 응답에 대한 행동 등급에 의해 유의한 영향을 받지 않았지만, Agency-High, H(1) = 10.56, p = 0.001 및 Experience-Low, H(1) = 5.13, p = 0.023, 답. Wilcoxon 부호 순위 테스트의 결과는 Agency-High 응답의 경우 Action Class1(Mdn = 1.30)에 대한 중간 응답 시간이 Action Class2(Mdn = 1.17)에 대한 응답 시간 중앙값보다 훨씬 길다는 것을 보여주었습니다. 또한 경험 낮음 응답의 경우 Action Class1(Mdn = 1.44)의 응답 시간 중앙값이 Action Class2(Mdn = 1.21), W = 10002, p = 0.011의 응답 시간 중앙값보다 훨씬 길었습니다.
마우스 추적 결과
참가자들이 최종 반응을 결정하는 동안 마우스의 움직임도 기록되었습니다. 참가자의 평균 운동 궤적을 계산하기 위해 시간 및 위치 정보를 수집했습니다. 녹음은 참가자가 화면에서 언어 자극을 보았을 때 시작되어 화면의 오른쪽 상단 또는 왼쪽 상단 모서리에 있는 옵션(높음 또는 낮음) 중 하나를 클릭하여 응답을 하면 종료되었습니다.
그림 7은 4개의 블록 차원에서 높음 또는 낮음의 응답에 따른 참가자의 마우스 움직임의 최대 편차를 나타냅니다. 선택된 응답의 이상적인 직선에서 선택되지 않은 대체 응답에 대한 참가자의 최대 편차는 두 독립 변수인 행위자 유형 및 행동 클래스의 각 수준에 대해 표시됩니다. A1 및 A2는 각각 행위자 1 및 행위자 2를 나타내고 AC1 및 AC2는 동작 클래스 1 및 동작 클래스 2를 나타냅니다. 각각.
그림 7: 배우 유형 및 작업 클래스에 대한 참가자의 마우스 궤적의 최대 편차. 각 패널은 특정 차원(에이전시 및 경험)에 대한 수준(높음 또는 낮음) 중 하나에 응답하면서 선택한 응답의 이상적인 직선에서 선택되지 않은 대체 응답으로 참가자의 최대 편차를 보여줍니다. 별표는 행위자 유형 또는 액션 클래스 수준 간에 상당한 차이를 보여줍니다(p < .05). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
최대 편차는 Agency-High, H(1) = 1.42, p = 0.232, Agency-Low, H(1) = 0.19, p = 0.655, Experience-High, H (1) = 0.12, p = 0.720, 답변에 대한 행위자 유형에 의해 유의한 영향을 받았지만, Experience-Low 답변, H(1) = 7.07, p = 0.007입니다. Experience-Low 답변에 대한 행위자 유형의 영향을 조사하기 위해 Wilcoxon 부호 순위 테스트가 수행되었습니다. Actor1에 대한 최대 편차 중앙값(Mdn = 0.03)은 Actor2에 대한 최대 편차 중앙값(Mdn = 0.05), W = 8922, p = 0.003보다 유의하게 짧았습니다.
최대 편차는 Agency-High, H(1) = 0.37, p = 0.539 및 Experience-High, H(1) = 1.84, p = 0.174, 답변에 대한 행동 등급에 의해 유의한 영향을 받았지만, Agency-Low, H(1) = 8.34, p = 0.003 및 Experience-Low, H(1) = 11.53, p = 0.0006, 답. Wilcoxon 부호 순위 테스트의 결과는 Agency-Low 응답의 경우 Action Class1의 최대 편차 중앙값(Mdn = 0.06)이 Action Class2의 최대 편차 중앙값(Mdn = 0.02), W = 12516, p = 0.0019. 또한 경험 낮음 응답의 경우 조치 등급 1에 대한 최대 편차 중위수(Mdn = 0.09)가 조치 등급 2에 대한 최대 편차 중위수(Mdn = 0.03), W = 10733, p = 0.0003보다 유의하게 길었습니다.
그림 8 은 4개의 블록 차원에서 높음 또는 낮음의 응답에 따른 참가자의 마우스 궤적 곡선 아래 영역을 나타냅니다. 선택한 응답의 이상적인 직선을 참조하여 참가자 응답의 곡선 아래 영역은 두 개의 독립 변수인 행위자 유형 및 동작 클래스의 각 수준에 대해 표시됩니다. A1 및 A2는 각각 액터 1 및 액터 2를 나타내고 AC1 및 AC2는 액션 클래스 1 및 액션 클래스 2를 나타냅니다. 각각.
그림 8: 참가자의 마우스 움직임의 이상화된 궤적과 관련된 곡선 아래 영역. 각 패널은 참가자가 특정 차원(에이전시 또는 경험)의 수준(높음 또는 낮음) 중 하나에 응답하는 동안 곡선 아래 영역을 표시합니다. 별표는 행위자 유형 또는 액션 클래스 수준 간에 상당한 차이를 보여줍니다(p < .05). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
곡선 아래 영역은 Agency-High, H(1) = 0.001, p = 0.968, Agency-Low, H(1) = 0.047, p = 0.827 및 Experience-High, H(1) = 0.96, p = 0.324, 답변에 대한 행위자 유형에 의해 유의한 영향을 받았지만 Experience-Low 답변, H(1) = 8.51, p = 0.003입니다. Wilcoxon 부호 순위 테스트는 Experience-Low 답변에 대한 행위자 유형의 영향을 조사하기 위해 계산되었습니다. Actor1의 곡선 아래 면적 중앙값(Mdn = −0.03)은 Actor2(Mdn = 0.02), W = 8731, p = 0.0017의 곡선 아래 면적 중앙값보다 유의하게 더 높았습니다.
곡선 아래 영역은 Agency-High 답변에 대한 조치 등급(H(1) = 0.01, p = 0.913)에 의해 유의한 영향을 받지 않았지만 Agency-Low, H(1) = 7.54, p = 0.006, Experience-High, H(1 )= 5.87, p = 0.015 및 Experience-Low, H(1) = 15.05, p = 0.0001, 답. Wilcoxon 부호 순위 테스트의 결과는 Agency-Low 응답의 경우 Action Class1(Mdn = 0.03)에 대한 곡선 아래 면적 중앙값이 Action Class2(Mdn = −0.03), W = 12419, p = 0.003, Experience-High 응답의 경우 Action Class1(Mdn = −0.06)은 Action Class2(Mdn = −0.02), W = 9827, p = 0.007에 대한 중앙값 최대 편차보다 유의하게 작았습니다. 경험 낮음 응답의 경우 Action Class1(Mdn = 0.05)에 대한 곡선 아래 면적 중앙값이 Action Class2(Mdn = −0.03), W = 11049, p < 0.0001에 대한 곡선 아래 면적 중앙값보다 유의하게 컸습니다.
대표 결과의 요약 및 평가
이것은 진행중인 연구이기 때문에 대규모 데이터 수집이 끝날 때 갖게 될 데이터의 대표적인 부분이 제시되었습니다. 그러나, 이러한 샘플 데이터조차도 본 연구에서 제안된 방법의 효과를 뒷받침한다. 참가자의 응답 시간과 마우스 궤적을 얻을 수 있었고 실시간 행동을 본 후 응답을 제공했습니다. 동일한 화면을 통해 이러한 모든 단계를 완료 할 수 있으므로 참가자가 실제 배우를보고 마우스 응답을 제공하는 방식 사이의 양식을 변경하지 않아 실험 절차를 실제 시나리오로 확장 할 수 있습니다.
표 1 은 마우스 궤적의 반응 시간, MD 및 AUC를 포함한 종속 측정이 연구의 주요 독립 변수인 행위자 유형 및 행동 등급에 의해 어떻게 영향을 받았는지에 대한 결과를 요약한 것입니다.
| 응답 시간(RT) | 최대 편차 (MD) | 곡선 아래 면적(AUC) | ||||
| 액터 타입 | Action 클래스 | 액터 타입 | Action 클래스 | 액터 타입 | Action 클래스 | |
| 에이전시 높음 | NS (주) | AC1 > AC2*** | NS (주) | NS (주) | NS (주) | NS (주) |
| 에이전시 낮음 | NS (주) | NS (주) | NS (주) | AC1 > AC2** | NS (주) | AC1 > AC2** |
| 높은 경험 | NS (주) | NS (주) | NS (주) | NS (주) | NS (주) | AC1 > AC2** |
| 낮은 경험 | A2 > A1*** | AC1 > AC2* | A2 > A1** | AC1 > AC2*** | A2 > A1** | AC1 > AC2**** |
표 1: 결과 요약. 이 표는 종속 측정값(마우스 궤적의 응답 시간, MD 및 AUC)이 연구의 주요 독립 변수(행위자 유형 및 행동 등급)에 의해 어떻게 영향을 받았는지 보여줍니다. *, ** 및 ***는 각각 유의 수준 p ≤ 0.05, p ≤ 0.01 및 p ≤ 0.001을 나타낸다.
행위자 유형은 참가자의 응답 시간에 상당한 영향을 미쳤습니다. 경험 차원에서 낮은 용량을 할당하는 동안 동일한 조건의 Actor1에 비해 Actor2에 대해 이 작업을 수행하는 데 더 많은 시간을 소비했습니다( 그림 6D 참조). 우리는 또한 MD 및 AUC를 기반으로 한 마우스 움직임 측정에서 더 긴 응답 시간을 관찰했습니다(궤적은 그림 9 참조). 낮은 반응에 대한 마우스 궤적의 MD는 유의하게 더 높았고( 그림 7D 참조), 마우스 궤적의 AUC(그림 8D 참조)는 참가자가 액터 1에 비해 액터 2를 평가할 때 유의하게 더 컸습니다( 그림 9A, B의 파란색 선 비교).
그림 9: 경험 차원에서 Actor1 및 Actor2가 수행한 작업을 평가할 때 참가자의 평균 마우스 궤적. 주황색 선은 높은 응답에 대한 평균 마우스 궤적을 보여줍니다. 파란색 선은 낮음 응답에 대한 평균 마우스 궤적을 보여줍니다. 검은색 점선 직선은 이상적인 반응 궤적을 나타내고 회색 음영 영역은 평균 제곱근 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
참가자의 응답 시간은 기관 차원에서 Action Class1에 속하는 행동에 높음으로 응답하는 동안(그림 6A 참조) Action Class2에 속하는 작업보다 훨씬 높았습니다. 그러나 이러한 더 긴 응답 시간은 MD(그림 7A 참조) 및 AUC 측정(그림 8A 참조)에서 관찰되지 않았습니다. 경험 차원에서 행동 클래스 1에 낮음으로 응답하는 동안 참가자는 행동 클래스 2에 소비한 시간보다 훨씬 더 많은 시간을 소비했으며(그림 6D 참조), 이는 MD(그림 7D 참조) 및 AUC(그림 8D 참조) 점수에서도 분명했습니다. 그림 10은 참가자가 Action Class2에 비해 Action Class1에 속하는 동작을 평가하는 동안 Low 응답(그림 7D 참조)에 대한 마우스 궤적의 MD가 상당히 더 높았고 마우스 궤적의 AUC(그림 8D 참조)가 훨씬 더 컸음을 보여줍니다(그림 10A, B의 파란색 선 비교).
그림 10: 경험 차원에서 Action Class1 및 Action Class2에 속하는 작업을 수행하는 행위자를 평가할 때 참가자의 평균 마우스 궤적. 주황색 선은 높은 응답에 대한 평균 마우스 궤적을 보여줍니다. 파란색 선은 낮음 응답에 대한 평균 마우스 궤적을 보여줍니다. 검은색 점선 직선은 이상적인 반응 궤적을 나타내고 회색 음영 영역은 평균 제곱근 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
다른 블록-응답 조합에 대한 응답 시간 측정에 대한 행동 클래스의 유의한 효과는 관찰되지 않았지만, 작용 클래스의 유의한 효과는 기관 차원에서 낮은 답변의 MD(도 7B 참조) 및 AUC(도 8B 참조) 점수에서 관찰되었다. 그림 11은 참가자들이 행동 클래스 2의 행동과 비교하여 행동 클래스 1의 행동을 평가할 때 높음 대안을 주저하고 낮음 응답으로 더 많이 이동했음을 보여줍니다(그림 11A, B의 파란색 선 비교). 마지막으로, 경험 차원에 대한 높은 응답에 대한 RT 및 MD 점수에 대한 행동 클래스의 유의미한 영향은 없었지만 궤적의 AUC(그림 8C 참조)에 대해 유의미한 효과가 관찰되었습니다(그림 10 참조). 특히, 참가자들은 Action Class1에 비해 Action Class2를 평가하는 동안 더 주저했습니다(그림 10A,B의 주황색 선 비교).
그림 11: 에이전시 차원에서 Action Class1 및 Action Class2에 속하는 작업을 수행하는 행위자를 평가할 때 참가자의 평균 마우스 궤적. 주황색 선은 높은 응답에 대한 평균 마우스 궤적을 보여줍니다. 파란색 선은 낮음 응답에 대한 평균 마우스 궤적을 보여줍니다. 검은색 점선 직선은 이상적인 반응 궤적을 나타내고 회색 음영 영역은 평균 제곱근 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
지금까지의 결과는 행위자 유형 및 행동 클래스의 효과가 있을 것이며 동일한 행위자 및 행동 클래스에 대한 높음 및 낮음 응답에 대한 종속 측정이 에이전시 및 경험의 블록 차원에 따라 다를 것이라고 제안한 우리의 가설을 뒷받침합니다. 이것은 진행중인 연구이기 때문에 결과의 가능한 이유를 논의하는 것은이 논문의 범위를 벗어납니다. 그러나 초기 발언으로 컴퓨터 마우스 추적에서 오는 응답 시간과 측정에 대한 일부 결과가 서로를 보완했지만 일부 블록 응답 조건에서는 참가자가 평가가 빠를 때에도 다른 대안을 주저하는 것을 관찰했습니다.
특수 OLED 화면이 설정에 포함되지 않은 경우에도 누르는 버튼과 같은 다른 도구를 사용하여 참가자의 응답 시간을 수집할 수 있습니다. 그러나 참가자의 마우스 움직임은 추가 화면을 제공하지 않고는 추적할 수 없었고 참가자가 해당 화면과 실제 배우를 앞뒤로 보게 하여 응답을 지연시켰습니다. 따라서 응답 시간은 의사 결정 과정의 어려움에 대한 유용한 지표이지만 참가자의 마우스 궤적은 최종 응답32,34 전에 의사 결정 프로세스의 실시간 역학에 대해 더 많이 보여줍니다.
보충 코딩 파일 1: ExperimentScript1.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 2: ExperimentScript2.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 3: ExperimentScript3.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 4: RecordMouse.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 5: InsideROI.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 6: RandomizeTrials.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 7: RandomizeBlocks.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 8: GenerateResponsePage.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 9: GenerateTextures.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 10: ActorMachine.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 11: MatchIDtoClass.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 12: RandomizeWordOrder.m 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 코딩 파일 13: ExperimentImages.mat 파일 이 파일을 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
본 연구의 가장 중요한 목표는 인간의 높은 수준의 시각적 인식과 인지가 실제 상황에서 어떻게 작동하는지에 대한 우리의 이해에 기여하는 것입니다. 이 연구는 행동 인식에 초점을 맞추고 연구자가 실험실 환경에서 실제 행위자를 제시함으로써 개인이 다른 사람의 행동을 어떻게 인식하고 평가할 수 있는지 테스트할 수 있도록 하는 자연주의적이면서도 제어 가능한 실험 패러다임을 제안했습니다.
기존 방법론과 비교하여 이 제안된 방법론의 중요성은 세 가지입니다. (1) 참가자들에게 생생한 액션을 보여줌으로써 자극의 자연스러움을 극대화합니다. (2) 실제 자극(즉, 배우), 다른 언어적 자극(예를 들어, 단어 또는 지시), 행위자 및 행동 반응 스크린은 동일한 양식(즉, 디지털 OLED 스크린)을 사용하여 제시되어, 참가자가 셔터 글래스 사용의 경우와 같이 양식을 변경하는 동안 초점을 잃지 않도록 한다(예:35). (3) 엄격한 시간 제어가 필요한 응답 시간 및 마우스 궤적에 대한 데이터와 같이 시간에 민감한 데이터는 오늘날 세계의 자연스러운 작업인 마우스 사용을 사용하여 기록됩니다.
프로토콜의 특정 중요한 단계는 이 패러다임이 원활하게 작동하고 연구자가 참가자에게 적절한 경험을 제공하면서 목표를 달성할 수 있도록 하는 데 중요합니다. 이러한 단계는 이러한 시스템을 만드는 데 똑같이 중요하므로 중요도 수준에 따라 정렬하지 않고 개별적으로 제시합니다.
첫 번째 중요한 단계는 방의 조명을 조작하고 참가자 디스플레이 화면에 사용되는 배경색을 변경하는 것입니다. 이 단계를 통해 각 액션 시도 후 실시간 액션 성능과 응답 화면 간에 원활하게 전환할 수 있습니다. 방의 모든 조명을 끄고 화면 배경을 흰색으로 조정하면 100% 불투명도가 달성되어 배경의 움직임으로 인한 방해 없이 학습 지침과 언어 자극을 표시할 수 있습니다. 디스플레이를 투명하게 만들고 동작 자극 직후에 언어 자극을 나타내기 위해 천장의 LED 조명을 켜고 전면 조명을 끈 상태로 유지하여 투명 디스플레이를 만듭니다. 조명 회로는 실내의 적절한 조명 조작에 필수적입니다. 실험실의 전면(참가자 영역)과 후면(배우 영역)의 형광등이 켜져 있을 때 배우의 영상이 약간 기울어진 것처럼 보이고 참가자는 자신과 방의 반사를 볼 수 있습니다. 참가자 영역의 전면 조명이 꺼져 있고 배우 영역의 LED 조명이 켜져 있으면 참가자는 방해받지 않고 배우를 명확하게 볼 수 있습니다. 그림 1 과 그림 3 은 실험에서 조명 조작이 작동하는 방식을 보여 줍니다.
프로토콜의 두 번째 중요한 단계는 시간 제어입니다. 작업은 6초 동안 지속되며 화면 뒷면의 조명은 작업 지속 시간과 관련하여 자동화되므로 시도 간에 지연이나 가속이 발생하지 않습니다. 그러나 블록 사이의 지속 시간은 수동으로 제어되므로(즉, 액터 변경이 필요할 때) 모든 것이 무대 뒤에서 계획대로 진행되는지 확인한 후 다음 블록을 시작할 수 있습니다. 이 기간은 물의 필요성이나 실내 온도 변화와 같은 참가자 또는 행위자의 요청에도 적합합니다.
세 번째 중요한 단계는 보안 카메라와 벨의 사용에 관한 것입니다. 보안 카메라는 실험 지휘자와 배우 간의 통신을 허용합니다. 실험자는 배우가 준비되었는지 또는 올바른 배우가 무대에 있는지 등 무대 뒤에서 무슨 일이 일어나고 있는지 지속적으로 확인합니다. 배우들은 동작을 수행할 준비가 되면 손을 흔들고 문제가 있을 때 십자 표시를 합니다. 실험자는 한쪽 귀에 귀걸이를 잊어 버리는 등 배우의 외모에 문제가 있는지 알 수 있습니다. 벨을 통해 실험자는 가능한 문제에 대해 배우에게 경고할 수 있습니다. 종소리가 들리면 배우들은 먼저 자신에 대해 뭔가 잘못되었는지 확인하고, 그렇다면 문제를 수정하고 실험자에게 준비가되었음을 알립니다. 실험자 측에 문제가 있는 경우 행위자는 실험자가 참가자에게 문제를 설명하는 것을 듣습니다. 그들은 실험자가 인터넷 연결이 끊어진 후 다시 연결하는 것과 같은 문제를 해결하기 위해 무대 뒤에서 도착할 때까지 조용히 기다립니다.
네 번째 단계는 방을 분할하기 위해 무거운 암막 커튼을 사용하는 것과 관련이 있는데, 이러한 재료는 빛이 방의 앞부분으로 새는 것을 방지하기 때문입니다. 이 커튼은 또한 참가자가 배우의 작은 움직임과 문제 발생시 실험자와 배우 간의 조용한 대화를 듣지 못하도록 소리를 어느 정도 차단합니다.
다섯 번째 단계는 액터 PC를 포함하고 TCP/IP를 네트워크 프로토콜로 설정하는 것인데, UDP와 달리 메시지가 다른 쪽 끝으로 전달되도록 보장하기 때문입니다. 이런 식으로 배우들은 그들이 수행 할 다음 행동에 대해 알릴 수 있으며, 참가자들은 자신의 관점에서이를 깨닫지 못합니다. 또한 모든 장치가 동일한 네트워크에 있기 때문에 TCP/IP로 인해 발생할 수 있는 추가 대기 시간은 무시할 수 있습니다.
프로토콜의 여섯 번째 필수 단계는 블록 사이에 배경 음악을 포함하는 것입니다. 우리는 참가자가 블록의 마지막 시도에 응답할 때 음악이 큰 소리로(최대 볼륨 80%로) 재생되기 시작하여 배우가 변화의 시간임을 알 수 있도록 음악과 블록을 배열하고 참가자는 물을 마시거나 눈을 쉴 수 있음을 알 수 있습니다. 음악을 연주하면 배우의 움직임이나 다른 소리를 듣지 않고도 배우 사이를 원활하게 전환할 수 있어 극장에서 연극을 보는 것과 유사한 느낌을 줍니다.
우리는 이 논문에 제시된 자연주의적 설정이 전통적인 실험실 실험에 의해 밝혀진 타인의 행동에 대한 시각적 인식의 기초가 되는 메커니즘이 현실 세계에서의 자연스러운 행동과 유사한지 여부를 조사하는 훌륭한 도구라고 믿습니다. 실제 배우와 그들의 라이브 액션을 관찰하는 것은 분명히 3D 시각 및 다중 감각 정보의 풍부한 소스를 제공하고 배우의 신체적, 사회적 존재로 인해 행동 가능성을 제공합니다. 따라서 우리는 실제 행동에 대한 인식이 정적 이미지와 비디오를 사용한 전통적인 실험실 실험에서 이전에 밝혀진 잘 알려진 행동 인식 네트워크에서 더 빠르고 향상된 행동 및 신경 반응을 이끌어낼 수 있다는 가설을 세웁니다. 부가적으로, 살아있는 행동의 인식은 3D 깊이 단서(36)를 처리하는 추가적인 신경 회로와 세계(37)에서 행동할 준비를 하는 동안 공간에서 신체를 조정하기 위한 전정 정보를 구동할 수 있다. 본 연구의 한 가지 한계는 자연주의적 설정에서 실제 배우의 반응이 정적 이미지나 비디오와 같은 단순한 자극에 대해 얻을 수 있는 반응과 비교되지 않았다는 것입니다. 향후 연구에서 우리는 전통적인 실험실 환경에서 행동 인식 중 행동 및 신경 반응을 자연주의적 설정의 행동 및 신경 반응과 체계적으로 비교하여 이 목표를 달성하기 위해 노력할 것입니다.
우리는 또한 여러 측면에서 본 연구에서 제안된 패러다임의 몇 가지 한계에 주목합니다. 첫 번째는 대부분의 자연주의 연구와 마찬가지로 이 방법에는 재정적, 시간적 자원이 필요하다는 것입니다. 이러한 연구는 일반 디스플레이에 제시된 사전 녹음된 동적 자극을 사용하는 연구보다 예산 측면에서 더 높을 것인데, 이는 본 연구에는 실제 행동을 표시하는 특수 장비가 포함되어 있고 실제 행위자가 각 데이터 수집 세션에 대한 연구에 참여하기 때문입니다. 또한 본 연구를 위한 데이터 수집 프로세스는 실제 행위자가 작업을 반복적으로 수행하기 때문에 더 오래 걸릴 수 있습니다. 컴퓨터 화면에 표시되는 이미지나 비디오를 사용하는 연구와 달리 물리적 한계가 있습니다. 또 다른 관련 제한 사항은 행위자가 블록과 참가자 간에 동일한 방식으로 각 작업을 수행하도록 하는 것이 어려울 수 있습니다. 그러나 충분한 훈련을 통해 배우는 길이가 6초이기 때문에 각 동작에 자신감을 가질 수 있습니다. 향후 연구에서는 실제 행동을 기록한 다음 컴퓨터 비전을 사용하여 실험의 여러 시도에서 변동성을 정량화할 수 있습니다.
둘째, 화면 밝기 수준이 불투명하게 사용될 때, 불투명 디스플레이와 투명 디스플레이 사이의 번개의 급격한 변화는 간질과 같은 시각 문제 또는 장애를 가진 참가자에게 문제를 일으킬 수 있다. 이 잠재적 한계는 참가자들에게 그러한 시나리오에 대해 그러한 장애나 우려가 있는지 묻고 그러한 시나리오에 신경 쓰지 않을 것이라고 보고한 사람들을 모집함으로써 해결되었습니다. 또한 참가자 중 누구도 배우 및 블록 변경 중에 백그라운드에서 재생되는 음악에 대해 불평하지 않았지만 일부 참가자는 이러한 소음으로 인해 방해를 받을 수 있습니다. 이에 대한 해결책은 소음 제거 헤드폰을 사용하는 것입니다. 그러나 연구 중 실험자의 개입을 방지하거나 실험 설정의 자연 스러움에 영향을 줄 수도 있습니다.
다른 가능한 수정이 현재 패러다임에 적용될 수 있습니다. 예를 들어, 실험 설계에서 참가자가 배우와 구두로 상호 작용해야 하는 경우 양측은 옷깃 마이크를 사용할 수 있습니다. TCP/IP 연결을 설정할 수 있는 한 모든 네트워크 연결은 유선 또는 무선일 수 있습니다. 어떤 맥락에서 행동을 제시하는 방법을 조사하고 적용하여 이것이 패러다임의 자연성을 높이는 데 도움이 되는지 여부를 확인할 수 있습니다.
현재 설정은 사전 정의된 조건에서 정확한 타이밍과 엄격하게 제어된 자극이 필요한 인지 신경 과학 및 인지 심리학 연구를 위한 이상적인 플랫폼이 될 수 있습니다. 여기에는 시선 추적, 두피 또는 두개내 EEG, fNIRS, 심지어 MEG와 같은 기술을 사용하는 연구가 포함되며, 이는 오늘날 더 실현 가능한 기존 설정 또는 더 많은 모바일 설정에서 사용됩니다38. 이 분야의 연구원은 방의 조명이나 배우 수와 같은 설정의 외부 속성과 제시할 개체를 사용자 지정할 수 있습니다. 또 다른 가능성은 연구자들이 디지털 스크린의 디스플레이 속성을 조작하여 연구의 필요에 따라 더 불투명하거나 투명한 디스플레이를 제공 할 수 있다는 것입니다. 제안된 방법론을 사용할 수 있는 다른 가능한 연구 분야는 인간과 로봇 간의 실시간 상호 작용이 현실적인 시나리오에서 필요한 인간-로봇 상호 작용 연구일 수 있습니다.
결론적으로, 인지 신경과학의 실제 상황과 더 유사한 보다 자연주의적인 연구로 이동할 필요성을 감안할 때 13,14,15,16,17,18,19,20,21,38, 자연주의적 뇌-신체 영상의 중요한 기술 발전(예: EEG, 모션 캡처, EMG 및 시선 추적의 동시 사용), 인간 정보 처리의 기본 프레임워크로서의 딥 러닝의 사용39,40, 우리는 지금이 살아있는 행동에 대한 인식과 그 신경 토대를 연구하기 시작할 적기라고 믿습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 이 기사에 설명된 연구와 관련하여 관련성이 있거나 중요한 재정적 이해관계가 없음을 선언합니다.
Acknowledgments
이 작업은 Türkiye 과학 기술 연구 위원회(프로젝트 번호: 120K913)와 Bilkent University의 Burcu A. Urgen에 대한 보조금으로 지원되었습니다. 파일럿 참가자인 배우 변경 사이에 배경 소음을 추가하는 아이디어를 제시해 준 Sena Er Elmas, 조명 회로를 설정한 Süleyman Akı, 무대 뒤에서 보안 카메라를 사용하는 아이디어와 연구에 참여한 배우 중 한 명으로 기여한 Tuvana Karaduman에게 감사드립니다.
Materials
| Name | Company | Catalog Number | Comments |
| Adjustable Height Table | Custom-made | N/A | Width: 60 cm, Height: 62 cm, Depth: 40 cm |
| Ardunio UNO | Smart Projects | A000066 | Microcontroller used for switching the state of the LEDs from the script running on the operator PC |
| Black Pants | No brand | N/A | Relaxed-fit pants of actors with no apparent brand name or logo. |
| Case | Xigmatek | EN43224 | XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE |
| CPU | AMD | YD1600BBAFBOX | AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor |
| Curtains | Custom-made | N/A | Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height) |
| Experimenter Adjustable/Swivel Chair | No brand | N/A | Any brand |
| Experimenter Table | Custom | N/A | Width: 160 cm, Height: 75 cm, Depth: 80 cm |
| GPU | MSI | GT 1030 2GHD4 LP OC | MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU |
| Grey-color blackout curtain | Custom-made | N/A | Width: 330 cm, Height: 230 cm, used for covering the background |
| Hard Disk | Kioxia | LTC10Z240GG8 | Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write) |
| Hard Disk | Toshiba | HDWK105UZSVA | Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk |
| High-Power MOSFET Module | N/A | N/A | Heating Controller MKS MOSFET Module |
| Laptop | Apple | S/N: C02P916ZG3QT | MacBook Pro 11.1 Intel Core i7 (Used as the actor PC) |
| Laptop | Asus | UX410U | Used for monitoring the security camera in real-time. |
| LED lights | No brand | N/A | |
| LED Strip Power Supply | No brand | N/A | AC to DC voltage converter used for supplying DC voltage to the lighting circuit |
| MATLAB | The MathWorks Inc., Natick, MA, USA | Version: R2022a | Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3) |
| Monitor | Philips | UHB2051005145 | Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor |
| Motherboard | MSI | B450M-A PRO MAX | MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard |
| Mouse Pad for participant | Monster | 78185721101502042 / 8699266781857 | Pusat Gaming Mouse Pad XL |
| Night lamp | Aukes | ES620-0.5W 6500K-IP 20 | Used for helping the actors see around when the lights are off in the backstage. |
| Participant Adjustable/Swivel Chair | No brand | N/A | |
| Participant Table | IKEA | Sandsberg 294.203.93 | Width: 110 cm, Height: 75 cm, Depth: 67 cm |
| Power Extension Cable | Viko | 9011760Y | 250 V (6 inlets) Black |
| Power Extension Cable | Viko | 9011730Y | 250 V (3 inlets) Black |
| Power Extension Cable | Viko | 9011330Y | 250 V (3 inlets) White |
| Power Extension Cable | s-link | Model No: SPG3-J-10 | AC - 250 V 3 meter (5 inlets) |
| Power Supply | THERMALTAKE | PS-LTP-0550NHSANE-1 | THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU |
| Professional Gaming Mouse | Rampage | 8680096 | Model No: SMX-R50 |
| RAM | GSKILL | F4-3000C16S-8GVRB | GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram |
| Reception bell | No brand | N/A | Used for helping the communication between the experimenter and the actors. |
| Security Camera | Brion Vega | 2-20204210 | Model:BV6000 |
| Speakers | Logitech | P/N: 880-000-405 PID: WD528XM | Used for playing the background music. |
| Survey Software | Qualtrics | N/A | |
| Switching Module | No brand | N/A | F5305S PMOS Switch Module |
| Table under the OLED display | Custom-made | N/A | Width: 123 cm, Height: 75 cm, Depth: 50 cm |
| Transparent OLED Display | Planar | PN: 998-1483-01 S/N:195210075 | A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment. |
| UPS | EAG | K200610100087 | EAG 110 |
| UPS | EAG | 210312030507 | EAG 103 |
| USB 2.0 Cable Type A/B for Arduino UNO (Blue) | Smart Projects | M000006 | Used to connect the microcontroller to the experimenter PC. |
| USB to RS232 Converter | s-link | 8680096082559 | Model: SW-U610 |
| White Long-Sleeved Blouse (2) | H&M (cotton) | N/A | Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo. |
| Wireless Keyboard | Logitech | P/N: 820-003488 S/N: 1719CE0856D8 | Model: K360 |
| Wireless Mouse | Logitech | S/N: 2147LZ96BGQ9 | Model: M190 (Used as the response device) |
References
- Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
- Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
- Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
- Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
- Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
- Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
- Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
- Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
- Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686 (2019).
- Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002 (2020).
- Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
- Newen, A., De Bruin, L., Gallagher, S. The Oxford Handbook of 4E Cognition. , Oxford University Press. Oxford, UK. (2018).
- Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
- Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
- Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
- Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
- Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143 (2012).
- Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660 (2015).
- Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
- Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
- Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254 (2020).
- Kihlstrom, J. F. Ecological validity and "ecological validity". Perspectives on Psychological Science. 16 (2), 466-471 (2021).
- Brunswik, E. Perception and the Representative Design of Psychological Experiments. , University of California Press. Oakland, California. (1956).
- Aronson, E., Carlsmith, J. M. Experimentation in social psychology. The Handbook of Social Psychology. Gilbert, D. T., Fiske, S. T., Lindzay, G. , McGraw-Hill. New York, NY. 1-79 (1968).
- Hammond, K. Ecological validity: Then and now. University of Colorado. , Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998).
- Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702 (2021).
- Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
- Gray, H. M., Gray, K., Wegner, D. M.
- Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
- Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16 (2006).
- Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464 (1998).
- Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
- Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
- Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
- Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762 (2019).
- Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
- Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A.
- Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
- Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
- Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94 (2016).
