모바일 아이 트래커를 사용하여 공동 시각 주의를 포착하는 방법론

Summary

멀티모달 센서를 사용하는 것은 교육 환경에서 사회적 상호 작용의 역할을 이해하는 유망한 방법입니다. 이 백서는 모바일 아이트래커를 사용하여 공동 배치된 다이드에서 관절 시각적 주의를 포착하는 방법론을 설명합니다.

Abstract

새로운 기술 발전의 출현으로, 전례없는 정확도로 마이크로 레벨에서 사회적 상호 작용을 연구 할 수 있습니다. 아이 트래커, 전기 피부 활성 팔찌, EEG 밴드 및 모션 센서와 같은 고주파 센서는 밀리초 수준에서 관찰을 제공합니다. 이러한 수준의 정밀도를 통해 연구원은 사회적 상호 작용에 대한 대규모 데이터 집합을 수집할 수 있습니다. 이 백서에서는 여러 아이 트래커가 사회적 상호 작용, 공동 시각 주의(JVA)의 근본적인 구조를 포착하는 방법에 대해 설명합니다. JVA는 발달 심리학자들에 의해 아이들이 언어를 습득하는 방법을 이해하고, 소규모 학습자 그룹이 어떻게 함께 작동하는지 이해하기 위해 과학자를 배우고, 사회 과학자들은 소규모 팀의 상호 작용을 이해하기 위해 연구되었습니다. 이 백서에서는 모바일 아이트래커를 사용하여 공동 배치된 설정에서 JVA를 캡처하는 방법을 설명합니다. 그것은 몇몇 경험적인 결과를 제출하고 사회적인 상호 작용을 이해하기 위하여 현미경 관측을 붙잡기의 연루를 토론합니다.

Introduction

JVA는 지난 세기 동안 광범위하게 연구되어 왔으며, 특히 언어 습득을 연구하는 발달 심리학자에 의해 연구되었습니다. 공동주의는 단순히 단어를 배우는 방법일 뿐 아니라 아이들의 마음 이론의 선구자라는 것이 빠르게 확립되었습니다¹. 따라서, 그것은 다른 사람들과 의사 소통, 협력, 공감 개발 과 같은 많은 사회적 과정에서 중요한 역할을한다. 자폐증 어린이, 예를 들어, 중요한 사회적 장애와 관련된 자신의 간병인과 시각적 인 주의를 조정 할 수있는 능력이 부족². 인간은 사회의 기능적 구성원이 되고, 행동을 조정하고, 다른 사람들로부터 배우기 위해 공동의 주의가 필요합니다. 첫 마디를 습득하는 아이들, 교사로부터 배우는 청소년, 프로젝트에 협력하는 학생, 공동 목표를 향해 노력하는 성인 그룹에 이르기까지 공동 주의는 개인 간의 공통점을 확립하는 기본^{메커니즘입니다 3.} 이 논문에서는 교육 연구에서 JVA의 연구에 중점을 둡니다. 시간이 지남에 따라 공동 주의가 어떻게 전개되는지 이해하는 것은 공동 학습 프로세스의 연구에 가장 중요합니다. 이와 같이, 그것은 사회 건설주의 설정에서 지배적 인 역할을한다.

공동 관심의 정확한 정의는 여전히 논의⁴. 이 백서는 공동 주의 (JA) 즉 JVA의 하위 구조와 관련이 있습니다. JVA는 두 과목이 동시에 같은 장소를 보고 있을 때 발생합니다. JVA는 JA의 연구에서 관심있는 다른 중요한 구성에 대한 정보를 제공하지 않는다는 점에 유의해야한다, 이러한 공통 모니터링 등, 상호, 공유 주의, 또는 더 일반적으로, 다른 그룹 구성원의 인식의 인식. 이 백서는 두 참가자의 아이트래킹 데이터를 결합하고 시선을 정렬하는 빈도를 분석하여 JVA를 운영하고 단순화합니다. 보다 포괄적인 토론을 위해 관심 있는 독자는 시포소바엣 al.^4.

지난 10년 동안 기술 발전은 JVA에 대한 연구를 근본적으로 변화시켰습니다. 주요 패러다임 변화는 실험실이나 생태 환경에서 비디오 녹화를 정성적으로 분석하는 것과 는 달리 여러 개의 아이 트래커를 사용하여 주의력 정렬의 정량적 측정값을 얻는 것이었습니다. 이 발달은 연구원이 dyads의 시각적 조정에 관하여 정밀하고 상세한 정보를 수집하는 것을 허용했습니다. 또한, 아이 트래커는 더 저렴해지고 있다: 최근까지, 그들의 사용은 학술 설정 또는 대기업에 예약되었다. 이제 신뢰할 수 있는 데이터 세트를 생성하는 저렴한 아이 트래커를 구입할 수 있습니다. 마지막으로, 하이 엔드 노트북 및 가상 및 증강 현실 헤드셋과 같은 기존 장치에 시선 추적 기능이 점진적으로 포함되면 아이 트래킹이 곧 유비쿼터스가 될 것임을 시사합니다.

아이트래킹 기기가 대중화되기 때문에 사회적 상호 작용에 대해 알려줄 수 있는 것과 말할 수 없는 것을 이해하는 것이 중요합니다. 이 백서에 제시된 방법론은 이 방향의 첫 번째 단계를 표시합니다. 여러 아이 트래커에서 JVA를 캡처하는 데 따르는 두 가지 과제, 즉 1) 시간적 스케일에서 데이터를 동기화하고 2) 공간 스케일에서 해결합니다. 보다 구체적으로, 이 프로토콜은 실제 환경에 배치된 fiducial 마커를 사용하여 참가자가 시선을 지향하는 컴퓨터 비전 알고리즘을 알려줍니다. 이 새로운 종류의 방법론은 소그룹에서 인간의 행동을 엄격하게 분석할 수 있는 길을 열어줍니다.

이 연구 프로토콜은 하버드 대학의 인간 연구 윤리위원회의 지침을 준수합니다.

Protocol

1. 참가자 심사

1. 정상 또는 수정 된 - 정상 시력을 가진 참가자를 모집해야합니다. 참가자는 모바일 아이 트래커를 착용하라는 요청을 받게 되므로 콘택트렌즈를 착용할 수 있지만 일반 안경은 착용할 수 없습니다.

2. 실험 준비

1. 아이트래킹 장치
   1. 실제 환경에서 눈의 움직임을 포착할 수 있는 모든 모바일 아이 트래커를 사용하십시오.
      참고: 여기에 사용된 모바일 아이 트래커는 두 개의 Tobii Pro Glasses 2(재료 표참조)였습니다. 눈의 움직임을 추적할 수 있는 특수 카메라 외에도 HD 장면 카메라와 마이크가 장착되어 있어 사용자의 시야에서 시선을 시각화할 수 있습니다. 이 안경은 초당 50회 시선 데이터를 캡처합니다. 다른 연구자들은 ASL Mobile Eye^5,SMI⁶또는 동공 실험실^7을사용했으며, 이 모든 것은 장면 카메라의 비디오 스트림과 다양한 샘플링 속도(30-120Hz)의 아이 트래킹 좌표를 제공합니다. 아래 절차는 다른 아이 트래킹 장치와 약간 다를 수 있습니다.
2. 신탁 마커
   1. 아래의 두 단계(즉, 시간 및 공간 정렬)에서는 fiducial 마커를 사용해야 합니다. 연구자에게 이미지 또는 비디오 피드에서 이러한 마커와 알고리즘을 감지할 수 있는 몇 가지 컴퓨터 비전 라이브러리가 있습니다. 설명된 프로토콜은 칠리타그 라이브러리^8을사용합니다.
3. 시간 정렬
   1. 아이트래킹 데이터는 두 개의 개별 단위에 기록되므로 데이터가 제대로 동기화되었는지 확인합니다(그림1). 두 가지 주요 방법을 사용할 수 있습니다. 서버 동기화는 모바일 아이 트래커의 각 브랜드와 다르게 작동하기 때문에 이 원고는 첫 번째 방법만 다룹니다.
      1. 세션의 시작과 끝을 표시하기 위해 컴퓨터 화면에 신탁 마커를 간단히 표시합니다. 이는 시각적인 "손 박수"(그림2)와유사합니다.
      2. 또는 서버를 사용하여 두 데이터 수집 단위의 클럭을 동기화합니다. 이 방법은 약간 더 정확하며 더 높은 시간 정확도가 필요한 경우 권장됩니다.
4. 공간 정렬
   1. 두 참가자가 동시에 같은 장소를 보고 있는지 확인하려면 시선을 공통 평면에 매핑합니다. 이 평면은 실험 설정의 그림일 수 있습니다(그림 3의왼쪽 참조). 실험 전에 이 이미지를 신중하게 디자인합니다.
   2. 신탁 마커의 크기: 신탁 마커의 일반적인 크기는 아이 트래킹 비디오에서 이를 감지하는 데 사용되는 알고리즘에 따라 달라집니다. 참가자에 가까운 표면은 더 작은 fiducial 마커를 가질 수 있으며, 표면에서 멀리 떨어진 표면은 더 커야 참가자의 관점에서 유사하게 보일 수 있습니다. 미리 다른 크기를 시도하여 아이트래킹 비디오에서 감지할 수 있는지 확인합니다.
   3. fiducial 마커 의 수 : 일반적인 평면에 시선 포인트를 매핑하는 과정이 성공하려면, 주어진 시간에 참가자의 관점에서 볼 수있는 여러 신탁 마커를 가지고 있는지 확인하십시오.
   4. 신탁 마커의 위치: 관련 관심 영역을 fiducial 마커 스트립으로 프레임합니다(예: 그림 3의랩톱 화면 참조).
5. 마지막으로 파일럿을 실행하여 동기화 절차를 테스트하고 최적의 위치, 크기 및 수의 fiducial 마커 수를 결정합니다. 아이 트래킹 비디오는 컴퓨터 비전 알고리즘을 통해 처리되어 수탁 자 마커가 안정적으로 감지되는지 확인할 수 있습니다.

3. 실험 실행

1. 지침
   1. 참가자들에게 일반 안경처럼 아이트래킹 안경을 착용하도록 지시합니다. 참가자의 뚜렷한 얼굴 특징에 따라 데이터 품질을 유지하기 위해 다양한 높이의 코 조각을 사용해야 할 수 있습니다.
   2. 아이 트래커를 켠 후 참가자가 자연스러운 신체 움직임을 허용하도록 레코딩 장치를 스스로 클립하도록 합니다.
2. 교정
   1. 소프트웨어의 교정 기능이 활성화되어 있는 동안 참가자에게 Tobii에서 제공하는 교정 마커의 중심을 살펴보도록 지시합니다. 보정이 완료되면 소프트웨어 내에서 레코딩을 시작할 수 있습니다.
   2. 보정 후 모바일 아이 트래커를 이동하지 않도록 참가자에게 지시합니다. 이 경우 데이터가 부정확할 수 있으며 교정 절차를 다시 수행해야 합니다.
3. 데이터 모니터링
   1. 연구 중에 데이터 수집 프로세스를 모니터링하고 아이트래킹 데이터가 제대로 수집되고 있는지 확인합니다. 대부분의 모바일 아이 트래커는 이러한 목적을 위해 별도의 장치(예: 태블릿)에서 실시간 스트림을 제공할 수 있습니다.
4. 데이터 내보내기
   1. 녹화 세션이 끝나면 참가자에게 아이트래킹 안경과 데이터 수집 장치를 제거하도록 지시합니다. 장치를 끕니다.
   2. 세션 데이터를 가져오는 데이터 수집 부에서 SD 카드를 제거하여 다른 소프트웨어인 Tobii Pro Lab을 사용하여 데이터를 추출합니다. Tobii Pro Lab은 비디오를 재생하고, 시각화를 만들고, 아이트래킹 데이터를 쉼표로 구분된(.csv) 또는 탭 분리(.tsv) 파일로 내보내는 데 사용할 수 있습니다.

4. 듀얼 아이 트래킹 데이터 전처리

1. 아이 트래킹 데이터를 확인하는 정신
   1. 데이터 수집 후 눈 추적 데이터를 시각적으로 확인합니다. 일부 참가자가 누락된 데이터를 가지고 있는 것은 드문 일이 아닙니다. 예를 들어, 일부 특정 눈 생리학은 아이 트래킹 알고리즘에 문제를 제기할 수 있고, 실험 중에 안경이 변할 수 있으며, 데이터 수집 소프트웨어가 충돌할 수 있습니다.
   2. 설명 통계를 사용하여 각 세션 동안 손실된 데이터의 양을 확인하고 누락되거나 시끄러운 데이터가 많이 있는 세션을 제외합니다.
2. 시간 정렬
   1. 각 모바일 아이트래커의 데이터를 잘라참가자 간의 상호작용만 포함합니다. 이것은 전술한 방법을 사용하여 달성될 수 있다(즉, 세션의 시작과 끝에서 참가자들에게 두 개의 특별한 신탁 마커를 제시). 그런 다음 아이트래킹 비디오에서 이러한 피덕셜 마커를 감지하여 데이터 세트를 트리밍할 수 있습니다.
3. 공간 정렬
   참고: 두 참가자가 동시에 같은 장소를 보고 있는지 여부를 감지하려면 참가자의 시선을 공통 평면(예: 실험 설정 이미지)에 다시 매핑해야 합니다. 이 목표를 달성하기 위한 계산 방법은 상모그래피(즉, 평면의 원근 변환)입니다. 기술적 관점에서 볼 때, 공간에서 동일한 평면 표면의 두 이미지는 호모그래피 매트릭스와 관련이 있습니다. 공통 점 집합을 기반으로 이 행렬을 사용하여 두 평면 사이의 추가 점 위치를 추론할 수 있습니다. 그림 3에서는예를 들어 컴퓨터 비전 알고리즘이 유인물의 위치를 알고 있는 경우 참가자의 시선을 왼쪽의 공통 평면으로 다시 매핑할 수 있습니다. 흰색 선은 각 참가자의 비디오 피드와 장면에서 공유하는 두 점 세트를 연결한 다음 왼쪽에 있는 녹색 및 파란색 점을 다시 매핑하기 위해 호모그래피를 작성하는 데 사용됩니다.
   1. 예를 들어, OpenCV의 파이썬 버전을 사용하여 fiducial 마커에서 호모그래피 행렬을 계산한 다음 아이 트래킹 데이터를 실험 설정의 장면(또는 선택한 언어로 된 다른 적합한 라이브러리)의 장면으로 다시 매핑합니다. OpenCV는 두 가지 유용한 함수를 제공합니다: findHomography()를 사용하여 호모그래피 행렬을 얻고, 원근변환()을 사용하여 점을 한 원근에서 다른 원근으로 변환합니다.
   2. findHomography()- 두 개의 인수로 실행하려면 소스 포인트의 X, Y 좌표(즉, 참가자의 장면 비디오에서 감지된 신탁 마커, 그림 3의오른쪽에 도시된) 및 해당 대상 점(즉, 그림 3의왼쪽에 표시된 장면 이미지에서 감지된 동일한 신탁 마커)을 사용합니다.
   3. 소스 이미지에서 대상 이미지로 매핑해야 하는 새 점(예: 그림 3의오른쪽에 파란색/녹색 점으로 표시된 눈 추적 데이터)과 함께 결과 홈그래피 행렬을 원근 변환() 함수에 공급합니다. 원근 변환 함수는 장면 이미지에서 동일한 점의 새 좌표를 반환합니다(예: 그림 3의왼쪽에 표시된 파란색/녹색 점).
      참고: 자세한 내용은 OpenCV 공식 설명서에서 docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html 호모그래피를 구현하는 샘플 코드와 예제를 제공합니다.
4. 상모그래피를 확인하는 정신
   1. 전체 세션에 대한 섹션 4.3을 완료하고 모바일 아이 트래킹 비디오의 각 프레임에 대한 호모그래피를 수행하여 호모그래피의 품질을 확인합니다. 결과 아이트래킹 데이터의 정확도를 추정하는 자동화된 방법은 없지만 그림 4와 같은 비디오는 각 세션을 수동으로 온전하게 검사하는 데 사용해야 합니다.
   2. 품질이 예상보다 낮은 경우 추가 매개 변수를 고려하여 호모그래피 의 결과를 개선하십시오.
      1. 감지된 수의 피덕실 마커 수: 비디오 스트림에서 충분한 fiducial 마커를 감지할 수 있는 경우에만 호모그래피를 수행합니다. 이 숫자는 위에서 제작한 비디오를 검토하여 결정할 수 있습니다.
      2. 신탁 마커의 위치: 서로 다른 마커가 서로 다른 깊이와 방향에 있는 경우, 시선 좌표에 가장 가까운 마커를 선택하면 일반적으로 호모그래피의 품질이 증가합니다. 호모그래피.
      3. 신탁 마커의 방향: 방향이 다른 선인장 마커(예: 수평 및 수직)를 결합하면 부정확한 호몰그래피가 생성됩니다. 먼저 참가자가 보고 있는 평면 또는 관심 영역(AOI)을 감지하는 것이 좋습니다(예: 컴퓨터 화면, 치트 시트, 표, 그림 3참조) 이 평면의 fiducial 마커를 사용하여 호모그래피를 사용하는 것이 좋습니다.
      4. 비디오 스트림의 품질: 갑작스런 머리 움직임으로 인해 비디오 프레임이 흐려지고 데이터를 사용할 수 없게 되는데, 이는 fiducial 마커를 안정적으로 감지할 수 없기 때문입니다(그림4). 이 백서의 방법론은 갑작스런 머리 움직임을 많이 수반하는 실험에는 적합하지 않습니다.

5. 이중 아이트래킹 데이터 분석

1. 누락된 데이터
   1. 데이터가 참조 이미지에 제대로 리메그래핑되었는지 확인하기 위해 시각화 그래프(예: 그림 5,그림 6)와설명 통계를 생성하여 누락된 데이터의 양을 확인합니다.
2. 교차 되풀이 그래프
   1. 교차 되풀이 그래프^9를 사용하여 X축이 첫 번째 참가자의 시간을 나타내고 Y축은 두 번째 참가자의 시간을 나타내는 두 참가자 간의 시각적 동기화를나타냅니다(그림 6). 검은 사각형은 참가자가 같은 영역을 보고 있음을 나타내며, 검은 색 대각선은 정확히 같은 시간에 같은 것을 보는 두 피사체를 설명하고, 대각선에서 검은 색 사각형은 시간 지연으로 같은 것을 보는 두 피사체를 묘사합니다. 마지막으로 누락된 데이터(흰색 사각형)와 JVA(회색 사각형)가 없는 기존 데이터를 구분하면 문제가 있는 세션을 식별하는 데 도움이 됩니다. 이것은 시각적 인 정신 검사를 연구원을 제공합니다.
3. JVA 컴퓨팅
   1. 누락된 데이터를 필터링한 후 참가자의 시선이 -2/+2 시간 창에서 장면의 동일한 반경(아래에 정의)에 있는 횟수를 계산하여 JVA에 대한 메트릭을 계산합니다. 이 숫자를 JVA 계산에 사용할 수 있는 유효한 데이터 포인트 의 수로 나눕니다. 분할의 결과는 두 과목이 공동으로 같은 장소를 보고 있던 시간의 백분율을 나타냅니다. 이 마지막 단계는 homography 후 더 많은 데이터로 그룹의 점수를 팽창하지 않도록 하는 데 필요합니다.
      참고: JVA를 계산하기 전에 두 개의 매개변수를 설정해야 하며, 두 시선 점 사이의 최소 거리와 두 시선 사이의 시간창(그림 7):1) 시간 창: 초기 기초 연구^10은 단일 아이 트래커를 사용하여 청취자와 스피커 간의 JVA를 측정했습니다. 연구진은 첫 번째 참가자 ("스피커")에게 캐릭터가 앞에 표시된 텔레비전 쇼에 대해 이야기하도록 요청했습니다. 두 번째 참가자("청취자")는 스피커의 오디오 녹음을 들으면서 같은 쇼를 시청했습니다. 스피커와 청취자의 눈 움직임을 비교한 결과, 청취자의 눈 움직임이 스피커의 눈 움직임과 2s의 지연과 밀접하게 일치하는 것으로 나타났습니다. 후속 작업에서¹¹ 연구원은 라이브 대화를 분석하고 JVA의 순간을 가장 잘 캡처 3의 지연을 발견했다. 각 작업은 고유하며 서로 다른 시간 지연을 나타낼 수 있으므로 다른 시간 지연이 주어진 실험의 결과에 미치는 영향을 탐색하는 것이 좋습니다. 전반적으로 실험 작업에 따라 ± 2/3 의 시간 창에서 JVA를 찾은 다음 다른 시간 지연이 결과를 어떻게 바꿀 수 있는지 탐색하는 것이 일반적입니다. 2) 시선 사이의 거리 : JVA로 계산하는 두 시선 사이의 경험적으로 정의 된 거리가 없습니다. 이 거리는 연구원에 의해 정의된 연구 질문에 달려 있습니다. 연구 질문은 관심 대상의 크기를 알려야합니다. 도 7에서볼 수 있는 예에서는 참가자가 미로에서 로봇을 볼 때 캡처하기에 충분하고 컴퓨터 화면의 유사한 사용자 인터페이스 요소에서 캡처하기에 충분하기 때문에 장면 이미지의 반경 100픽셀(파란색/녹색 원)을 선택했습니다.

Representative Results

위에 제시된 방법론은 물류 직업 훈련 프로그램을 따르는 학생들을 연구하는 데 사용되었다 (n = 54)^12. 이 실험에서는 한 쌍의 학생이 소규모 웨어하우스를 시뮬레이션하는 유형 사용자 인터페이스(TUI)와 상호 작용했습니다. TUI에 배치 된 신탁 마커는 연구 팀이 학생들의 시선을 공통 평면에 다시 매핑하고 JVA의 수준을 계산할 수있게했습니다. 연구 결과에 따르면 JVA 수준이 높은 그룹은 자신에게 주어진 작업에서 더 잘 하는 경향이 있고, 더 많이 배웠으며, 더 나은 협업 품질을^{보였습니다(그림} 8,왼쪽). 듀얼 아이 트래킹 데이터 세트를 통해 프리 라이더 효과와 같은 특정 그룹 역학을 캡처할 수 있었습니다. 우리는 JVA의 각 순간을 시작했을 가능성이 있는 사람(즉, 시선이 먼저 있는 사람)과 이에 응답한 사람(즉, 시선이 두 번째로 있는 사람)을 식별하여 이 효과를 추정했습니다. 우리는 학습 이득과 JVA의 제안을 시작하고 응답하는 책임을 동등하게 공유하는 학생들의 경향 사이에 중요한 상관 관계를 발견했습니다. 즉, 같은 사람이 항상 JVA의 순간을 시작한 그룹은 학습 할 가능성이 적었으며(그림 8, 오른쪽) 이 책임이 동등하게 공유된 그룹은 학습 할 가능성이 더 높았습니다. 이 발견은 단순히 JV를 정량화하는 것 이상으로 듀얼 아이트래킹 데이터를 사용하여 그룹 역학과 생산성을 실제로 식별할 수 있음을 보여줍니다.

그림 1: 각 참가자는 각 비디오 프레임에 시선의 X, Y 좌표를 가진 두 개의 비디오 피드를 생성합니다. 이 방법론은 참가자 들 간의 시간적 및 공간적으로 데이터를 동기화하는 것을 다룹니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 두 데이터 집합을 동기화하는 방법론입니다. 활동의 시작과 끝을 태그하기 위해 컴퓨터 화면에 고유한 신탁 마커를 간략하게 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 환경에 전파된 신탁 마커를 사용하여 참가자의 시선을 공통 계획(왼쪽)으로 다시 매핑합니다. 흰색 선은 두 이미지에서 감지된 선마커를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 데이터 품질이 좋지 못한 예입니다. 왼쪽: 갑작스런 머리 움직임으로 인한 아이트래킹 비디오의 흐린 프레임입니다. 이 이미지에서 Fiducial 마커를 검색할 수 없습니다. 오른쪽: fiducial 마커 데이터가 비디오 피드와 제대로 동기화되지 않은 실패한 상모그래피입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 히트맵. 왼쪽: 아이트래킹 데이터의 히트맵이 실험 장면에 다시 매핑되었습니다. 이 비주얼라이제이스는 상모그래피에 대한 정신 검사로 사용되었습니다. 오른쪽: 데이터가 너무 많이 누락되어 삭제해야 하는 그룹입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 6: JVA를 시각화하기 위해 세 개의 다이드에서 생성된 교차 되풀이 그래프입니다. P1은 첫 번째 참가자에 대한 시간을 나타내고, P2는 두 번째 참가자에 대한 시간을 나타낸다. 블랙 스퀘어는 JVA를 보여줍니다; 회색 사각형은 참가자들이 다른 장소를 보고있는 순간을 보여줍니다. 흰색 사각형은 누락된 데이터를 표시합니다. 주 대각선을 따라 정사각형은 참가자가 동시에 같은 장소에서 보았던 순간을 나타냅니다. 이 비주얼라이제이션은 결합된 아이트래킹 데이터에서 JVA의 측정값을 위한 온전성 검사로 사용되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 7: 두 참가자 간에 JVA가 감지된 비디오 프레임(빨간색 점). 리처드슨 외¹¹ JVA를 계산할 때 +/-2의 시간 창을 보는 것이 좋습니다. 또한 연구원은 JVA로 계산하기 위해 두 시선 점 사이의 최소 거리를 정의해야합니다. 위의 중간 이미지에서 반지름 100픽셀이 선택되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 8: 결과의 예. 슈나이더 외^12에서 데이터 어디 동시에 같은 장소에서 보고 시간의 백분율 은 참가자의 협력의 품질과 상관 했다: r (24) = 0.460, P = 0.018 (왼쪽) 그리고 JVA의 제안에 응답의 불균형은 그들의 학습 이득과 상관 했다: r (24) = 0.47, 0.47, 0.47. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

Discussion

이 백서에 설명된 방법론은 JVA를 공동 배치 된 다이드에서 캡처하는 엄격한 방법을 제공합니다. 저렴한 감지 기술과 향상된 컴퓨터 비전 알고리즘의 출현으로 이전에는 사용할 수 없었던 정확도로 협업 상호 작용을 연구할 수 있게 되었습니다. 이 방법론은 환경에 전파된 신탁 마커를 활용하고 참가자의 시선을 공통 평면에 다시 매핑하는 방법으로 동형그래프를 사용합니다. 이를 통해 연구자들은 Colocated 그룹에서 JVA를 엄격하게 연구할 수 있습니다.

이 방법은 실험의 다양한 지점에서 수행해야 하는 여러 정신 검사를 포함합니다. 이는 복잡한 절차이므로 연구원은 결과 데이터 집합이 완전하고 유효한지 확인해야 합니다. 마지막으로, 실제 실험 전에 파일럿 연구를 수행하고, 데이터 수집이 완료된 후 비디오가 완성되었음에도 불구하고 참가자의 상호 작용을 재구성하는 것이좋습니다(그림 3, 그림 4, 그림 5, 도 6).

이 메서드와 관련된 몇 가지 제한 사항이 있습니다.

참가자 수. 이 방법론은 두 참가자에게 적합하지만 더 큰 그룹에서는 분석이 더 복잡해집니다. Fiducial 마커는 여전히 지상 진실에 시선을 다시 매핑하는 데 사용할 수 있지만 JVA를 식별하는 방법을 아는 것은 더 미묘한 과정이된다. JVA는 모든 사람이 동시에 같은 장소를 보거나 두 참가자가 같은 장소를 응시하는 시간으로 정의되어야 합니까? 또한 교차 되풀이 그래프와 같은 시각화는 2~3명 이상이 비실용적입니다.

설정. 이 백서에 설명된 방법은 작고 통제된 설정(예: 실험실 연구)에 적합합니다. 실외 또는 넓은 공간과 같은 개방형 설정은 일반적으로 fiducial 마커가 있는 계측기에서 너무 복잡하여 아이트래킹 데이터의 유용성을 제한할 수 있습니다. 또한, 신탁 마커는 산만하고 환경을 혼란 시킬 수 있습니다. 미래에는 더 나은 컴퓨터 비전 알고리즘이 두 관점 사이의 공통 기능을 자동으로 추출할 수 있게 될 것입니다. 이 목적을 위해 존재하는 알고리즘이 이미 있지만, 우리는 정확도 수준이 아직 위에서 설명한 실험의 유형에 대해 허용되지 않은 것으로 나타났습니다.

AOIs. 위의 점과 관련하여, 컴퓨터 호모그래피와 교차 되풀이 그래프는 관심 영역의 안정적인 수와 잘 작동하지만, 관심 영역의 다른 숫자와 다른 작업을 비교할 때 수정이 이루어져야합니다.

장비 사용. 모바일 아이 트래커는 눈에 거슬리며 참가자의 행동에 영향을 미치거나 특정 눈 생리학에 실패할 수 있습니다.

결론적으로, 이 논문에 기술된 방법론은 공존하는 상호 작용을 연구하는 유망한 방법입니다. 이를 통해 연구원은 JVA에 대한 정확한 메트릭을 캡처 할 수 있습니다, 이는 사회 과학에서 중요한 구조입니다¹. 또한, 기존의 정성적 분석에 비해 이 방법론^12를 통해 협업 학습의 보다 세분화된 지표를 검출할 수 있습니다. 요컨대, 그것은 사회적 상호 작용을 연구 하는 더 효율적이 고 정확한 방법.

이 방법의 잠재적인 응용 프로그램에는 실시간 눈 추적 데이터를 통한 협업을 지원하기 위한 중재 설계가 포함됩니다. 일부 선구적인 작업은 원격 아이 트래커를 사용하여 공유 시선 시각화를 제작했으며, 이는 거리^14에서협업 학습에 도움이 되는 것으로 나타났습니다. 실시간으로 파트너의 시선을 볼 수 있는 Dyads는 더 많은 JVA를 나타내고, 더 잘 협력하고, 대조군에 비해 더 높은 학습 이득을 달성했습니다. 향후 작업은 이러한 종류의 개입이 가상 또는 증강 현실 헤드셋을 통해 공동 설정에서 협업 프로세스를 지원할 수 있는지 여부를 검토합니다.

Materials

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags