행동에 시선: 자연 동작 동안 어린이 동적 시각적 관심의 머리 장착형 눈 추적

Summary

어린 아이 할 하지 수 동적으로 관찰 세계, 그러나 오히려 적극적으로 탐구 하 고 그들의 환경과 교전. 이 프로토콜에는 기본 원칙 및 자연적인 행동의 맥락에서 유아의 기록 헤드 마운트 눈 추적자 ' 동적 시각적 환경 및 시각적 주의 사용 하 여에 대 한 실질적인 권장 사항을 제공 합니다.

Abstract

어린이 시각적 환경은 동적, 어린이 육체적으로 그리고 시각적으로 공간 및 개체 찾아보기와 그들을 주위 사람들과 상호 작용 하는 순간 순간 변화입니다. 헤드 마운트 안구 추적 캡처 어린이 동적 자기 중심 뷰 및 해당 보기 내에서 시각적 관심을 할당 하는 그들은 독특한 기회를 제공 합니다. 이 프로토콜에는 기본 원칙 및 머리 장착형 눈 추적자 실험실에 더 자연 설정을 사용 하 여 연구원에 대 한 실질적인 권장 사항을 제공 합니다. 헤드 마운트 안구 추적 휴대성과 화면 기반 안구 추적에 비해 머리와 몸 움직임의 자유를 통해 생태학적으로 유효한 상황에서 데이터 수집을 위한 기회를 강화 하 여 다른 실험 방법을 보완 합니다. 이 프로토콜 동작 추적 등 심장 박동 모니터링, 자연적인 행동, 학습, 그리고 이전 보다 개발에 대 한 고밀도 복합 데이터 집합을 제공 하는 다른 기술, 통합 수 있습니다. 이 문서에서는 머리 장착 아이 유아에 대 한 하나의 자연 컨텍스트에서 시각적 관심을 조사 하도록 연구에서 추적에서 생성 된 데이터의 종류: 부모와 함께 자유롭게 장난감 놀이. 이 프로토콜의 성공을 사용 하 여 시각적 주의 대 한 뿐만 아니라 다른 지 각, 인지, 그리고 사회 기술 및 그들의 발달의 광범위 한 범위에 대 한 질문에 대답을 사용할 수 있는 데이터를 수집 하는 연구를 허용할 것 이다.

Introduction

지난 몇 년간 공부 유아와 유아 시각적 관심의 개발에 대 한 관심이 점점 봤 어. 이 관심은 기본 초기에 다른 인지 기능을 평가 하는 것을 의미 하 고 자신의 오른쪽에 있는 유아 시각적 관심의 연구로 진화 했다 시간 측정 보고의 사용에서 큰 부분에서 비롯 된. 유아와 유아 시각적 관심의 현대 조사는 주로 스크린 기반 눈-추적 작업 중 안구의 움직임을 측정합니다. 그들의 눈 움직임은 정적 이미지 또는 이벤트의 프레 젠 테이 션 하는 동안 모니터링 하는 동안 유아의 자 또는 스크린 앞의 무릎에 앉아. 그러나 이러한 작업을, 자연 시각 주의 의미는 어린이 자연 시각적 환경 생성 됩니다-활성 탐사의 동적 특성을 잡으려고 실패 합니다.

유아와 유아 그들의 손, 머리, 눈, 그리고 시체 개체, 사람, 그리고 그들 주위 공간 탐험 이동 활성 생물 있습니다. 각 새로운 개발 신체 형태, 모터 기술 및 동작-크롤 링, 걷기, 사회적 파트너와 함께 참여 하는 개체를 따기-초기 시각적 환경에 수 반하는 변화를 동반 된다. 그들이 무엇을 보고 결정 유아 무엇 때문에 시각 가이드 작업에서 그들은 무엇을 할에 대 한 역할을 그들이 무엇을 보고, 시각적 관심의 자연 개발을 공부 하 고 최고의 수행 됩니다 자연 행동¹의 맥락에서.

헤드 마운트 눈 추적자 (ETs)를 발명 하 고 수십 년간^2,3에 대 한 성인에 사용 되었습니다. 최근 유아와 유아를 위해 적당 한 만든 기술적 진보 머리 장착형 눈-추적 기술이 있다. 참가자는 머리, 바깥쪽에 직면 하 고 참가자의 첫 번째 사람의 관점을 현장 카메라와 눈 이미지를 캡처하는 눈 카메라 안쪽에 직면에 2 개의 가벼운 카메라와 복입니다. 교정 절차 눈 이미지를 시각적으로 참석 되 고 했다 장면 이미지에서 해당 픽셀에 눈동자와 각 막 반사 (CR)의 변화 위치를 최대한 정확 하 게 지도 하는 알고리즘을 학습 데이터를 제공 합니다. 이 방법의 목표는 자유롭게 자연 시각적 환경 모두 유아와 유아의 활성 visual 탐험의 그 환경의 유아 이동으로를 캡처. 이러한 데이터는 시각적 주의 대 한 뿐만 아니라 지 각, 인지 및 사회 개발^4,,56,,78의 광범위 한 범위에 대 한 질문에 대답을 도울 수 있다. 이러한 방법 사용 공동 주의^7,8,9, 지속적인된 관심¹⁰, 변화 하는 시대와 모터 개발⁴ 시각적 경험의 이해 변화 ^{, 6 , 11}, 그리고 단어¹²학습에서 시각적 경험의 역할. 현재 종이 원칙 및 유아와 유아 머리 장착형 눈-추적 실험 수행에 대 한 실질적인 권장 사항을 제공 하 고 머리 장착형 안구 추적 한 자연에서 생성 될 수 있는 데이터의 종류를 보여 줍니다. 유아에 대 한 컨텍스트: 부모와 함께 자유롭게 장난감 놀이.

Protocol

이 자습서는 인디애나 대학에서 기관 검토 위원회에 의해 승인 하는 유아와 함께 헤드 마운트 눈-추적 데이터를 수집 하는 절차를 기반으로 합니다. 정보 부모의 동의 유아 실험에 참여 하기 전에 얻은 했다.

1입니다. 연구에 대 한 준비

1. 눈-추적 장비. 여러 헤드 마운트 눈-추적 시스템 중 상업적으로 사용할 수 있는 아이 들을 위해 구체적으로 판매 하는 중 하나를 선택 하거나 맞춤 유아 모자, 예를 들면 그림 1과 2에서와 같이 작동 하도록 시스템을 수정 합니다. 눈-추적 시스템 다음이 단계에 따라 유아 또는 유아를 테스트 하기 위해 필요한 기능을가지고 있는지 확인 합니다.
   1. 포지셔닝 측면에서 조정 가능 하다 고 연구 질문을 해결 하기 위한 적절 한 필드의 보기를 캡처하는 충분히 넓은 각도 현장 카메라를 선택 합니다. 여기 설명 처럼 무료 플레이 설정에서 유아의 활동의 대부분을 잡으려고 카메라는 적어도 100도 대각선 보기의 필드를 선택 합니다.
   2. 눈 카메라 포지셔닝 측면에서 조정 가능 하 고 적외선 led 카메라 또는 카메라에 인접 한 내장 고 눈의 각 막이이 빛을 반영할 것 이다 그런 방법으로 위치를 선택 합니다. Note 일부 눈-추적 모델 위치, 고정 하지만 유연한 조정 감당할 모델 하는 것이 좋습니다.
   3. 눈-추적 시스템은 겸손 하 고 최고의 기회 제공 가능한 경량을 선택 ㆍ 장비 입고 용납 된다.
      1. Velcro 스트랩 모자에 수 놓은 Velcro의 반대 측에 부착 하는 장면과 눈 카메라 연결 하 여 모자에 시스템을 포함 유아의 보기의 중심에서 카메라를 배치.
         참고: 안경에 유사 하도록 설계 된 시스템은 최적이 아닙니다. 유아의 얼굴의 형태는 성인의 다른 이며 유아의 코 또는 귀에 부품 산만 하 고 참가자에 대 한 불편 될 수 있습니다.
      2. 외 컴퓨터에 유선 케이블을 번들 하 고 또는 일인가 산만 방지 하기 위해 참가자의 뒤의 뒤에 그들을 유지. 또는 휴대폰, 아이 큰 이동성에 배치할 수 있는 등 중간 장치에 데이터를 저장 하는 독립적인된 시스템을 사용 합니다.
   4. 오프 라인으로 교정할 수 있습니다 교정 소프트웨어 패키지를 선택 합니다.
2. 녹음 환경입니다.
   1. 고려 범위는 자식 데이터 수집 중 공간을 통해 이동 합니다. 바람직는 단일 위치 이면 언급이 자녀의 교사에 그래서 그들은 원하는 위치에 아이 도울 수 있다. 제외 하 고, 상호 작용 하는 자식 범위 안에 있어야 공간에서 모든 가능한 선택 항목을 제거 합니다.
   2. 3 인칭 카메라는 외 전이 될 수 있습니다 때 순간 식별로 뿐만 아니라 어린이 행동의 나중 코딩에 도움을 사용 합니다. 아이 공간을 통해 이동, 뿐만 아니라 추가 카메라를 고려 하십시오.

2. 눈-추적 데이터를 수집 합니다.

1. 인력과 활동. 현재, 상호 작용 하는 아이, 그리고 하나 배치 하 고는 동부 표준시를 위치를 차지 하나 두 경험 있다.
   1. 완전히는 아이 이동까지 도달 하지 않거나 그들의 머리에 배치 되는 동안는 동부 표준시를 잡아 어린이 손을 차지 하는 활동에 아이 참여. 수동 작업 및 작은 책을 아이 실험 동안 저장할 수 또는 부모는 아이 게 읽는 격려 하는 장난감을 고려 하십시오.
2. 아이에 동부 표준시를 놓습니다. 입고 머리 실장 외의 유아 공차 다르기 때문에 추진 배치 하 고 자식에 동부를 유지 하는 성공에 다음 권장이 사항을 따르십시오.
   1. 연구로 이어지는 시간에서 모자 또는 베 레모, 그들의 머리에 뭔가 데 익숙한 그들을 집에서, 동부 표준시와 사용 되는 유사한 그들의 아이 착용을 보호자를 확인 합니다.
   2. 연구에는 동부 표준시 장착할 수 사용할 수 있는 캡의 다른 유형이 있다. 서로 다른 크기와 스타일의 모자, 동물 귀, 비 니 등 뒤로 착용 될 수 있는 공 모자를 구매 하 고 추가 Velcro 눈-추적 시스템, Velcro의 반대 측으로 장착할 수 모자를 사용자 지정. 또한 교사와 경험, 자녀의 관심과 또한 모자를 착용 하는 지를 장려 하 여 착용 하는 모자는 데 고려 하십시오.
      1. 아이 모자를 씌우고, 전에 실험으로 가볍게 머리 여러 번 될 때 주의 하 고 유아의 관심은 장난감에 머리에 접촉에 유아 감도 있다.
   3. 아이 동부 표준시를, 또는 아이의 뒤에 수 ( 그림 2A참조). 아이 때 때 아이가 각 손에 장난감을 들고는 등 그들의 손에 점령 하에 장소는 동부 표준시.
      1. 아이가 보이는 경우는 동부 표준시를 배치 하는 실험으로, 인사 하 고 무슨 짓 되는 아이 신속 하 게 어린이 머리에는 동부 표준시를 진행 하는 동안. 동부 표준시는 아이 조 난을 발생할 수 있습니다 이어질 수 있습니다 불 쌍 한 포지셔닝으로 아이 그들의 머리를 이동 하는 동부 표준시에 대 한 도달 더 큰 기회를 배치 하면서 너무 느리게 이동 하지 마십시오.
      2. 카메라는 참가자에는 동부 표준시를 배치 하기 전에 배치 후 조정 소요 시간을 줄이기 위해 어린이 머리에 때 그들의 예상된 위치에 카메라 설정 (섹션 2.3.1 및 2.3.2 참조).
3. 위치 외의 장면과 눈 카메라. 일단은 외 어린이 머리에, 조정을 장면과 눈 카메라의 위치에이 카메라의 비디오 피드를 모니터링 하는 동안:
   1. 현장 카메라에이 마에 낮은 어린이 시야의 대략적인 위치 (참조 그림 1B); 현장 카메라 보기 무엇 아이 찾고 있을 것입니다에 연구 기간 동안에 센터.
      1. 손과 개최 개체 항상 매우 아이 가까이 되며 추가 개체는 배경 및 높은에 되지만 현장 카메라 보기 현장 카메라 보기에 낮은 점에 유의 하십시오. 현장 카메라를 최고의 캡처 연구 질문에 가장 관련 된 보기의 종류를 놓습니다.
      2. 작은 장난감 또는 레이저 포인터를 사용 하 여 그들의 시야에서 특정 위치에 어린이 관심을 유치 하 여 현장 카메라의 위치를 테스트 합니다. 이러한 위치는 예상에서 볼 수 있습니다 관심의 연구 기간 동안 있을 것입니다 지역의 거리를 확인 하십시오 ( 그림 3참조).
      3. 수평 표면에 평평 하 게 현장 카메라 보기 표시를 선택 하 여 기울기를 피하십시오. 카메라 위치, 하는 동안 실수로 거꾸로 지 고의 가능성을 완화 하기 위해 현장 카메라의 수직 방향 표시 하지만 사후 처리 하는 동안 추가 단계 필요 하다 면 올바른 방향으로 이미지를 되돌릴 수 있습니다.
   2. 데이터를 얻기 위해 높은 품질 시선, 눈동자와 각 막 반사 (CR)을 감지 하 눈 카메라 위치 ( 그림 2참조).
      1. 그래서 중심 뺨 또는 눈의 모션의 전체 범위에 걸쳐 속눈썹 없는 폐색으로 어린이 눈동자에 눈 카메라 위치 ( 그림 2C F 에 대 한 좋은 나쁜 눈 이미지의 예 참조). 이 원조, 뺨, 위쪽으로 포인팅, 어린이 보기의 중심에서 카메라를 유지 근처 눈 아래 눈 카메라를 놓습니다. 또는, 아래 눈 카메라를 놓고 안쪽에 눈의 바깥 쪽을 가리키는.
      2. 카메라 움직임 눈 카메라 이미지에 있는 눈동자의 비교적 큰 변위를 생성 눈에 충분히 가까이 있는지 확인 합니다.
      3. 눈 이미지에 눈의 구석에 가로 라인을 형성할 수 있다 하 여 기울기를 방지 ( 그림 2C참조).
      4. 눈동자 홍 채에 정확 하 게 구별 될 수 있도록 홍 채 대 학생의 대비 상대적으로 높은 인지 확인 (C( 그림 2참조). 이 지원 (해당 되는 경우 LED가 독립적으로 조절) (경우 옆 눈 카메라) LED 조명의 위치 또는 눈에서 눈 카메라의 거리를 조정 합니다. 각도 눈으로 똑바로 하지 증가 눈동자 검출에 대 한 LED 빛을 놓습니다. LED 빛에 어떤 조정 든 지 여전히 분명 CR 생성 하십시오 ( 그림 2C참조).
4. 오프 라인 교정에 대 한 연구 기간 동안 포인트를 얻습니다.
   1. 일단 장면과 눈 이미지는 높은 품질을 그들은 수, 어린이 주의 그들의 시야에 있는 다른 위치를 수집 보정 데이터.
      1. 명확 하 게 그들의 시야에서 작은, 명확한 시점에 어린이 주의 지시 하는 것으로 다양 한 표면에 교정 포인트 얻기 ( 그림 3참조). 예를 들어, 단색 배경, 또는 표면에 대 한 레이저 포인터를 사용 하 여 작은 독립적으로 활성화 LED 조명.
      2. 아이 교정 대상에서 보이도록 하기 위해 어린이 보기에서 다른 흥미로운 대상의 존재를 제한 합니다.
   2. 눈의 큰 각도 변위를 필요로 하는 다른 위치에 주의 사이의 대체.
      1. 보기의 필드를 동일 하 게 커버 하 고 그들은 다음 위치에 모습을 유추할 수 있도록 오프 라인 교정 중 아이에서 명확한 saccades를 찾는 데 도움이 됩니다 점 사이 너무 빨리 이동 하지 마십시오.
      2. 아이가 즉시 보이지 않는 새로운 강조 표시 된 위치에, 방도 레이저, Led 켜기/끄기 설정 누르거나 손가락으로 위치 위치에 그들의 관심을 얻을.
      3. 경우, 일부 사용할 수 나중에 밖으로 설정 하는 경우에 필요한 것 보다 더 많은 교정 포인트를 얻을.
   3. 어린이 자세 교정 중 연구 기간 동안 사용 될 위치를 일치 해야 합니다.
      1. 예를 들어 있을 때 아이 아이가 나중에 서 있을 것입니다 예상 하는 경우 교정 포인트 수집 하지 않습니다.
      2. 그 아이 사이의 거리를 확인 하 고 교정 대상 자녀와 관심의 연구 기간 동안 있을 것입니다 지역 간의 거리와 비슷합니다.
      3. 실험 기간 동안 아이가 주로 보게 될 것입니다 개체를 더 멀리 하는 경우 어린이 몸 아주 가까이 교정 포인트를 배치 하지 마십시오. 하나는 근처와 멀리 개체에 관심이, 고려 교정 포인트의 2 개의 다른 세트를 얻는 수 나중에 만드는 데 사용할 수 각 시 거리에 대 한 고유의 교정 (자세한 내용은 참조 섹션 3.1).
         참고: 두 눈 안구 추적는 개발 기술^13,14 약속 깊이 있는 시선 추적 발전입니다.
   4. 맞게 드리프트 또는의 외의 움직임에 대 한 연구 기간 동안, 시작 및 최소한 연구의 끝에 교정 포인트를 수집 합니다. 경우, 세션 중 정기적으로 추가 교정 포인트를 수집 합니다.
5. 연구 기간 동안 동부와 3 인칭 비디오 피드를 모니터링 합니다.
   1. 외 부 딪 친 또는 다른 움직임/행동으로 인해 고르지 면 주의 깊게 살펴 때 재조정 하는 연구의 부분 범프/부정합 전후 별도로 코딩 할 수 있습니다 때문에이 일이 연구에 (섹션 3.1.1 참조).
   2. 만약에 가능 하다 면, 각 범프/오차 장면과 눈 카메라 (2.3 절 참조), 위치를 후 연구를 중단 후 보정에 대 한 새로운 포인트를 얻을 (섹션 2.4 참조).

3. 연구, 후 보정 소프트웨어를 사용 하 여 동부 표준시 데이터 보정.

참고: 보정 소프트웨어 패키지의 다양 한 상업적으로 사용할 수 있습니다.

1. 여러 교정 만드는 것이 좋습니다. 교정 포인트 하지 올바르게 일치 하지 알고리즘 데이터를 먹이로 시선 추적의 정확성을 극대화 하기 위해 다른 비디오 세그먼트를 사용자 지정 합니다.
   1. 동부 표준시 위치 변경 전후는 동부 표준시 연구 기간 동안 언제 든 지 위치를 변경 하는 경우 부분에 대 한 별도 교정 만듭니다.
   2. 매우 다른 볼 거리에서 개체에 대 한 관심에 관심, 아이 각 시 거리에서 개체를 하고자 하는 비디오의 일부에 대 한 별도 교정 만듭니다. 곰 염두에 두고 시 거리에 차이 사이 어린이 시각적 관심의 변화에 의해 만들 수 있습니다 매우 가까이 그리고 멀리 개체 다르지만 또한 개체를 기준으로 어린이 자세에 변화에 의해와 같은 이동 서 앉아에서.
2. 각 교정 수행. 교정 포인트-포인트를 어린이 시선 명확 하 게 그 프레임 동안 지시 했다 장면 이미지에서의 일련을 생성 하 여 장면과 눈 간의 매핑을 설정 합니다. 교정 소프트웨어 추정 하 고 균등 하 게의 시선 (POG) 포인트 교정 점의 집합에서 모든 프레임에 보간 수 장면 이미지에 걸쳐 분산.
   1. 교정 소프트웨어를 지원 눈 카메라 식별된 POG 신뢰할 수 있도록 비디오의 각 프레임에 눈동자와 CR을 감지 합니다. 그러나 소프트웨어가 안정적이 고 지속적으로 CR를 감지할 수 없는 경우에는 눈동자만 (유의, 데이터 품질은 결과로 고통을 것입니다)를 사용 합니다.
      1. 소프트웨어의 다양 한 검색 매개 변수를 포함할 수 있는 교정의 임계값을 조정 하 여 눈 카메라 프레임에 좋은 눈 이미지를 얻을: 눈 이미지의 밝기, 눈동자는 소프트웨어의 크기를 예상, 그리고 설정 하는 경계 상자는 소프트웨어는 눈동자에 대 한 보이는 것입니다의 경계. 학생 유지 하면서 가능한 작은 모션의 눈의 전체 범위에 걸쳐 상자 안에 경계 상자를 그립니다. 눈동자는 결코 차지 하는 공간을 포함 하는 큰 경계 상자 false 눈동자 검출의 가능성을 증가 하 고 덜 정확 하 게 감지 눈동자의 작은 움직임을 일으킬 수 있습니다 다는 것을 유의 하십시오.
      2. 주의 소프트웨어의 다양 한 탐지 임계값을 조정 후에 소프트웨어 수 있습니다 때로는 여전히 올바르게 찾을 하지 학생 또는 CR; 예를 들어, 속눈썹이 눈동자를 커버 하는 경우.
   2. 현장 및 눈 카메라 프레임에 따라 좋은 교정 포인트를 찾아. Note 있는 눈동자와 CR은 정확 하 게 감지 된, 눈은 안정적으로 현장 이미지에서 공간에 명확 하 게 식별 포인트에 집착 하 고 포인트는 전체 범위에 걸쳐 균등 하 게 분산 된 소프트웨어 제공 최고의 교정 포인트는 장면 이미지.
      1. 그렇게 모두 유효한 x-y 장면 및 유효한 x-y 눈동자 좌표가 알고리즘으로 먹이 눈동자 검출 교정 포인트 꾸몄다는 각 프레임에 대 한 정확한 인지 확인 합니다.
      2. 교정에서 첫 번째 단계 때 아이 명확 하 게 찾고 현장 이미지에 독특한 포인트 순간 교정 포인트를 식별 합니다. 명심 이러한 포인트 의도적으로 레이저 포인터와 함께 예를 들어 데이터 수집 중에 실험에 의해 생성 될 수 있습니다 (참조 그림 3A-B), 또는 그들에 POG는 쉽게 식별 (참조 연구에서 포인트 수 그림 3C), 눈동자는 정확 하 게 그 프레임에 대 한 검색으로.
      3. 더 많은 극단적인 x-y 장면 이미지 좌표에 시선의 순간을 찾으려면, 어린이 눈은 그것의 가장 극단적인 x-y 위치에 정확한 눈동자 검출 순간 찾을 눈 카메라 프레임을 통해 스캔.
   3. 반복적으로 가능한 가장 정확한 교정에 숫 돌을 각 교정에 대 한 여러 "패스" 할. 교정에 첫번째 "패스"를 완료 한 후 많은 소프트웨어 프로그램 이전에 현재 트랙 (예: 십자선)를 그대로 사용 하는 포인트의 삭제 하면 note. 교정 포인트 이전 교정 패스, 점차적으로 점차적으로 "를 정리 하 여" 모든 잡음 교정 정확도 증가 한 수에 의해 생성 된 POG 트랙의 추가 지원 하지만 처음부터 알고리즘을 훈련의 새로운 세트를 선택 하거나 부정 확 한 내용이 이전 패스에 의해 도입
3. 는 POG 교정, 중 레이저 포인터를 제작한 점 같은 알려진된 시선 위치에 해당 하 방향 및 자녀의 saccades의 진도 반영 하는 얼마나 잘 관찰 하 여 교정의 품질을 평가. 또한 교정 과정으로 사용 된 교정 품질을 평가 하기 위해 포인트를 사용 하지 마십시오.
   1. 그 기억 때문에 어린이 머리와 눈은 일반적으로 정렬, 어린이 시각적 주의 가장 자주 현장 이미지의 중심으로 지시 되는 정확한 트랙이 반영 됩니다. 트랙의 중심적 평가, 현장 이미지 보정에 의해 생성 된 프레임에 의해 x-y POG 좌표 플롯 ( 그림 4참조). 포인트는 대부분 현장 이미지의 중심에 조밀 하 고 현장 카메라 했다 하지 어린이 보기의 필드 원래 배치의 중앙에 중심으로 하는 경우에 대칭으로,를 제외 하 고 분산 하는 확인 합니다.
   2. Note 일부 교정 소프트웨어 교정 정확도 반영 하는 선형 및 homography 맞는 점수를 생성 합니다. 이 점수는 어느 정도 유용 이후, 그들은 가난 하 고 있다면, 트랙 있을 것 이다 또한 가난한 명심에서 하십시오. 하지만 그들은 그 포인트는 POG의 지상 진실 위치를의 적합에 대 한 정보를 제공 하는 선택한 교정 포인트에 동의 정도 반영, 교정 정확도의 기본 측정값으로 맞는 점수 사용 하지 마십시오.
   3. 연구 대상의 시선 쉽게 식별할 수 이며 지상 진실으로 사용할 수 있습니다에서 순간 있다 기억 하십시오. 알려진된 시선 대상과 POG 십자선 간의 오류를 측정 하 여도 시각적인 각의 정확도 계산 (오류 비디오 이미지에서 픽셀 단위로 변환할 수 있습니다 약도 현장 카메라의 렌즈 특성에 따라)⁴.

4. 코드 관심사 (ROIs)의 영역입니다.

참고: 어떤 지역 아이 시각적으로 시간에 특정 순간 동안에 참석을 확인 하기 위해 POG 데이터의 평가 투자 수익 코딩. 투자 수익 높은 정확도와 높은 해상도 프레임-의해-프레임 POG 데이터에서 코딩 될 수 있습니다. 이 코드의 출력은 시간이 지남에 POG의 영역을 나타내는 데이터 요소-비디오 프레임 당 1 포인트의 흐름 ( 그림 5참조).

1. ROI 코딩 전에, 모든 ROIs 코딩 해야 하는 연구 질문에 따라의 목록을 컴파일. 불필요 하 게 시간이 걸리는 코딩 하는 게 질문 코딩 ROIs 연구 답변 필요 하지 않은 다는 것을 유의 하십시오.
2. 투자 수익 코딩의 원리입니다.
   1. 성공적인 코딩에서는 포기 하는 아이 찾고, 하 고 대신 각 프레임의 눈 이미지, 장면 이미지 및 계산된 POG을 신중 하 게 검토 해야 어디에 대 한 코더의 가정 기억. 예를 들어 경우에 개체는 자식에 의해 개최 되 고 특정 프레임에 대 한 현장 이미지에 매우 큰, 않는 유추 하지 그 아이 찾고 해당 개체에 그 순간에도 눈의 위치에 의해 표시 되지 않는 한. Note ROIs 어떤 지역 아이 foveating, 하지만 완전 한 시각 정보는 아이 복용은 캡처 하지 나타냅니다.
   2. 사용 하 여 눈 이미지와 장면 이미지, POG 트랙 투자 수익을 시각적으로 참석 되는 어느.
      1. POG 트랙을 사용 하 여 가이드로, 지상 진실 아니라. 이상적으로 POG 트랙 각 프레임에 대 한 아이 의해 따라 보았다 하는 정확한 위치를 명확 하 게 나타냅니다 것, 비록이 항상 현실 세계는 칠 볼의 3D 자연 상대적인 장면 이미지의 2 차원 (2D) 특성상 케이스는 되지 않을 것입니다 알고 있어야 d 고 참가자 사이 교정 정확도에서 변화입니다.
         1. 계산된 POG 트랙 보정 알고리즘에 따라 견적 그리고 특정 프레임에 대 한 POG 트랙의 신뢰성 따라서 얼마나 잘 눈동자와 CR 감지;에 따라 기억 경우 중 하나 또는 둘 다 검색 되지 않습니다 또는 잘못 된, POG 트랙 신뢰할 수 없습니다.
            참고: 때때로, 십자선 있을 것입니다 대상에서 일관 되 게 고정된 거리. 최신 소프트웨어 하나이 불일치에 대 한 정확한 계산을 허용할 수 있습니다. 그렇지 않으면, 훈련 된 연구원 정정을 수동으로 할 수 있습니다.
      2. 눈 이미지의 눈동자의 움직임을 사용 하 여 투자 수익을 변경 되었을 수 있습니다 기본 큐로.
         1. 프레임 하나 하나 눈 이미지 보고 스크롤. 눈의 보이는 움직임 발생 하면 새로운 투자 수익 또는 아무 정의 투자 수익 여부 아이 그들의 POG 이동 확인 하십시오.
         2. 참고 모든 눈 움직임 ROI에 변화를 나타냅니다. 공간 (예를 들어, 최대 개체)의 큰 영역을 구성 하는 투자 수익, 경우 명심 그 작은 눈 운동 같은 ROI 내의 새로운 위치를 보고 반영 될 수 있습니다. 마찬가지로, 눈 움직임 단일 이동 ROI를 추적 하는 아이 또는 이동 하는 아이로 그들의 머리는 또한 같은 ROI에 시선을 유지 하기 위해 그들의 눈 이동 발생할 수 있습니다 기억 하십시오.
         3. Note 일부 ETs와 눈 이미지는 미러-이미지를 어린이 눈의 경우 눈 장면에서 오른쪽 shift에 해당 하는 왼쪽으로 이동 하는 경우.
   3. POG 트랙 가이드 역할만, 있기 때문에 뿐만 아니라 사용 가능한 컨텍스트 정보 코딩 의사 결정에 사용.
      1. 투자 수익을 코딩 하는 경우 프레임 또는 다른 소스에서 정보를 통합 합니다. 투자 수익 별도로 각 프레임에 대 한 코드는, 비록 정확한 ROI를 결정에 도움이 있습니다 컨텍스트 정보를 얻기 위해 현재 프레임 전후의 프레임 활용 합니다. 예를 들어, POG 트랙은 결 석 또는 가난한 눈동자 검출으로 인해 특정된 프레임에 대 한 잘못 된 눈 눈동자 정확 하 게 감지 되었다 이전 및 다음 프레임에 따라 이동 하지 않은 경우, 해당 프레임 POG 트랙 무시 그리고 ROI 바 코드 주변 프레임에 나오지도 않 았입니다.
      2. 특정 사용자의 연구 질문에 다른 결정을 내릴.
         1. 예를 들어 두 ROIs, 서로 게 가까운 근접에 있을 때 투자 수익을 코딩 하는 방법에 대 한 프로토콜을 어떤 경우에 그것은 "올바른" ROI를 결정 하기가 어려울 수 있습니다. 아이 두 ROIs의 교차점에서 편집증에 나타나는 경우,를 선택 하 고 투자 수익 범주 중 하나에 할당 하는 방법에 대 한 결정 규칙의 집합을 공식화 하는 것 또는 두 ROIs를 동시에 코드를 결정 합니다.
         2. 추가 예를 들어, 관심의 대상이 되도록 손을 개체 경색은 개최 때 손에 대 한 투자 수익 또는 열린된 개체에 대 한 ROI는 POG 코드 것인지 결정 합니다.
3. 안정성에 대 한 투자 수익을 코드. 초기 투자 수익 프로토콜을 코딩 완료 후 절차를 코딩 하는 안정성을 구현 합니다. 신뢰성 코딩 절차의 많은 다른 유형이 있다 구체적인 연구 질문에 따라 가장 관련성이 높은 프로시저를 선택 합니다.

Representative Results

여기서 설명 하는 메서드는 자유롭게 흐르는 장난감 놀이 컨텍스트 유아와 그들의 부모 사이 적용 했다. 연구는 복잡된 한 환경에서 자연 스러운 시각적 관심을 조사 하도록 설계 되었습니다. 점수는 6 분 동안 24 장난감 세트 자유롭게 노는 지시 했다. 유아의 시각적 주의 발병 코딩에 의해 측정 되었다 및 오프셋의 외모에 특정 각 투자 수익에 관심 (ROIs)-24 장난감 및 부모의 얼굴-의 그리고 기간 및 보고의 비율을 분석 하 여 각 영역 시간. 결과 그림 5에서 시각화 됩니다.

그림 5 A 두 18 개월 된 아이 대 한 샘플 투자 수익 스트림을 보여 줍니다. 흐름에 각 컬러 블록 연속 프레임을 있는 아이 쳐다보면서 특정 투자 수익을 나타냅니다. 가져온 눈 시선 데이터 자연 시각적 관심의 흥미로운 속성의 수를 보여 줍니다.

첫째, 아이 들 장난감의 다른 하위 집합에 대 한 그들의 선택에서 개별 차이 보여줍니다. 그림 5 B 각 아동 각 10 선택한 장난감 ROIs 보고 보냈다 6 분 상호 작용의 비율을 보여줍니다. 비록 시간 자식 1과 자식 2의 총 비율을 보냈다 (를 포함 하 여 모든 24 장난감 ROIs) 장난감을 보고 다소 비슷한, 0.76 및 0.87, 각각 개별 장난감에 소요 된 시간 비율 크게 다양, 시간과 주제 사이 둘 다 이었다.

어떻게 이러한 비율을 보는 시간 또한 아이 들에 걸쳐 달랐다 달성 했다. 그림 5 C 각 10 선택한 장난감 ROIs 외모의 각 어린이 평균 기간을 표시합니다. 모든 24의 평균 기간 자식 2 ROIs 장난감 (M = 2.38 s, SD 2.20 = s) 자식 1의 만큼은 거의 두 번 (M = 1.20 s, SD 0.78 = s). 그림 5B, C에 빨간 무당벌레 딸 랑이 (자주색 막대)을 찾고 패턴을 비교 설명 비율 등,의 기간 여러 보는 조치를 컴퓨팅 하는 것은 데이터;에 대 한 완전 한 이해에 대 한 중요 한 이유 이 장난감에 보기의 동일한 비율을 다른 기간의 외모의 다른 숫자를 통해이 아이 들을 위한 달성 했다.

이러한 데이터에 의해 입증 하는 또 다른 속성은 모두 아이 들 거의 그들의 부모의 얼굴 모습: 자식 1과 자식 2 되었고.015.003, 각각 찾고 얼굴의 비율. 또한, 그들의 부모의 얼굴에이 어린이이 외모의 기간에 평균 0.79 s 짧은 했다 (SD 0.39 = s) 및 0.40 s (SD = 0.04 s) 자식 1과 자식 2, 각각.

그림 1 . 헤드 마운트 안구 추적 3 개의 다른 문맥에서 고용: (A) 탁상 장난감 놀이, 바닥, 및 (C) 그림 책을 읽고 (B) 장난감 놀이. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 2 . 머리 거치 눈-추적 시스템을 설정합니다. (A) 유아에 눈 추적자 위치는 연구원. (B)는 유아에 위치한 눈 추적자. 큰 중심된 눈동자와 명확한 각 막 반사 (CR) ((C)) 좋은 눈 이미지. (D, E, F) 나쁜 눈 이미지의 예입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 3 . 교정 포인트의 세 가지 방법으로. 각 순간의 두 개의 뷰가 표시 됩니다. 탑: 3 인칭 보기, 하단: 어린이 1 인칭 시점. 3 인칭 뷰에서 화살표 레이저 광선의 방향을 설명합니다. 어린이 보기 보기 좋은 눈 이미지 보정 및 분홍색 십자선 사용 각 순간에 나타냅니다의 시선 완료 된 교정에 따라 포인트의 오른쪽 상단에 상자를 삽입. (A) 교정 포인트 손가락 및 레이저 포인터를 사용 하 여 바닥에 개체에 대 한 관심을 직접 하는 실험에 의해 생성 된. (B) 교정 포인트 레이저 포인터를 사용 하 여 표면에 점 들에 주의 지시 하는 실험에 의해 생성 된. (C) 교정 포인트 장난감 중 아이의 주의가 개최 개체에 지시 되는 부모와 함께 재생 합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 4 . 교정 품질을 평가 하는 데 사용 하는 예 작. 개별 점 보정 알고리즘에 의해 결정으로 현장 카메라 이미지에 시선 (POG) 좌표 프레임 x-y 포인트를 나타냅니다. (A) 아이 장난감 재생 실험에 대 한 좋은 교정 품질 표시 중심 POG의 대략 원형 밀도 낮은 (어린이 장난감 아이 보고를 들고 POG는 약간 아래로 이동 일반적으로), 그리고 대략 균등 하 게 분산된 POG 나머지 현장 카메라 이미지에. ((B)) 가난한 교정 품질, POG을 오프-중심으로, 그리고 나머지 현장 카메라 이미지에 제대로 분산된 POG의 길쭉한와 기울이면 밀도로 표시. (C) 가난한 교정 품질 및 현장 카메라, POG을 중심으로 표시의 가난한 초기 위치. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 5 . 두 어린이 눈 시선 데이터와 통계. (A) 샘플 ROI 60 동안 자식 1과 자식 2 스트림 s 상호 작용의. 흐름에 각 컬러 블록 연속 프레임을 있는 아이 쳐다보면서 특정 장난감 또는 부모님의 얼굴에 대 한 투자 수익을 나타냅니다. 공백을 나타냅니다 프레임을 없는 아이 ROIs에서 보이지 않았다. 두 아이 대 한 부모의 얼굴과 10 장난감 ROIs, 보고 하는 시간 (B) 비율. 비율 각 투자 수익을 모든 것의 기간을 요약 하 고 요약된 기간 6 분의 총 세션 시간으로 나누어 계산 했다. (C) 두 아이 대 한 부모님의 얼굴을 10 장난감 ROIs, 외모의 기간을 의미 합니다. 평균 지속 시간 6 분 상호 작용 하는 동안 각 ROI 개별의 기간을 평균 하 여 계산 했다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

Discussion

이 프로토콜에는 원칙 및 헤드 장착 아이 유아와 어린 아이 추적을 구현 하기 위한 실질적인 권장 사항을 제공 합니다. 이 프로토콜은 실험실 설정에서 장난감을가지고 부모-유아 놀이의 맥락에서 자연 유아 행동의 학문에 근거 했다. 사내 안구 추적 장비 및 소프트웨어 보정 및 데이터 코딩을 위해 사용 되었다. 그럼에도 불구 하 고,이 프로토콜은 헤드 마운트 눈-추적 시스템의 다양 한을 사용 하 여 다양 한 유아와 아동 발달에 있는 주제를 연구 하는 연구자에 일반적으로 적용 될 것입니다. 비록이 프로토콜의 최적의 사용 연구 관련을 포함 한다 조정,이의 도입 일반 관행으로 이끈 다양 한 컨텍스트 ( 그림 1참조), 동시 머리 거치 된 안구 추적을 포함 하 여이 프로토콜의 성공적인 사용 부모와 유아^7,,89,10, 달팽이 관 임 플 란 트¹⁵ 어린이 어린이 자폐증 스펙트럼과 진단 등 임상 인구의 머리 장착형 눈 추적 ^16,17장애.

이 프로토콜 자연 능력 및 행동의 다양 한 개발 조사를 위한 수많은 이점을 제공 합니다. 머리 거치 ETs는 머리와 몸 이동의 자유 허용 제공 연구원은 참가자의 자체 생성 된 시각적 환경 및 그 환경의 그들의 적극적인 탐험을 잡으려고 기회. 헤드 마운트 ETs의 이동성 연구팀은 능력을 생태학적으로 유효한 상황에서 데이터 수집을 향상 시킵니다. 이러한 장점으로 인해이 방법을 찾고 시간 스크린 기반 및 눈 추적 방법을 시각적 관심, 사회적 관심 등 지 각 모터 통합 도메인 개발을 공부 하는 대신 제공 하 고 보완 하 고 때때로 도전 추론 연구팀은 그릴 수 있습니다 더 전통적인 실험 방법을 사용 하 여. 여기에 설명 된 프로토콜에서 개인 차를 전시 하는 참가자를 위한 기회를 증가 하는 예를 들어, 참가자는 제어만 이상 하지 어디 고 얼마나 그들은에 한 장면에서 그들의 시각적 주의 집중에 대 한 동작을 보고 스크린 기반 눈 추적, 뿐만 아니라 그들의 눈, 머리, 및 몸의 움직임을 통해 그 장면의 구성 및 요소는 환경에서의 물리적 조작. 여기에 제시 된 두 참가자의 데이터 얼마나 유아 모습에서 개별 차이 개체 유아 들은 적극적으로 만들고 그들의 시각적 환경을 탐구 수 샘플을 보여 줍니다. 또한,이 프로토콜을 사용 하는 다른 연구 뿐만 아니라, 여기 제시 하는 데이터 유아 모습 보다 훨씬 적은 이전 연구^{4,5에 의해 제안 된 그들의 부모의 얼굴에 그들의 부모와 함께 자연 장난감 놀이에 제안 ,,78,,910}.

이러한 혜택에도 불구 하 고 유아와 유아 추적 머리 장착형 눈 다양 한 방법론 도전 포즈. 가장 중요 한 도전 좋은 교정을 얻는 이다. 현장 이미지를 실제로 본 3D 세계만 2D 표현 이므로 눈 위치와 보았다 현장 위치 사이의 완벽 한 매핑 수는 없습니다. 그러나이 프로토콜에 제공 된 지침에 따라, 매핑 "지상 진실", 특별 한 주의 여러 가지 문제에 지불 되어야 합니다 가까운 안정적으로 될 수 있다. 첫째, 머리 장착형 안구 추적 또한 젊은 참가자 종종 눈-추적 시스템을 범프 것 이다 의미에 의해 허용 되는 머리와 몸 이동의 자유. 눈 또는 장면을 카메라에 상대적으로 눈의 물리적 위치에 어떤 변화 든 지 눈동자/CR와 장면 이미지에 해당 픽셀 간의 매핑을 변경 됩니다 때문에이 문제입니다. 연구의이 부분에 대 한 별도 교정 실시 하는 것은 한 부분 포인트는 보정을 사용 하는 경우에 이렇게 하지 않으면만 정확 하 게는 연구의 한 부분에 대 한 어린이 시선을 추적 하는 알고리즘에서 발생 중요 한, 그러므로. 아이의 눈동자와 크롬의 두 번째, 정확한 탐지는 중요 합니다. 현장 이미지에 교정 포인트 플롯 눈동자 잘못 검색 하거나, 검색 되지 다음 알고리즘 중 하나 잘못 된 학생 x y 좌표가 보정 x y 좌표 장면 이미지에 연관 배운다 경우 또는 알고리즘은 눈동자는 전혀 감지 되지 않는 경우에서 빈 데이터 먹이 되고있다. 따라서, 좋은 탐지 연구의 세그먼트에 대 한 달성 되지 않은, 경우이 프레임에 대 한 교정 품질 가난한 되며 POG 코딩에 대 한 신뢰할 수 없습니다. 셋째, 어린이 머리와 눈은 일반적으로 정렬 하기 때문에 시각적 주의 가장 자주 현장 이미지의 중심을 향해 감독 이다. 그럼에도 불구 하 고, 현장 이미지에서 익 스 트림 x-y 교정 포인트 장면 전체 이미지에 걸쳐 정확한 시선 추적을 설정 하기 위한 필요한 있습니다. 따라서, 비록 일반적으로 눈은 개체에 안정 때 순간 교정 포인트를 선택 해야,이 수 없습니다 장면 이미지의 먼 구석에 있는 교정 포인트 가능. 마지막으로, 그 좋은 눈 이미지 획득 시스템 보정을 하는 경우에이 보장 하지 않습니다 의도 분석에 대 한 충분 한 품질의 데이터 임을 명심에서 하십시오. 눈 생리학 등 개별 요인 조명 같은 환경 요인에 있는 차이 눈-추적 하드웨어와 소프트웨어에 차이 고 수 있습니다 모든 데이터 품질에 영향을 미칠 데이터에서 오프셋 또는 부정확을 만들 가능성이 있다. ^{18 , 19} (Franchak 2017²⁰참조) 이러한 문제에 대 한 자세한 정보 및 가능한 솔루션을 제공 합니다.

유아와 유아를 또한 사용 세션에 걸쳐 머리 실장 외의 보장의 도전을 포함 한다. 고용에서 약 9-24 개월 미만 유아와 함께 사용 하기 위해 설계 된이 프로토콜에 포함 된 권장 사항을 실험실 참가자²⁰의 약 70%에서 높은-품질 머리 장착형 눈-추적 데이터를 얻을 수 있습니다. 다른 30%는 참가자의 수 있습니다 눈 추적자 또는 충분 한 데이터 이전 연구에서 소란을의 편협으로 인해 연구 시작 하지도 (예를 들어, > 3-5 분의) 좋은 눈으로 트랙을 얻을 수 있다. 유아와 유아 참가자의 성공적인 70%에 대 한 이러한 세션 일반적으로 마지막 10 분 이상 아무리 오래 세션 수 있습니다 참가자의 나이는 작업의 특성에 따라 현재 기술로 가능 참가자는 종사 하 고 있다. 연구 작업 및 환경 디자인 때 연구원은 명심 해야 한다 참가자의 발달 상태 모터 능력, 인지 능력, 및 낯선 사람, 주위에 보안의 감각을 포함 한 사회 개발 할 수 있는 모든 영향 참가자의 주의 집중 기간 및 의도 한 작업을 수행 하는 능력. 9 개월 보다 훨씬 젊은 유아와 함께이 프로토콜을 채용은 또한 수 없습니다 아직에 앉아 그들의 자신의 유아 뿐만 아니라 눈 형태학과 생리학, 두 눈 격차 등의 고려를 지지 하는 등 추가 실용 과제 포함 어떤의 더 오래 된 아이 들 및 성인^19,21에서 다. 또한,이 프로토콜은 가장 성공적인 환경 데이터 수집 될 수 있습니다의 범위를 제한할 수 있습니다 경험된 훈련된 경험에 의해 수행. 더 많은 연습 경험, 더 많은 가능성이 그들은 수 있을 것입니다 실험을 원활 하 게 수행 하 고 높은 품질의 눈 추적 데이터를 수집.

헤드 마운트 안구 추적 또한 상대적으로 더 많은 시간이 걸리는 데이터 코딩의 추가 도전을 발생할 수 있습니다. ROIs를 찾기 위해 머리 장착형 눈-추적 데이터는 더 나은 코딩 프레임별으로 보다 시각적 관심의 "fixations" 때문입니다. 즉 때의 프레임에 의해 x-y POG 좌표 변화 속도, 눈은 안정적인 지점에 표시로 찍은 fixations 일반적으로 식별 합니다. 그러나, 머리 장착형 눈 추적자에서 장면 보기 참가자의 머리와 몸의 움직임 이동, 때문에 눈의 위치 매핑될 수 있습니다만 정확 하 게는 물리적 위치에 어떻게 눈은 움직이는 것을 고려 하 여 foveated 되 고 머리를 기준으로 몸 움직임. 예를 들어, 이동 하는 경우 참가자 그들의 머리와 눈, 그들의 눈, 보다 현장 내 x y POG 좌표 수 변경 되지 않습니다 참가자 방을 검사 또는 움직이는 물체를 추적 하는 동안에. 따라서, 시각적 관심의 "fixations" 확인할 수 없습니다 쉽고 정확 하 게만 POG 데이터에서. 헤드 마운트 눈 추적 데이터에서에서 fixations 식별과 관련 된 문제에 관한 자세한 내용은 다른 작품^15,22를 참조 하십시오. 수동으로 데이터 프레임으로 투자 수익에 대 한 코딩 fixations 코딩에 비해 추가 시간을 요구할 수 있습니다. 참고로, 그것은 10 분 사이 수동으로 여기, 데이터의 각 분 투자 수익에 대 한 코드는 초당 30 프레임에서 수집 된 고도로 훈련 된 코더를 했다. 코딩에 필요한 시간은 매우 변수 이며, 데이터를 추적 하는 눈의 품질에 따라 달라 집니다. 크기, 숫자, 및 ROI 목표;의 시각적 discriminability 코더;의 경험 주석 도구를 사용 하 고.

이러한 어려움에도 불구 하 고이 프로토콜은 다양 한 제어 및 자연 환경에 유연 하 게 적용할 수 있습니다. 이 프로토콜 동작 추적 등 심장 박동 모니터링, 자연적인 행동, 학습, 그리고 이전 보다 개발에 대 한 고밀도 복합 데이터 집합을 제공 하는 다른 기술, 통합 수 있습니다. 머리 거치 된 눈 추적 기술의 지속적인된 발전 의심할 여 지 없이 많은 현재의 어려움을 완화 하 고이 메서드를 사용 하 여 해결할 수 있는 연구 질문의 유형에 대 한 더 큰 국경을 제공 합니다.

Materials

Name	Company	Catalog Number	Comments
Head-mounted eye tracker	Pupil Labs	World Camera and Eye Camera