모바일 아이 트래커를 사용하여 공동 시각 주의를 포착하는 방법론

안녕하세요, 제 이름은 버트랜드 슈나이더이고 저는 하버드 교육대학원의 조교수입니다. 이 비디오에서는 모바일 아이 트래커를 사용하여 중앙 구조를 사회 과학, 공동 시각적 관심으로 캡처하는 방법을 보여 드리겠습니다. 공동 시각적 주의는 심리학자에 의해 광범위하게 연구되었으며 그룹 구성원 간의 상호 작용의 품질과 밀접한 관련이있는 것으로 밝혀졌습니다.

사람들이 공통점을 구축하고 작업에 대한 공통된 이해를 만들 때 같은 장소를 동시에 자주 보는 경향이 있는 것으로 나타났습니다. 전통적으로 연구자들은 비디오를 수동으로 코딩하여 질적으로 공동 시각 주의를 연구했습니다. 모바일 아이 트래커를 사용하여 공동 위치 설정에서 이 구조의 정량적 측정을 얻는 방법을 보여 드리겠습니다.

이 비디오에서우리는 토비 프로 안경 2를 사용할 것입니다. 이 안경은 실제 환경에서 눈의 움직임을 포착 할 수있는 웨어러블 아이 트래커입니다. 눈의 움직임을 추적하는 프레임의 특수 카메라 외에도 풀 HD 장면 카메라와 마이크가 장착되어 있어 착용자의 시야의 맥락에서 시선 동작을 시각화할 수 있습니다.

이러한 안경 시선은 초당 50회 캡처되며 안경의 라이브 비디오 피드를 무선또는 이더넷 케이블을 통해 컴퓨터로 스트리밍할 수 있습니다. 안경은 일반 안경으로 작동하지 않기 때문에 한 가지 제한이 있습니다. 아이 트래커를 설정하는 절차는 비교적 간단합니다.

첫째, 참가자들은 일반 안경처럼 아이트래킹 안경을 착용하도록 요청받습니다. 참가자의 고유한 얼굴 특징에 따라 높이가 다른 코 조각을 사용하여 데이터 품질을 유지해야 할 수 있습니다. 아이 트래커를 켠 후 참가자는 데이터 수집 단위를 개인에게 잘라서 구속되지 않은 신체 움직임을 허용해야 합니다.

Tobii Pro Glasses 컨트롤러를 열어야 하며 참가자는 Tobii에서 제공하는 교정 마커의 중심을 살펴보도록 지시해야 하며 소프트웨어의 교정 기능이 활성화되어 있습니다. 교정이 완료되면 소프트웨어 내에서 레코딩을 시작할 수 있습니다. 녹음 세션이 완료되면 참가자에게 아이트래킹 안경과 데이터 수집 장치를 제거하도록 지시하기 전에 Tobii 소프트웨어에서 레코딩을 종료합니다.

그리고, 장치를 끕니다. 데이터는 데이터 수집 장치에서 SD 카드를 제거하고 컴퓨터에 카드를 삽입하여 다른 소프트웨어인 Tobii Pro Lab을 통해 추출할 수 있습니다. Tobii Pro Lab은 SD 카드에 저장된 모든 녹음 세션을 동시에 가져올 수 있습니다.

그런 다음 Tobii Pro Lab 내에서 파일을 처리하여 비디오, 다른 시각화를 생성하거나 탭 분리값 또는 TSV 파일로 출력하여 추가 분석을 할 수 있습니다. 여기에서 는 최근 실시한 연구에서 두 명의 참가자가 로봇 프로그램을 학습하는 원시 아이 트래킹 데이터를 볼 수 있습니다. 양쪽에서 참가자의 시선 위치와 함께 각 아이 트래커에서 생성된 비디오 스트림을 볼 수 있습니다.

당신이 볼 수 있듯이, 그들은 동시에 같은 장소를 보고 있는지 알 수 없습니다., 각 참가자의 관점은 다른 때문에. 또한 데이터 레코딩은 서로 다른 시간에 시작될 수 있습니다. 즉, 데이터를 시간적으로 그리고 공간적으로 동기화해야 합니다.

이 비디오에서 이 두 가지 문제를 해결하는 방법을 보여 드리겠습니다. 먼저 데이터를 일시적으로 동기화하는 절차를 설명합니다. 첫 번째 참가자의 경우 일정 수의 비디오 프레임이 있습니다.

그들 중 일부는 실제 실험 작업 전후입니다. 실험자가 아이 트래커를 보정하는 첫 번째 프레임과 같습니다. 마찬가지로 다른 참가자의 경우 동일한 종류의 데이터가 있습니다.

여기에 표시되지 않지만 비디오의 각 프레임은 각 참가자의 시선을 나타내는 x 및 y 좌표와도 연결됩니다. 데이터를 동기화하려면 실험 작업 전후의 컴퓨터 화면에 fiducial 마커를 간략하게 표시합니다. 컴퓨터 비전 알고리즘을 사용하여 이 마커가 각 참가자에게 표시되는 시기를 감지하여 데이터를 잘라내고 정렬할 수 있습니다.

따라서 이것은 데이터 동기화 문제를 처리하는 한 가지 방법입니다. 다음 부분에서는 두 번째 문제:데이터를 공간적으로 동기화하는 방법을 살펴보겠습니다. 앞에서 언급했듯이, 데이터는 각 참가자의 시선 위치와 관련된 비디오 피드 형태로 각 아이 트래커에서 나오는 것입니다.

x와 y 좌표는 두 참가자 모두에게 동일할 수 있지만 두 가지 관점에서 화면을 보고 있기 때문에 동일한 장소를 보고 있다는 의미는 아닙니다. 이 문제를 해결하는 한 가지 방법은 참조 역할을 할 실험 용 설정의 이미지를 구축하고 각 참가자의 사례의 위치를 다시 매핑하는 것입니다. 이를 통해 참가자가 같은 장소를 동시에 보고 있는 경우 아이트래킹 비디오의 각 프레임을 감지할 수 있습니다.

그러나 이러한 좌표를 왼쪽 이미지로 어떻게 다시 매핑할 수 있을까요? 우리는 우리가 이전에 데이터를 동기화 할 수 있도록 동일한 협동 비전 알고리즘을 사용할 것입니다. 이제 비디오 녹화의 각 프레임에 적용하여 참가자의 관점에서 fiducial 마커의 위치를 감지할 수 있습니다.

이를 통해 왼쪽의 참조 이미지에서 동일한 마커를 연결할 수 있습니다. 이 공유 된 포인트 세트의 좌표를 알면 homography로 알려진 수학적 작업을 사용하여 각 사람의 시선위치를 추론 할 수 있습니다. 각 프레임에 이 절차를 적용하여 비디오를 생성하여 호모그래피가 작동하는지 확인할 수 있습니다.

오른쪽에는 파란색과 녹색으로 시선의 위치와 각 참가자의 비디오 녹화를 볼 수 있습니다. 동일한 수탁 마커는 왼쪽이미지와 오른쪽의 참가자의 관점 사이의 흰색 선으로 연결됩니다. 왼쪽에 잔향한 시선이 표시되고 공동 시각적 주의가 있을 때 빨간색으로 바뀝니다.

이 비디오를 생성하는 것은 데이터가 깨끗하고 호모그래피가 올바르게 수행되었는지 확인하는 중요한 단계입니다. 또한, 정신을 위해 생성될 수 있는 두 가지 다른 시각화가 데이터를 확인합니다. 첫 번째 시각화는 열 맵입니다.

각 참가자에 대해 실험 설정 이미지에 각 시선 점을 플롯할 수 있습니다. 이를 통해 호모그래피가 올바르게 작동하고 이러한 사례 포인트를 다양한 관심사 영역으로 분류할 수 있습니다. 예를 들어, 대부분의 시간이 컴퓨터 화면을 보는 데 쓰였고 치트 시트를 보는 데 거의 시간이 걸리지 않았다는 것을 알 수 있습니다.

두 번째 시각화를 교차 되풀이 그래프라고 합니다. 교차 되풀이 그래프를 통해 참가자 한 쌍을 위한 아이트래킹 데이터를 시각화할 수 있습니다. 첫 번째 참가자의 시간은 x축에 표시되며 두 번째 참가자의 시간이 y축에 표시됩니다.

검은 색 사각형은 두 참가자가 같은 장소를 보고 있고 흰색 사각형은 누락 된 데이터를 나타내고 참가자가 다른 위치를 볼 때 회색 사각형을 나타냅니다. 대각선을 따라 검은 사각형은 그들이 동시에 같은 장소를보고 있다는 것을 의미한다. 대각선에서 검은 사각형 참가자는 같은 장소를 보고 있지만 다른 시간에 의미 합니다.

왼쪽에서 높은 수준의 관절 시각적 주의가있는 dyad를 볼 수 있습니다. 중간에, 관절 시각적 주의의 낮은 수준의 다이드. 오른쪽에는 데이터가 누락된 그룹이 많이 있습니다.

이 정신 검사를 수행하면 데이터를 실험 설정의 공통 이미지로 올바르게 동기화하고 리밍했는지 확인할 수 있습니다. 이러한 단계는 중요하며 분석이 이루어지기 전에 수행해야 합니다. 마지막으로, 공동 시각적 주의의 측정을 계산하기 전에 선택해야 두 개의 매개 변수가 있습니다.

첫 번째 매개 변수는 참가자가 동일한 위치를 볼 수 있는 시간 창입니다. 리처드슨과 데일의 이전 작품은 참가자들이 파트너가 하는 일에 주의를 기울이기 위해 무엇을 하고 있는지에서 벗어나는 데 최대 2초가 걸릴 수 있음을 확립했습니다. 따라서, 우리는 두 참가자가 플러스와 마이너스 두 번째 창 내에서 같은 장소를 보았다면 공동 시각적주의가 있다고 결정했다.

두 번째 매개 변수는 두 시선 점 사이의 최소 거리로 공동 시각적 주의로 간주됩니다. 이 거리는 상황에 따라 다르며 관리되는 작업 및 연구 질문에 따라 연구원에 의해 정의되어야 합니다. 일부 작업의 경우 거리가 짧을 수 있습니다.

예를 들어 100픽셀을 사용했습니다. 다른 작업의 경우 이 거리가 더 클 수 있습니다. 다음으로, 나는이 방법론을 사용하여 발견 된 몇 가지 결과를 발표 할 것입니다.

그룹의 공동 시각적 관심 의 양에 대한 견적을 받은 후 이 측정값을 다른 관심 변수와 상호 연관시킬 수 있습니다. 예를 들어, 작업에서 우리는 협력의 그룹 품질을 캡처 학습 과학으로 개발 된 등급 계획과이 측정을 상관. 각 그룹에 대해 여기에 제시된 9가지 치수에 점수를 할당했습니다.

예를 들어, 사람들이 상호 이해를 얼마나 잘 유지했는지, 또는 얼마나 쉽게 합의에 도달했는지예를 들어. 이러한 점수는 다른 할당량과 허용 가능한 상호 신뢰성을 받아야 합니다. 마지막으로 이러한 점수를 각 그룹의 공동 작업 품질을 근사화하는 하나의 일반적인 메트릭으로 집계할 수도 있습니다.

우리의 작품뿐만 아니라 다른 연구에서 발견 된 결과는 관절 시각적 주의가 이전에 제시 된 등급 체계에 의해 측정 된 협력 품질과 크게 상관 관계가 있다는 것입니다. 이 코딩 체계를 사용하여 높은 평가를 받은 그룹은 낮은 점수를 받은 그룹보다 공동 시각적 주의가 더 많은 경향이 있습니다. 이것은 생산적인 상호 작용이 수시로 더 합동 적인 시각적 주의와 연관된다는 것을 보여줍니다.

다음 슬라이드에서 이 결과를 기반으로 하는 또 다른 결과를 보여 드리겠습니다. 따라서 미세한 아이트래킹 데이터를 갖는 한 가지 장점은 관절 시각적 주의의 다른 측정값을 추출할 수 있다는 것입니다. 예를 들어, 공동 시각적 주의의 제안에 시작하고 응답 한 사람을 계산할 수 있습니다.

특히, 이 그래프의 x축에서 0의 점수는 이러한 동작의 동등한 분포를 의미하며 한 사람의 점수는 한 사람이 항상 시각적 주의에 참여하는 순간을 응답하거나 시동하고 있음을 의미합니다. 이 연구에서는 사전 및 사후 테스트로 측정된 y축에 표시된 학습 이득과 역상관관계를 발견했습니다. 같은 사람이 지속적으로 개시하거나 공동 시각적 관심의 순간에 응답한 그룹은 배울 가능성이 적었고, 이 책임이 동등하게 공유된 그룹은 사전 테스트에서 점수를 제어할 때 사후 테스트에서 더 높은 점수를 받을 가능성이 더 높았습니다.

이 비디오에서 저는 연구원들이 모바일 아이트래킹 데이터를 시간적으로 그리고 공간적으로 동기화하는 데 도움이 되는 방법론을 발표했습니다. 연구 결과에 따르면 이중 아이트래킹 데이터는 공동 시각적 주의의 측정값을 계산하여 협업 지표를 제공할 수 있습니다. 또한, 나는 우리가 공동 주의의 간단한 측정을 넘어 갈 수 있다는 것을 보여주는 결과를 제시했습니다, 예를 들어, 누가 시작하거나 공동 시각적 인 관심의 에피소드에 응답보고.

우리는이 측정이 학습 이익과 같은 다른 결과 측정과 관련이 있음을 발견했습니다. 아이트래킹 데이터 없이는 이러한 종류의 측정을 계산할 수 없습니다. 요약하자면, 이 비디오에 제시된 방법론이 연구자들이 협업 프로세스에 대한 새로운 통찰력을 얻는 데 도움이 될 수 있다는 것을 발견했습니다.

이 비디오를 시청해 주셔서 대단히 감사드리며 자세한 내용은 종이를 참조해 주시기 바랍니다.