RESEARCH
Peer reviewed scientific video journal
Video encyclopedia of advanced research methods
Visualizing science through experiment videos
EDUCATION
Video textbooks for undergraduate courses
Visual demonstrations of key scientific experiments
BUSINESS
Video textbooks for business education
OTHERS
Interactive video based quizzes for formative assessments
Products
RESEARCH
JoVE Journal
Peer reviewed scientific video journal
JoVE Encyclopedia of Experiments
Video encyclopedia of advanced research methods
EDUCATION
JoVE Core
Video textbooks for undergraduates
JoVE Science Education
Visual demonstrations of key scientific experiments
JoVE Lab Manual
Videos of experiments for undergraduate lab courses
BUSINESS
JoVE Business
Video textbooks for business education
Solutions
Language
ko_KR
Menu
Menu
Menu
Menu
A subscription to JoVE is required to view this content. Sign in or start your free trial.
Research Article
Please note that some of the translations on this page are AI generated. Click here for the English version.
Erratum Notice
Important: There has been an erratum issued for this article. View Erratum Notice
Retraction Notice
The article Assisted Selection of Biomarkers by Linear Discriminant Analysis Effect Size (LEfSe) in Microbiome Data (10.3791/61715) has been retracted by the journal upon the authors' request due to a conflict regarding the data and methodology. View Retraction Notice
멀티모달 센서를 사용하는 것은 교육 환경에서 사회적 상호 작용의 역할을 이해하는 유망한 방법입니다. 이 백서는 모바일 아이트래커를 사용하여 공동 배치된 다이드에서 관절 시각적 주의를 포착하는 방법론을 설명합니다.
새로운 기술 발전의 출현으로, 전례없는 정확도로 마이크로 레벨에서 사회적 상호 작용을 연구 할 수 있습니다. 아이 트래커, 전기 피부 활성 팔찌, EEG 밴드 및 모션 센서와 같은 고주파 센서는 밀리초 수준에서 관찰을 제공합니다. 이러한 수준의 정밀도를 통해 연구원은 사회적 상호 작용에 대한 대규모 데이터 집합을 수집할 수 있습니다. 이 백서에서는 여러 아이 트래커가 사회적 상호 작용, 공동 시각 주의(JVA)의 근본적인 구조를 포착하는 방법에 대해 설명합니다. JVA는 발달 심리학자들에 의해 아이들이 언어를 습득하는 방법을 이해하고, 소규모 학습자 그룹이 어떻게 함께 작동하는지 이해하기 위해 과학자를 배우고, 사회 과학자들은 소규모 팀의 상호 작용을 이해하기 위해 연구되었습니다. 이 백서에서는 모바일 아이트래커를 사용하여 공동 배치된 설정에서 JVA를 캡처하는 방법을 설명합니다. 그것은 몇몇 경험적인 결과를 제출하고 사회적인 상호 작용을 이해하기 위하여 현미경 관측을 붙잡기의 연루를 토론합니다.
JVA는 지난 세기 동안 광범위하게 연구되어 왔으며, 특히 언어 습득을 연구하는 발달 심리학자에 의해 연구되었습니다. 공동주의는 단순히 단어를 배우는 방법일 뿐 아니라 아이들의 마음 이론의 선구자라는 것이 빠르게 확립되었습니다1. 따라서, 그것은 다른 사람들과 의사 소통, 협력, 공감 개발 과 같은 많은 사회적 과정에서 중요한 역할을한다. 자폐증 어린이, 예를 들어, 중요한 사회적 장애와 관련된 자신의 간병인과 시각적 인 주의를 조정 할 수있는 능력이 부족2. 인간은 사회의 기능적 구성원이 되고, 행동을 조정하고, 다른 사람들로부터 배우기 위해 공동의 주의가 필요합니다. 첫 마디를 습득하는 아이들, 교사로부터 배우는 청소년, 프로젝트에 협력하는 학생, 공동 목표를 향해 노력하는 성인 그룹에 이르기까지 공동 주의는 개인 간의 공통점을 확립하는 기본메커니즘입니다 3. 이 논문에서는 교육 연구에서 JVA의 연구에 중점을 둡니다. 시간이 지남에 따라 공동 주의가 어떻게 전개되는지 이해하는 것은 공동 학습 프로세스의 연구에 가장 중요합니다. 이와 같이, 그것은 사회 건설주의 설정에서 지배적 인 역할을한다.
공동 관심의 정확한 정의는 여전히 논의4. 이 백서는 공동 주의 (JA) 즉 JVA의 하위 구조와 관련이 있습니다. JVA는 두 과목이 동시에 같은 장소를 보고 있을 때 발생합니다. JVA는 JA의 연구에서 관심있는 다른 중요한 구성에 대한 정보를 제공하지 않는다는 점에 유의해야한다, 이러한 공통 모니터링 등, 상호, 공유 주의, 또는 더 일반적으로, 다른 그룹 구성원의 인식의 인식. 이 백서는 두 참가자의 아이트래킹 데이터를 결합하고 시선을 정렬하는 빈도를 분석하여 JVA를 운영하고 단순화합니다. 보다 포괄적인 토론을 위해 관심 있는 독자는 시포소바엣 al.4.
지난 10년 동안 기술 발전은 JVA에 대한 연구를 근본적으로 변화시켰습니다. 주요 패러다임 변화는 실험실이나 생태 환경에서 비디오 녹화를 정성적으로 분석하는 것과 는 달리 여러 개의 아이 트래커를 사용하여 주의력 정렬의 정량적 측정값을 얻는 것이었습니다. 이 발달은 연구원이 dyads의 시각적 조정에 관하여 정밀하고 상세한 정보를 수집하는 것을 허용했습니다. 또한, 아이 트래커는 더 저렴해지고 있다: 최근까지, 그들의 사용은 학술 설정 또는 대기업에 예약되었다. 이제 신뢰할 수 있는 데이터 세트를 생성하는 저렴한 아이 트래커를 구입할 수 있습니다. 마지막으로, 하이 엔드 노트북 및 가상 및 증강 현실 헤드셋과 같은 기존 장치에 시선 추적 기능이 점진적으로 포함되면 아이 트래킹이 곧 유비쿼터스가 될 것임을 시사합니다.
아이트래킹 기기가 대중화되기 때문에 사회적 상호 작용에 대해 알려줄 수 있는 것과 말할 수 없는 것을 이해하는 것이 중요합니다. 이 백서에 제시된 방법론은 이 방향의 첫 번째 단계를 표시합니다. 여러 아이 트래커에서 JVA를 캡처하는 데 따르는 두 가지 과제, 즉 1) 시간적 스케일에서 데이터를 동기화하고 2) 공간 스케일에서 해결합니다. 보다 구체적으로, 이 프로토콜은 실제 환경에 배치된 fiducial 마커를 사용하여 참가자가 시선을 지향하는 컴퓨터 비전 알고리즘을 알려줍니다. 이 새로운 종류의 방법론은 소그룹에서 인간의 행동을 엄격하게 분석할 수 있는 길을 열어줍니다.
이 연구 프로토콜은 하버드 대학의 인간 연구 윤리위원회의 지침을 준수합니다.
1. 참가자 심사
2. 실험 준비
3. 실험 실행
4. 듀얼 아이 트래킹 데이터 전처리
5. 이중 아이트래킹 데이터 분석
위에 제시된 방법론은 물류 직업 훈련 프로그램을 따르는 학생들을 연구하는 데 사용되었다 (n = 54)12. 이 실험에서는 한 쌍의 학생이 소규모 웨어하우스를 시뮬레이션하는 유형 사용자 인터페이스(TUI)와 상호 작용했습니다. TUI에 배치 된 신탁 마커는 연구 팀이 학생들의 시선을 공통 평면에 다시 매핑하고 JVA의 수준을 계산할 수있게했습니다. 연구 결과에 따르면 JVA 수준이 높은 그룹은 자신에게 주어진 작업에서 더 잘 하는 경향이 있고, 더 많이 배웠으며, 더 나은 협업 품질을보였습니다(그림 8,왼쪽). 듀얼 아이 트래킹 데이터 세트를 통해 프리 라이더 효과와 같은 특정 그룹 역학을 캡처할 수 있었습니다. 우리는 JVA의 각 순간을 시작했을 가능성이 있는 사람(즉, 시선이 먼저 있는 사람)과 이에 응답한 사람(즉, 시선이 두 번째로 있는 사람)을 식별하여 이 효과를 추정했습니다. 우리는 학습 이득과 JVA의 제안을 시작하고 응답하는 책임을 동등하게 공유하는 학생들의 경향 사이에 중요한 상관 관계를 발견했습니다. 즉, 같은 사람이 항상 JVA의 순간을 시작한 그룹은 학습 할 가능성이 적었으며(그림 8, 오른쪽) 이 책임이 동등하게 공유된 그룹은 학습 할 가능성이 더 높았습니다. 이 발견은 단순히 JV를 정량화하는 것 이상으로 듀얼 아이트래킹 데이터를 사용하여 그룹 역학과 생산성을 실제로 식별할 수 있음을 보여줍니다.

그림 1: 각 참가자는 각 비디오 프레임에 시선의 X, Y 좌표를 가진 두 개의 비디오 피드를 생성합니다. 이 방법론은 참가자 들 간의 시간적 및 공간적으로 데이터를 동기화하는 것을 다룹니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 두 데이터 집합을 동기화하는 방법론입니다. 활동의 시작과 끝을 태그하기 위해 컴퓨터 화면에 고유한 신탁 마커를 간략하게 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 환경에 전파된 신탁 마커를 사용하여 참가자의 시선을 공통 계획(왼쪽)으로 다시 매핑합니다. 흰색 선은 두 이미지에서 감지된 선마커를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 데이터 품질이 좋지 못한 예입니다. 왼쪽: 갑작스런 머리 움직임으로 인한 아이트래킹 비디오의 흐린 프레임입니다. 이 이미지에서 Fiducial 마커를 검색할 수 없습니다. 오른쪽: fiducial 마커 데이터가 비디오 피드와 제대로 동기화되지 않은 실패한 상모그래피입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 히트맵. 왼쪽: 아이트래킹 데이터의 히트맵이 실험 장면에 다시 매핑되었습니다. 이 비주얼라이제이스는 상모그래피에 대한 정신 검사로 사용되었습니다. 오른쪽: 데이터가 너무 많이 누락되어 삭제해야 하는 그룹입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 6: JVA를 시각화하기 위해 세 개의 다이드에서 생성된 교차 되풀이 그래프입니다. P1은 첫 번째 참가자에 대한 시간을 나타내고, P2는 두 번째 참가자에 대한 시간을 나타낸다. 블랙 스퀘어는 JVA를 보여줍니다; 회색 사각형은 참가자들이 다른 장소를 보고있는 순간을 보여줍니다. 흰색 사각형은 누락된 데이터를 표시합니다. 주 대각선을 따라 정사각형은 참가자가 동시에 같은 장소에서 보았던 순간을 나타냅니다. 이 비주얼라이제이션은 결합된 아이트래킹 데이터에서 JVA의 측정값을 위한 온전성 검사로 사용되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 7: 두 참가자 간에 JVA가 감지된 비디오 프레임(빨간색 점). 리처드슨 외11 JVA를 계산할 때 +/-2의 시간 창을 보는 것이 좋습니다. 또한 연구원은 JVA로 계산하기 위해 두 시선 점 사이의 최소 거리를 정의해야합니다. 위의 중간 이미지에서 반지름 100픽셀이 선택되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 8: 결과의 예. 슈나이더 외12에서 데이터 어디 동시에 같은 장소에서 보고 시간의 백분율 은 참가자의 협력의 품질과 상관 했다: r (24) = 0.460, P = 0.018 (왼쪽) 그리고 JVA의 제안에 응답의 불균형은 그들의 학습 이득과 상관 했다: r (24) = 0.47, 0.47, 0.47. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
저자는 그들이 경쟁 적인 재정적 이익이 없다고 선언합니다.
멀티모달 센서를 사용하는 것은 교육 환경에서 사회적 상호 작용의 역할을 이해하는 유망한 방법입니다. 이 백서는 모바일 아이트래커를 사용하여 공동 배치된 다이드에서 관절 시각적 주의를 포착하는 방법론을 설명합니다.
이 방법론의 개발은 국립 과학 재단 (NSF #0835854), 직업 교육을위한 선도적 인 하우스 기술, 교육, 연구 및 혁신을위한 스위스 국가 사무국, 하버드 교육 대학의 딘 벤처 펀드에 의해 지원되었다.
| Tobii 안경 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, 스위스 | N/A | https://github.com/chili-epfl/chilitags |