도시 공원 환경에서 산책 비디오를 무료로 볼 수 있는 비디오 콘텐츠 분석과 눈 추적 데이터 결합

많은 아이트래킹 연구는 복잡한 비디오 자극과 실제 설정에 의존하여 데이터를 매우 복잡하게 분석합니다. 이 분석 기술을 사용하면 현재 사용 가능한 방법보다 비디오 기반 데이터를 분석하는 훨씬 더 풍부하고 자동화된 접근 방식을 통해 더 복잡한 데이터를 더 풍부하게 추출할 수 있습니다. 이 방법은 특히 실제 상황에서 또는 자극으로 비디오를 사용하는 많은 다른 아이 트래킹 응용 프로그램에서 사용할 수 있습니다.

조경 연구는 사람들이 다른 시각적 자극에 어떻게 반응하는지 이해하는 데 의존했습니다. 아이 트래킹과 결합된 이 기술은 이러한 가정을 테스트하는 데 사용될 수 있습니다. 이러한 유형의 연구의 경우 높은 수준의 입력과 고려가 필요한 여러 측면이 있는 경우 팀 접근 방식이 필수적입니다.

저와 함께 절차를 시연하는 것은 제 대학원생 앤드류 트렐러가 될 것입니다. 필름 시퀀스는 자연광을 사용할 수 있지만 가능한 한 큰 화면에서 화면반사를 피하기 위해 제어할 수 있는 아이트래킹 실험실에서 보여져야 하며, 이를 통해 시야 외부의 산만함을 피해야 한다. 참가자가 화면에서 60-65센티미터 떨어진 곳에 앉은 후, 참가자가 아이트래킹 비디오의 맥락에서 상상할 수 있는 문장을 사용하여 복원이 필요하다고 상상해 보십시오.

그런 다음 데스크톱 아이트래킹 장치를 사용하여 참가자의 눈 움직임을 각 비디오 에서 기록하기 위해 미리 정해진 무작위 순서로 참가자의 영화를 재생합니다. 관심 영역을 설계하려면 나무, 관목, 표지판, 건물, 경로, 계단 과 같은 연구에 관심이있는 항목을 선택합니다. 최적의 성능과 최소한의 교육 요구 사항을 위해 육안으로 시각적으로 쉽게 구별할 수 있는 요소 및/또는 각 비디오 프레임의 다른 영역을 일관되게 차지합니다.

일반적으로 각 AOI의 차이를 시각적으로 구별하는 충분한 교육 예제를 포함하면 강력한 성능에 충분해야 합니다. 모든 항목이 수정되면 적절한 수의 교육 프레임을 선택하여 교육 세트를 구성합니다. 적절한 고정 번호가 없습니다.

그런 다음 이미지 편집 소프트웨어의 비디오에서 각 학습 프레임을 열고 각 프레임에 대해 로드된 이미지에 투명한 이미지 레이어를 오버레이하여 레이블을 지정하고 지정된 각 개체 클래스에 대해 하나의 색상을 제공하는 색상 팔레트를 만듭니다. 관심 있는 샘플 영역에 대한 색상을 선택하려면 적절한 팔레트 선택과 함께 샘플 영역에서 색상으로 영역 내에서 픽셀을 클릭하고 드래그합니다. 프레임의 레이블이 완료되면 기본 파일 이름이 원래 프레임 기본 파일 이름과 일치하지만 끝에 추가된 C를 사용하여 처리하는 별도의 이미지 파일로 오버레이 레이어를 내보냅니다.

숙련된 분류자의 정확도를 정량적으로 검증하려면 학습 세트에 포함되지 않은 원래 비디오 시퀀스의 프레임을 선택하고 가능한 한 정확하고 포괄적인 교육 프레임에 대해 설명된 대로 각 프레임의 픽셀에 레이블을 지정합니다. 프레임 의 레이블이 완료되면 교육과 동일한 명명 규칙을 사용하여 파일을 별도의 유효성 검사 프레임 폴더에 저장합니다. 비디오 시퀀스의 자동 픽셀 라벨링을 위해 다윈 그래픽 사용자 인터페이스를 실행하고 로드 교육 레이블을 클릭합니다.

교육 및 레이블링을 위해 GUI를 구성하려면 프로젝트를 선택하고 팝업 대화 상자를 사용하여 프로젝트에 이름을 제공합니다. 팝업 창에서 비디오 시퀀스의 원래 프레임이 모두 포함된 폴더를 선택합니다. 팝업 파일 탐색기 대화 상자를 사용하여 관련 비디오 시퀀스에 대해 레이블이 지정된 교육 이미지가 포함된 폴더를 선택합니다.

파일 탐색기 대화 상자에서 관련 비디오 시퀀스에 대해 레이블이 지정된 모든 유효성 검사 이미지가 포함된 폴더를 선택합니다. 프롬프트를 따라 트레이닝에 사용된 것과 동일한 색상 팔레트를 사용하여 레이블이 지정된 이미지 의 형태로 표시될 모든 출력 프레임에 대한 대상 폴더를 선택합니다. 관심 영역 아래에 있는 팝업 대화 상자를 사용하여 관심 영역을 입력하여 교육 예제에서 각 영역을 표시하는 데 사용되는 빨간색/녹색/파란색 값을 포함하되 레이블을 지정합니다.

알고리즘은 레이블이 지정된 각 교육 프레임을 검사하고 지정된 개체 클래스로 픽셀을 분류하기 위한 모양 모델을 학습합니다. 교육이 완료되면 교육 유효성 검사를 클릭합니다. 파일 탐색기 대화 상자에서 관련 비디오 시퀀스에 대해 레이블이 지정된 모든 유효성 검사 이미지가 포함된 폴더를 선택합니다.

생성된 레이블의 유효성을 검사하려면 시각적 유효성 검사를 클릭합니다. 생성된 각 레이블이 붙은 이미지는 원래 유효성 검사 프레임 옆에 표시됩니다. 정량적 또는 질적 유효성 검사에서 관찰된 정확도가 허용 가능한 수준 이하로 떨어지면 추가 교육 예제를 포함하고 재교육합니다.

분류자 교육 및 유효성 검사 단계가 완료되면 학습된 분류기를 사용하여 비디오 시퀀스의 모든 프레임에 대한 전체 레이블을 시작하려면 추론을 클릭합니다. 라벨링이 완료되면 몇 시간이 걸릴 수 있으므로 출력 찾아보기를 클릭하여 결과 레이블을 확인합니다. 대부분의 아이트래킹 소프트웨어는 히트 맵이 둥근 모양을 보여주는 두 번째 비디오에 비해 첫 번째 비디오에서 비디오의 X 좌표에서 왼쪽과 오른쪽으로 스캔한 참가자를 평균적으로 보여줍니다.

이 백서에 설명된 기계 학습 픽셀 라벨링 기술을 사용하여 자세한 내용을 확인할 수 있습니다. 백분율 고정 시간을 나타내는 이 그래픽 표현은 동영상 진행 중에 경로가 명확하게 표시되는 것을 보여 줍니다. 그러나 아이트래킹 데이터의 이 그림에서 알 수 있듯이 참가자는 이 기능을 주요 지점에서만 살펴보았습니다.

여기에 비디오의 길이에 걸쳐 개체를 볼 때이 대표 연구의 모든 39 참가자의 거주 시간의 요약이 표시됩니다. 이 그래프에서 동일한 거주 시간 데이터는 비디오에서 다른 개체가 차지하는 시간과 공간으로 나뉘었다. 하나의 값은 비디오의 개체 양에 의해 거주 시간을 설명할 수 있음을 나타냅니다.

예를 들어 두 이미지의 하늘과 같이 관련이 적은 객체는 다른 오브젝트보다 상대적으로 적게 조회되었습니다. 가로등및 벤치와 같은 인공 물체는 다른 천연 물체에 비해 더 큰 범위에 거주했습니다. 이러한 종류의 분석은 주의와 눈에 띄는 질문을 조사하기 위해 광범위한 용도를 가질 수 있으며 다양한 연구 영역에 많은 광범위한 응용 프로그램을 가질 수 있습니다.

단편 영화를 시각적 자극으로 사용하는 것이 점점 더 보편화됨에 따라 이 기술이 더 인기를 끌 것으로 기대합니다.