Summary
프로토콜의 목적은 실험실에서 사용 하기 위해 비디오 데이터를 수집 하는 방법을 상세히 설명 하는 것입니다. 데이터를 보는 참가자의 눈 추적 데이터를 기록 하는 방법 및 기계 학습 기술을 사용 하 여 보고 있던 비디오의 콘텐츠를 효율적으로 분석 하는 방법.
Abstract
개인이 도시에서 점점 더 살기 때문에 일상의 움직임을 연구 하는 방법과 수집 할 수 있는 데이터는 중요 하 고 가치 있게 됩니다. 눈 추적 정보학은 다양 한 감정, 건강 상태, 정신 상태 및 행동에 연결 하는 것으로 알려져 있습니다. 그러나 비전은 일정 한 안구 운동의 결과 이기 때문에 소음이 복잡 하 고 데이터 집약적 인 것에서 중요 한 것을 괴 롭 히 고 있습니다. 더욱이, 그들에 게 제시 된 것과 비교 하 여 사람들이 보는 것에 대 한 중요 한 도전은 통제 하 고 있습니다.
다음은 비디오의 콘텐츠를 분석 하기 위한 기계 학습 기법을 사용 하 여 자연스럽 고 복잡 한 장면의 비디오에서 눈 추적을 결합 하 고 분석 하는 방법을 제시 합니다. 이 프로토콜에서는 촬영 된 비디오에서 데이터를 분석 하는 방법, 참가자의 눈 추적 데이터를 기록 하는 데 비디오를 가장 잘 사용 하는 방법, 비디오의 콘텐츠를 분석 하 여 눈 추적 데이터와 결합 하는 방법에 대해 중점적으로 설명 합니다. 우리는 결과에 대 한 간략 한 요약과 복잡 한 환경에서의 추가 연구를 위한 방법의 가능성에 대 한 논의를 제시 합니다.
Introduction
도시 환경에 대 한 우리의 일상 생활 경험은 우리의 건강과 복지에 크게 영향을 미칩니다. 우리의 복지는 우리가 보고 경험 하는 녹색 공간의 양에 달려 있습니다1,2,3이 보기는 공원 디자인에 관하여 결정을 안내 하기 위하여 눈 추적 장비를 사용 하 여 정량화 될 수 있습니다. 그러나이 데이터를 생성 하 고 이해 하는 눈 추적 데이터의 양이 문제가 발생 합니다. 실험실 또는 자연 환경에서 시선 데이터를 기록 하는 장비가 사용 하기 쉽고 더 강력해 지 면 연구원은 데이터를 수집 하 고 분석 하 여 의사 결정 질문에 도움을 줄 수 있는 방법을 고려해 야 합니다.
지금까지 눈 추적 연구의 큰 거래는 설문 조사 또는 실험실 설정4에서 사진을 사용 했습니다. 이 방법론은 결과에 대 한 많은 재현성 및 제어를 허용 하지만, 비디오 및 웨어 러 블 모바일 아이 트래커의 사용을 포함 하는 눈 추적 기술의 최신 발전을 활용할 수 없습니다. 또한, 우리는 걷고 휴식의 행동이 특히 길 찾기5와 같은 작업을 향해 배 향 할 때 반드시 역동적 이라고 주장 할 것 이다. 따라서 이러한 설정에 대 한 완전 한 과학적 이해가 실험실 외부에서 진행 되어야 합니다. 그러나, 순간, 실제 자연 환경에서 눈 추적 하는 것은 매우 어려운 과목 사이의 경험을 비교 합니다. 예를 들어, 한 응답자 들이 나무를 다른 것 보다 더 많이 바라보 고 있는지 비교 하기 원한다 면, 우리는 그들의 관점 들이 다른 사람들에 비해 끊임없이 변화 하거나 머리가 바뀔 수도 있다는 사실을 어떻게 통제할 수 있을까. 이 조건의 상세한 분석은 현재 분석 기술에 거의 불가능 합니다. 우리는 연구 중인 개인이 사용할 수 있는 보기 영역을 제어 하는 것이 중요 하다 고 분석에서 어느 시점에서 볼 되 고 총 장면을 고려 할 수 있을 것 이라고 주장 한다.
스트레스 수준과 풍경에 대 한 안전의 인식과 스트레스6,7의 잘 진화 된 측정을 연결 하는 이론의 집합이 있습니다. 시선8을 측정 하는 눈 추적 장비의 정교함도 급격히 증가 했습니다. 무의식적인 안구 운동은 더 확실 하 게 선호도에 연결 될 수 있기 때문에 눈 추적 중요 하다, 스트레스 및 다른 전통적인 측정 보다 설문 조사 및 관입, 타 액 코 티 솔 수준 등의 생리 테스트. 이 연구의 목적은 더 자연 스러운 설정에 적용 되는 눈 추적 데이터의 더 정확한 측정을 가능 하 게 하는 도구를 개발 하는 것입니다,에 대 한 추가 증거를 제공 하거나 공원 디자인에 대 한 정보를 오랫동안 풍경 이론을 반박 십 년간.
이 프로젝트의 목적은 파크 워크 시뮬레이션의 다양 한 비디오에 대 한 관련 눈 추적 데이터를 생성 할 수 있는 새로운 분석 기술을 개발 하 고 테스트 하는 것입니다. 여기에서 보고 된 우리의 작업9 는 완전히 모바일 아이 트래킹 시스템과 위에서 언급 한 실험실 기반 사진 연구의 자연주의 적 설정 사이의 반 방향 지점을 나타냅니다. 특히, 우리는이 재료가 멜 번의 도시에서 다른 공원이 생성 하는 매혹의 양을 테스트 하는 데 사용 될 수 있는 방법을 탐구, 자극 재료로 비디오를 사용 하는 것에 집중 한다. 우리의 작업은 비디오의 상세한 분석이 스트레스에서 복원을 제공 하는 공원의 잠재력에 대 한 풀러, 더 자연주의 적 평가를 착수 하기 전에 위반 하는 데 필요한 단계 라는 가정을 기반으로 합니다.
이 연구에서, 우리는 도시 공원을 통해 산책의 동영상과 바탕 화면 눈 추적기를 사용 하 고 그들이 공원을 통해 편안한 산책을 하 고 있다고 상상 하는 참가자를 물었다. 우리는 참가자 들이 서로 다른 개체를 보는 데 소요 되는 시간을 공원 간에 비교할 수 있는 방법을 설명 합니다. 데스크톱 연구는 일반적으로 모바일 ET 연구와 비교 하 여 제어 하 고 각 주제의 비교 분석을 허용 하는 것이 더 쉽습니다.
표준 눈 추적 소프트웨어는 사용자가 수동으로 각 장면에서 관심 있는 개체 주변에 경계를 그릴 수 있는 수동 관심 영역 도구를 사용 합니다. 이를 통해 참여자 들이 서로 다른 객체를 찾는 데 소요 되는 시간이 자동으로 계산 됩니다. 비디오 데이터의 경우이 프로세스는 노동 집약적 이며 운영자 주관 및 오류에 따라 달라질 수 있습니다. 이후 버전의 아이 트래킹 분석 소프트웨어에서 AOIs는 비디오의 크기가 같을 때 프레임 간에 오브젝트를 자동으로 추적할 수 있습니다. 이것은 개선, 그러나, 이것은 단지 각 이미지에 적은 수의 자극에 사용 하기 위한 것 이며 각 이미지를 확인 하 고 확인 해야 합니다.
이미지에서 개체의 수동 라벨링은 일반적 이며 GNU 이미지 조작 프로그램 (김프)과 같은 이미지 편집 소프트웨어에 의해 지원 됩니다. 1 s는 30 프레임이 나 이미지를 생성 하는 것을 감안할 때, 비디오의 수동 라벨링은 비현실적 이다. 또한, AOI는 나무 캐노피와 같은 복잡 한 물체의 가장자리를 중심으로 벡터 폴리곤을 그려 내는 데 매우 많은 시간이 소요 된다. 마지막으로, 벡터 라벨링을 사용 하 여 시야에 있는 객체의 크기를 계산할 수 있지만이 기능은 현재 사용할 수 없습니다.
아래에서 보고 하는 방법은 이러한 제한 사항을 다룹니다. 이 연구는 개체의 자동 라벨링을 채택 했다. 이는 비디오의 모든 프레임에 있는 모든 픽셀이 객체 클래스를 나타내는 레이블이 지정 되는 시맨틱 라벨링 이라는 이미지 처리 기술을 사용 하 여 가능 합니다. 머신 러닝은 관심 있는 각 객체 클래스에 대 한 픽셀 분류자를 도출 하는 데 사용 됩니다. 이러한 분류자는 각 픽셀 (단항 전위 라고 함)에 대 한 확률적 레이블을 제공 하며, 최종 레이블이 지정 된 출력을 얻기 위해 후속 최적화 프로세스에서 구체화 됩니다. 이러한 분류자는 텍스처, 가장자리 방향 히스토그램, RGB 색상 값 및 정규화 된 이미지 좌표를 포함 하 여 이미지에서 추출한 피쳐 공간에서 각 오브젝트 클래스 간의 통계적 결정 경계를 학습 합니다. 이에 대 한 적절 한 기술은 다윈 기계 학습 도구 상자에서 구현10 그리고 아래에 설명 되어 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 프로젝트에 대 한 윤리적 승인은 호주 가톨릭 대학의 윤리 위원회 승인 번호 #201500036E에 의해 주어졌다. 이를 통해 모든 참여자와 모든 참여자가 자발적으로 동의한 동의를 얻고 참가자 데이터는 익명으로 기밀로 유지 됩니다. 또한 호주 표준 안전 규정을 충족 하는 방법 및 장비로 인해 승인이 주어졌다.
1. 눈 추적 연구에 사용할 수 있는 도시 장면을 촬영
- 짐 벌에 부착 된 고품질 디지털 비디오 카메라를 사용 하 여 시뮬레이션 된 ' 걷기 ' 또는 ' 앉은 ' 비디오를 만들 수 있습니다.
- 25fps로 4k 해상도의 부드러운 유체 움직임으로 필름을 녹화 하 고 1920 x 1080 HD에서 저장 하십시오.
- 이에 익숙하지 않거나 장비에 액세스할 수 없는 경우 전문 촬영 회사를 사용 하 여 디지털 필름을 제작 하십시오.
- 정확 하 게 미리 정의 된 경로와 특성을 가진 모든 비디오에서 하나의 길이로, 하나의 테이크에서 필름을 촬영 합니다.
참고: 비디오 세부 정보 예제: 각 시뮬레이션 된 걷기 필름은 3 분 50 초 이었고, 각 시뮬레이션 된 앉아있는 필름은 1 분 길이 였다. 이 연구에서 두 동영상 모두, 비디오는 경로에 이어지는 짧은 계단 오르기로 시작 했다. 경로 정확히 1 분 30 초에 대 한 다음 카메라 중지 하 고 45-60도 왼쪽으로 패닝 하 고 15 초 동안 중지 했다. 카메라는 3 분 25 초가 될 때까지 걷기 경로를 따라 계속 해 서 15 초 동안 40-70도를 왼쪽으로 이동 하 고, 50 s 마크까지 경로를 따라 계속 하 여 검은색으로 머 금고. - 서로 다른 걷기 궤적 또는 카메라 이동으로 인 한 새로운 시선 데이터를 소개 하지 않는 것과 비교 하 여 필름을 비교할 수 있도록 합니다. 1 개의 필름은 각각의 걷기, 총 2 개를 촬영 하였다.
- 눈의 움직임이 소리에 의해 영향을 받기 때문에 공원 밖의 갑작스런 시끄러운 소음을 방해 하지 않고 같은 길이의 비디오를 걷는 중 하나에서 일반 도시 공원의 파일을 기록 합니다 (예: 자동차 경보). 동영상의 시각적 효과를 분리할 수 있도록 두 동영상의 기존 사운드 트랙 대신 재생할 수 있습니다.
참고: 차량과 다른 물체의 과도 한 움직임은 눈의 움직임에 영향을 미치고 결과를 왜곡 시킬 수 있습니다. 이러한 침입 중 일부가 발생 하면 필름을 참가자에 게 재생할 수 있지만 프레임은 분석에서 제외 해야 할 수 있습니다. - 걷기와 벤치에 앉아있는 등 다양 한 활동에 관심이 있다면 독립적으로 테스트 할 수 있도록 별도의 파일로 앉아서 걷기 장면을 저장 하거나 편집 하십시오.
2. 아이 트래킹 장비의 설정 및 데스크탑 캘리브레이션
- 화면의 반사를 방지 하기 위해 자연광을 배제 할 수 있는 방에 있는 개인에 게 촬영 된 시퀀스를 표시 합니다. 시각적 필드의 많은 점유 하기 위해 가능한 한 큰 화면으로 그들에 게 보여, 따라서 시야 외부에서 산만을 회피. 와이드 스크린 (16:9) PC 모니터 (22 인치)는 화면에서 약 60 cm 떨어진 곳에 수용 가능한 표준입니다.
- 눈 추적 소프트웨어에 내장 된 보정 도구를 사용 하 여 각 참가자의 화면에 대 한 교정을 수행 합니다. 참가자가이의 일환으로 화면 주위를 이동 하는 빨간 공을 보고 5 키 교정 포인트에서 중지 해야 합니다.
- 교정 하는 동안 참가자를 관찰 하 고 그들은 뿐만 아니라 자신의 머리를 이동 하지 않도록 합니다. 화면에 너무 가까이 있고 화면이 매우 크면 문제가 될 수 있습니다. 그에 따라 화면 으로부터의 거리를 조정 합니다.
- 각 필름을 편집 하 여 비디오의 초기 프레임의 왼쪽 위 모서리에 흰색 십자가가 위치 하도록 합니다. 이것은 비디오 편집 소프트웨어를 사용 하 여 수행 할 수 있습니다. 이 화면을 3 초 동안 표시 한 다음 걷기를 시작 합니다. 이는 눈 추적 교정을 확인 하 고 눈 추적 데이터 수집 시간이 개별 프레임 번호와 일치할 수 있도록 하기 위한 것입니다.
3. 모집 및 윤리
- 전문 연구 모집 회사를 사용 하 여 학생 및 교직원의 신체 중에서 현장에서 다른 성별, 연령대 및 직종의 확산을 보장 합니다.
- 알려진 안구 또는 신경학 적 상태 및/또는 부상에 대 한 스크린 참가자. 그들은 눈의 움직임에 영향을 미칠 것으로 알려진 약물을 복용 하는 여부를 요청 해야 합니다 (예: 벤 조 다이아 제 핀).
- 시력 독서 시험과 펜 토치 아이 운동 여행 테스트를 실시 하 여 완벽 한 안구 운동 여행을 보여줍니다.
- 그들의 나이, 성별 및 공원 사용 빈도에 대 한 설문 조사 참가자.
4. 참가자 실험 설정
- 참여자 들에 게 회복이 필요한 자신을 상상해 보게 한다. 그들이 사용 하는 눈 추적 비디오의 맥락을 상상할 수 있는 문장을 사용 하 여: ' 한낮이 고 당신은 멜버른에서 혼자 걷고 있다 상상. 당신은 직장에서 강렬한 농도에서 정신적으로 피곤 하 고 산책을 위해 갈 어딘가를 찾고 있습니다, 앉아서 잠시 동안 휴식, 일을 돌아 가기 전에.
- 참가자 들을 컴퓨터 화면 앞에 60 ~ 65cm의 거리에서 편안 하 게 앉아 영화를 볼 수 있습니다.
- 스프레드시트 프로그램을 사용 하 여 참가자 앞에서 재생 하기 전에 무작위로 필름을 주문 합니다.
- 스피커를 사용 하 여 모든 영화에 동일한 오디오를 재생 합니다.
- 데스크탑 아이 트래킹 시스템을 사용 하 여 참가자 들의 시선 궤도를 기록 합니다. 제조업체의 지침에 따라 데스크톱 눈 추적 장치를 마운트합니다. 이는 테이블의 화면 바로 아래에 있을 수도 있고, 예를 들어 화면 가장자리로 클리핑할 수도 있습니다.
- 120 Hz의 샘플링 속도와 0.50 °의 정확도를 가진 눈 추적 유닛을 사용 하 여 머리를 자유롭게 움직일 수 있게 하 여 자연 스러운 머리 이동 중에 레코딩을 가능 하 게 합니다. 낮은 주파수의 아이 추적기도 허용 됩니다. 57.3의 경우, 1 °의 시각 각도는 화면에서 약 1cm입니다.
- 참가자가 모니터에서 장면을 고화질로 시청할 수 있습니다.
- 아이 트래킹 소프트웨어를 사용 하 여 눈 움직임 기록
- 분석을 위해 원시 눈 샘플 데이터를 변환 하는 고정 필터를 사용 합니다. 주 메뉴에서 도구 ≫ 설정을클릭 합니다. 고정 필터 탭을 선택 합니다. 최상의 필터 유형에 대 한 제조업체 사양에 따라 고정 필터를 선택 하 여 원시 눈 추적 데이터를 수정 사항으로 집계 합니다.
- 여러 영화를 사용 하 여 눈 추적 데이터를 기록 하는 경우 참가자가 요청할 때마다 녹음 세션 사이에 휴식을 제공 합니다.
5. 보이는 공원을 비디오의 인상에 연결 하기
- 참가자 들이 해당 환경에서 휴식과 회복을 할 수 있을 것 이라고 생각 하는지 먼저 1 ~ 10의 척도로 각 공원을 평가 하도록 요청 하 여 사람들이 객체를 조회 한 정도와 동영상의 의견을 비교 합니다 (1 아주 많이, 10, 아주 많이) 그리고 둘째로 얼마나 많은 그들은 공원 (1, 매우, 10, 아주 많이)를 좋아 했다.
- 참가자 들에 게 공원을 이용 하 여 스트레스 (Y/N)를 완화 하거나 해소 하 고, 그들이 바라보 고 있는 공원을 인지 하 고 있는지 (Y/N)를 사용 하 여 사전에 공원과의 관계에 미칠 수 있는 영향을 제어할 것인지 물어본다.
- 참가자의 짧은 답변을 기록 하 여 음성 레코더를 사용 하 여 자신의 노출을 설명 하 고이를 전사 합니다.
6. 관심 영역 추출에 대 한 자동 비디오 분석
- 선택 AOIs
- 나무, 관목, 표지판, 건물, 잔디, 경로, 계단 등을 주차하는 디자이너, 도시 디자이너, 기획자 또는 건축가에 게 관심 있는 항목을 선택 합니다.
- 최적의 성능과 최소한의 교육 요구 사항 (아래에서 설명)을 위해 육안으로 쉽게 구분할 수 있는 요소를 사용 하 고 각 비디오 프레임의 다른 영역을 일관 되 게 점유 합니다. 일반적으로 각 AOI의 시각적으로 구별 되는 차이점을 묘사 하는 충분 한 교육 예는 강력한 성능을 위해 충분 해야 합니다.
- AOI 추출을 위한 훈련 분류기
- 사용할 교육 프레임의 선택, 숫자 및 근거
- 적절 한 수의 교육 프레임을 선택 합니다 (이제 부터는 교육 집합 이라고 함). 적절 한 고정 된 숫자가 없습니다.
참고: 프레임은 비디오 전체에서 각 오브젝트 클래스 (즉, 레이블이 지정 될 오브젝트)의 시각적 모양 범위에 대 한 충분 한 커버리지를 제공 해야 합니다. 예를 들어, 단일 공원 장면을 묘사 하는 15000 프레임 비디오 시퀀스에서 40 프레임은 충분 한 정확도를 달성 하기 위해 발견 되었습니다. 시퀀스에 전체 변형이 포함 되어 있으면 더 많은 프레임이 필요할 수 있습니다. - 학습 프레임을 선택할 때 프레임 내용을 고려 합니다. 여기에는 분류 되는 항목에 대 한 조명, 모양 (예 : 한 가지 유형의 트리만이 아니라 다양 한 나무 유형, 이미지에서의 위치, 조명 방식 등), 텍스처 및 색상이 포함 됩니다.
- 포함할 프레임 수를 고려해 야 합니다. 구체적으로, 시각적 조건의 길이와 변형은 분석 되는 비디오에 걸쳐, 식별 하는 개체 클래스의 수 뿐만 아니라, 그들의 출현 빈도를 나타내 었 다.
- 적절 한 수의 교육 프레임을 선택 합니다 (이제 부터는 교육 집합 이라고 함). 적절 한 고정 된 숫자가 없습니다.
- 교육 프레임에 대 한 수동 픽셀 라벨링
참고: 수동 라벨링 교육 프레임은 관심 있는 객체 클래스와 픽셀을 연결 합니다.- 교육 프레임의 픽셀 라벨링
- 그런 후 이미지 편집 소프트웨어의 비디오에서 각 학습 프레임을 엽니다.
- 비디오의 각 학습 프레임에 대해 로드 된 이미지에 투명 한 이미지 레이어를 오버레이하여 레이블을 지정 하 고 색상표를 작성 하 여 주어진 각 객체 클래스 (예 : AOI)에 대해 하나의 색상을 제공 합니다.
- 색상 팔레트 및 색상을 객체 클래스에 매핑하는 것은 라벨링 프로세스 전체에서 동일 해야 합니다.
- 샘플 AOI의 색상을 선택 합니다.
- 샘플의 색상 영역 AOIs 마우스를 클릭 하 고 드래그 하 여 해당 영역 내의 픽셀을 선택 하 여 적절 한 팔레트 선택을 사용 하 여 "색상".
참고: 큰 개체를 정확 하 게 색칠 할 수 있습니다. 그러나 소수의 픽셀 폭의 좁은/작은 오브젝트의 경우에는 수동 라벨링이 물체의 시각적 모양을 정확 하 게 포착 하도록 주의를 기울여야 합니다. - 프레임의 라벨링이 완료 되 면 오버레이된 레이어를 별도의 이미지 파일로 내보냅니다. 기본 파일 이름이 원래 프레임 기본 파일 이름과 일치 하지만 끝에 "c"가 추가 되었는지 확인 합니다. 예를 들어 원래 프레임 파일 이름이 ' .png ' 일 경우 레이블이 지정 된 레이어 파일명은 "1234c png" 여야 합니다.
- 레이블이 지정 된 모든 이미지가 단일 폴더에 저장 되었는지 확인 합니다.
-
검증 프레임의 픽셀 라벨링
참고: 교육 된 분류자의 정확도를 정량적으로 검증 하려면 레이블이 지정 된 추가 프레임 세트를 생성 해야 합니다.- 트레이닝 세트에 포함 되도록 아직 선택 하지 않은 원본 비디오 시퀀스에서 프레임을 선택 합니다. 5 분짜리 비디오의 경우 20 개 이상의 프레임이 필요 하지만 비디오 시퀀스에서 균일 하 게 샘플링 하 여 충분 한 커버리지를 보장 해야 합니다.
- 교육 프레임 준비 (6.2.2)에 대해 개략적으로 설명한 것과 동일한 절차를 사용 하 여 각 프레임의 픽셀에 레이블을 지정 합니다. 그러나이 시간은 접지 진실 비교로 사용 될 것 이므로 라벨링을 통해 최대한 정확 하 고 포괄적 이어야 합니다.
- 프레임의 라벨링이 완료 되 면 교육과 동일한 명명 규칙을 사용 하지만 파일이 별도의 유효성 검사 프레임 폴더에 저장 되는지 확인 합니다.
- 교육 프레임의 픽셀 라벨링
- 비디오 시퀀스의 자동 픽셀 라벨링
- Http://drwn.anu.edu.au에서 다윈 소프트웨어 라이브러리를 다운로드 하십시오.
참고:이 문서에 설명 된 시스템은 Linux 환경 내에서 구현 되었으므로, 웹 사이트의 지침에 따라 다윈의 Linux 릴리스를 다운로드 하 고 설치 해야 합니다. - 다윈 GUI 런칭
- 다윈 GUI에서 트레이닝 라벨 불러오기를 클릭 합니다.
- 표시 되는 파일 탐색기 대화 상자를 사용 하 여 관련 비디오 시퀀스에 대해 레이블이 지정 된 교육 이미지가 포함 된 폴더를 선택 합니다.
- 비디오 프레임 로드 를 클릭 하 고 6.2.3.2와 동일한 절차에 따라 비디오 시퀀스의 모든 원본 프레임이 포함 된 폴더를 선택 합니다. 각 프레임 파일 이름이 비디오 시퀀스에서 해당 프레임의 수 인 이미지의 폴더 여야 합니다 (예:프레임 1234의 이름은 1234입니다.
- 기차 버튼을 클릭 합니다. 이제 알고리즘은 레이블이 지정 된 각 학습 프레임을 검사 하 고 원하는 특정 개체 클래스로 픽셀을 분류 하기 위한 모양 모델을 학습 합니다.
- Http://drwn.anu.edu.au에서 다윈 소프트웨어 라이브러리를 다운로드 하십시오.
- 학습 된 분류자의 유효성 검사
- 교육이 완료 되 면 교육 확인 버튼을 클릭 합니다.
- 파일 탐색기 대화 상자를 사용 하 여 관련 비디오 시퀀스에 대해 레이블이 지정 된 모든 유효성 검사 이미지를 포함 하는 폴더를 선택 합니다. 이제 학습 된 분류자는 유효성 검사 집합에서 참조 되는 각 프레임의 픽셀을 분류 하는 데 사용 됩니다. 이를 유효성 검사 폴더에 제공 된 지 면 진실 레이블과 비교 합니다.
참고: 완료 되 면 GUI는 전체 유효성 검사 세트에서 뿐만 아니라 유효성 검사 세트의 각 프레임에 대해 올바르게 레이블이 지정 된 픽셀 비율을 포함 하 여 정확도 통계를 표시 합니다. - 생성 된 레이블의 유효성을 시각적으로 확인 하려면 시각적 유효성 검사 단추를 클릭 합니다. 클릭 하면 생성 된 각 레이블이 지정 된 이미지가 원래 유효성 검사 프레임 옆에 표시 됩니다.
참고:이는 개체에서 잘못 된 분류가 발생 하는 위치를 식별 하는 데 유용할 수 있습니다. 예를 들어 육안 검사는 객체 클래스의 특정 부분에서 오류가 일관 되 게 발생 함을 나타낼 수 있으며, 교육 집합에서의 향상 된 라벨링이 필요 하다는 것을 시사 합니다. 또는 검사를 통해 비디오의 특정 시점에만 오류가 발생 하는 것으로 표시 될 수 있으며, 비디오의 해당 기간에 더 많은 교육 예제가 필요 하다는 것을 시사 합니다. - 양적 또는 질적 유효성 검사에서 관찰 된 정확성이 허용 되는 수준 이하로 떨어지면 추가 교육 예제를 포함 합니다. 이 경우 6.2.2의 모든 단계를 반복 하 여 추가 교육 프레임을 포함 하 고 6.2.3의 다음 단계에서 분류자를 다시 학습 한 후 6.2.4에서 다음 단계를 다시 확인 합니다.
- 비디오 픽셀 라벨링
- 분류자 교육 및 검증 단계가 완료 되 면 다윈 GUI의 프레임 라벨 을 클릭 하 여 학습 된 분류자를 사용 하 여 비디오 시퀀스의 모든 프레임에 대 한 전체 라벨링을 시작 합니다.
- 프롬프트에 따라 모든 출력 프레임에 대 한 대상 폴더를 선택 합니다 (교육에 사용 된 것과 동일한 색상표를 사용 하는 레이블이 지정 된 이미지의 형식).
- 사용할 교육 프레임의 선택, 숫자 및 근거
7. 동영상 콘텐츠에 눈 추적 데이터 등록
- 눈 추적 소프트웨어에서 파일 ≫ 내보내기를클릭 합니다 ... 눈 추적 파일을 CSV 파일로 내보냅니다.
- 스프레드시트 프로그램에서 파일을 엽니다.
- 비디오 시퀀스에서 프레임의 왼쪽 상단에 있는 흰색 십자 (2.3 참조)가 사라지는 시간을 식별 합니다. 이 시간을 사용 하 여 눈 추적 결과의 관련 컬럼을 사용 하 여 눈 추적을 식별 하십시오. 이것은 눈 추적 데이터 수집의 시작입니다.
- 눈 추적 데이터에 열을 추가 합니다.
- 이 새 열을 사용 하 여 각 행 또는 눈 추적 데이터 요소에 숫자 1에서 시작 하는 프레임 번호를 지정 합니다.
8. 참가자 들이 동영상에서 다양 한 종류의 객체를 조사한 시간을 표시
참고: 눈 추적 데이터의 거 대 한 크기 때문에, 파이썬 프로그래밍 언어는 더 나은 단계를 통해 8.4에 사용 된다, 데이터 처리 프로그램은 또한 사용 될 수 있지만.
- 포함 된 Python 코드를 사용 하 여 관심 있는 개체와 눈 추적 고정 시간 및 주파수 간의 겹침 양을 계산 합니다.
- 이 데이터를 합산 하 여 참여자 들이 서로 다른 객체를 보는 데 소요 된 시간을 파악 합니다.
- 히스토그램을 사용 하 여 개체가 화면을 차지 하는 총 시간을 표시 합니다.
- 이를 참가자가 서로 다른 개체에서 보았던 총 시간과 비교 합니다.
- 눈 추적 소프트웨어에서 히트 맵을 생성 하려면 체크 박스를 사용 하 여 파크 워크 비디오 중 하나를 클릭 합니다.
- 열 지도 탭을 클릭 합니다.
- ' 카운트 '의 변수 (시간 창에 대 한 총 수정 횟수), ' 절대 지속 시간 ' (누적 된 고정 지속 시간) 및 ' 상대 지속 시간 '을 사용 하 여 원하는 대로 히트 맵의 색상과 기타 기능을 조정 합니다. 장면을 보는 데 걸린 시간으로 나눈 오브젝트).
- 열 지도가 포함 된 이미지나 비디오를 JPEG 파일 또는 비디오 파일로 내보냅니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
그림 1 과 그림 2 는 모든 참가자에 걸쳐 전체 비디오에 대 한 모든 눈 추적 데이터를 가져와 히트 맵을 생성 한 결과를 보여줍니다. 이것은 눈 추적 소프트웨어 패키지에서 사용할 수 있는 표준 접근 방식입니다. 도 1 과 도 2 를 비교 하 여도 1 에서의 비디오의 x 좌표에 대 한 좌측 및 우측에서 스캔 한 평균 참가자 들이 둥근 형상을 나타내는 것을도 2와 비교 하 여 확인할 수 있다. 그림 1 은 그림 2의 공원과 비교 하 여 비디오 전체에 가로 요소가 더 많이 있었기 때문입니다. 열 지도 뒤에 있는 이미지는 단일 프레임이 며 비디오의 전체 내용을 적절 하 게 나타내지 않습니다.
데스크탑 아이 트래킹 시스템 및 소프트웨어는 두 눈을 동시에 찾을 수 있는 결과를 계산 합니다. 즉, 하나 또는 두 눈을 찾을 수 없는 경우 데이터가 손실 된 것으로 간주 됩니다. 우리의 경우 눈 추적 데이터는 > 80%의 시간 동안 캡처 되었습니다.
그림 3 과 그림 4 는 비디오의 내용을 분석 하기 위해 프로토콜을 사용 하 고 기계 학습의 사용 결과를 보여줍니다. 그림 3 은 왕립 공원의 비교적 희소 한 초목에 비해 피 츠로이 정원의 조밀 한 초목을 보여줍니다 (그림 4). 후자에서는 더 많은 하늘이 보이고, 더 많은 장면이 관목 식물에 의해 지배 됩니다. 그림 5 는 참가자 중 하나에 대 한 비디오의 과정에서 다른 개체에% 고정 시간을 보여줍니다. 비디오가 진행 되는 동안 경로가 명확 하 게 표시 되기는 하지만 참가자는이 기능을 가끔씩만 보는 것이 중요 합니다. 마찬가지로, 그림 6 에서 볼 수 있듯이, 로얄 파크의 비디오 콘텐츠의 작은 분 율 인공 개체에 관련 된, 하지만 연구의 참가자는 비교적 큰 정도로 이러한 기능을 검사 합니다.
도 3,도 4,도 5및도 6 에서의 조사 결과는 본 연구에서 사용 된 모든 39 참여자에 대해도 7 및도 8 에 요약 될 수 있다. 그림 7 은 비디오 길이 전체에서 개체를 볼 때 모든 참가자의 체류 시간을 보여 줍니다. 그림 8 은 이러한 동일한 데이터를 비디오에서 차지 하는 시간 및 공간의 양으로 나눈 것입니다. 값 1은 비디오의 개체 양에 따라 드웰 시간이 고려 될 수 있음을 나타냅니다. 그림 7 은 가로등 및 벤치와 같은 인공 물체가 다른 물체 (> 1)에 비해 더 큰 범위에 거주 하 고 있음을 보여줍니다. 그림 7 은 두 이미지의 하늘과 같이 덜 관련성이 있는 개체를 비교적 적게 볼 수 있다는 것을 보여줍니다 (< 1).
그림 1: 공원 중 하나의 전체 비디오에 대해 생성 된 열 지도 예 이것은 대부분의 아이 트랙이 위치한 곳을 보여줍니다. 비디오에서 가로 요소의 지배로 인해 열 지도의 가로 모양을 Note입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 2: 다른 공원의 전체 비디오에 대해 생성 된 열 지도 예 비디오에 세로 및 가로 요소의 존재 때문에 더 둥근 모양 Note. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 3: 피 츠로이 정원 비디오의 콘텐츠 히스토그램 기계 학습 기법을 사용 하 여 분석. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 4: 왕립 공원의 비디오에서 콘텐츠의 히스토그램 기계 학습 기술을 사용 하 여 분석. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 5: 피 츠로이 정원에서 물체를 바라보는 아이 트래킹 고정 시간. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 6: 눈을 추적 하는 것은 로얄 파크의 개체를 보는 데 소요 되는 고정 시간입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 7: 두 공원의 모든 참가자와 개체에 대 한 집계 된 아이 트래킹 지속 시간. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 8: 모든 참가자 및 두 공원의 개체에 대 한 콘텐츠를 기준으로 집계 된 아이 트래킹 지속 시간. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
일반적으로 눈 추적 데이터를 분석 하기 위한 표준 소프트웨어 패키지에서는 벡터 AOI가 사용 됩니다. 단일 스틸 이미지의 경우에도 벡터의 크기를 쉽게 측정할 수 없습니다. 더욱이, 모든 AOIs를 이미지에 포함 하 고 AOIs의 상대적인 금액을 계산 하는 것은 힘든 일 이다. 설명 된 것과 같은 기계 학습 기술을 사용 하지 않고 비디오에서 수동으로이 작업을 수행 하는 것은 거의 불가능 합니다. 이것은 자유로운 보기 상황을 유추 하는 비교적 간단한 문입니다. 훨씬 더 정밀한 시나리오를 사용할 수 있으며 동일한 자극 전에 다른 시나리오 설명이 눈 움직임11에도 영향을 줄 수 있습니다.
우리의 연구는 비디오에서 개체를 정확 하 게 분류 하 고 눈에 보이는 범위를 분석 하는 방법을 사용 했습니다. 이 메서드는 눈 움직임이 관심 있는 개체에 연결 되는 범위를 고려 하는 한 가지 방법을 나타냅니다. 이를 통해 다양 한 피사체의 눈 추적을 모바일 아이 트래킹 디바이스 또는 데스크톱 기반 시스템을 사용할 때 다른 위치와 비교할 때 시야에 관심 있는 물체가 존재 하는 범위를 제어할 수 있습니다. 우리가 사용 하는 기계 학습을 이용 하 여 개체의 자동 분류에 영향을 미칠 수 있는 고려 사항은 분류 되는 것과 관련 된 조명, 모양 (예: 한 가지 유형의 트리만이 아니라 다양 한 트리 유형, 이미지, 조명 방식 등), 텍스처 및 색상. 프레임 수에 대 한 고려 사항에는 분석 중인 비디오에 표시 되는 시각적 조건의 길이와 변형 뿐만 아니라 식별할 개체 클래스의 수와 해당 모양의 빈도가 포함 됩니다. 프레임은 1/25 초 마다 변경 되지만 소프트웨어와의 눈 추적은 1/120에서 발생 합니다 (120 Hz). 이러한 이유로 눈 추적 데이터는 새 프레임이 나타나는 속도의 4.8 배로 수집 됩니다. 완전히 정확 하 게 라벨을 지정 하는 것은 불가능 하지만 프레임의 라벨링은 5 회 마다 변경 되어야 합니다. 예를 들어 99 ~ 101 초 동안 눈 추적 데이터는 비디오의 100 초 프레임으로 간주 되었습니다.
현재 눈 추적 패키지의 중요 한 이점은 사용자가 자신의 눈 추적 고정 및 경로의 필름을 검토 하 고 특정 개체를 보았던 이유를 설명할 수 있도록 설정 된다는 것입니다. 이로 인해 개별 주체가 특정 개체를 보고 있다고 생각 하는 이유를 밝힐 수 있는 질적 데이터 집합이 발생 합니다. 프로젝트의 확장은 또한 그림 8의 정보와 같이 콘텐츠를 기준으로 서로 다른 시간에 개체를 보는 데 소요 된 시간을 표시 하는 것입니다. 그러나 장면의 오브젝트 수를 빠르게 제어 하 여이 작업을 수행 하는 것은 현재 불가능 합니다.
예를 들어, 참가자 들은 기록 된 자신의 시선 경로를 확인 하 고 그들이 특정 개체를 보았다 이유를 설명 하 라는 메시지가 표시 됩니다12. 우리의 경우, 각 영화의 끝에서 참가자는 1-10의 규모에 각 공원을 평가 하 라는 요청을 받았다, 첫째로 그들은 그들이 그 환경에서 휴식을 취할 수 있을 것 이라고 느꼈다 여부 (1, 매우 많이, 10, 아주 많이) 그리고 둘째로 얼마나 많은 그들은 같은 공원 (1, 아주 많이, 10 매우).
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
없음
Acknowledgments
이 작품은 재정적으로 멜버른의 도시와 아크 DP 150103135에 의해 부분적으로 지원 했다. 우리는 그의 조언과 공동 접근법에 대 한 Eamonn 페 네 시에 게 감사 하 고 싶습니다. 또한이 데이터를 수집 하 고 분석 하는 데 도움을 준 연구원 조 수 이자벨 Janecki와이 단 첸에 게 특별 한 감사와 함께. 모든 오류는 저자에 남아 있습니다.
Materials
| Name | Company | Catalog Number | Comments |
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being? International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. aD., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan's Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. Eye Tracking Methodology: Theory and Practice. , 3rd ed, Springer International Publishing. London. (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks? Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. Eye Tracking the User Experience: A Practical Guide to Research. , Rosenfeld, New York. (2013).
