Объединение глаз отслеживания данных с анализом видео-контент от свободного просмотра видео прогулка в городском парке окружающей среды

Summary

Целью протокола является подробное описание того, как собирать видео данные для использования в лабораторных условиях; как записывать данные отслеживания глаз участников, глядя на данные и как эффективно анализировать содержание видео, которые они искали на использование техники машинного обучения.

Abstract

Как люди все чаще живут в городах, методы для изучения их повседневных движений и данных, которые могут быть собраны становится важным и ценным. Глаз отслеживания информатики, как известно, подключиться к целому ряду чувств, состояния здоровья, психических состояний и действий. Но поскольку зрение является результатом постоянного движения глаз, дразнить, что важно от того, что шум является сложным и данных интенсивным. Кроме того, серьезной проблемой является контроль за то, что люди смотрят на по сравнению с тем, что им представлено.

Ниже представлена методология для комбинирования и анализа отслеживания глаз на видео естественной и сложной сцены с техникой машинного обучения для анализа содержимого видео. В протоколе мы фокусируемся на анализе данных из снятых видео, как видео может быть лучше всего использовано для записи отслеживания глаз участников, и, что важно, как содержание видео может быть проанализировано и объединено с данными отслеживания глаз. Мы представляем краткий обзор результатов и обсуждение потенциала метода для дальнейших исследований в сложных средах.

Introduction

Наш ежедневный опыт городской среды значительно влияет на наше здоровье и благополучие. Наше благополучие может зависеть от количества зеленых насаждений, которые мы рассматриваем и опыт^1,2,3, и эти взгляды могут быть количественно использованием глаз отслеживания оборудования для руководства принятия решений о парке дизайна. Тем не менее, возникает проблема с объемом данных отслеживания глаз, который генерируется и делает смысл этих данных. Поскольку оборудование для записи данных взгляда в лаборатории или естественной обстановке становится проще в использовании и более мощным, исследователям необходимо подумать о том, как мы можем собирать и анализировать данные, чтобы помочь с вопросами принятия решений.

До сих пор много глаз отслеживания исследований использовали фотографии в опросе или лабораторных условиях⁴. Хотя эта методология позволяет много воспроизводимость и контроль над результатами, он не в состоянии воспользоваться последними достижениями в глаз отслеживания технологии, которые включают использование видео и носимых мобильных глаз трекеров. Кроме того, мы утверждаем, что акт ходьбы и расслабления обязательно динамичен, особенно когда ориентирован на задачу, такую как wayfinding⁵. Поэтому полное научное понимание этих параметров должно происходить за пределами лаборатории. Тем не менее, на данный момент, глаз отслеживания в реальной жизни натуралистический Настройка делает сравнение опыта между предметами очень трудно. Например, если мы хотим сравнить, смотрит ли один респондент на деревья больше, чем на другой, как мы можем контролировать тот факт, что их точка зрения будет постоянно изменяться по сравнению с другими или что их голова могла бы повораваться. Детальный анализ в этих условиях практически невозможен при нынешних методах анализа. Мы утверждаем, что важно контролировать Просмотр областей, доступных для отдельных изучается и в анализе, чтобы иметь возможность учитывать общую сцену рассматривается в любой момент времени.

Есть множество теорий, связывающих уровень стресса и восприятие безопасности пейзаж взглядов и хорошо развитые меры стресса^6,7. Там также был быстрый рост изощренности глаз отслеживания оборудования для измерения взглядом⁸. Глаз слежения важно, потому что непроизвольные движения глаз может быть более надежно подключен к предпочтения, стресс и другие традиционные меры, чем опросы и интрузивных, физиологические тесты, такие как слюнных уровней кортизола. Цель этого исследования заключается в разработке инструментов, которые позволяют более точного измерения глаз отслеживания данных применительно к более натуралистических параметров, с тем чтобы представить дополнительные доказательства или опровергнуть давние ландшафтных теорий, которые сообщили парк дизайн для Десятилетий.

Цель этого проекта заключается в разработке и тестировании новых методов анализа, которые могут генерировать соответствующие глаза отслеживания данных для различных видео моделирования ходьбы парка. Наша работа сообщила здесь и в других местах⁹ представляет собой точку на полпути между натуралистическим установление полностью мобильной системы отслеживания глаз и лабораторных исследований на основе фото упомянутых выше. В частности, мы концентрируемся на использовании видео в качестве стимула материала, исследуя, как этот материал может быть использован для проверки количества очарование, что различные парки генерировать в городе Мельбурн. Наша работа основана на предположении, что подробный анализ видео является необходимым шагом к нарушению до проведения более полного, более натуралистической оценки потенциала парков обеспечить восстановление от стресса.

В этом исследовании, мы использовали Настольный глаз-трекер с видео прогулок по городским паркам и попросил участников представить, что они принимают расслабляющую прогулку по парку. Мы описываем метод для того, чтобы количество времени, которое участники потратили на поиск различных объектов, было сопоставимо между парками. Исследования на рабочем столе, как правило, легче контролировать по сравнению с мобильными ET исследований и позволяют сравнительный анализ каждого предмета.

Стандартное программное обеспечение для отслеживания глаз использует ручную область инструмента интереса, в которой оператор может вручную нарисовать границы вокруг объектов, представляющих интерес в каждой сцене. Это позволяет количество времени, которое участники потратили на поиск различных объектов, которые будут автоматически подсчитаны. Для видео-данных этот процесс является трудоемким и подвержен субъективности и ошибкам оператора. В более поздних версиях программного обеспечения для отслеживания глаз, ОУА может автоматически отслеживать объекты в рамках, когда они имеют одинаковый размер в видео. Это улучшение, однако, это предназначено только для того, чтобы использоваться для небольшого количества раздражителей в каждом изображении, и каждое изображение должно быть проверено и подтверждено.

Ручная маркировка объектов на изображении является распространенным явлением и поддерживается программным обеспечением для редактирования изображений, таким как GNU программа манипуляции изображений (ХРОМОТА). Учитывая, что 1 s производит 30 кадров или изображений, ручная маркировка видео непрактична. Кроме того, маркировка АОИ, рисуя векторные полигоны по краям сложных объектов, таких как навесы для деревьев, отнимает много времени. Наконец, хотя можно рассчитать размер объектов в поле зрения с использованием векторной маркировки, эта функция в настоящее время недоступна.

Метод, который мы сообщаем ниже, посвящен этим ограничениям. В этом исследовании используется автоматическая маркировка объектов. Это возможно с помощью метода обработки изображений, известного как семантическая маркировка, в которой каждому пикселю в каждом кадре видео присваивается ярлык, указывающий класс объектов. Машинное обучение используется для выведения классификаторов пикселей для каждого класса объектов, представляющих интерес. Эти классификаторы обеспечивают вероятностный ярлык для каждого пикселя (известный как одинарных потенциалов), которые затем уточнены в последующем процессе оптимизации для достижения окончательного маркированного вывода. Эти классификаторы изучают статистические границы решений между классами объектов в пространстве объектов, извлеченных из изображения, включая текстуру, гистограмму передовых ориентаций, значения цвета RGB и нормализованных координат изображения. Соответствующий метод для этого реализован в машине ДАРВИНА инструментарий для обучения¹⁰ и описывается ниже.

Protocol

Этичное утверждение для этого проекта было дано Комитетом Австралийского католического университета этики-утверждением номер #201500036E. Это обеспечило информированное согласие всех участников и участие всех участников добровольно, а данные участников оставались анонимными и конфиденциальными. Кроме того, одобрение было дано из-за метода и оборудования заседании австралийские стандарты безопасности стандартов.

1. съемки Городские сцены, которые могут быть использованы в глаз отслеживания исследования

1. Используйте высококачественную цифровую видеокамеру, прикрепленный к Кардану для создания моделируемого «пешеходного» или «сидячего» видео.
2. Запись фильма с плавными движениями жидкости в разрешении 4K на 25 FPS и сохранить их на 1920 x 1080 HD.
3. Используйте профессиональную съемочная компания для производства цифровых фильмов, если не знакомы с этим или не хватает доступа к оборудованию.
4. Съемка фильма в один взять, на одну длину во всех видео с точными предопределенных маршрутов и характеристик.
   Примечание: пример видео детали: каждый моделируемой ходьбы фильм был 3 мин 50 s долго и каждый моделируемых сидя фильм был 1 минута длиной. Для обоих видео в этом исследовании, видео началось с короткой лестницы подъем, ведущий к пути. Путь последовал за ровно 1 мин 30 с, а затем камера остановилась и приготовлена налево на 45-60 градусов и остановился на 15 секунд. Камера затем продолжала вдоль пешеходной дорожки до 3 мин 25 с меткой, приготовлена левая 40-70 градусов в течение 15 секунд, продолжалась по пути до 3 мин 50 s знак, затем исчез на черный.
5. Убедитесь, что фильмы сопоставимы, другими словами, они не вводят новые данные взгляда из разных траекторий ходьбы или движения камеры. Один фильм был взят из каждой прогулки, два в общей сложности.
6. Как движения глаз, пострадавших от звука, записывать файл общих звуков городского парка от одной из прогулок по той же длины видео без перерывов от внезапного громких звуков за пределами парка (например, Автомобильные сигнализации). Это может быть сыграно вместо существующего саундтрека из обоих видео, так что визуальное воздействие видео может быть изолировано.
   Примечание: чрезмерное перемещение транспортных средств и других объектов может повлиять на движения глаз и исказить результаты. Если некоторые из этих вторжений имеет место, фильм может быть воспроизведен для участников, но кадры, возможно, должны быть исключены из анализа.
7. Если заинтересованы в различных мероприятиях на прогулку, например, ходьба, а затем, сидя на скамейке, сохранить или отредактировать сидя и ходьба сцены, как отдельные файлы, чтобы проверить их самостоятельно.

2. Настройка и калибровка на настольном оборудовании для отслеживания глаз

1. Покажите снятые последовательности отдельным лицам в помещении, где можно исключить естественный свет, чтобы избежать отражения на экране. Покажите им на большом экране, как можно занять столько поле зрения, тем самым избегая отвлечения извне поле зрения. Широкоэкранный (16:9) PC монитор (22 дюйма) с участниками примерно 60 см от экрана является приемлемым стандартом.
2. Выполните калибровку экрана для каждого участника, используя встроенный калибровочный инструмент на программном обеспечении для отслеживания глаз. Требуйте, чтобы участники смотрели на красный шар, движущийся вокруг экрана как часть этого и останавливаясь в 5 ключевых точках калибровки.
3. Во время калибровки наблюдать участников и убедитесь, что они не двигаются головы, а также. Если они слишком близко к экрану и экран очень большой, это может быть проблемой. Соответственно отрегулируйте расстояние от экрана.
4. Редактировать каждый фильм, чтобы иметь белый крест, расположенный в верхнем левом углу ранних кадров видео. Это можно сделать с помощью программного обеспечения для редактирования видео. Покажите этот экран в течение 3 секунд, затем начинайте играть на прогулке. Это необходимо для проверки калибровки глаз и обеспечения того, чтобы время сбора данных с отслеживанием глаз могло быть сопоставлены с отдельными номерами кадров.

3. вербовка и этика

1. Использование профессионального исследования рекрутинга компании для обеспечения распространения различных полов, возрастов и профессий среди образца или набирать на месте из числа студентов и сотрудников органа.
2. Участники экрана для известных глазных или неврологических состояний и/или травм. Они должны быть заданы ли они принимают лекарства, которые, как известно, влияют движения глаз (например , бензодиазепины).
3. Поведение вблизи тесты чтения видения и перо факел движения глаз экскурсия тест, чтобы продемонстрировать, что они имеют полное экскурсии движения глаз.
4. Участники опроса об их возрасте, поле и частоте использования в парке.

4. участник экспериментальная Настройка

1. Попросите участников представить себя нуждающимся в восстановлении. Используйте предложение, которое позволяет им представить контекст видео отслеживания глаз, используемого как: "Представьте себе, что это полдень, и вы гуляете в одиночестве в Мельбурне. Вы морально устали от интенсивной концентрации на работе и ищете где-то пойти на прогулку, сесть и отдохнуть на некоторое время, прежде чем вернуться к работе.
2. Сядьте участникам комфортно перед экраном компьютера на расстоянии 60-65 см для просмотра фильмов.
3. С помощью электронной таблицы программа заказа фильмов случайным перед игрой перед участниками.
4. Используйте динамики для воспроизведения одного и того же звука для всех фильмов.
5. Запишите траекторию взгляда участников с помощью настольной системы отслеживания глаз. Установите Настольный прибор слежения за глазами в соответствии с инструкциями производителя. Это может быть чуть ниже экрана на столе, или он может клип к краю экрана, на вершине, например.
6. Используйте устройство для отслеживания глаз, которое имеет частоту дискретизации 120 Гц и точность 0,50 °, что позволяет большую свободу движений головы, позволяя записывать во время естественных движений головы. Более низкая частота глаз-трекер также приемлемо. На 57,3 см, 1 ° визуального угла приравнивается к ~ 1 см на экране.
7. Разрешить участникам смотреть кадры на мониторе в высоком разрешении.
8. Записывать движения глаз с помощью программного обеспечения для отслеживания глаз
9. Используйте фильтр фиксации для преобразования исходных данных образцов глаз для анализа. Из главного меню нажмите на инструменты ≫ настройки. Выберите вкладку фиксаций фильтров. Выберите фильтр фиксации в соответствии со спецификациями производителя на лучший тип фильтра, чтобы агрегировать необработанные данные отслеживания глаз в фиксацию.
10. При записи данных отслеживания глаз с использованием нескольких пленок, дают перерывы между сессиями записи, когда участники просят его.

5. Подключение просмотров парки к впечатлениям от видео

1. Сравните степень, в которой люди рассматривали объекты и их мнения о видео, попросив участников оценить каждый из парков по шкале от 1 до 10, во-первых, если они считают, что они смогут отдыхать и восстанавливаться в этой среде (1 , не очень много, до 10, очень много) и во-вторых, сколько им понравился парк (1, не очень много, до 10, очень много).
2. Спросите участников, будут ли они использовать парк, чтобы расслабиться или снять напряжение (Y/N) и признали ли они парк, который они искали (Y/N), чтобы контролировать потенциальное воздействие предварительного связи с парком.
3. Запишите короткий ответ ответов от участников, чтобы объяснить свои впечатления с помощью диктофона, а затем записать их.

6. Автоматический видеоанализ для области извлечения процентов

1. Отбор Ауа
   1. Выберите элементы, которые представляют интерес для дизайнеров парка, городские дизайнеры, планировщики и архитекторы, такие, как деревья, кустарники, указатели, здания, газон, дорожки, шаги и т.д.
   2. Для оптимальной производительности и минимальных требований к обучению (далее обсуждаются ниже), используйте элементы, которые легко различимы друг от друга невооруженным глазом, и/или последовательно занимают различные регионы каждой видео кадра. В целом достаточные учебные примеры, изображающие визуально различающие различия в каждой АОИ, должны быть достаточными для надежной работы.
2. Обучающие классификаторы для извлечения АОИ
   1. Отбор обучающих рамок для использования, количество и обоснование
      1. Выберите соответствующее количество обучающих рамок (которые отныне называются Обучанабором). Фиксированный номер не подходит.
         Примечание: кадры должны обеспечивать достаточное освещение диапазона визуального вида каждого класса объектов (т.е. тех объектов, которые будут помечены) на протяжении всего видео. Например, было обнаружено, что 40 кадров из последовательности видео 15 000, изображающих одну парковую сцену, достигают достаточной точности. Если последовательность содержит значительные вариации на протяжении затем больше кадров может потребоваться.
      2. Учитывайте содержание кадра при выборе тренировочных кадров. К ним относятся: освещение, формы в отношении того, что классифицируется (например, не только один тип дерева, но диапазон типов деревьев, их положение в изображении, как они горят, и т.д.), текстуры и цвета.
      3. Рассмотрите также количество кадров для включения. В частности, Длина и изменение визуальных условий выставлены по всему видео анализируется, а также количество классов объектов для идентификации, и частота их появления.
   2. Ручная маркировка пикселей для обучающих кадров
      Примечание: ручная маркировка тренировочных рамок будет ассоциировать Пиксели с классами объектов, представляющих интерес.
      1. Пиксельная маркировка обучающих кадров
         1. В свою очередь, откройте каждый учебный кадр из видео в программном обеспечении для редактирования изображений.
         2. Для каждого учебного кадра из видео, наложения прозрачного слоя изображения на загруженное изображение для маркировки и создания цветовой палитры, обеспечивая один цвет для каждого данного класса объект интерес (например, АОИ).
         3. Убедитесь, что цветовая палитра и отображение цветов для классов объектов одинаковы на протяжении всего процесса маркировки.
         4. Выберите цвет для образца АОИ.
         5. Цвет регионы образца ОИС, выбрав, с кнопкой мыши и перетащить, Пиксели в пределах области, чтобы "цвет в", используя соответствующий выбор палитры.
            Примечание: можно раскрасить крупные объекты неточно. Однако для узких/мелких объектов шириной всего несколько пикселей необходимо позаботиться о том, чтобы ручная маркировка точно улавливает внешний вид объекта.
         6. Как только маркировка кадра завершена, экспортируем накладным слоем в качестве отдельного файла изображения. Убедитесь, что имя базового файла совпадает с исходным именем файла базы кадра, но с "c" приложено к концу. Например, если исходный кадр имя файла был "1234. pnga", то имя файла помечены слой должен быть "1234c. pnga".
         7. Убедитесь, что все помеченные изображения хранятся в одной папке.
      2. Пиксельная маркировка фреймов проверки
         Примечание: чтобы количественно проверить точность подготовленного классификатора, необходимо создать дополнительный набор обозначенных фреймов.
         1. Выберите кадры из оригинальной видеопоследовательности, которая уже не выбрана для включения в учебный набор. Для 5-минутного видео, они не должны быть более чем 20 кадров, но должны быть выбраны равномерно по всей последовательности видео, чтобы обеспечить достаточный охват.
         2. Маркировать Пиксели в каждом кадре, используя ту же процедуру, что и для подготовки кадров (6.2.2). Тем не менее, на этот раз быть максимально точным и всеобъемлющим, насколько это возможно с маркировкой, как это будет использоваться в качестве наземного сравнения истины.
         3. Когда маркировка кадра завершена, используйте ту же Конвенцию именования, что и для обучения, однако убедитесь, что файлы сохраняются в отдельной папке проверки фреймов.
   3. Автоматическая маркировка пикселов видео последовательности
      1. Загрузите библиотеку программного обеспечения ДАРВИНА с http://drwn.anu.edu.au.
         Примечание: система, описанная в этом документе, была реализована в среде Linux, и поэтому релиз Linux ДАРВИНА должен быть загружен и установлен, следуя инструкциям веб-сайта.
      2. Запустите графический интерфейс Дарвина
      3. В GUI Дарвина, нажмите на нагрузку обучение этикетки.
      4. С помощью файла Explorer диалоговое окно, которое появляется, выберите папку, содержащую помечены обучающие изображения для соответствующей последовательности видео.
      5. Нажмите на нагрузку видео кадры и следуйте той же процедуре, 6.2.3.2, чтобы выбрать папку, содержащую все оригинальные кадры из видео последовательности. Это должно быть папка изображений, в которой каждый кадр имя файла это число, что кадр в видео последовательности (например, кадр 1234 будет называться 1234.)
      6. Щелкните кнопку поезда . Теперь алгоритм будет изучать каждую обозначенный учебный кадр и изучать модель внешнего вида для классификации пикселей в любой из указанных классов объектов, представляющих интерес.
   4. Проверка квалифицированного классификатора
      1. Как только тренировка завершена, щелкните проверку кнопки тренировки .
      2. С помощью файлового диалоговое окно, выберите папку, содержащую все помеченные проверки изображений для соответствующей последовательности видео. Подготовленный классификатор теперь будет использоваться для классификации пикселей в каждом из фреймов, упомянутых в наборе проверки. Сравните это с наклейками на земле, которые предоставляются в папке проверки.
         Примечание: после завершения, GUI будет отображать статистику точности, в том числе процент пикселей правильно помечены для каждого кадра в наборе валидации, а также во всем наборе проверки.
      3. Чтобы визуально проверить сгенерированные метки, щелкните визуальную кнопку проверки . Если нажата, каждый сгенерированный помеченный образ отображается рядом с оригиналом проверки кадра.
         Примечание: это может быть поучительно в определении, где неправильного классификации происходят на объекте. Например, визуальный осмотр может указывать на то, что ошибки последовательно происходят в определенной части класса объектов, предполагая, что требуется улучшенная маркировка в обучающихся наборе. Кроме того, инспекция может показать, что ошибки происходят только в конкретный момент времени в видео, предлагая больше учебных примеров требуется от этого периода времени в видео.
      4. Если точность, наблюдаемое при количественной или качественной проверке, опускается ниже приемлемого уровня, то можно привести дальнейшие примеры обучения. В этом случае повторите все шаги от 6.2.2, чтобы включить дополнительные учебные кадры, повторно обучить классификатор следующие шаги в 6.2.3, и повторно проверить следующие шаги в 6.2.4.
   5. Маркировка видео пикселей
      1. После завершения этапа подготовки классификатора и стадии валидации щелкните фреймы метки на GUI Дарвина, чтобы начать полную маркировку всех кадров в последовательности видео с помощью обученным классификатора.
      2. Следуйте строке, чтобы выбрать папку назначения для всех выходных рамок, которые будут в виде маркированные изображения, используя ту же цветовую палитру, как используется в обучении.

7. Регистрация глаз отслеживания данных в видео содержание

1. В глаз отслеживания программного обеспечения нажмите на файл ≫ экспорт... Экспортировать файл отслеживания глаз в качестве файла СБВ.
2. Откройте файл в программе электронных таблиц.
3. Из видео последовательности определить время, при котором белый крест на верхней левой руке кадра (см. 2,3) исчезает. Используйте это время для идентификации отслеживания глаз с помощью соответствующей колонки в результате отслеживания глаз. Это начало сбора данных для отслеживания глаз.
4. Добавление столбца к данным отслеживания глаз.
5. С помощью этой новой колонки метка каждой строки или отслеживания глаз точки с номером кадра, начиная с номером 1.

8. Отображение количества времени, которое участники рассмотрели различные классы объектов в видео

Примечание: из-за огромного размера данных отслеживания глаз, язык программирования Python лучше использовать для шагов до 8,4, хотя программа обработки данных также может быть использована.

1. Используя включенный код Python, Вычислите размер перекрытия между объектами интереса и временем фиксации и частотой отслеживания глаз.
2. Сумма этих данных, чтобы понять количество времени, которое участники потратили глядя на различные объекты.
3. Используйте гистограмму, чтобы показать общее количество времени, которое объекты заняли на экране.
4. Сравните это с общим количеством времени, которое участники посмотрели на различные объекты.
5. Для получения тепловой карты в глаз отслеживания программного обеспечения нажмите на один из парка ходить видео с помощью галочку поле.
6. Щелкните на вкладке «карта тепла» .
7. Отрегулируйте цвет и другие характеристики тепловой карты по желанию с помощью переменных "Граф" (общее количество фиксаций, сделанных над временной витриной), "абсолютная длительность" (накопленная длительность фиксации) и "относительная длительность" (количество времени, затрачиваемые на поиск Объект разделен на количество времени, затрачиваенного глядя на сцену).
8. Экспортировать изображение или видео, которое включает тепловую карту в виде файла JPEG или видео файла.

Representative Results

На рисунке 1 и рисунке 2 показано результат принятия всех данных отслеживания глаз для всего видео по всем участникам и получения тепловой карты; Это стандартный подход, доступный в пакеты программного обеспечения для отслеживания глаз. Сравнивая фигуру 1 и Рисунок 2 можно определить, что в среднем участники отсканированных влево и вправо на х координат видео на рисунке 1 по сравнению с фигурой 2, который показывает круглее формы. Это потому, что цифра 1 больше горизонтальных элементов по всему видео по сравнению с парком на рисунке 2. Изображение за тепловой картой представляет собой единый кадр и не адекватно представляет полное содержание видео.

Настольная система отслеживания глаз и программного обеспечения только подсчитывает результаты, где оба глаза могут быть расположены в то же время. Другими словами, если один или оба глаза не могут быть расположены, данные считаются потерянно. В нашем случае данные отслеживания глаз были захвачены в течение > 80% времени.

Рисунок 3 и Рисунок 4 показывают результат использования протокола и использования машинного обучения для анализа содержимого видео. На рисунке 3 показана плотная растительность Фицрой Гарденс по сравнению с относительно редкой растительностью Королевского парка (рис. 4). В последнем, больше неба видно, больше сцен доминируют кустарник растительности. На рисунке 5 показано время фиксации на различных объектах в течение видео для одного из участников. Это показывает, что, хотя путь хорошо виден в ходе видео, участник только смотрит на эту функцию иногда, но в ключевых моментах. Аналогичным образом, как показано на рисунке 6 , хотя незначительная часть содержимого видео в Королевском парке относится к искусственным объектам, участник исследования исследует эти особенности в сравнительно большой степени.

Выводы на рисунке3, рисунке 4, рисунке 5и рисунке 6 могут быть обобщены на рисунке 7 и на рисунке 8 для всех 39 участников, данные которых использовались в данном исследовании. На рисунке 7 показано время для всех участников при взгляде на объекты по всей длине видео. На рисунке 8 показаны те же данные, разделенные количеством времени и пространства, которые эти различные объекты занимали в видео. Значение 1 указывает на то, что время пребывать может быть учтено количеством объекта в видео. На рисунке 7 показано, что искусственные объекты, такие как уличные фонари и скамейки, находятся в большей степени по сравнению с другими объектами (> 1). Рисунок 7 также показывает, что объекты, которые были менее актуальны, такие как небо в обоих изображениях, рассматривались сравнительно реже (< 1).

Рисунок 1: пример тепловой карты, которая производится для всего видео одного из парков. Это показывает, где большинство из глаз треков были расположены. Обратите внимание на горизонтальную форму карты тепла из-за доминирования горизонтальных элементов в видео. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 2: пример тепловой карты, которая производится для всего видео еще одного из парков. Обратите внимание на более округлую форму из-за наличия вертикальных и горизонтальных элементов в видео. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 3: гистограмма содержания в видео Фицрой Гарденс проанализированы с помощью техники машинного обучения. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 4: гистограмма контента в видео Королевского парка проанализирована с использованием техники машинного обучения. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 5: отслеживание глаз фиксации время, проведенное глядя на объекты в Фицрой-Гарденс. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 6: отслеживание глаз фиксации время, проведенное глядя на объекты в Королевском парке. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 7: агрегированные отслеживания глаз жить раз для всех участников и объектов для обоих парков. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Рисунок 8: агрегированные отслеживания глаз жить раз по отношению к содержанию для всех участников и объектов для обоих парков. Пожалуйста, нажмите здесь, чтобы посмотреть увеличенном варианте этой фигуры.

Discussion

Как правило, в стандартных программных пакетов для анализа глаз отслеживания данных, вектор АОИ используется. Даже для одного неподвиже изображения, размер вектора не может быть легко измерена. Кроме того, в том числе все ОУА в изображении и расчета относительных количеств ОИС является трудоемким. Это почти невозможно сделать вручную на видео без техники машинного обучения, таких как описанный. Это было относительно простое утверждение, которое выводит свободную ситуацию просмотра. Гораздо более точный сценарий может быть использован и различные описания сценария, прежде чем тот же стимул может также повлиять на движения глаз¹¹.

Наши исследования использовали метод для точного классификации объектов в видео и анализа степени, в которой они были видны для глаз. Метод представляет собой одно из средств учета того, в какой степени движения глаз связаны с объектами, имеющими интерес. Это позволяет степень, в которой объекты интереса присутствуют в поле зрения, которое будет контролироваться при сравнении отслеживания глаз от различных субъектов с мобильным устройством отслеживания глаз, или различных местах при использовании настольной системы. Соображения, которые могут повлиять на автоматическую классификацию объектов с использованием машинного обучения, включают освещение, формы в отношении того, что классифицируется (например , не только один тип дерева, но и ряд типов деревьев, их положение в изображение, способ, которым они освещены и т.д.), текстура, и цвет. Соображения по количеству кадров включают в себя длину и вариативность визуальных состояний, выставленных по анализируемой видеозаписи, а также количество классов объектов для идентификации и частоты их появления. Кадры меняются каждые 1/25 секунды, но отслеживание глаз с программным обеспечением происходит в 1/120 (120 Гц). По этой причине глаз отслеживания данных будет собираться в 4,8 раз скорость, с которой новый кадр появляется. Не представляется возможным маркировать полностью точно, но маркировка кадров должна меняться каждые 5 раз. Например, данные отслеживания глаз во время 99 к 101 s был рассмотрен для кадра 100th второй из видео.

Существенным преимуществом нынешних пакетов отслеживания глаз является то, что они созданы, чтобы позволить пользователям пересмотреть фильм их собственных глаз отслеживания фиксаций и путей и описать, почему они смотрели на определенные объекты. Это приводит к качественному набору данных, который может показать, почему отдельные субъекты думают, что они смотрели на определенные объекты. Расширение проекта было бы также показать им количество времени, которое они потратили, глядя на объекты в разное время по отношению к содержанию, например, информация на рисунке 8. Тем не менее, делать это, контролируя количество объектов в сцене достаточно быстро, в настоящее время не представляется возможным.

Например, участникам может быть предложено просмотреть свои собственные пути взгляда, которые были записаны, и описать, почему они рассматривали конкретные объекты¹². В нашем случае, в конце каждого фильма участникам было предложено оценить каждый из парков по шкале от 1-10, во-первых ли они считают, что они смогут отдохнуть и восстановиться в этой среде (1, не очень много, до 10, очень много), а во-вторых, сколько они хотели Парк (1, не очень много, до 10, очень много).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker