Объединение глаз отслеживания данных с анализом видео-контент от свободного просмотра видео прогулка в городском парке окружающей среды

Многие исследования слежения за глазами опираются на сложные видео-стимулы и настройки реального мира, что делает анализ данных очень сложным. Этот метод анализа позволяет гораздо богаче и автоматизированный подход к анализу видео-данных, чем в настоящее время доступны методы, ведущие к более богатым извлечения более сложных данных. Этот метод может быть использован во многих различных приложений отслеживания глаз, особенно в реальных ситуациях мира или те, которые используют видео в качестве стимула.

Ландшафтные исследования опирались на понимание того, как люди реагируют на различные визуальные стимулы. Этот метод в сочетании с отслеживанием глаз может быть использован для проверки этих предположений. Для такого рода исследований, командный подход имеет важное значение для Есть несколько аспектов, которые требуют высокого уровня ввода и рассмотрения.

Демонстрацией процедуры со мной будет мой аспирант Эндрю Треллер. Последовательности пленки должны быть показаны в лаборатории слежения за глазами, в которой доступен естественный свет, но который можно контролировать, чтобы избежать отражений на экране на как можно большем экране, чтобы занять как можно больше поля зрения, тем самым избегая отвлекающих факторов из-за пределов поля зрения. После сидения участника 60-65 сантиметров от экрана, попросите их представить себе, нуждающихся в восстановлении с помощью предложения, которое позволяет участнику представить в контексте видео слежения за глазами.

Затем играйте в фильмы для участника в заранее определенном случайном порядке с помощью настольного устройства слежения за глазами для записи движений глаз участника во время каждого видео. Для разработки области, представляющие интерес, выберите элементы, которые представляющие интерес для исследования, такие как деревья, кустарники, указатели, здания, дорожки, шаги. Для оптимальной производительности и минимальных требований к обучению используйте элементы, которые легко визуально различимы друг от друга невооруженным глазом и/или которые постоянно занимают различные области каждого видеорамки.

В целом, в том числе достаточно учебных примеров, изображающих визуально отличительные различия каждого AOI должно быть достаточно для надежной работы. Когда все элементы были изменены, выберите соответствующее количество учебных кадров, чтобы составить учебный набор. Существует нет фиксированного числа, что является целесообразным.

Далее откройте каждый учебный кадр из видео в программном обеспечении для редактирования изображений и для каждого кадра наложить прозрачный слой изображения на загруженное изображение для маркировки и создать цветовую палитру, обеспечивающую один цвет для каждого данного объекта класса интереса. Чтобы выбрать цвет для области выборки, представляющих интерес, нажмите и перетащите пикселей в области цвета в области образца с соответствующим выбором палитры. Как только маркировка кадра завершена, экспортировать наложенный слой в качестве отдельного файла изображения, заботясь о том, чтобы базовое имя файла соответствует исходному базовому имя файла кадра, но с C, притязаемый к концу.

Для количественной проверки точности обученного классификатора выберите кадры из исходной видеоряда, еще не выбранной для включения в учебный набор, и обозначите пиксели в каждом кадре так, как только что продемонстрировано, чтобы учебные рамки были как можно более точными и всеобъемлющими. Когда маркировка кадра завершена, используйте ту же конвенцию именования, что и для обучения, сохраняя файлы в отдельной папке кадров проверки. Для автоматической маркировки пикселей видеоряда запустите графический пользовательский интерфейс Darwin и нажмите на тренировочные метки нагрузки.

Чтобы настроить графический интерфейс для обучения и маркировки, выберите проект создания и предоставьте проекту имя с помощью всплывающего окна диалога. Выберите папку, содержащую все исходные кадры видеоряда в всплывающем окне. Используя окно диалога исследователя всплывающих файлов, выберите папку, содержащую помеченные учебные изображения для соответствующей последовательности видео.

А в поле диалога исследователь файлов выберите папку, содержащую все помеченные изображения проверки для соответствующей последовательности видео. Следуйте подсказке, чтобы выбрать папку назначения для всех выходных кадров, которые будут в виде помеченных изображений, используя ту же цветовую палитру, что и в обучении. Используя окно диалога всплывающих окно, в областях, представляющих интерес, введите области, представляющие интерес для обозначения, включая красные/зеленые/синие значения, используемые для обозначения каждого региона в примерах обучения.

Алгоритм изучит каждый помеченный учебный кадр и изучит модель внешнего вида для классификации пикселей по любому из указанных классов объектов, представляющих интерес. Как только обучение завершено, нажмите проверить обучение. А в поле диалога исследователь файлов выберите папку, содержащую все помеченные изображения проверки для соответствующей последовательности видео.

Чтобы визуально проверить генерируемые метки, нажмите визуальную проверку. Каждое сгенерированное помеченное изображение будет отображаться рядом с исходным кадром проверки. Если точность, наблюдаемая в количественной или качественной проверке, опускается ниже приемлемых уровней, включите и переобучаете примеры дальнейшей подготовки.

После завершения этапов обучения и проверки классификатора нажмите на вывод, чтобы начать полную маркировку всех кадров в видеоряде с помощью обученного классификатора. Как только маркировка завершена, что может занять несколько часов, нажмите просмотреть выход, чтобы увидеть полученные метки. Большинство глаз отслеживания программного обеспечения покажет вам, что в среднем, участники сканируются влево и вправо на X-координаты видео в первом видео по сравнению со вторым видео, для которого тепловая карта показывает круглую форму.

Используя технику маркировки пикселей машинного обучения, описанную в этой статье, мы можем увидеть более подробную информацию. Это графическое представление времени фиксации процента показывает, что путь хорошо виден в ходе видео. Однако, как показывает эта цифра из данных отслеживания глаз, участник смотрел на эту функцию только время от времени в ключевых точках.

Здесь показано резюме времени обитаемого времени всех 39 участников этого репрезентативного исследования при взгляде на объекты по всей длине видео. На этом графике данные о времени обитаемого времени были разделены на количество времени и пространства, которое занимали различные объекты в видео. Значение одного указывает на то, что время обитемого может быть учтено количеством объекта в видео.

Например, объекты, которые были менее уместны, такие как небо на обоих изображениях, рассматривались сравнительно меньше, чем другие объекты. Искусственные объекты, такие как уличные фонари и скамейки, были в большей степени обувились по сравнению с другими природными объектами. Такого рода анализ может иметь много широких применений, чтобы изумить вопросы внимания и saliency и может иметь много широкого охвата приложений в различных областях исследований.

Поскольку использование короткометражных фильмов в качестве визуальных стимулов становится все более распространенным явлением, мы ожидаем, что этот метод станет более популярным.