Методология захвата совместного визуального внимания с помощью мобильных глаз-трекеров

Привет, меня зовут Бертран Шнайдер, и я доцент Гарвардской высшей школы образования. В этом видео я собираюсь показать вам, как мы можем использовать мобильные глаз-трекеры, чтобы захватить центральную конструкцию в социальной науке, совместное визуальное внимание. Совместное визуальное внимание было широко изучено психологами и было установлено, что тесно связано с качеством взаимодействия между членами группы.

Оказывается, когда люди строят общую почву и создают общее понимание задачи, они, как правило, часто смотрят на одно и то же место в то же время. Традиционно исследователи качественно изучили совместное визуальное внимание, вручную кодируя видео. Я покажу вам, как мы можем использовать мобильные глаз-трекеры, чтобы получить количественное измерение этой конструкции в совместно расположенных настройках.

В этом видео мы будем использовать Tobii Pro очки два. Эти очки являются носимыми глаз-трекеры, которые могут захватить движение глаз в реальных условиях. В дополнение к специализированным камерам на раме для отслеживания движений глаз, устройство также оснащено камерой full-HD сцены и микрофоном, так что поведение взгляда может быть визуализирована в контексте визуального поля владельца.

Для этих очков взгляд захвачен 50 раз в секунду и живой видео-канал из очков может передаваться на компьютер либо по беспроводной сети, или через кабель Ethernet. Очки имеют одно ограничение, хотя, так как они не будут работать над обычными очками. Процедура настройки глаз-трекера относительно проста.

Во-первых, участникам будет предложено надеть очки для слежения за глазами, так как они будут нормальной парой очков. На основе отличительных черт лица участников, части носа с разной высотой, возможно, потребуется использовать для сохранения качества данных. После включив трекер, участники должны обрезать блок сбора данных на своих лиц, чтобы обеспечить необузданные движения тела.

Контроллер Tobii Pro Glasses должен быть открыт, и участники должны быть проинструктированы, чтобы посмотреть на центр калибровочного маркера, предоставляемого Tobii, в то время как функция калибровки программного обеспечения включена. После завершения калибровки запись может быть запущена из программного обеспечения. После завершения сеанса записи прекратите запись из программного обеспечения Tobii, прежде чем поручить участнику удалить очки слежения за глазами и блок сбора данных.

А потом выключите устройство. Данные могут быть извлечены с помощью другого программного обеспечения, Tobii Pro Lab, путем удаления SD-карты из блока сбора данных и вставки карты на компьютер. Tobii Pro Lab может импортировать все сеансы записи, хранящиеся в SD-карте одновременно.

Файлы могут быть обработаны в Лаборатории Tobii Pro для создания видео, различных визуализаций или быть опубликованы в качестве разделенных на вкладку значений или файлов TSV для дальнейшего анализа. Здесь вы можете увидеть необработанные данные слежения за глазами из исследования, которое мы недавно провели, где два участника учились программировать робота. С каждой стороны вы можете увидеть видео поток, генерируемый каждым глаз-трекер с расположением взгляда участника.

Как видите, невозможно сказать, смотрят ли они на одно и то же место одновременно, потому что точка зрения каждого участника разная. Кроме того, запись данных может начинаться в разное время. Это означает, что данные должны быть синхронизированы временно и пространственно.

Я собираюсь показать вам, как решить эти две проблемы в этом видео. Во-первых, я собираюсь описать процедуру временной синхронизации данных. Для первого участника у вас есть определенное количество видеорамок.

Некоторые из них до или после фактической экспериментальной задачи. Как и в первом кадре, где экспериментатор калибрует глаз-трекер. Аналогичным образом, для других участников у вас есть такой же вид данных.

Он не показан здесь, но каждый кадр видео также связан с x и y координаты, которая представляет взгляд каждого участника. Чтобы синхронизировать данные, мы кратко покажем фидуциальный маркер на экране компьютера до и после экспериментальной задачи. Используя алгоритм компьютерного зрения, мы можем определить, когда этот маркер представлен каждому участнику, что позволяет нам обрезать и выровнять данные.

Таким образом, это один из способов решения проблем синхронизации данных. В следующих частях мы будем смотреть на второй вопрос: Как синхронизировать данные пространственно. Как упоминалось ранее, данные поступать от каждого глаз-трекер в виде видео-канал, связанный с расположением взгляда каждого участника, здесь в синем и зеленом.

Хотя x и y-coordinates могут быть одинаковыми для обоих участников, это не означает, что они смотрят на одно и то же место, потому что смотрят на экран с двух разных точек зрения. Одним из способов решения этой проблемы является создание изображения экспериментальной установки, которая послужит эталоном, и где мы собираемся перенастроить местоположение дела каждого участника. Это позволяет нам обнаружить для каждого кадра глаз отслеживания видео, если участники смотрят на то же место в то же время.

Но как мы перерисовываем эти координаты на изображение слева? Мы собираемся использовать тот же алгоритм совместного видения, который позволил нам синхронизировать данные раньше. Применяя его на каждом кадре видеозаписей, мы теперь можем определить расположение фидуциальных маркеров с точки зрения участников.

Это позволяет нам подключить те же маркеры на эталонное изображение слева. Зная координаты этого общего набора точек, мы можем сделать вывод о местоположении взгляда каждого человека с помощью математической операции, известной как гомография. Применяя эту процедуру на каждом кадре, мы можем создать видео, чтобы убедиться, что гомография работала.

Справа можно увидеть видеозапись каждого участника с расположением их взгляда синим и зеленым цветом. Те же фидуциальные маркеры соединены с белой линией между изображением слева и точкой зрения участника на правой стороне. Повторные взгляды показаны слева, и они покраснение, когда есть некоторые совместные визуального внимания.

Создание этого видео является важным шагом на пути к тому, чтобы убедиться, что данные чисты и что гомография была выполнена правильно. Кроме того, есть два других визуализации, которые могут быть произведены для проверки вменяемости данных. Первая визуализация – это тепловая карта.

Для каждого участника мы можем построить каждую точку взгляда на изображение экспериментальной установки. Это гарантирует, что гомография работала правильно и позволяет классифицировать эти точки дела в различных областях интересов. Здесь, например, мы видим, что большую часть времени было потрачено на просмотр экрана компьютера и очень мало времени было потрачено на просмотр шпаргалок.

Вторая визуализация называется графиком перекрестного повторения. Перекрестные графики рецидивов позволяют визуализировать данные слежения за глазами для пары участников. Время для первого участника отображается на х-оси, время для второго участника отображается на оси y.

Черные квадраты означают, что оба участника смотрят на одно и то же место, белый квадрат представляет недостающие данные, а серый квадрат представляет, когда участники смотрят на разные места. Черные квадраты по диагонали означают, что они смотрят на одно и то же место в одно и то же время. Черные квадраты по диагонали означают, что участники смотрят на одно и то же место, но в разное время.

Слева можно увидеть диад с высоким уровнем совместного визуального внимания. В середине, краситель с низким уровнем совместного визуального внимания. С правой стороны, группа с большим количеством недостающих данных.

Выполняя эту проверку вменяемости, вы можете убедиться, что вы правильно синхронизированы и повторно ваши данные в общее изображение экспериментальной установки. Эти шаги имеют решающее значение и должны быть выполнены до того, как будет проведен анализ. Наконец, есть два параметра, которые необходимо выбрать, прежде чем вычислять меру совместного визуального внимания.

Первым параметром является окно времени, в котором участники могут посмотреть на том же месте. Предыдущая работа Ричардсона и Дейла установила, что это может занять до двух секунд для участников, чтобы отойти от того, что они делают, чтобы обратить внимание на то, что их партнер делает. Таким образом, мы определили, что есть совместное визуальное внимание, если два участника смотрели на одно и то же место в плюс и минус два второго окна.

Вторым параметром является минимальное расстояние между двумя точками взгляда для них, чтобы квалифицировать как совместное визуальное внимание. Это расстояние зависит от контекста и должно быть определено исследователями в зависимости от поставленной задачи и их исследовательских вопросов. Для некоторых задач расстояние может быть коротким.

Вот, например, мы использовали 100 пикселей. Для других задач это расстояние может быть больше. Далее, я собираюсь представить некоторые результаты, найденные с помощью этой методологии.

После получения оценки количества совместного визуального внимания в группе, вы можете соотнести эту меру с другими переменными, представляющими интерес. Например, в своей работе мы соотносили эту меру с рейтинговой схемой, разработанной в области обучения наукам, которая отражает качество сотрудничества групп. Для каждой группы мы присвоили балл по девяткам измерений, представленных здесь.

Например, насколько хорошо люди поддерживают взаимопонимание или как легко они достигли консенсуса. Эти баллы должны получать приемлемую межкоре надежность с другой квотой. Наконец, мы также можем агрегировать эти баллы в одну общую метрику, которая приближается к качеству совместной работы для каждой группы.

Результатом, который был найден в нашей работе, а также других исследований является то, что совместное визуальное внимание значительно коррелирует с качеством сотрудничества, как измеряется рейтинговой схеме, представленной ранее. Группы, которые высоко оцениваются с помощью этой схемы кодирования, как правило, имеют больше совместного визуального внимания, чем группы, которые получили низкие баллы. Это показывает, что продуктивные взаимодействия часто связаны с более совместным зрительным вниманием.

На следующем слайде я покажу вам еще один результат, который основывается на этой находке. Таким образом, одним из преимуществ наличия тонких глаз отслеживания данных является то, что мы можем извлечь другие меры совместного визуального внимания. Например, мы можем вычислить, кто инициировал и ответил на предложение совместного визуального внимания.

В частности, на х-оси этого графика оценка нуля означает равное распределение этих поведений и оценка одного означает, что один человек всегда отвечал или инициировал моменты присоединения визуального внимания. В этом исследовании мы обнаружили обратную корреляцию с достижениями в обучении, показанные на оси y, измеряемой до и после тестов. Группы, в которых одно и то же лицо последовательно инициировало или реагировало на моменты совместного визуального внимания, были менее склонны учиться, а группы, в которых эта ответственность была в равной степени разделена, с большей вероятностью набрали более высокую оценку на пост-тестах при контроле за баллами по предварительному тесту.

В этом видео я представил методологию, которая помогает исследователям синхронизировать мобильные данные слежения за глазами как временно, так и пространственно. Полученные результаты свидетельствуют о том, что данные о двойном слежении за глазами могут обеспечить показатели сотрудничества с помощью вычислительных мер совместного визуального внимания. Кроме того, я представил результаты, показывающие, что мы можем выйти за рамки простых мер совместного внимания, например, глядя на то, кто инициировал или ответил на эпизод совместного визуального внимания.

Мы обнаружили, что эта мера связана с другими показателями результатов, такими, как успехи в обучении. Вычисление такого рода мер было бы невозможно без данных слежения за глазами. Таким образом, мы обнаружили, что методология, представленная в этом видео, может помочь исследователям получить новое представление о совместных процессах.

Большое вам спасибо за просмотр этого видео и не стесняйтесь ссылаться на бумагу для получения дополнительной информации.