Summary
Использование мультимодальных датчиков является многообещающим способом понять роль социальных взаимодействий в образовательных учреждениях. В настоящем документе описывается методология захвата совместного визуального внимания от колокационных диад с помощью мобильных глаз-трекеров.
Abstract
С появлением новых технологических достижений можно изучать социальные взаимодействия на микроуровне с беспрецедентной точностью. Высокочастотные датчики, такие как глаз-трекеры, электродермальная активность браслеты, ЭЭГ полосы, и датчики движения обеспечивают наблюдения на миллисекундном уровне. Такой уровень точности позволяет исследователям собирать большие наборы данных о социальных взаимодействиях. В этой статье я обсуждаю, как несколько глаз-трекеров может захватить фундаментальную конструкцию в социальных взаимодействиях, совместное визуальное внимание (JVA). JVA был изучен психологов развития, чтобы понять, как дети приобретают язык, обучение ученых, чтобы понять, как небольшие группы учащихся работают вместе, и социологи, чтобы понять взаимодействия в небольших группах. В настоящем документе описывается методология захвата JVA в колокационных настройках с помощью мобильных глаз-трекеров. Он представляет некоторые эмпирические результаты и обсуждает последствия захвата микронаблюдений для понимания социальных взаимодействий.
Introduction
JVA была широко изучена в течение последнего столетия, особенно психологов по развитию, изучающих приобретение языка. Было быстро установлено, что совместное внимание больше, чем просто способ узнать слова, а скорее предшественником детских теорий ума1. Таким образом, он играет важную роль во многих социальных процессах, таких как общение с другими людьми, сотрудничество и развитие эмпатии. Аутистических детей, например, не хватает возможности координировать свое визуальное внимание со своими воспитателями, что связано со значительными социальными нарушениями2. Людям необходимо совместное внимание, чтобы стать функциональными членами общества, координировать свои действия и учиться у других. От детей, приобретающих свои первые слова, подростков, обучающихся у школьных учителей, студентов, сотрудничающих над проектами, и групп взрослых, работающих над достижением общих целей, совместное внимание является фундаментальным механизмом для установления общей позиции между людьми3. В этой статье я сосредотачиваюсь на изучении JVA в области образовательных исследований. Понимание того, как совместное внимание разворачивается с течением времени, имеет первостепенное значение для изучения совместных процессов обучения. Как таковой, он играет доминирующую роль в социокструктивистских условиях.
Точное определение совместного внимания по-прежнему обсуждается4. Этот документ касается подконструкции совместного внимания (JA), а именно JVA. JVA происходит, когда два предмета смотрят на одном и том же месте в то же время. Следует отметить, что JVA не предоставляет никакой информации о других важных конструкциях, представляющих интерес для изучения JA, таких как мониторинг общего, взаимного и общего внимания, или, в более общем плане, осведомленности о познании другого члена группы. Этот документ упрощает и упрощает JVA путем объединения глаз отслеживания данных от двух участников и анализа частоты, в которой они выравнивают их взгляды. Для более всестороннего обсуждения, заинтересованный читатель может узнать больше об изучении конструкции JA в Siposovaet al.4.
За последнее десятилетие технологический прогресс коренным образом изменил исследования jVA. Основной сдвиг парадигмы заключается в использовании нескольких глаз-трекеров для получения количественных показателей внимания выравнивания, в отличие от качественного анализа видеозаписей в лаборатории или экологической обстановке. Такое развитие событий позволило исследователям собрать точную и подробную информацию о зрительной координации диад. Кроме того, глаз-трекеры становятся все более доступными: до недавнего времени их использование было зарезервировано для академических параметров или крупных корпораций. Теперь можно приобрести недорогие глаз-трекеры, которые генерируют надежные наборы данных. Наконец, постепенное включение возможностей слежения за взглядом в существующие устройства, такие как ноутбуки высокого класса и гарнитуры виртуальной и дополненной реальности, предполагает, что отслеживание глаз скоро станет повсеместным.
Из-за популяризации устройств слежения за глазами, важно понимать, что они могут и не могут рассказать нам о социальных взаимодействиях. Методология, представленная в настоящем документе, знаменует собой первый шаг в этом направлении. Я решаю две задачи в захвате JVA из нескольких глаз-трекеров: синхронизация данных на 1) временной шкале, и 2) по пространственной шкале. В частности, в этом протоколе используются фидуциальные маркеры, размещенные в реальных средах, для информирования алгоритмов компьютерного зрения, где участники ориентируются. Этот новый вид методологии прокладывает путь к тщательному анализу поведения человека в небольших группах.
Этот протокол исследования соответствует руководящим принципам комитета по этике исследований человека Гарвардского университета.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Скрининг участников
- Убедитесь, что участники с нормальным или исправленным к нормальному зрению набираются. Поскольку участникам будет предложено носить мобильный глаз-трекер, они могут носить контактные линзы, но не обычные очки.
2. Подготовка к эксперименту
- Устройства для слежения за глазами
- Используйте любой мобильный глаз-трекер, способный захватывать движение глаз в реальных условиях.
ПРИМЕЧАНИЕ: Мобильные глаз-трекеры, используемые здесь были два Tobii Pro очки 2 (см. Таблица материалов). В дополнение к специализированным камерам, которые могут отслеживать движения глаз, очки также оснащены камерой HD сцены и микрофоном, так что взгляд может быть визуализирован в контексте поля зрения пользователя. Эти очки захватывают данные взгляда 50 раз в секунду. Другие исследователи использовали ASL Mobile Eye5, SMI6, или ученик-лаборатории7, все из которых обеспечивают видео потоки из сцены камеры и глаз отслеживания координат с различной скоростью отбора проб (30-120 Гц). Процедура ниже может немного отличаться с другими устройствами слежения за глазами.
- Используйте любой мобильный глаз-трекер, способный захватывать движение глаз в реальных условиях.
- Фидуциальные маркеры
- Два шага ниже (т.е. временные и пространственные выравнивания) требуют использования фидуциальных маркеров. Есть несколько библиотек компьютерного зрения, которые предоставляют исследователям эти маркеры и алгоритмы, чтобы обнаружить их на изображении или видео-канал. Описанный протокол использует библиотеку Chilitag8.
- Временное выравнивание
- Поскольку данные слежения за глазами регистрируются на двух отдельных единицах, убедитесь, что данные должным образом синхронизированы(рисунок 1). Можно использовать два основных метода. Данная рукопись охватывает только первый метод, потому что синхронизация серверов работает по-разному с каждой маркой мобильного глаз-трекера.
- Кратко отображаем фидуциальный маркер на экране компьютера, чтобы отметить начало и конец сеанса. Это похоже на визуальный "хлопать в ладоши"(рисунок 2).
- Кроме того, используйте сервер для синхронизации часов двух единиц сбора данных. Этот метод является немного более точным и рекомендуется, если требуется более высокая висхотиваемые точность.
- Поскольку данные слежения за глазами регистрируются на двух отдельных единицах, убедитесь, что данные должным образом синхронизированы(рисунок 1). Можно использовать два основных метода. Данная рукопись охватывает только первый метод, потому что синхронизация серверов работает по-разному с каждой маркой мобильного глаз-трекера.
- Пространственное выравнивание
- Чтобы узнать, смотрят ли два участника на одно и то же место одновременно, наденьте свои взгляды на общую плоскость. Эта плоскость может быть изображением экспериментальной настройки (см. левую сторону рисунка 3). Тщательно спроектируйте это изображение перед экспериментом.
- Размер фидуциальных маркеров: Общий размер фидуциальных маркеров зависит от алгоритма, используемого для их обнаружения из видео слежения за глазами. Поверхности, близкие к участникам, могут иметь меньшие фидуциальные маркеры, в то время как поверхности, расположенные дальше от них, должны быть больше, чтобы они выглядели похожими с точки зрения участников. Попробуйте различные размеры заранее, чтобы убедиться, что они могут быть обнаружены из глаз отслеживания видео.
- Количество фидуциальных маркеров: Чтобы сделать процесс отображения взгляда указывает на общую плоскость успешной, убедитесь, что несколько фидуциальных маркеров видны с точки зрения участников в любой момент времени.
- Расположение фидуциальных маркеров: Кадр соответствующих областей, представляющих интерес с полосками фидуциальных маркеров (например, см. экран ноутбука на рисунке 3).
- Наконец, запустите пилоты для тестирования процедуры синхронизации и определения оптимального местоположения, размера и количества фидуциальных маркеров. Видео слежения за глазами можно обрабатывать с помощью алгоритма компьютерного зрения, чтобы увидеть, надежно ли обнаружены фидуциальные маркеры.
3. Запуск эксперимента
- Инструкции
- Поручить участникам надеть очки для слежения за глазами, как они будут нормальной пары очков. Исходя из отличительных черт участников, для сохранения качества данных, возможно, потребуется использовать фрагменты носа различной высоты.
- После включения глаз-трекера, пусть участники зажимают блок записи к себе, чтобы обеспечить естественное движение тела.
- Калибровки
- Поручить участникам посмотреть на центр маркера калибровки, предоставленного Tobii, в то время как функция калибровки программного обеспечения включена. После завершения калибровки запись может быть запущена из программного обеспечения.
- Поручить участникам не перемещать мобильные глаз-трекеры после калибровки. Если они это сделают, данные, скорее всего, будут неточными, и процедура калибровки должна быть выполнена снова.
- Мониторинг данных
- Мониторинг процесса сбора данных в ходе исследования и обеспечение надлежащего сбора данных с отслеживания глаз. Большинство мобильных глаз-трекеров может обеспечить живой эфир на отдельном устройстве (например, планшет) для этой цели.
- Экспорт данных
- После завершения сеанса записи поручить участнику удалить очки для слежения за глазами и единицу сбора данных. Выключите устройство.
- Извлекайте данные с помощью другого программного обеспечения, Tobii Pro Lab, удалив SD-карту из единицы сбора данных, импортирующей данные сеанса. Tobii Pro Lab можно использовать для воспроизведения видео, создания визуализаций и экспорта данных слежения за глазами в виде файлов, разделенных запятой (.csv) или файлов, разделенных на вкладках (.tsv).
4. Предварительная обработка данных двойного слежения за глазами
- Проверка смягщейости данных слежения
- Проверьте данные слежения за глазами визуально после сбора данных. Это не редкость для некоторых участников, чтобы иметь отсутствующие данные. Например, определенная физиология глаз может создавать проблемы алгоритмам слежения за глазами, очки могут смещаться во время эксперимента, программное обеспечение для сбора данных может выйти из строя и т.д.
- Используйте описательную статистику, чтобы проверить, сколько данных было потеряно во время каждого сеанса, и исключить сеансы, в которых есть значительное количество отсутствующих или шумных данных.
- Временное выравнивание
- Обрезать данные с каждого мобильного глаз-трекера, чтобы включить только взаимодействия между участниками. Это может быть достигнуто с помощью описанного выше метода (т.е. представления двух специальных фидуциальных маркеров участникам в начале и в конце сессии). Эти фидуциальные маркеры могут быть обнаружены из видео слежения за глазами, чтобы обрезать наборы данных.
- Пространственное выравнивание
ПРИМЕЧАНИЕ: Чтобы определить, смотрят ли два участника на одно и то же место одновременно, необходимо переоставить взгляд участников на общую плоскость (т.е. изображение экспериментальной настройки). Вычислительный метод для достижения этой цели является гомография (т.е. перспективная трансформация плоскости). С технической точки зрения два изображения одной и той же планарной поверхности в космосе связаны с матрицей гомографии. На основе общего набора точек эта матрица может использоваться для определения расположения дополнительных точек между двумя плоскостями. На рисунке 3, например, если алгоритм компьютерного зрения знает, где фидуциальные маркеры находятся на раздаточном, он может переоставить взгляд участника на общую плоскость на левой стороне. Белые линии соединяют два набора точек, разделяемых видеоканалом каждого участника и сценой, которые затем используются для создания гомографии для перекарты зеленых и синих точек на левой стороне.- Используйте версию Python OpenCV, например, для вычисления матрицы гомографии из фидуциальных маркеров, а затем переопогнать данные слежения за глазами к месту экспериментальной настройки (или любой другой подходящей библиотеке на вашем языке выбора). OpenCV предоставляет две полезные функции: findHomography () для получения матрицы гомографии и perspectiveTransform() для преобразования точки с одной точки зрения на другую.
- Для использования findHomography (), запустить с двумя аргументами: X, Y координаты исходных точек (т.е. фидуциальные маркеры, обнаруженные из сцены видео участников, показанные справа на рисунке 3) и соответствующие точки назначения (т.е. те же фидуциальные маркеры обнаружены на изображении сцены, показано слева на рисунке 3).
- Кормите полученную матрицу гомографии в функцию perspectiveTransform() наряду с новой точкой, которая должна быть отображена от исходного изображения к изображению назначения (например, данные отслеживания глаз, показанные как синяя/зеленая точка на правой стороне рисунка 3). Функция perspectiveTransform возвращает новую координату той же точки на изображении сцены (т.е. синие/зеленые точки, показанные на левой стороне рисунка 3).
ПРИМЕЧАНИЕ: Для получения дополнительной информации в официальной документации OpenCV приводится пример кода и примеры для реализации гомографии: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
- Санити проверки гомографии
- Заполните раздел 4.3 для всего сеанса, и выполнить гомографию на каждом кадре мобильного видео слежения за глазами, чтобы проверить качество гомографии. Хотя нет автоматизированных способов оценки точности полученных данных слежения за глазами, видео, подобные тому, что показано на рисунке 4, следует использовать для проверки вменяемости вручную для проверки вменяемости каждого сеанса.
- Если качество ниже, чем ожидалось, рассмотреть дополнительные параметры для улучшения результатов гомографии:
- Количество обнаруженных фидуциальных маркеров: только выполнять гомографии, если достаточно фидуциальных маркеров могут быть обнаружены из видео потока. Это число можно определить, изучив видео, произведенное выше.
- Расположение фидуциальных маркеров: Если различные маркеры находятся на разных глубинах и ориентациях, качество гомографии обычно увеличивается, когда маркеры, наиболее близкие к координатам взгляда, выбраны, учитывая, что есть достаточно маркеров, чтобы построить надежный гомография.
- Ориентация фидуциальных маркеров: Объединение фидуциальных маркеров, которые имеют различные ориентации (например, горизонтальные и вертикальные) будет производить неточные гомографии. Рекомендуется сначала определить, какой самолет или области интересов (AOIs) участник смотрит на (например, экран компьютера, шпаргалка, таблица, см. Рисунок 3), а затем использовать фидуциарные маркеры на этом самолете для гомографии.
- Качество видеопотока: Внезапные движения головы могут размыть видеорамки и сделать данные непригодными для использования, потому что фидуциальные маркеры не могут быть надежно обнаружены (Рисунок 4). Методология этого документа не подходит для экспериментов, которые включают в себя много резких движений головы.
5. Анализ данных двойного слежения за глазами
- Отсутствующие данные
- Для того, чтобы убедиться, что данные были должным образом перебрасываются на эталонное изображение, производить графики визуализации (например, рисунок 5, рисунок 6) и описательную статистику, чтобы проверить, сколько данных отсутствует.
- Графики перекрестного повторения
- Используйте графики перекрестного повторения9 для представления визуальной синхронизации между двумя участниками(рисунок 6),где X-ось представляет время для первого участника, а оси Y представляет время для второго участника. Черные квадраты показывают, что участники смотрят на одну и ту же область, черная диагональная линия описывает два предмета, смотрящих на одно и то же время, и черные квадраты от диагональной линии, описывающие, когда два субъекта смотрят на одно и то же с временной лагом. Наконец, дифференциация между недостающими данными (белый квадрат) и существующими данными без JVA (серые квадраты) помогает определить проблемные сеансы. Это дает исследователям проверку визуального вменяемости.
- Вычислительная JVA
- После фильтрации недостающих данных вычислите метрику для JVA, подсчитав количество раз, когда взгляды участников находятся в том же радиусе сцены (определено ниже) в часовом окне времени -2 / 2. Разделите это число на количество действительных точек данных, которые могут быть использованы для вычисления JVA. Результат разделения представляет собой процент времени, что два субъекта совместно смотрели на одном и том же месте. Этот последний шаг необходим, чтобы избежать раздувания десятков групп с большим количеством данных после гомографии.
ПРИМЕЧАНИЕ: Два параметра должны быть установлены, прежде чем JVA может быть вычислена, минимальное расстояние между двумя точками взгляда, и временное окно между ними (Рисунок 7): 1) Время окна: раннее фундаментальное исследование10 использовали один глаз-трекер для измерения JVA между слушателем и оратором. Исследователи попросили первый набор участников ("спикеров") рассказать о телевизионном шоу, чьи персонажи были показаны перед ними. Второй набор участников ("слушателей") затем смотрел то же шоу во время прослушивания аудиозаписи ораторов. Были сравнены движения глаз динамиков и слушателей, и было установлено, что движения глаз слушателя тесно совпадают с движением глаз говорящего с задержкой в 2 с. В последующей работе11 исследователей проанализировали живые диалоги и обнаружили, что задержка 3 с лучшими захваченными моментами JVA. Поскольку каждая задача уникальна и может иметь различные временные лаги, также предлагается изучить, как различные временные лаги влияют на результаты данного эксперимента. В целом, обычно можно искать JVA в окне времени 2/3 в зависимости от экспериментальной задачи, а затем исследовать, как различные временные лаги могут изменить результаты. 2) Расстояние между взглядами: нет эмпирически определенного расстояния между двумя взглядами для них, чтобы считаться JVA. Это расстояние зависит от исследовательских вопросов, определенных исследователями. Вопросы исследований должны информировать о размере целей, представляющих интерес. В примере, показанном на рисунке 7,радиус 100 пикселей на изображении сцены (синие/зеленые круги) был выбран для анализа, поскольку достаточно запечатлеть, когда участники смотрят на робота в лабиринте, а также на аналогичные элементы пользовательского интерфейса на экране компьютера, которые являются двумя основными областями, представляющими интерес для этой экспериментальной задачи.
- После фильтрации недостающих данных вычислите метрику для JVA, подсчитав количество раз, когда взгляды участников находятся в том же радиусе сцены (определено ниже) в часовом окне времени -2 / 2. Разделите это число на количество действительных точек данных, которые могут быть использованы для вычисления JVA. Результат разделения представляет собой процент времени, что два субъекта совместно смотрели на одном и том же месте. Этот последний шаг необходим, чтобы избежать раздувания десятков групп с большим количеством данных после гомографии.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Методология, представленная выше, была использована для обучения студентов, которые следовали программе профессионального обучения в области логистики (n No 54)12. В этом эксперименте пары студентов взаимодействовали с осязаемым пользовательским интерфейсом (TUI), который имитировал небольшой склад. Фидуциальные маркеры, размещенные на TUI, позволили исследовательской группе переоставить взгляды студентов на общую плоскость и вычислить уровни JVA. Выводы показали, что группы, которые имеют более высокий уровень JVA, как правило, лучше с поставленной перед ними задачи, узнали больше, и имели лучшее качество сотрудничества13 (рисунок 8, левая сторона). Двойные наборы данных для отслеживания глаз также позволили нам запечатлеть определенную групповую динамику, например эффект свободного всадника. Мы оценили этот эффект, определив, кто, вероятно, инициировал каждый момент JVA (т.е., чей взгляд был там первым) и кто ответил на него (т.е., чей взгляд был там второй). Мы обнаружили существенную корреляцию между успехами в обучении и тенденцией студентов в равной степени разделить ответственность за иначину и реагирование на предложения JVA. Другими словами, группы, в которых один и тот же человек всегда инициировал моменты JVA были менее склонны учиться(рисунок 8, правая сторона) и групп, где эта ответственность была в равной степени разделяют были более склонны учиться. Этот вывод показывает, что мы можем выйти за рамки просто количественной оценки СП и фактически определить групповую динамику и производительность с использованием двойных данных слежения за глазами.
Рисунок 1: Каждый участник генерирует два видео-канала с X,Y координаты их взгляд на каждом видео кадре. Эта методология направлена на синхронизацию данных временно и пространственно между участниками. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 2: Методология синхронизации двух наборов данных. Кратко отображая уникальный фидуциальный маркер на экране компьютера, чтобы отметить начало и конец действия. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 3: Использование фидуциальных маркеров, распространяемых в окружающей среде, для перекарты взглядов участников на общий план (левая сторона). Белые линии указывают на фидуциальные маркеры, которые были обнаружены на обоих изображениях. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 4: Примеры низкого качества данных. Слева: размытая рамка из видео слежения за глазами, вызванного внезапным движением головы. Фидуциальные маркеры не могут быть обнаружены на этом изображении. Справа: неудачная гомография, где фидуциальные данные маркера не были должным образом синхронизированы с видео-каналом. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 5: Тепловые карты. Слева: тепловая карта данных слежения за глазами перебрасывалась на экспериментальную сцену. Эта визуализация была использована в качестве проверки вменяемости для гомографии. Справа: Группа, которая имела слишком много недостающих данных и должна была быть отброшена. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 6: Перекрестный график повторения, созданный из трех диад для визуализации JVA. P1 представляет время для первого участника, P2 представляет время для второго участника. Черные квадраты показывают JVA; серые квадраты показывают моменты, когда участники смотрят на разные места; белые квадраты показывают недостающие данные. Площадь вдоль основной диагонали указывает на моменты, когда участники смотрели на одно и то же место в одно и то же время. Эта визуализация была использована в качестве проверки вменяемости для мер JVA из комбинированных данных слежения за глазами. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 7: Видеокадр, где JVA был обнаружен между двумя участниками (красные точки). Ричардсон и др.11 рекомендуют смотреть на временное окно в 2 с. при вычислении JVA. Кроме того, исследователям необходимо определить минимальное расстояние между двумя точками взгляда, чтобы считаться JVA. Радиус 100 пикселей был выбран на среднем изображении выше. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 8: Примеры результатов. Данные из Schneider et al.12, где процент времени, смотрящего на одно и то же место в то же время, коррелировал с качеством сотрудничества участников: r(24) - 0,460, P 0.018 (левая сторона) и дисбалансы в начале/ответе на предложения JVA коррелировал с их учебной прибылью: r(24) Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Методология, описанная в настоящем документе, обеспечивает строгий способ захвата JVA в колокационных диадах. С появлением доступной технологии зондирования и усовершенствованных алгоритмов компьютерного зрения, теперь можно изучать совместное взаимодействие с точностью, которая ранее была недоступна. Эта методология использует фидуциальные маркеры, распространяемые в окружающей среде, и использует гомографию как способ перекарты взглядов участников на общую плоскость. Это позволяет исследователям тщательно изучать JVA в колокационных группах.
Этот метод включает в себя несколько проверок вменяемости, которые должны быть выполнены в различных точках эксперимента. Поскольку это сложная процедура, исследователи должны убедиться, что полученные наборы данных являются полными и действительными. Наконец, рекомендуется проводить пилотные исследования до фактического эксперимента, а также реконструировать взаимодействия участников, хотя видео после сбора данных завершено(Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6).
Существует несколько ограничений, связанных с этим методом:
Количество участников. Хотя эта методология хорошо работает для двух участников, анализ усложняется с более крупными группами. Фидуциальные маркеры все еще могут быть использованы для remap смотрит на землю истины, но зная, как определить JVA становится более тонкий процесс. Следует ли определять JVA как времена, когда все смотрят в одно и то же место одновременно, или когда два участника смотрят в одном и том же месте? Кроме того, визуализации, такие как график перекрестного повторения, становятся непрактичными с более чем 2-3 людьми.
Настройки. Метод, описанный в настоящем документе, подходит для небольших, контролируемых настроек (например, лабораторных исследований). Настройки открытого состава, такие как открытые или большие пространства, как правило, слишком сложны для инструментирования с фидуциальными маркерами и, таким образом, могут ограничить полезность данных для отслеживания глаз. Кроме того, фидуциальные маркеры могут отвлекать и загромождать окружающую среду. В будущем, лучшие алгоритмы компьютерного зрения смогут автоматически извлекать общие черты между двумя перспективами. Есть уже алгоритмы, которые существуют для этой цели, но мы обнаружили, что уровень точности еще не был приемлемым для типа эксперимента, описанного выше.
Ауа. В связи с приведенной выше точкой, вычислительная гомография и график перекрестного повторения хорошо работают со стабильным числом областей, представляющих интерес, но при сравнении различных задач с различными областями, представляющими интерес, необходимо внести коррективы.
Использование оборудования. Мобильные глаз-трекеры могут быть навязчивыми, влияя на поведение участников или не работая с конкретной физиологией глаз.
В заключение я хотел бы сказать, что методология, описанная в настоящем документе, является многообещающим способом изучения совместно расположенных взаимодействий. Это позволяет исследователям захватить точный показатель для JVA, который является критической конструкцией в социальных науках1. Кроме того, благодаря этой методологии12 можно обнаружить более мелкозернистые показатели совместного обучения по сравнению с традиционным качественным анализом. Короче говоря, это более эффективный и точный способ изучения социальных взаимодействий.
Потенциальное применение этого метода включает в себя разработку мероприятий для поддержки сотрудничества с помощью данных отслеживания глаз в режиме реального времени. Некоторые новаторские работы подготовили общие визуализации взгляда с помощью удаленных глаз-трекеров, которые, как было показано, в пользу совместного обучения нарасстоянии 14. Dyads, которые могли видеть взгляд своего партнера в режиме реального времени выставлены более JVA, сотрудничал лучше и достигли высших успехов обучения по сравнению с контрольной группой. В будущей работе будет рассмотрен вопрос о том, может ли такое вмешательство поддерживать совместные процессы в колокационных условиях (например, через гарнитуры виртуальной или дополненной реальности).
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Авторы заявляют, что у них нет конкурирующих финансовых интересов.
Acknowledgments
Разработка этой методологии была поддержана Национальным научным фондом (NSF #0835854), ведущим домом технологий образования для призвания, финансируемых Швейцарским государственным секретариатом по образованию, исследованиям и инновациям, и Декан венчурный фонд Гарвардской школы образования.
Materials
| Name | Company | Catalog Number | Comments |
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
- Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
