Сочетание компьютерных игр основе поведенческих экспериментов с высокой плотностью ЭЭГ и инфракрасного слежения Gaze

В этом видео демонстрируется процедура одновременного отслеживания взгляда и записи ЭЭГ высокой плотности от испытуемых во время выполнения увлекательных и экологически обоснованных когнитивных задач, встроенных в компьютерную игру. Во-первых, к объекту прикрепляются электроды. Затем камера слежения за взглядом калибруется.

Испытуемый играет в игру, в то время как записываются данные ЭЭГ и взгляда. Генерируются связанные с событиями потенциалы и связанные с событиями спектральные возмущения, которые отменяются игровыми Событиями. Основное преимущество этой методики по сравнению с существующими методами, например, пакетами стимулирующих презентаций, такими как ePrime или презентация, заключается в том, что встраивание экспериментов в компьютерную игру снижает беспокойство о производительности, уходя от явного контекста тестирования, и помогает испытуемым оставаться мотивированными и вовлеченными в выполнение задач на протяжении всей длительной экспериментальной сессии.

Охватывает широкий спектр когнитивных задач. Эти качества особенно важны для педиатрических и клинических популяций, у которых внимание и мотивация могут быть препятствием для сложных или длительных экспериментальных сессий. Меня зовут Кит Йодер, и я работаю научным сотрудником в лаборатории Бомонта.

Помогать мне сегодня будет Дэвид Пост, лаборант и аспирант UAUA на факультете человеческого развития. Мы будем использовать 128-канальную систему BIOS, полуактивную двухмерную систему измерения и инфракрасный трекер взгляда iLink 1000 от SR Research Прежде чем можно будет начать комбинированную компьютерную игру и эксперимент на ЭЭГ, электроды должны быть сбалансированы, чтобы гарантировать, что они имеют небольшие смещения в диапазоне плюс-минус 20 микровольт за час до прибытия субъекта. Для эксперимента на ЭЭГ сбалансируйте электроды, замочив их на 5-10 минут в солевой ванне, состоящей из одной чайной ложки соли на литр дистиллированной воды.

Не оставляйте электроды в жидкости дольше 10 минут за один раз. После извлечения электродов из солевой ванны используйте пульверизатор, наполненный дистиллированной водой, чтобы промыть их непосредственно перед прибытием субъекта. Включите конвертер камеры слежения за взглядом и компьютеры для одновременного отслеживания взгляда и ЭЭГ, обязательно используйте объектив длиной 16 миллиметров в камере слежения за взглядом.

В установке используются четыре компьютера, один специальный компьютер для отслеживания взгляда, один специальный компьютер для сбора данных ЭЭГ, один специальный компьютер для презентации стимулов и один компьютер для сбора видео и анализа данных. Две коробки преобразователей. Манипулируйте выходами VGA с компьютера отслеживания взгляда и компьютера для презентации стимулов и отправляйте сращенный видеосигнал на компьютер для сбора видео.

Таким образом, компьютер для сбора видео может записывать игровой экран, видимый субъектом, на который наложен курсор, представляющий текущую фиксацию взгляда и временную метку. Это наложенное видео сохраняется в файл диска на компьютере сбора видео. Теперь давайте посмотрим на настройку ЭЭГ.

Начните подготовку к эксперименту с ЭЭГ с измерения окружности тела испытуемого. Обойдите бровь и впадину и выберите электродный колпачок подходящего размера. Наденьте шапочку на голову субъекта, убедившись, что бирка находится за пределами колпачка, лежа на шее субъекта.

Переместите колпачок до тех пор, пока электрод A one не будет центрирован по отношению к впадинию и левой ушной раковине, правому штифту и средней линии колпачка вдоль средней линии головы субъекта. Назион – это углубление между носом и бровью. Впадина — это костная шишка на средней линии в задней части головы, а ушная раковина — это лоскут хряща, проходящий на передней стороне отверстия слухового прохода.

Когда колпачок окажется на месте, нанесите клейкое кольцо на пластиковый корпус электродов. Бывший пятый и бывший шесть. Совместите отверстие кольца с электродной гранулой.

Снимите бумажную подложку с клейкого кольца и покройте контакт электрода проводящим гелем. Поместите EX six на правый сосцевидный отросток субъекта и EX five на левый сосцевидный отросток субъекта. С помощью тупого шприца поместите проводящий гель в каждый держатель электродов в колпачке.

Пошевелите кончиком шприца, чтобы разделить волосы субъекта. Затем одновременно нажмите на поршень вниз и оттяните шприц от головки, как будто вы украшаете торт. Заполняйте до тех пор, пока гель не будет смыт с верхней частью пластикового корпуса.

Следите за тем, чтобы не перелить. Лучше иметь слишком мало геля, чем слишком много избытка геля может пролиться между участками электродов, вызывая перемычки электродов. Если электроды застревают, то ничего не поделаешь.

Но чтобы снять колпачок, попросите испытуемого вымыть и высушить волосы, а затем снова начните с разъемов электродных проводов, висящих через плечо, и концов датчика в одной руке, аккуратно поместите каждый электрод в соответствующий держатель внутри электродного колпачка. Возьмитесь только за пластиковый корпус электродов, и будьте очень осторожны, чтобы не обжать провода. Крайне важно не прикасаться к наконечникам электродов.

Контакт с кожей, одеждой или любым материалом, отличным от проводящего геля, ухудшит качество электродов. Нанесите проводящий гель на X от одного до X четырех и с помощью клейких колец прикрепите их к лицу объекта. Расположите X 1 и X 2 примерно в одном сантиметре по горизонтали от левой и правой внешней канти объекта соответственно.

Поместите X 3 и DX 4 примерно на один сантиметр ниже середины левого и правого глаза объекта на скуловых костях. Аккуратно соберите электродные провода позади объекта и свободно оберните провод C-M-S-D-R-L вокруг остальных. Чтобы создать конский хвост, поместите Velcro завязки вверху и внизу хвоста, чтобы закрепить провода на месте, и с помощью медицинской ленты прикрепите хвост к задней части футболки.

Убедитесь, что эти провода достаточно слабы, чтобы шея объекта могла комфортно изгибаться вперед. Теперь подготовьте электроды GSR, нанеся на каждый электрод раствор хлорида калия. С помощью медицинской ленты прикрепите электроды GSR ко второму и третьему пальцам на недоминирующей руке испытуемого или на любой другой руке, которая не будет использоваться во время эксперимента.

Чтобы подать сигнал о поведенческих реакциях с установленными электродами, попросите испытуемого сесть в неподвижное кресло без спинки. Перед презентационным монитором стимула подключите все электроды к коробке преобразователя и проверьте компьютер регистрации ЭЭГ, чтобы убедиться, что смещения электродов находятся в пределах плюс-минус 40 микровольт. Если электрод имеет очень большое смещение или шумит, аккуратно снимите электрод с колпачка.

Вставьте в корпус еще геля и установите электрод на место. Если проблема сохраняется в одном электроде или если один электрод загрязняется артефактом импульса, этот канал должен быть интерполирован из окружающих электродов. После завершения записи настройте отслеживание взгляда, сначала прикрепив целевую наклейку над бровью септика медиально к глазу.

Запустите всплывающее приложение калибровки на компьютере с презентацией стимулов. Начните новую сессию и измените раскрывающееся меню типа на CMD. После ввода соответствующей команды нажмите кнопку отправки, чтобы включить логирование событий из всплывающего приложения для калибровки запуска настройки камеры.

Расположите камеру так, чтобы целевая наклейка и наклейка объекта I были отцентрированы по автопорогу. Нажмите клавишу A на клавиатуре компьютера с презентацией стимулов. Отрегулируйте фокусировку, поворачивая объектив камеры до тех пор, пока координаты I, которые необходимо отслеживать, не станут четкими.

Начните калибровку системы отслеживания взгляда по объекту, нажав клавишу C на клавиатуре компьютера для презентации стимулов. Точка появится в девяти разных местах на экране в случайном порядке. Субъект должен смотреть на точку, когда она появляется, а не предвидеть местоположение следующей точки.

Чтобы подтвердить калибровку, нажмите клавишу V. Точки появятся снова в случайном порядке. Если калибровка была правильной, взгляд объекта будет отображен на каждой точке проверки.

Если калибровка не удалась, убедитесь, что пороговые значения отражения зрачка и роговицы соответствуют требованиям. Пороговые значения зрачков и роговицы можно регулировать на экране настройки камеры на главном компьютере острова в верхнем левом углу экрана, нажатие на стрелки зрачка и роговицы вверх и вниз увеличивает и уменьшает пороги соответственно. Убедитесь, что частота дискретизации установлена на 500 Гц, нажав на кнопку 500 Гц.

Сверните всплывающее приложение калибровки на компьютере для презентации стимулов и начните запись данных о взгляде, щелкнув правой кнопкой мыши значок iLink на панели задач и выбрав «Начать запись». Начните запись видео на компьютере для сбора видео с помощью программного обеспечения Black Magic Media Express. Затем начните запись ЭЭГ на компьютере для регистрации ЭЭГ, нажав кнопку паузы.

Теперь, что касается презентации стимула, компьютер запустил игру, поскольку polus — это специально разработанная игра, разработанная для обеспечения экологической обоснованности. Непроходное задание реализуется путем введения червоточины, из которой появляется либо друг, помогающий игроку, либо Враг, причиняющий вред игроку. Игроков. Также выполняйте задачу когерентности движения точек, управляя космическим кораблем через дрейфующие звездные поля во время другой игры.

Испытуемые должны использовать радиолокационный прицел для сбора астероидов в модифицированной задаче Познера, четыре сектора, в которых могут появиться астероиды, мерцают на разных фундаментальных частотах. Изменения в спектральном содержании ЭЭГ могут затем оценить внимание на основе амплитуд частот, которые помечают каждый сектор. В другой игре испытуемым предлагается помочь заключить галактический договор, определив эмоции, изображенные на лицах.

Каждое из пяти лиц должно быть размещено на пустых местах на игровом поле, чтобы создать ряд или столбец из трех лиц, выражающих одну и ту же эмоцию. Четвертая игра реализует тест Салли Энн по теории разума игроков. Наблюдайте за капитаном Салли, когда она размещает его груз на одной из четырех планет.

Роль Энн исполняет космический пират, который перевозит груз на другую планету. Наконец, адмирал наблюдает за капитаном и пиратом и передает информацию о действиях пирата капитану. Затем игроки должны проложить маршруты перехвата для капитана и пирата, делая вывод о том, где каждый из них будет искать груз, и тем самым реализуя теорию разума первого и второго порядка в контрастах между несколькими условиями.

Последние результаты в области взаимодействия человека и компьютера указывают на способность игрового контекста создавать и поддерживать мотивацию в задачах, которые в противном случае могли бы показаться неинтересными. Множественные когнитивные задачи во многих повторяющихся попытках могут быть выполнены в течение одного экспериментального сеанса, не утомляя испытуемого. Это особенно важно, потому что для получения достаточного количества попыток для усреднения ЭЭГ испытуемые должны накопить около ста попыток каждого стимульного состояния.

Затем подключите и включите усилитель. Установите громкость на уровень 60. Это необходимо для достижения максимального уровня звукового давления 80 децибел после того, как субъект закончил играть в игры.

Выйдите из игры и остановите запись данных, нажав кнопку «стоп» в графическом интерфейсе. На каждом из компьютеров для сбора видео отслеживается взгляд и регистрируется ЭЭГ. Выключите коробку ЭЭГ-преобразователя и отсоедините все провода от коробки.

Снимите клейкие кольца и поместите их в теплую дистиллированную воду. Используйте пульверизатор, наполненный дистиллированной водой, чтобы удалить любой гель, оставшийся на электродах, и используйте теплую воду из-под крана и мыло для удаления геля с колпачка электрода. Теперь мы покажем некоторые репрезентативные результаты ЭЭГ.

Ниже приведен график спектральных возмущений, связанных с событиями, полученный от фронтального срединного электрода fz. В этой игре present enemy соответствует появлению вражеского корабля или состоянию go, а present friendly соответствует появлению дружественного корабля или состоянию no-go во время состояния no-go. Как правило, развивающиеся дети демонстрировали значительно большую мощность ЭЭГ в гамма-диапазоне, чем дети с расстройствами аутистического спектра.

При попытке выполнить эту процедуру важно избегать прикосновения к контактам электродов, обжима проводов или использования слишком большого количества геля.