July 1st, 2015
Эта статья направлена на описание методов, задействованных в сборе и синхронизации множественных измерений (поведенческих, аффективных и когнитивных) вовлеченности учащихся во время выполнения задания.
Общая цель этой процедуры — собрать и синхронизировать данные о поведенческой, эмоциональной и когнитивной вовлеченности во время выполнения учебных задач. Это достигается путем подключения всех систем сбора данных через устройство синхронизации, которое будет отправлять маркер времени в собранных данных. Второй шаг — сбор данных об отслеживании движения глаз и взаимодействиях с программным обеспечением для поведенческого взаимодействия.
Далее будут собраны данные ЭЭГ для характеристики когнитивного взаимодействия. Последним шагом является сбор данных об эмоциональной активности, поступающих от ELECTRODERMAL activity или ED для измерения возбуждения и автоматического распознавания эмоций на лице или A FER для генерации валентных данных. В конечном счете, эти индексы, характеризующие три измерения вовлеченности, будут повторно синхронизированы в программном обеспечении синхронизации в соответствии с временными маркерами, первоначально отправленными синхронизирующим устройством.
Основное преимущество этого метода заключается в том, что он количественно оценивает три измерения вовлеченности учащихся во время учебной задачи, в отличие от классических методов исследования, которые сосредоточены исключительно на самооценке инструментов вовлеченности после выполнения задач. Этот метод может помочь ответить на ключевые вопросы в области индикации, например, какова динамика влияния на когнитивные способности в различных сложных условиях обучения и каково влияние различных педагогических установок на эффект и познание? Этот метод имеет последствия и в других областях.
Например, в информационных технологиях мы используем этот метод для измерения вовлеченности пользователя во время просмотра веб-сайта или использования программного приложения. Этот метод основан на недавней работе в области нейроомики, в которой данные о бдительности водителя дальнего следования были собраны с помощью устройств ЭЭГ. Эту процедуру продемонстрируют Габриэль Зу (Gabrielle Zu) с научным сотрудником из Tech three Lab of HEC Montreal, а также Иго и Йиг, которые являются научными сотрудниками из Neuro Lab of Begin, включив айтрекер (Eye Treker), усилитель ЭЭГ для записывающих компьютеров и динамики.
Приготовьте раствор ЭЭГ с необходимым материалом в соответствии с рекомендованными производителем процедурами. Затем подготовьте программное обеспечение для ЭЭГ и отслеживания движения глаз для предстоящего участника. Затем запустите программное обеспечение для записи видео, и камеры запускают программное обеспечение для синхронизации с конкретной подпрограммой, созданной для проекта, которая позволяет отправлять маркеры синхронизации каждые 60 секунд.
Затем запустите программное обеспечение для физиологических измерений и откройте специальную схему, созданную для проекта. Затем приведите участника в комнату сбора данных и найдите расположение электродов cz на голове участника в соответствии с системой отсчета 10:20. Поместите сетку ЭЭГ на голову участника и убедитесь, что каждый электрод расположен перпендикулярно поверхности головы.
Подключите сетевой разъем и выполните проверку импеданса с пороговым значением 40 килоОм. Наконец, поместите два физиологических датчика на верхнюю часть левой руки участника. Начните сбор данных.
Когда все программное обеспечение для записи будет готово к запуску в Synchrony, выполните процедуру калибровки по девяти точкам и наблюдайте за участником, пока он следует за красными точками на экране. Повторяйте эту процедуру до тех пор, пока не будет достигнута достаточная точность по стандартам производителя, попросите участника решить на компьютере 10 задач по ньютоновской физике. Остановите сбор данных на всех компьютерах.
Как только задание будет выполнено, снимите с участника все датчики. Во-первых, импортируйте данные ЭЭГ в программное обеспечение для анализа данных ЭЭГ. Затем нажмите «Файл», затем «Новый проект» и выберите местоположение необработанных данных, нажав «Обзор».
Выберите только что созданную папку с необработанными данными. Выберите расположение еще двух папок с именем history и экспортируйте таким же образом. Затем нажмите OK.
Затем нажмите на «Преобразования и фильтры БИХ», чтобы предварительно обработать сигнал мозга, применив фильтр и вырез в окне программного обеспечения. Установите пределы среза на 1,5 и 50 герц с наклоном 12 децибел для каждого и включите вырез на частоте 60 герц. Затем DC D тренд сигнала путем нажатия преобразований и DC dre.
Выберите вариант на основе времени за 100 миллисекунд до маркера и за 100 миллисекунд до подключения к постоянному току. Выполните проверку необработанных данных, щелкнув Преобразования и Проверка необработанных данных. Выберите полуавтоматическую проверку и выберите параметры напряжения, максимального минимума и амплитуды, показанные здесь.
Выполняйте автоматический независимый анализ компонентов или ICA с классической сферой для удаления I balling, щелкая преобразования и ICA после завершения. Обработайте обратный ICA, щелкнув преобразования ICA. Затем обратимся к ICA.
Наконец, экспортируйте сигнал и маркеры, нажав на экспорт и экспорт общих данных. Установите флажки с надписями правый файл заголовка и файл правого маркера. Кроме того, выберите текстовый формат для возможного построения индекса вовлеченности в MATLAB.
Далее импортируйте сигнал ЭЭГ в matlab. Для этого запустите скрипт E-E-G-L-A-B. Таким образом, графический интерфейс лаборатории ЭЭГ появляется в matlab.
Импортируйте данные по одному участнику за раз, выбрав файл импорта данных с помощью функций и плагинов лаборатории ЭЭГ, и из файла brain vis rec VDR вставьте скрипт в командное окно, который сгенерирует индекс вовлеченности. Этот скрипт выведет текстовый файл. Откройте текстовый файл индекса вовлеченности в Microsoft Excel.
Примените нормализацию Z-показателя к данным ЭЭГ, чтобы обеспечить сравнение между субъектами. После завершения предварительной обработки ЭЭГ. Предварительная обработка физиологических данных путем импорта данных ELECTRODERMAL или EDA в программное обеспечение для анализа физиологических данных.
Затем вычислите нормализацию z-оценки по данным EDA, щелкнув по преобразованию и математике формы сигнала, чтобы обеспечить межпредметное сравнение. Делается это в два этапа. Сначала выберите канал EDA для первого источника, знак минус в окне математической операции и K для второго источника.
Затем выберите «Новый» в меню назначения. Введите среднее значение канала EDA и выберите преобразовать всю волну. Нажмите OK на втором шаге, снова откройте математические операции преобразования и выберите канал EDAK для первого источника, знак деления в окне математической операции и K для второго источника.
Затем выберите «Новый» в меню назначения. Введите значение стандартного отклонения канала EDA и выберите «Преобразовать всю волну». Наконец, нажмите OK для последнего шага предварительной обработки.
Импортируйте видеоданные с рекордера в программу автоматического распознавания эмоций по лицу, нажав на «Новый файл», а затем «Участник». Выберите нового участника в меню проекта. Затем нажмите «Файл, новый анализ» и «Видео».
Нажмите на лупу рядом с анализом одного и выберите нужный видеофайл. Завершите вычислением zco данных валентности в SPSS, нажав на кнопку «Анализировать описательную статистику и описательные данные». Выберите «Сохранить стандартизированное значение в переменных» и появится столбец с Z-оценкой.
Начните с импорта видео с отслеживанием I, щелкнув «Файл», «Импорт» и «Видео в новом наблюдении». Назовите новое наблюдение и выберите нужный видеофайл для импорта. Импортируйте все внешние данные, щелкнув «Файл», «Импорт» и «Внешние данные».
Включите Z-оценку сигнала ЭЭГ zco сигнала EDA и Z-оценку валентных данных. При желании добавьте маркеры событий для дальнейшего анализа. Чтобы синхронизировать время между компьютерами, откройте меню смещения, нажав клавишу Ctrl Shift и знак равенства, выберите числовое смещение, чтобы ввести время в секундах между каждой парой источников данных.
Нажмите OK. Затем выберите интересные переменные для генерации в отчете, нажав кнопку Анализ выбранных данных и новый профиль данных. Выберите нужное событие для анализа и нажмите ОК.
Затем добавьте соединительную линию между начальной таблицей и таблицей вложения, а также между таблицей вложения и таблицей результатов. Сгенерируйте отчет по клику, проанализируйте числовой анализ и статистику новых кликов и поставьте галочку рядом со средним значением в меню внешних данных. Затем нажмите OK.
Нажмите кнопку Макет и убедитесь, что внешние данные находятся в столбцах, а контейнеры результатов отображаются в строках. Завершите нажатием кнопки мыши. Хорошо. Наконец, нажмите кнопку «Рассчитать», чтобы программное обеспечение обновило расчеты, включенные в создаваемый отчет.
В этом эксперименте синхронизируются многие измерения данных о вовлеченности, включая поведенческие, когнитивные и эмоциональные с помощью нескольких компьютеров. Чтобы установить исходный уровень субъекта, полезно использовать данные из той точки в задаче, где в конце паузы есть пауза. Когнитивная активность ЭЭГ немного повышается в ожидании следующей задачи, а возбуждение все еще снижается.
Валентные данные отсутствуют, потому что глаза участника закрыты во время решения задачи. Когда субъект читает третью строку, вы можете видеть, что его возбуждение достигло пика. Эмоциональная валентность нейтральна, а когнитивная активность ЭЭГ максимальна после освоения.
Эта техника включает в себя около 30 минут подготовки субъекта перед началом эксперимента после его разработки. Этот метод проложит путь для исследователей и практиков в области информационных технологий, а также в индустрии видеоигр для мониторинга в режиме реального времени поведенческого, эмоционального и когнитивного аспекта пользователей. Ключевым шагом в любом подходе к регулированию является синхронизация, и точность этой процедуры должна проверяться до и после каждого эксперимента, чтобы иметь точное время между всеми устройствами.
После просмотра этого видео у вас должно быть хорошее понимание того, как собирать синхронизированные психофизиологические данные, чтобы лучше понять динамику взаимодействия поведенческих, эмоциональных и когнитивных измерений вовлеченности во время учебной задачи.
View the full transcript and gain access to thousands of scientific videos
В этой работе описываются методы сбора и синхронизации данных о поведенческом, эмоциональном и когнитивном участии во время учебных заданий. Исследование направлено на интеграцию нескольких аспектов участия учащихся для лучшего понимания процесса обучения.
This methodology enables synchronized, multi-dimensional measurement of behavioral, emotional, and cognitive engagement during learning tasks, offering a neurophysiological framework for assessing user interaction with digital systems. In biopharma R&D, such approaches can inform the design of adaptive training platforms for clinical trial staff, enhance engagement metrics in patient-reported outcome tools, and support mechanistic de-risking in neurocognitive therapeutic development by providing quantifiable, real-time indices of attentional and affective states. The integration of EEG, electrodermal activity, eye tracking, and facial recognition delivers a systems-level view of engagement dynamics, aligning with target validation efforts that require objective, multi-parametric biomarkers of cognitive and emotional response.
This method fits within the discovery continuum from target validation through lead identification to preclinical efficacy, particularly for compounds targeting cognitive and emotional processing pathways where multi-dimensional engagement serves as a functional readout.