Система определения уровня внимания у учащихся на основе искусственного интеллекта

Summary

В этой статье предлагается система на основе искусственного интеллекта для автоматического определения того, обращают ли студенты внимание на класс или отвлекаются. Эта система предназначена для того, чтобы помочь учителям удерживать внимание учеников, оптимизировать их уроки и динамически вносить изменения, чтобы они были более увлекательными.

Abstract

Уровень внимания учащихся в классе может быть повышен с помощью методов искусственного интеллекта (ИИ). Автоматически определяя уровень внимания, учителя могут использовать стратегии для восстановления концентрации внимания учащихся. Этого можно достичь с помощью различных источников информации.

Одним из источников является анализ эмоций, отражающихся на лицах студентов. ИИ может обнаруживать эмоции, такие как нейтральность, отвращение, удивление, грусть, страх, счастье и гнев. Кроме того, направление взгляда учащихся также потенциально может указывать на уровень их внимания. Другой источник – наблюдение за положением тела учеников. С помощью камер и методов глубокого обучения можно анализировать осанку, чтобы определить уровень внимания. Например, учащиеся, которые сутулятся или кладут голову на парты, могут иметь более низкий уровень внимания. Умные часы, раздаваемые студентам, могут предоставлять биометрические и другие данные, включая частоту сердечных сокращений и инерционные измерения, которые также могут использоваться в качестве индикаторов внимания. Комбинируя эти источники информации, систему ИИ можно обучить определять уровень внимания в классе. Однако интеграция различных типов данных представляет собой проблему, требующую создания помеченного набора данных. Для точной маркировки мы обращаемся к экспертам и существующим исследованиям. В данной статье мы предлагаем интегрировать такие измерения и создать набор данных и классификатор потенциального внимания. Чтобы обеспечить обратную связь с учителем, мы изучаем различные методы, такие как умные часы или компьютеры с прямым управлением. Как только учитель осознает проблемы с вниманием, он может скорректировать свой подход к обучению, чтобы снова вовлечь и мотивировать учеников. Таким образом, методы искусственного интеллекта могут автоматически определять уровень внимания учащихся, анализируя их эмоции, направление взгляда, положение тела и биометрические данные. Эта информация может помочь учителям в оптимизации процесса преподавания и обучения.

Introduction

В современных образовательных учреждениях точная оценка и удержание внимания учащихся имеет решающее значение для эффективного преподавания и обучения. Тем не менее, традиционные методы измерения вовлеченности, такие как самоотчетность или субъективные наблюдения учителя, отнимают много времени и подвержены предубеждениям. Для решения этой проблемы методы искусственного интеллекта (ИИ) стали многообещающими решениями для автоматизированного обнаружения внимания. Одним из важных аспектов понимания уровня вовлеченности учащихся является распознавание эмоций¹. Системы искусственного интеллекта могут анализировать выражения лица для выявления таких эмоций, как нейтральность, отвращение, удивление, печаль, страх, счастье и гнев.

Направление взгляда и положение тела также являются важными показателями внимания учащихся³. Используя камеры и передовые алгоритмы машинного обучения, системы искусственного интеллекта могут точно отслеживать, куда смотрят учащиеся, и анализировать их положение тела, чтобы обнаружить признаки отсутствия интереса или усталости⁴. Кроме того, включение биометрических данных повышает точность и надежность обнаружения внимания⁵. Собирая измерения, такие как частота сердечных сокращений и уровень насыщения крови кислородом, с помощью умных часов, которые носят учащиеся, можно получить объективные показатели внимания, дополняющие другие источники информации.

В этой статье предлагается система, которая оценивает уровень внимания человека с помощью цветных камер и других различных сенсоров. Он сочетает в себе распознавание эмоций, анализ направления взгляда, оценку осанки тела и биометрические данные, чтобы предоставить преподавателям полный набор инструментов для оптимизации процесса преподавания и обучения и повышения вовлеченности учащихся. Используя эти инструменты, преподаватели могут получить всестороннее представление о процессе преподавания и обучения и повысить вовлеченность учащихся, тем самым оптимизируя общий образовательный опыт. Применяя методы искусственного интеллекта, можно даже автоматически оценивать эти данные.

Основная цель данной работы — описать систему, которая позволяет нам захватывать всю информацию и, будучи захваченной, обучать модель искусственного интеллекта, которая позволяет нам привлекать внимание всего класса в режиме реального времени. Хотя в других работах уже предлагалось привлекать внимание с помощью визуальной или эмоциональной^{информации6}, в этой работе предлагается комбинированное использование этих методов, что обеспечивает целостный подход, позволяющий использовать более сложные и эффективные методы ИИ. Более того, доступные до сих пор наборы данных ограничены либо набором видео, либо набором биометрических данных. В литературе отсутствуют датасеты, предоставляющие полные данные с изображениями лица учащегося или его тела, биометрические данные, данные о должности учителя и т.д. С помощью представленной здесь системы можно захватывать этот тип набора данных.

Система связывает уровень внимания с каждым учеником в каждый момент времени. Это значение представляет собой вероятностное значение внимания в диапазоне от 0% до 100%, которое можно интерпретировать как низкий уровень внимания (0%-40%), средний уровень внимания (40%-75%) и высокий уровень внимания (75%-100%). На протяжении всего текста эта вероятность внимания называется уровнем внимания, вниманием учащихся или тем, отвлечены ли студенты или нет, но все они связаны с одним и тем же выходным значением нашей системы.

С годами область автоматического обнаружения вовлечения значительно выросла благодаря своему потенциалу революционизировать образование. Исследователи предложили различные подходы к этой области исследований.

Ma et ^al.7 представили новый метод, основанный на нейронной машине Тьюринга для автоматического распознавания вовлеченности. Они извлекли определенные особенности, такие как взгляд, мимические единицы действий, поза головы и поза тела, чтобы создать всеобъемлющее представление о распознавании вовлеченности.

EyeTab⁸, еще одна инновационная система, использовала модели для оценки того, куда человек смотрит обоими глазами. Он был специально сделан для бесперебойной работы на стандартном планшете без каких-либо модификаций. Эта система использует известные алгоритмы обработки изображений и анализа компьютерного зрения. Их конвейер оценки взгляда включает в себя детектор глаз на основе функций Haar, а также подход к подгонке лимба на основе RANSAC.

Sanghvi et ^al.9 предлагают подход, который опирается на методы, основанные на зрении, для автоматического извлечения выразительных постуральных черт из видео, записанных с бокового обзора, фиксируя поведение детей. Проводится первичная оценка, включающая обучение множественных моделей распознавания с использованием контекстуализированных аффективных постуральных выражений. Полученные результаты демонстрируют, что паттерны постурального поведения могут эффективно предсказывать взаимодействие детей с роботом.

В других работах, таких как Гупта и ^др.10, метод, основанный на глубоком обучении, используется для определения вовлеченности онлайн-учащихся в режиме реального времени путем анализа их мимики и классификации их эмоций. Этот подход использует распознавание эмоций лица для расчета индекса вовлеченности (EI), который предсказывает два состояния вовлеченности: вовлеченность и невовлеченность. Различные модели глубокого обучения, включая Inception-V3, VGG19 и ResNet-50, оцениваются и сравниваются, чтобы определить наиболее эффективную модель предиктивной классификации для обнаружения взаимодействия в режиме реального времени.

В работе Altuwairqi et ^al.11 исследователи представили новый автоматический мультимодальный подход к оценке уровня вовлеченности учащихся в режиме реального времени. Чтобы обеспечить точные и надежные измерения, команда интегрировала и проанализировала три различных модальности, которые фиксируют поведение учащихся: выражения лица для выражения эмоций, нажатия клавиш на клавиатуре и движения мыши.

Guillén et ^al.12 предлагают разработку системы мониторинга, которая использует электрокардиографию (ЭКГ) в качестве первичного физиологического сигнала для анализа и прогнозирования наличия или отсутствия когнитивного внимания у людей во время выполнения задачи.

Албан и ^др.13 используют нейронную сеть (НС) для обнаружения эмоций путем анализа значений частоты сердечных сокращений (ЧСС) и электрокожной активности (ЭДА) различных участников как во временной, так и в частотной областях. Они обнаружили, что увеличение среднеквадратичного значения последовательных различий (RMSDD) и интервалов стандартного отклонения от нормы к норме (SDNN) в сочетании со снижением среднего ЧСС указывает на повышенную активность в симпатической нервной системе, которая связана со страхом.

Кадживара и ^др.14 предлагают инновационную систему, которая использует носимые датчики и глубокие нейронные сети для прогнозирования уровня эмоций и вовлеченности работников. Система состоит из трех этапов. Первоначально носимые датчики захватывают и собирают данные о поведении и пульсовых волнах. Впоследствии на основе полученных поведенческих и физиологических данных рассчитываются особенности временных рядов. Наконец, глубокие нейронные сети используются для ввода характеристик временных рядов и прогнозирования эмоций человека и уровня вовлеченности.

В других исследованиях, таких как Costante et ^al.15, предлагается подход, основанный на новом алгоритме обучения на основе трансферной метрики, который использует предварительные знания о предопределенном наборе жестов для улучшения распознавания жестов, определенных пользователем. Это улучшение достигается при минимальной зависимости от дополнительных обучающих выборок. Аналогичным образом, для решения задачи безличного распознавания сложных видов человеческой деятельности представлена основанная на датчиках структура¹⁶ для решения задачи обезличенного распознавания сложных видов человеческой деятельности. Данные сигнала, собранные с датчиков, носимых на запястье, используются в разработанной среде распознавания человеческой активности с использованием четырех моделей DL на основе RNN (долгосрочная-краткосрочная память, двунаправленная долгосрочная-краткосрочная память, стробированные рекуррентные единицы и двунаправленные стробные рекуррентные единицы) для исследования действий, выполняемых пользователем носимого устройства.

Protocol

Следующий протокол соответствует рекомендациям комитета по этике исследований человека Университета Аликанте с утвержденным протоколом No UA-2022-11-12. Информированное согласие всех участников было получено для проведения данного эксперимента и использования приведенных здесь данных.

1. Аппаратное и программное обеспечение и настройка классов

1. Установите роутер с возможностями WiFi (эксперименты проводились с использованием DLink DSR 1000AC) в нужном месте так, чтобы его радиус действия охватывал всю комнату. Здесь были охвачены классные комнаты площадью 25^м2 с 30 учениками.
2. Установите по одному смарт-часу (здесь Samsung Galaxy Smartwatch 5) и по одной камере (здесь камеры Logitech C920) для каждой локации ученика. Установите одно встроенное устройство для каждых двух учеников. Закрепите две камеры на двух штативах и подключите их к другому встроенному устройству (далее — зенитные камеры).
3. Подключите камеры к соответствующим встроенным устройствам с помощью USB-соединения и включите их. Включите также смарт-часы. Подключите все встроенные устройства и смарт-часы к сети Wi-Fi роутера, настроенной на шаге 1.1.
4. Поместите камеры в угол парты каждого ученика и направьте их вперед и слегка наклоните вверх так, чтобы лицо ученика было хорошо видно на изображениях.
5. Поставьте два штатива с камерами перед партами, которые находятся ближе всего к проходам в первом ряду сидений в классе. Переместите подставку штатива в самое высокое положение, чтобы камеры могли четко видеть большинство учеников. Каждое встроенное устройство сможет управлять одним или двумя учениками, а также их соответствующими камерами и часами. Установка изображена на рисунке 1.
6. Запустите программное обеспечение для захвата в умных часах и встроенных устройствах, чтобы они были готовы к отправке изображений и данных акселерометра, гироскопа, пульса и освещения. Запустите серверное программное обеспечение, которое собирает данные и хранит их. Схему всех этих элементов можно увидеть на рисунке 2.
7. Убедитесь, что зенитные камеры доминируют над сценой, чтобы они могли хорошо видеть тела студентов. Поставьте перед каждым учеником дополнительную индивидуальную камеру.
8. Пусть ученики сядут на свои места, расскажут им о целях эксперимента и проинструктируют их носить умные часы на доминирующей руке и не взаимодействовать ни с одним из элементов установки.
9. Начните сбор и сбор данных на сервере и возобновите занятия в обычном режиме.

Рисунок 1: Аппаратное обеспечение и конвейер данных. Данные камер и умных часов собираются и подаются в алгоритмы машинного обучения для обработки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 2: Положение датчиков, учителя и учеников. Схема, показывающая расположение камер, смарт-часов и графического интерфейса пользователя в классе с учителем и учениками. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

2. Конвейер захвата и обработки данных

ПРИМЕЧАНИЕ: Все эти шаги выполняются автоматически программным обеспечением, развернутым на сервере. Реализация, использованная для экспериментов в этой работе, была написана на Python 3.8.

1. Соберите необходимые данные, собрав все изображения и биометрические данные с умных часов для каждого ученика, и постройте фрейм данных, включающий данные за 1 секунду. Этот кадр данных состоит из одного изображения с отдельной камеры, по одному изображению с каждой зенитной камеры (в данном случае двух), пятидесяти регистров трех значений гироскопа, пятидесяти регистров трех значений акселерометра, одного значения частоты сердечных сокращений и одного значения освещенности.
2. Чтобы вычислить направление головы, первым делом необходимо использовать веб-камеру, направленную на лицо учащегося, и получить изображение. Затем это изображение обрабатывается алгоритмом оценки ориентиров BlazeFace¹⁷ . Результатом работы такого алгоритма является список 2D-ключевых точек, соответствующих конкретным областям лица.
3. Используя предполагаемое положение глаз, носа, рта и подбородка, предоставленное алгоритмом, решите перспективную задачу n-точки с помощью метода cv::SolvePnPMethod библиотеки OpenCV, канонической настройки лица. В результате этой процедуры получается матрица вращения, определяющая направление головы.
4. Вычислите позу тела путем пересылки зенитного изображения из кадра данных, в котором изображен учащийся, в алгоритм оценки ориентиров BlazePose¹⁸ и получите список 2D-координат суставов тела, изображенных на изображении. Этот список достопримечательностей описывает позу ученика.
   ПРИМЕЧАНИЕ: Поза тела важна, так как она может точно отражать вовлеченность студента в различные виды деятельности во время занятия. Например, если ученик сидит естественно, положив руки на парту, это может означать, что он делает заметки. Напротив, если они постоянно двигают руками, это может означать, что они с кем-то разговаривают.
5. Получите изображение лица учащегося и выполните предварительную обработку выравнивания. Извлеките ключевые точки глаз из списка, вычисленного на шаге 2.3, и спроецируйте их на плоскость изображения, чтобы получить положение глаз.
6. Обведите виртуальный вектор, соединяющий положение обоих глаз. Вычислите угол между этим вектором и горизонтальной линией и постройте матрицу гомографии, чтобы применить обратный угол к изображению и ключевым точкам так, чтобы глаза были выровнены горизонтально.
7. Обрежьте лицо, используя ключевые точки для определения его пределов, и подайте патч в сверточную нейронную сеть¹⁹ для обнаружения эмоций. Получите выходные данные из сети, которые представляют собой вектор с 7 позициями, каждая из которых дает вероятность того, что лицо будет выражать одну из семи основных эмоций: нейтральность, счастье, отвращение, злость, испуг, удивление и грусть.
8. Измерьте уровень внимания, получив данные акселерометра, гироскопа и частоты сердечных сокращений из кадра данных (рис. 3).
9. Загрузите модель на основе глубокого обучения, которая была специально создана и обучена с нуля, описанную в репрезентативных результатах, с помощью потока данных акселерометра и гироскопа. Получите выходные данные модели, которые представляют собой вектор с 4 позициями, каждая из которых дает вероятность того, что данные представляют одно из следующих возможных действий: рукописный ввод, набор текста на клавиатуре, использование мобильного телефона или отдых, как показано на рисунке 4.
10. Загрузите окончательный классификатор внимания с линеаризацией всех результатов из предыдущих систем путем объединения направления головы, вывода распознавания эмоций, позы тела, а также гироскопа, акселерометра и данных о частоте сердечных сокращений. Получите результаты из этого итогового классификатора, который имеет оценку от 0 до 100. Классифицируйте эту непрерывную величину по одной из трех возможных дискретных категорий внимания: низкий уровень внимания (0-40%), средний уровень внимания (40%-75%) и высокий уровень внимания (75% - 100%). Структура сгенерированного набора данных представлена в таблице 1.
11. Показывайте результаты уровней внимания учителю с помощью графического пользовательского интерфейса (GUI) с компьютера учителя, доступного из обычного веб-браузера.

Рисунок 3: Данные, собранные умными часами. Умные часы предоставляют гироскоп, акселерометр, частоту сердечных сокращений и состояние света в виде потоков данных. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Примеры категорий, рассматриваемых моделью распознавания активности. Модель распознавания действий распознает четыре различных действия: рукописный ввод, ввод текста на клавиатуре, использование смартфона и положение в положении покоя. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Results

Целевой группой данного исследования являются студенты бакалавриата и магистратуры, поэтому основная возрастная группа – от 18 до 25 лет. Эта группа была выбрана потому, что они могут обращаться с электронными устройствами с меньшим количеством отвлекающих факторов, чем младшие школьники. Всего в группу входило 25 человек. Эта возрастная группа может предоставить наиболее надежные результаты для проверки предложения.

Результаты показа уровня внимания учителю состоят из 2 частей. В части А резу...

Discussion

В данной работе представлена система, которая измеряет уровень внимания ученика в классе с помощью камер, умных часов и алгоритмов искусственного интеллекта. Эта информация впоследствии представляется учителю, чтобы он имел представление об общем состоянии класса.

Одним из основных критических этапов протокола является синхронизация информации с умных часов с изображением с цветной камеры, так как они имеют разные частоты. Проблема была решена путем развертывания малины в качестве серверов, ко...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
4 графических процессора  Nvidia A40 Ampere	NVIDIA	TCSA40M-PB	GPU для централизованной обработки моделей сервера
FusionServer 2288H V5	X-Fusion	02311XBK	Platform, которая включает в себя блок питания и материнскую плату для централизованной обработки моделей сервера
Карта памяти Evo Plus 128 ГБ	Samsung	MB-MC128KA/EU	Карта памяти для работы raspberry pi 4b 2gb.  По одному на каждую малину.
NEMIX RAM - 512 ГБ Комплект DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	RAM для централизованного сервера обработки моделей
Процессор Intel Xeon Gold 6330	Intel	CD8068904572101	Процессор для централизованной обработки моделей
сервера Raspberry PI 4B 2GB	Raspberry	1822095	Локальный сервер, который получает запросы от часов и отправляет их на общий сервер. Один раз в двух студентах.
Samsung Galaxy Watch 5 (40 мм)	Samsung	SM-R900NZAAPHE	Часы, которые следят за активностью каждого ученика. Для каждого студента.
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd	Samsung	MZQL23T8HCLS-00B7C	Внутреннее хранилище для централизованной обработки моделей
сервер WebCam HD Pro C920 Webcam FullHD	Logitech	960-001055	Webcam HD. По одному на каждого студента плюс два на студенческие позы.