Вычислительное моделирование аффективного пользовательского опыта с использованием мультимодальных физиологических и поведенческих сигналов

Summary

Этот протокол описывает вычислительную структуру, которая моделирует аффективный пользовательский опыт, интегрируя физиологические и поведенческие сигналы в мультимодальной форме, используя методы корреляционного обучения признаков и мультимодального слияния. Этот протокол предлагает и тестирует фреймворк для мультимодального аффективного моделирования на основе бенчмаркового набора данных AMIGOS.

Abstract

В данной работе предлагается воспроизводимый вычислительный протокол мультимодального аффективного моделирования, использующий физиологические сигналы. Цель протокола — обеспечить офлайн-распознавание эмоций путём интеграции нескольких биосигналов с использованием унифицированного фреймворка глубокого обучения. Предлагаемая работа состоит из пяти этапов: сбор данных, предварительная обработка, выравнивание признаков, мультимодальное слияние и оценка. В этой работе в качестве экспериментальной базы использовались сигналы ЭЭГ, ЭКГ и ГСР из общедоступных данных AMIGOS. Биосигналы предварительно обрабатывались и нормализовались для выделения модально-специфических признаков. Гетерогенные пространства признаков были выровнены между модальностями с помощью глубокого канонического корреляционного анализа, за которым последовала мультимодальная сеть слияния для классификации аффективного состояния. Протокол был оценён с помощью офлайн-экспериментов и сравниван с традиционными моделями слияния и классификации с использованием стандартных показателей производительности, таких как точность, точность, отзыв, F1-балл и AUC. Данное исследование сосредоточено на разработке и валидации вычислительной структуры для мультимодального аффективного моделирования пользовательского опыта, а не на внедрении интерактивной системы в реальном времени. С точностью 92,1% прогнозирования UX-аффективного состояния и 94,2% F1-балла для классификации валентно-возбуждения, результаты стабильно превосходили базовые модели по эмоциональным измерениям. Эти результаты подтвердили эффективность предлагаемого мультимодального процесса слияния для вычислительного аффективного моделирования путём бенчмаркинга физиологических данных.

Introduction

Сложное взаимодействие мышления, чувств и действий формирует то, как люди думают и действуют. Аффективные вычисления изучают эти взаимосвязи, используя междисциплинарные знания нейронауки, психологии и искусственного интеллекта для создания систем, способных анализировать, понимать и реагировать на человеческие эмоции. Эта область всё больше применяется в коммуникации между человеком и технологиями путём интеграции экспрессивного сознания в отзывчивые структуры ИИ, что позволяет технологиям взаимодействовать не только с интеллектуальными, но и с эмоциональными условиями, что приводит к более индивидуализированному и эмоционально осозн....

Protocol

Набор данных AMIGOS, использованный в этом исследовании, является общедоступным и был собран с предварительного одобрения и информированного согласия институционального надзорного совета, как указано в оригинальной публикации. Это исследование включает только вторичный анализ набора данных, и дополнительное этическое одобрение не требовалось.

Настоящий метод использует подходы выравнивания признаков и мультимодального слияния для обработки мультимодальных физиологических и поведенческих данных с целью описания корреляций восприятия и эмоций. В данном исследовании предлагается вычислительная модель аффективного пользовательского опыта (UX) в....

Results

Оценка предлагаемой системы
Для оценки предлагаемой системы были проведены эксперименты с общедоступным набором данных AMIGOS, который обеспечивает синхронизированные измерения ЭЭГ, ЭКГ, ГСР, видео и аудио 40 пользователей, подвергшихся воздействию эмоционально активных стимулов. Для целей этого исследования авторы использовали данные 33 участников (после предварительной обработки и удаления неполных исследований), в результате чего было получено 1 320 действительных образцов по измерениям валентности.......

Discussion

Пространственные, экологические и физические контексты взаимодействия, такие как пространственная планировка, плотность толпы или условия окружающей среды, явно не указаны в наборе данных AMIGOS. Таким образом, такие факторы также не моделируются напрямую в текущих экспериментах. Предлагаемая вычислительная модель моделирования аффективного пользовательского опыта (UX) развивается гораздо дальше, чем фундаментальные концепции базовой работы, которые касались взаимодействия ребёнка и робо.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Набор данных	Набор данных AMIGOS	40 участников; ЭЭГ (128 Гц), ЭКГ (1000 Гц), ГСР (1000 Гц), видео лица, самосообщаемые метки валентности/возбуждения	Мультимодальные наземные данные истинности для моделирования аффективных состояний
Физиологические сенсоры	ЭЭГ-гарнитура	Emotiv EPOC+ (14 каналов, 128 Гц)	Фиксация мозговой активности, связанной с вниманием, возбуждением и вовлечённостью
	ЭКГ-датчик	Biopac MP150 или эквивалент (1000 Гц)	Вариабельность и возбуждение сердечных сокращений
	Датчик GSR/EDA	Shimmer GSR+ или эквивалент (1000 Гц)	Проводимость кожи как мера возбуждения
Поведенческие сенсоры	Устройство для отслеживания глаз	Tobii Pro X2-60 или эквивалент	Фиксация взгляда на запись и саккады
	Запись мимики	Видеокамера высокого разрешения; проанализировано с помощью OpenFace (AU, векторы взгляда)	Извлечение лицевых единиц действия (AU) и подсказок взгляда
Экологические ресурсы	Аудиовизуальная система записи	Микрофон + Камера (синхронизировано со стимулами)	Захват контекстуальных стимулов во время выставки
Программное обеспечение / Наборы инструментов	OpenFace	Открытый набор инструментов для анализа поведения лица	Эвакуация боевых единиц (AU), направление взгляда
	MATLAB / Python (NumPy, SciPy, scikit-learn)	Предварительная обработка сигнала (ресемплирование, нормализация z-score, вычисление PSD)	Предварительная обработка данных и извлечение признаков
	TensorFlowv2.13 / PyTorchv2.0	Фреймворк глубокого обучения для DCCA и MMFN	Внедрение и обучение модели
Алгоритмы / Модели	Глубокий канонический корреляционный анализ (DCCA)	Метод нелинейного выравнивания признаков	Изучение коррелированных латентных представлений между модальностями
	Мультимодальная термоядерная сеть (MMFN)	BiLSTM + слои слияния на основе внимания	Иерархическое слияние гетерогенных модальностей для классификации состояний UX
Метрики оценки	Точность, Точность, Отзыв, F1-Score, Коэн s Kappa, AUC-ROC, матрица путаницы	Реализовано с помощью метрик scikit-learn / TensorFlow	Оценка эффективности модели
Вычислительное оборудование	Кластер рабочих станций / GPU	NVIDIA RTX 3080 (10 ГБ) или эквивалент, 32 ГБ оперативной памяти, процессор Intel i9	Обучение и симуляция моделей