Методическая статья

Воспроизведение моторных образов с помощью воплощенных цифровых двойников в среде интерфейса мозг-компьютер с поддержкой виртуальной реальности

DOI:

10.3791/66859

⸱

10 мая 2024 г.

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Моторные образы в среде виртуальной реальности имеют широкое применение в системах интерфейса мозг-компьютер. В этой рукописи описывается использование персонализированных цифровых аватаров, которые напоминают участников, выполняющих движения, воображаемые участником в среде виртуальной реальности, для усиления погружения и ощущения владения телом.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование представляет инновационную основу для неврологической реабилитации путем интеграции интерфейсов мозг-компьютер (BCI) и технологий виртуальной реальности (VR) с настройкой трехмерных (3D) аватаров. Традиционные подходы к реабилитации часто не в полной мере вовлекают пациентов, в первую очередь из-за их неспособности обеспечить глубокое погружение и интерактивный опыт. Данное исследование пытается восполнить этот пробел с помощью методов моторного воображения (ИМ), когда участники визуализируют физические движения без фактического выполнения. Этот метод использует нейронные механизмы мозга, активируя области, участвующие в выполнении движений при воображении движений, тем самым облегчая процесс восстановления. Интеграция иммерсивных возможностей виртуальной реальности с точностью электроэнцефалографии (ЭЭГ) для захвата и интерпретации активности мозга, связанной с воображаемыми движениями, составляет основу этой системы. Цифровые двойники в виде персонализированных 3D-аватаров используются для значительного усиления ощущения погружения в виртуальную среду. Это обостренное чувство телесности имеет решающее значение для эффективной реабилитации, направленной на укрепление связи между пациентом и его виртуальным двойником. Таким образом, система не только стремится улучшить производительность моторных изображений, но и стремится обеспечить более увлекательный и эффективный опыт реабилитации. С помощью приложения BCI в режиме реального времени система позволяет напрямую переводить воображаемые движения в виртуальные действия, выполняемые 3D-аватаром, предлагая немедленную обратную связь пользователю. Эта петля обратной связи необходима для укрепления нейронных путей, участвующих в управлении моторикой и восстановлении. Конечная цель разработанной системы – значительно повысить эффективность упражнений на моторное воображение за счет того, чтобы сделать их более интерактивными и отзывчивыми к когнитивным процессам пользователя, тем самым проложив новый путь в области неврологической реабилитации.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Парадигмы реабилитации пациентов с неврологическими нарушениями претерпевают трансформационный сдвиг с интеграцией передовых технологий, таких как интерфейсы мозг-компьютер (BCI) и иммерсивная виртуальная реальность (VR), предлагая более тонкий и эффективный метод содействия выздоровлению. Моторная визуализация (ИМ), техника, лежащая в основе реабилитации на основе ИМК, включает в себя мысленную репетицию физических движений без фактическогомоторного исполнения. ИМ использует нейронный механизм, при котором представление движения запускает паттерн мозговой активности, который близко отражает активность самого физического действия. В частности, вовлечение в ИМ приводит к явлению, известному как событийная десинхронизация (ЭРБ) в альфа-диапазоне (8-13 Гц) и бета (13-25 Гц) диапазонов электрической активности мозга 5,6,7. ERD указывает на подавление исходных ритмов мозга, паттерн, который также наблюдается во время реального движения, тем самым обеспечивая нейронный субстрат для использования MI в рамках реабилитационных систем с помощью BCI7. Такое сходство в активации коры головного мозга между ИМ и физическим движением позволяет предположить, что ИМ может эффективно стимулировать нейронные сети, участвующие в моторном контроле, что делает его ценным инструментом для пациентов сдвигательным дефицитом. Кроме того, практика ИМ вышла за рамки простой умственной репетиции и включает в себя стратегии наблюдения задействием. Наблюдение за движением частей тела, связанных с задачей, или действиями других людей может активировать сеть зеркальных нейронов (MNN), группу нейронов, которые реагируют как на наблюдение за действием, таки на его выполнение. Было продемонстрировано, что активация МНН посредством наблюдения индуцирует пластичность коры головного мозга, о чем свидетельствуют различные методы нейровизуализации, включая функциональную МРТ10, позитронно-эмиссионную томографию11 и транскраниальную магнитную стимуляцию12. Фактические данные подтверждают идею о том, что тренировка ИМ, усиленная наблюдением за действием, может привести к значительной нейронной адаптации и восстановлению у пораженных людей.

Технология виртуальной реальности произвела революцию в области реабилитации на основе ИМ, предложив иммерсивную среду, которая усиливает чувство владения телом и стирает различия между реальным и виртуальныммирами. Иммерсивное качество виртуальной реальности делает ее эффективным инструментом для наблюдения за действием и отработки моторных образов, поскольку позволяет участникам воспринимать виртуальную среду как реальную15. Исследования показали, что устройства виртуальной реальности оказывают более выраженное влияние на обучение ИМ по сравнению с традиционными дисплеями 2D-мониторов15,16. О таких результатах свидетельствует повышенная нейронная активность, такая как увеличение амплитуды ERD в сенсомоторной коре, что подчеркивает преимущества более высоких уровней погружения в стимуляцию мозговой активности вовремя упражнений MI под визуальным контролем. Система помогает улучшить производительность ИМ для задач, связанных с движениями рук или конечностей, обеспечивая прямую обратную связь, тем самым улучшая процесс реабилитации16,17. Синергия между ИМ и виртуальной реальностью подчеркивает интеграцию сенсорной, перцептивной, когнитивной и моторной деятельности18,19. Эта комбинация оказалась особенно полезной для выживших после инсульта20,21 и ветеранов войны22 года, поскольку исследования показали, что интеграция виртуальной реальности в протоколы реабилитации на основе ИМ может значительно сократить время реабилитации и улучшить результаты восстановления. Уникальная особенность виртуальной реальности в реабилитации заключается в ее способности создавать ощущение присутствия в специально разработанной виртуальной среде, улучшая реабилитационный опыт, который еще больше усиливается за счет включения виртуальных аватаров, представляющих тело пользователя, что все чаще используетсяв исследованиях двигательной реабилитации.. Эти аватары предлагают реалистичное трехмерное представление движений конечностей, способствуя инфаркту миокарда и значительно влияя на активацию моторной коры. Позволяя участникам визуализировать свое виртуальное «я», выполняющее конкретные задачи, виртуальная реальность не только обогащает опыт ИМ, но и способствует более быстрому и эффективному процессу нейронной реорганизации и восстановления. Внедрение виртуальных аватаров и смоделированных сред в обучении инфаркту миокарда подчеркивает естественное и интегрированное использование виртуальных тел в иммерсивных виртуальных мирах.

Несмотря на замечательные преимущества управления 3D-аватарами в ИМ на основе ИМК для реабилитации, остается существенное ограничение в преимущественном использовании офлайн-методологий. В настоящее время большинство приложений ИМК включают захват предварительно записанных данных электроэнцефалографии (ЭЭГ), которые впоследствии используются для манипулирования аватаром24,25. Даже в сценариях, где достигается управление аватаром в режиме реального времени, эти аватары часто являются общими и не похожи на участников, которых они представляют. Этот общий подход упускает важнейшую возможность углубить погружение и чувство владения телом, что имеет решающее значение дляэффективной реабилитации. Создание 3D-аватара, который в точности повторяет сходство с объектом, может значительно усилить эффект погружения впроисходящее16. Визуализируя себя в виртуальном мире, участники могли способствовать более тесной связи между своими воображаемыми и реальными движениями, что потенциально приводило к более выраженным паттернам ERD и, таким образом, к более эффективной нейронной адаптациии восстановлению. Продвигаясь в сторону управления персонализированными 3D-аватарами в режиме реального времени, область BCI и VR может значительно улучшить парадигмы реабилитации, предлагая более тонкий, увлекательный и эффективный метод восстановления пациентов.

В настоящей рукописи представлены создание, проектирование и технологические аспекты как аппаратного, так и программного обеспечения управления 3D-аватарами в реальном времени на основе виртуальной реальности, подчеркивая его инновационные результаты, которые поддерживают его интеграцию в системы двигательной реабилитации. Предлагаемая система будет использовать электроэнцефалографию (ЭЭГ) для захвата сигналов моторных изображений, генерируемых субъектом, которые затем будут использоваться для управления движениями и действиями аватара в режиме реального времени. Текущий подход будет сочетать в себе передовые возможности технологии виртуальной реальности с точностью ЭЭГ в распознавании и интерпретации активности мозга, связанной с воображаемыми движениями, с целью создания более привлекательного и эффективного интерфейса для взаимодействия пользователей с цифровой средой с помощью силы их мыслей.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Настоящее исследование направлено на изучение возможности управления 3D-аватаром в режиме реального времени в среде виртуальной реальности с использованием сигналов MI, записанных с помощью ЭЭГ. Исследование сосредоточено на усилении погружения и чувстве владения телом путем персонализации аватара, чтобы он был максимально похож на объект. Протокол получил одобрение Наблюдательного совета Веллорского технологического института. Участники предоставили письменное информированное согласие после ознакомления с целью, процедурами и потенциальными рисками исследования.

1. Экспериментальная установка

ПРИМЕЧАНИЕ: Убедитесь, что система включает в себя все компоненты, как показано на схеме экспериментальной установки на рисунке 1 (см. Таблицу материалов для используемого оборудования).

  1. Разработка 3D аватаров
    1. Моделирование аватара
      1. За день до сбора данных соберите несколько фотографий лица с разных ракурсов и точные замеры тела каждого участника.
      2. Нажмите « Программное обеспечение для моделирования », чтобы открыть его. Сразу после открытия найдите ползунок для Гендера. Отрегулируйте этот ползунок в соответствии с полом модели, которую вы хотите создать.
      3. Перейдите на вкладку «Моделирование» в верхней части экрана и нажмите на нее, чтобы получить доступ к параметрам настройки тела.
      4. Используйте ползунки под различными секциями, такими как Туловище, Руки, Ноги и т.д., чтобы смоделировать тело. Сосредоточьтесь на следующих основных измерениях: рост, грудь/грудь, талия, бедра, длина ног и длина рук.
      5. Перейдите на вкладку «Поза/анимация» и выберите скелет по умолчанию для базовых анимаций. Перейдите в меню «Файлы» вверху, выберите «Экспорт», а затем выберите. Формат MHX2 для совместимости с программным обеспечением для анимации. Убедитесь, что выбран параметр «Экспорт с оснасткой», чтобы включить скелет. Выберите папку назначения, присвойте файлу имя и нажмите кнопку Экспорт.
      6. Откройте программу для анимации. Перейдите в раздел Файл > Импорт и выберите .mhx2 или ожидаемый формат. Перейдите к сохраненному файлу, выберите его и импортируйте в программу.
      7. Перейдите в меню «Правка», выберите «Настройки» > «Дополнения» и убедитесь, что соответствующий плагин для создания лиц включен.
      8. В окне 3D просмотра переключитесь на предустановку макета, предусмотренную плагином, или перейдите на панель плагина, обычно расположенную на полке инструментов с левой стороны.
      9. Нажмите « Создать новую голову » на панели плагина, чтобы запустить модель головы. Используйте кнопку Добавить фотографию для импорта фотографий участника. Используйте передние и боковые профили для точного моделирования.
      10. Следуйте подсказкам, чтобы выровнять точки на фотографиях с соответствующими точками на 3D-модели. Затем плагин настроит модель головы в соответствии с чертами участника. Как только вы будете удовлетворены сходством, доработайте модель головы.
      11. Вручную расположите модель головы так, чтобы она совпала с шеей модели тела. Отрегулируйте масштаб и вращение головы для бесшовной посадки.
      12. Используйте инструмент «Привязка» (Shift+Tab), чтобы точно выровнять вершины шеи на голове с вершинами на теле.
      13. После выравнивания соедините голову и тело, выделив обе сетки, нажав Ctrl+J , чтобы объединить их в один объект.
      14. Импортируйте или смоделируйте пару бонго и расположите их перед моделью на соответствующей высоте.
    2. Анимация аватара
      1. Переключитесь в режим позы для оснасточной модели. В кадре 1 выберите все кости и вставьте ключевой кадр (используйте клавишу I) для LocRotScale, чтобы записать их начальное положение.
      2. Переместите временную шкалу вперед к кадру 30, чтобы поместить левую руку для удара по бонго.
      3. Перемещайте и вращайте якорь левой руки, чтобы имитировать удар по бонго. Вставьте ключевой кадр для этих костей. Повторите этот процесс, чтобы вернуть руку в исходное положение на кадре 60, вставив еще один ключевой кадр для завершения действия.
      4. Переместите временную шкалу на кадр 90, где правая рука начинает свое действие. Как и в случае с левой рукой, отрегулируйте положение и вращение правой руки, чтобы имитировать удар по другому бонго, и вставьте ключевой кадр.
      5. Верните руку в исходное положение и вставьте ключевой кадр, чтобы завершить движение на кадре 150.
      6. Прокрутите временную шкалу, чтобы просмотреть анимацию. При необходимости отрегулируйте для более плавного движения или лучшего времени между ударами бонго. Сохраните файл.
  2. Настройка оборудования
    1. Соберите 16-канальную систему сбора данных ЭЭГ, прикрепив модуль Daisy с 8 каналами ЭЭГ к плате с 8 каналами ЭЭГ.
    2. Подключите электрод сравнения с помощью кабеля Y-образного разветвителя к нижнему контакту опорного напряжения на плате Daisy и нижнему контакту опорного контакта платы в нижней части, которые помечены как SRB.
    3. Подсоедините заземляющий электрод к контакту BIAS на нижней плате.
    4. Подсоедините 16 электродов ЭЭГ к контактам нижней платы с маркировкой N1P-N8P и шлейфовым контактам с маркировкой N1P-N8P.
    5. Вставьте электроды на безгелевый колпачок в отмеченных местах, соответствующих международной системе 10-20 для размещения электродов с электродами с маркировкой FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 и T4.
    6. Замочите 18 губок, предусмотренных для электродов ЭЭГ, в физиологическом растворе с 5 г хлорида натрия, смешанного с 200 мл водопроводной воды, на 15 минут.
    7. Вставьте смоченные губки в нижнюю часть каждого электрода, чтобы установить контакт между кожей головы и электродом.
    8. Расположите участников поудобнее в тихой комнате. Наденьте безгелевую шапочку для ЭЭГ на кожу головы участника, убедившись, что шапочка правильно выровнена и прилегает к ушам участника.
    9. Подключите USB-ключ к ноутбуку. Откройте графический интерфейс ЭЭГ, нажмите на систему ЭЭГ, в разделе «Источник данных» выберите «Последовательный (из ключа»), «16 каналов» и «АВТОПОДКЛЮЧЕНИЕ».
    10. На экране «Сбор данных» выберите виджет сигнала, чтобы проверить качество сигнала подключенных электродов путем проверки оптимального уровня импеданса <10 кОм на каждом участкеэлектрода 26.
    11. Если импеданс выше 10 кОм, то добавьте несколько капель солевого раствора в губку под электродом. После проверки импеданса закройте графический интерфейс.
    12. Откройте программное обеспечение Acquisition Server, выберите соответствующую плату ЭЭГ в разделе «Драйвер» и нажмите «Подключить > играть », чтобы установить соединение с системой ЭЭГ.
    13. Подготовьте гарнитуру виртуальной реальности, продезинфицировав ее салфетками и положив на голову участника поверх шапочки ЭЭГ, чтобы облегчить иммерсивное взаимодействие во время захвата данных ЭЭГ.
  3. Настройка игры
    ПРИМЕЧАНИЕ: В следующих инструкциях описывается настройка двух сценариев игрового движка с использованием Open Sound Control (OSC): один для обучения моторных образов (прямая связь), а другой для тестирования моторных образов (обратная связь). Сценарий прямой связи обучает пользователей работе с изображениями моторики с помощью наблюдаемых анимаций, запускаемых сообщениями OSC. Сценарий обратной связи проверяет эффективность моторных образов путем анимации воображаемых пользователем движений на основе входных данных OSC.
    1. Откройте программное обеспечение игрового движка и выберите Motor Imagery Training Project. Включите поддержку VR: перейдите в раздел «Редактирование» > «Настройки проекта» > «Проигрыватель» > «Настройки XR», установите флажок «Поддерживается виртуальная реальность» и убедитесь, что гарнитура VR указана в разделе SDK для виртуальной реальности.
    2. Удалите стандартную камеру и перетащите камеру VR в сцену из пакета интеграции VR.
    3. Поместите импортированный файл анимации в сцену. При необходимости отрегулируйте масштаб и ориентацию. Убедитесь, что OSCListener GameObject с предварительно написанными скриптами настроен на запуск анимации модели для движений влево и вправо на основе сообщений OSC, имитируя действие удара по бонго для тренировки моторных образов.
    4. Откройте File > Build Settings в программном обеспечении игрового движка. Выберите PC, Mac & Linux Standalone, выберите целевую Windows, затем нажмите «Собрать и запустить».
    5. Для проекта тестирования изображений двигателей выполните те же действия, что и для проекта по обучению изображений двигателей. Используйте OSCListener GameObject, сконфигурированный со скриптами, предназначенными для приема сигналов OSC, указывающих на воображаемые движения рук участника, запуская соответствующие анимации для тестового проекта.

figure-protocol-1
Рисунок 1: Настройка VR-BCI. Вся конфигурация VR-BCI показывает участника, одетого в VR-гарнитуру и шапочку для ЭЭГ. Участники рассматривали персонализированный 3D-аватар в виртуальной среде и контролировали его действие с помощью сигналов мозга, передаваемых на компьютер по беспроводной сети. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

2. Экспериментальный дизайн

  1. Этап верификации сигнала
    1. Откройте программное средство для разработки и запуска сценариев визуализации двигателей, перейдите в раздел «Файл» и загрузите шесть сценариев Motor-Imagery-BCI: «Проверка сигнала», «Захват», «Обучение CSP», «Обучение классификатора», «Тестирование» и «Матрица неточностей».
    2. Перейдите к сценарию проверки сигнала. Примените полосовой фильтр в диапазоне от 1 до 40 Гц с порядком фильтрации 4 к необработанным сигналам с помощью дизайнерских блоков для оптимизации обработки сигнала.
  2. Этап обучения
    1. Направляйте и инструктируйте участников выполнять задачи на моторное воображение, представляя движения рук в ответ на визуальные подсказки.
    2. Откройте файл для тренировки моторных образов и покажите подготовленный 3D-аватар, стоящий над набором бонго, через VR-гарнитуру.
    3. Перейдите к сценарию съемки и дважды щелкните стимулятор Graz Motor Imagery Stimulator , чтобы настроить блок.
    4. Сконфигурируйте 50, 5 с попыток (cue-1,25 с и MI-3,75 с) для движений как левой, так и правой руки, включая 20 с исходный период с последующим интервалом 10 с отдыхом после каждых 10 попыток, чтобы избежать умственной усталости.
    5. Настройте рандомизацию испытаний для левой и правой руки и перед испытанием поставьте подсказку, указывающую, какую руку нужно представить.
    6. Подключите OSC-бокс с IP-адресом и портом для передачи сигнала для воображаемой руки в программу игрового движка для тренировки моторных образов.
    7. Попросите участников представить, что они выполняют движение своей руки вместе с 3D-аватаром, следуя в том же темпе, что и аватар, когда он ударяет по бонго соответствующей рукой, следуя текстовому сигналу, показывающему, какую руку следует представить.
  3. Обучение CSP и LDA
    1. После сбора данных запустите сценарий CSP Training, чтобы проанализировать данные ЭЭГ на этапе сбора данных и вычислить общие пространственные шаблоны (CSP), создав фильтры для различения изображений левой и правой руки.
    2. После обучения CSP перейдите к сценарию обучения классификатора и запустите его, чтобы использовать линейный дискриминантный анализ (LDA) с использованием фильтров CSP для эффективной классификации задач, подготавливая систему к управлению аватаром в режиме реального времени.
  4. Этап тестирования
    1. Перейдите к сценарию тестирования, чтобы участники могли управлять своими 3D-аватарами в режиме реального времени с помощью технологии интерфейса мозг-компьютер (BCI).
    2. Загрузите в соответствующие поля классификаторы, обученные в предыдущем сценарии на данных ЭЭГ, в то время как участники представляли движения рук, чтобы интерпретировать эти воображаемые действия в режиме реального времени.
    3. Убедитесь, что система ЭЭГ и настройка VR работают и правильно настроены в соответствии с настройками этапа обучения.
    4. Проинструктируйте участников о процедуре тестирования, подчеркнув необходимость четко представлять движения рук (удары бонго левой или правой рукой) в соответствии с текстовыми подсказками.
    5. Аналогично этапу обучения, проведите 20 испытаний для каждого участника, разделенных поровну между воображаемыми движениями левой и правой руки и рандомизированными.
    6. Подключите и настройте OSC-бокс для передачи информации о подсказках, которая будет отображаться в виде текста, указывающего, какая рука должна быть изображена в программе игрового движка.
    7. Подключитесь к другому OSC-боксу для передачи прогнозируемого значения движений влево и вправо, чтобы программа игрового движка воспроизвела соответствующую анимацию на основе руки, представленной участником.
    8. Запустите тестовый сценарий. Запустите программу игрового движка Motor Imagery Testing.

3. Сбор и анализ данных

  1. Непрерывная запись данных ЭЭГ и выходных данных классификатора на этапах сбора и тестирования эксперимента с дискретизацией данных с частотой 125 Гц.
  2. Перейдите к сценарию «Матрица нечистостей» и загрузите полученный файл ЭЭГ в поле с надписью «Считыватель общего потока» для каждого участника, а также для этапов сбора и обучения.
  3. Запустите сценарий, чтобы получить матрицу несоответствий, чтобы оценить, насколько точно система BCI интерпретирует сигналы моторных изображений.
  4. Соберите отзывы участников об их опыте использования аватара, возможностях управления, уровне погружения и комфорте при ношении шапочки для ЭЭГ и гарнитуры виртуальной реальности.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Показанные результаты получены от 5 человек, которые следовали описанному выше протоколу. Всего в исследовании приняли участие 5 здоровых взрослых (3 женщины) в возрасте от 21 до 38 лет.

Результаты индивидуальной классификации для каждого участника как в условиях обучения моторных изображений, так и в условиях тестирования показаны на рисунке 2. Для оценки точности классификатора в различении левых и правых сигналов MI как во время обучения, так и во время тестовых сессий была рассчитана средняя матрица неоднозначности для всех испытуемых (см. рис. 3).

Веса CSP, рассчитанные для изображений левой и правой моторики во время тренировки, были спроецированы в виде топографической картины для репрезентативного участника на рисунке 4A. Кроме того, для того же участника был проведен частотно-временной анализ данных ЭЭГ, собранных с электрода С4, который был расположен над контралатеральной правой сенсомоторной областью, соответствующей левой руке, и электрода С3, расположенного над левой сенсомоторной областью правой руки. Временные и частотные графики для идентификации спектральных возмущений, связанных с событиями (ERSP), показывающие, как амплитуда частот в диапазоне от 8 до 30 Гц динамически изменяется с течением времени в течение эпохи, показаны на рисунке 4B в рамках сеанса обучения моторным изображениям. Сосредоточившись на альфа (8-12 Гц) и бета (13-30 Гц) диапазонах, ERSP для каждой эпохи нормализовались путем деления их на базовые спектры, и на основе этих нормализованных значений был вычислен средний ESP.

Кроме того, отзывы участников были в основном положительными о комфорте и простоте использования ЭЭГ-шапочки и VR-гарнитуры. Участники с особым энтузиазмом отнеслись к управлению своими 3D-аватарами в режиме реального времени. Тем не менее, участники посчитали, что удар по бонго может сопровождаться звуковой обратной связью для лучшего погружения.

figure-results-1
Рисунок 2: Проценты точности для каждого участника во время обучения и тестирования моторных изображений. Коэффициент истинного положительного результата (TP) показывает долю сигналов моторных изображений (MI), которые модель классификатора правильно идентифицировала как сигналы MI. Частота ложных срабатываний (FP) показывает, как часто сигналы левого MI ошибочно классифицировались как сигналы правого MI. Коэффициент ложноотрицательных результатов (FN) показывает долю фактических левых сигналов MI, которые модель не смогла обнаружить. Наконец, истинно отрицательный коэффициент (TN) указывает на долю правильных сигналов MI, которые модель точно распознала как таковые. S1, S2, S3, S4 и S5 обозначают пять участников. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 3: Средние матрицы неточностей производительности классификации во время обучения и тестирования моторных изображений. Общая средняя точность отражает способность модели правильно классифицировать как левые, так и правые сигналы MI. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-3
Рисунок 4: Фильтр CSP, шаблон и графики временной частоты для обеих рук во время тренировки моторных образов для репрезентативного участника. (A) На рисунке показаны фильтры CSP для S1, которые максимально различают два класса (левый и правый) на основе дисперсии. (B) Частотно-временной график для S1. Синие области показывают рассинхронизацию, связанную с событием. При длительности 0 мс сигнал для представления левой или правой руки отображался в течение 1250 мс. Следуя сигналу, участник представлял себе ударное движение бонго соответствующей рукой. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Применение ИМ в сочетании с технологией виртуальной реальности предлагает многообещающий путь для реабилитации за счет использования естественных механизмов мозга для моторного планирования и выполнения. Способность ИМ вызывать десинхронизацию, связанную с событиями, в определенных частотных диапазонах мозга, отражая нейронную активность физических движений 2,3,4, обеспечивает надежную основу для вовлечения и укрепления нейронных сетей, участвующих в моторном контроле8. Этот процесс еще больше усиливается за счет иммерсивного качества виртуальной реальности, которое не только усиливает ощущение присутствия и владения телом, но и облегчает визуализацию движений, тем самым обогащая опыт MI16.

Разработка персонализированных 3D-аватаров, которые очень похожи на объекты, которые они представляют, знаменует собой заметное новшество вэтой области. Этот подход концептуально согласуется с работой Skola et al.27 по коадаптивному обучению MI-BCI с использованием геймифицированных задач в условиях виртуальной реальности. Тем не менее, этот протокол вносит значительную дифференциацию, используя полный 3D-аватар, точно отражающий внешность участника, в отличие от точки зрения, сфокусированной на руках, используемой Skola et al. Обеспечивая визуальное представление воображаемых движений пользователя в режиме реального времени, эти аватары углубляют погружение и укрепляют связь между воображаемыми и реальнымидвижениями. Ожидается, что подход, подробно описанный в этой рукописи, будет способствовать более выраженным паттернам ERD, что приведет к более эффективной нейронной адаптации и восстановлению.

Тем не менее, переход от офлайн-методологий BCI к управлению аватарами в режиме реального времени сопряжен с проблемами, особенно в обеспечении точности и отзывчивости системы к воображаемым движениям пользователя. Система обеспечивает вычисления в режиме реального времени с помощью системы сбора данных ЭЭГ, подключенной к ноутбуку, который затем взаимодействует с гарнитурой виртуальной реальности Oculus Rift-S. Такая конфигурация обеспечивает бесшовную интеграцию захвата данных ЭЭГ с погружением в виртуальную реальность, чему способствует сервер сбора данных и игровой движок для визуальной обратной связи и взаимодействия с помощью специально разработанного 3D-аватара.

Общая задержка системы может быть эффективно сведена к минимуму в сценарии интеграции BCI-VR за счет использования игрового ноутбука, оснащенного высокопроизводительной видеокартой, и использования облегченных сообщений через OSC для подсказок и значений прогнозирования рук. Использование игрового ноутбука обеспечивает быструю обработку данных ЭЭГ, полученных через плату ЭЭГ, при этом первоначальная оцифровка и задержка передачи не превышают 5 мс. Можно ожидать, что последующая обработка и классификация сигналов внесут дополнительный вклад в задержку примерно в 20-40 мс, учитывая как фильтрацию сигналов, так и выполнение алгоритмов, таких как CSP для извлечения признаков. Связь между сценаристом и игровым движком, облегченная OSC, который передает простые числовые подсказки для движений левой и правой руки, рассчитана на минимальные накладные расходы, что, вероятно, добавляет не более 5-10 мс задержки. Обработка этих команд игровым движком, благодаря вычислительной эффективности видеокарты, будет быстрой, что приведет к еще одной задержке менее 10 мс перед рендерингом визуальной обратной связи в среде виртуальной реальности, обеспечиваемой гарнитурой виртуальной реальности, которая стремится удерживать задержку ниже 20 мс. В совокупности эти компоненты синергетически взаимодействуют друг с другом для поддержания общей задержки системы в желаемом диапазоне 45-75 мс, обеспечивая скорость отклика в реальном времени, имеющую решающее значение для иммерсивных VR-впечатлений и эффективных приложений BCI.

Кроме того, участникам было предоставлено достаточное количество практических испытаний в виде обучающего модуля, чтобы ознакомиться с настройкой виртуальной реальности и темпом работы аватара на этапе обучения, а также использовать свои мысли для управления 3D-аватаром на этапе тестирования. Акцент на проверке качества сигнала, использование CSP и LDA для классификации задач, а также этап детального тестирования имеют решающее значение для успеха управления аватарами в режиме реального времени.

Ожидается, что результаты этого исследования внесут вклад в эту область, продемонстрировав осуществимость и эффективность использования управления ИМК в режиме реального времени персонализированных 3D-аватаров для реабилитации. Сравнивая точность обнаружения моторных намерений между фазой обучения моторных изображений и тестированием в режиме реального времени, исследование предоставит ценную информацию о потенциале этой технологии для улучшения результатов реабилитации. Кроме того, отзывы участников о простоте управления и уровне погружения будут информировать о будущих разработках в области BCI и VR-технологий, направленных на создание более привлекательных и эффективных реабилитационных интерфейсов.

Достижения в технологиях BCI и VR открывают новые возможности для более персонализированных, увлекательных и эффективных протоколов реабилитации. Будущие исследования должны быть сосредоточены на совершенствовании технологии управления аватарами в режиме реального времени, изучении использования более сложных алгоритмов машинного обучения для классификации сигналов и расширении применения этого подхода к более широкому спектру неврологических состояний. Кроме того, необходимы лонгитюдные исследования для оценки долгосрочного влияния этого метода реабилитации на функциональное восстановление и качество жизни людей с неврологическими нарушениями.

Несмотря на то, что интеграция ИМ с технологией виртуальной реальности в реабилитации является весьма перспективной, несколько ограничений заслуживают внимания. Существует значительный диапазон в способности людей генерировать четкие сигналы ИМ и их нейронных реакциях на вмешательства ИМ и VR. Эта вариабельность означает, что эффективность процесса реабилитации может сильно различаться у разных пациентов, что делает персонализацию терапии в соответствии с индивидуальными различиями существенной проблемой. Кроме того, достижение высокой точности и быстроты реагирования при управлении аватарами в режиме реального времени является сложной задачей. Задержки или ошибки в интерпретации сигналов MI могут прервать иммерсивный опыт, потенциально снижая эффективность процесса реабилитации. В то время как технология виртуальной реальности может улучшить погружение и вовлеченность, она также может привести к дискомфорту или укачиванию у некоторых пользователей, что влияет на их способность участвовать в длительных сеансах и, следовательно, на общий успех терапии.

В заключение следует отметить, что интеграция ИМК и виртуальной реальности, примером которой является управление персонализированными 3D-аватарами в режиме реального времени с использованием сигналов инфаркта миокарда, представляет собой передовой подход к неврологической реабилитации. Текущий протокол не только подчеркивает техническую осуществимость такой интеграции, но и создает условия для новой эры реабилитации, в которой технологии и нейронаука объединяются, чтобы раскрыть весь потенциал способности человеческого мозга к восстановлению и адаптации.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы не имеют никакого конфликта интересов, который можно было бы раскрыть.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы благодарят всех участников за уделенное время и участие.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
НоутбукAlienware DellВысококлассный игровой ноутбук с видеокартой GTX1070 Гарнитура
Oculus Rift-S VRГарнитура MetaVR Гарнитура
OpenBCI Cyton DaisyСистема OpenBCI
геля OpenBCI Гелевая шапочка OpenBCIГелевая шапочка для размещения электродов ЭЭГ над кожей головы участника
без

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

3DCSP

Похожие статьи