Методическая статья

Одноканальный и неинвазивный носимый интерфейс мозг-компьютер для промышленности и здравоохранения

DOI:

10.3791/65007

⸱

7 июля 2023 г.

 ,  ,  , 
1Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II, 2Interdepartmental Center for Research and Innovation in Management and Healthcare (CIRMIS), University of Naples Federico II, 3Advanced Metrological Services Center (CeSMA), University of Naples Federico II, 4Department of Innovation Engineering, University of Salento, 5Department of Electronics and Telecommunication (DET), Polytechnic of Turin

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этой статье обсуждается, как построить интерфейс мозг-компьютер, опираясь на оборудование потребительского класса и стационарные визуально вызванные потенциалы. Для этого одноканальный электроэнцефалограф, использующий сухие электроды, был интегрирован с очками дополненной реальности для представления стимулов и визуализации выходных данных. Окончательная система была неинвазивной, носимой и портативной.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Настоящая работа сосредоточена на том, как создать носимый интерфейс мозг-компьютер (BCI). BCI — это новое средство взаимодействия человека с компьютером, которое основано на прямых измерениях сигналов мозга, чтобы помочь как людям с ограниченными возможностями, так и трудоспособным. Примеры применения включают роботизированное управление, промышленный контроль и нейрореабилитацию. Примечательно, что недавние исследования показали, что стационарные визуально вызванные потенциалы (SSVEP) особенно подходят для приложений связи и управления, и в настоящее время предпринимаются усилия по внедрению технологии BCI в повседневную жизнь. Для достижения этой цели окончательная система должна опираться на носимые, портативные и недорогие приборы. При использовании SSVEP требуется мерцающий визуальный стимул с фиксированной частотой. Таким образом, при рассмотрении ограничений повседневной жизни в этом исследовании была изучена возможность предоставления визуальных стимулов с помощью умных очков. Кроме того, для обнаружения вызванных потенциалов рассматривалось коммерческое устройство для электроэнцефалографии (ЭЭГ). Он состоит из одного дифференциального канала с сухими электродами (без проводящего геля), что обеспечивает максимальную износостойкость и портативность. В таком BCI пользователь может взаимодействовать с умными очками, просто глядя на значки, появляющиеся на дисплее. На основе этого простого принципа был создан удобный и недорогой BCI путем интеграции очков расширенной реальности (XR) с коммерчески доступным устройством ЭЭГ. Функциональность этого носимого XR-BCI была изучена в ходе экспериментальной кампании с участием 20 испытуемых. Точность классификации составляла в среднем от 80% до 95% в зависимости от времени стимуляции. Учитывая эти результаты, система может быть использована в качестве человеко-машинного интерфейса для промышленного контроля, а также для реабилитации при СДВГ и аутизме.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Интерфейс мозг-компьютер (BCI) представляет собой систему, позволяющую взаимодействовать с устройствами и/или управлять ими без естественных нейронных путей1. Технология BCI - это самое близкое, что есть у человечества к управлению объектами силой разума. С технической точки зрения работа системы работает путем измерения индуцированной или вызванной мозговой активности, которая может быть либо непроизвольно, либо произвольно сгенерирована субъектом2. Исторически сложилось так, что исследования были сосредоточены на оказании помощи людям с двигательными нарушениями с помощью BCI3, но сегодня все большее число компаний предлагают инструменты на основе BCI для игр4, робототехники5, индустрии6 и других приложений, связанных с взаимодействием человека и машины. Примечательно, что BCI могут сыграть роль в четвертой промышленной революции, а именно в индустрии 4.07, где киберфизические производственные системы меняют взаимодействие между людьми и окружающей средой8. Вообще говоря, европейский проект BNCI Horizon 2020 определил сценарии применения, такие как замена, восстановление, улучшение, усиление или дополнение утраченных естественных функций центральной нервной системы, а также использование BCI в исследовании мозга9.

В этих рамках последние технологические достижения означают, что интерфейсы мозг-компьютер могут быть применимы для использования в повседневной жизни10,11. Для достижения этой цели первым требованием является неинвазивность, которая важна для предотвращения рисков хирургического вмешательства и повышения приемлемости пользователя. Тем не менее, стоит отметить, что выбор неинвазивной нейровизуализации влияет на качество измеряемых сигналов мозга, и дизайн BCI должен тогда иметь дело с соответствующими подводными камнями12. Кроме того, требуется износостойкость и портативность. Эти требования соответствуют потребности в удобной для пользователя системе, но также создают некоторые ограничения. В целом, упомянутые аппаратные ограничения устраняются за счет использования электроэнцефалографической (ЭЭГ) системы с безгелевыми электродами6. Такой BCI на основе ЭЭГ также будет недорогим. Между тем, с точки зрения программного обеспечения, было бы желательно минимальное обучение пользователей (или, в идеале, отсутствие обучения); А именно, было бы лучше избегать длительных периодов настройки алгоритма обработки, прежде чем пользователь сможет использовать систему. Этот аспект имеет решающее значение в BCI из-за межсубъектной и внутрисубъектной нестационарности13,14.

Предыдущая литература продемонстрировала, что обнаружение вызванных потенциалов мозга является надежным в отношении нестационарности и шума при приеме сигнала. Другими словами, BCI, основанные на обнаружении вызванного потенциала, называются реактивными и являются наиболее эффективными BCI с точки зрения распознавания мозговых паттернов15. Тем не менее, они требуют сенсорной стимуляции, что, вероятно, является главным недостатком таких интерфейсов. Таким образом, цель предлагаемого метода состоит в том, чтобы создать носимый и портативный BCI, основанный на носимых готовых приборах. Сенсорные стимулы здесь состоят из мерцающих огней, генерируемых умными очками, которые способны вызывать стационарные визуально вызванные потенциалы (SSVEP). В предыдущих работах уже рассматривалась интеграция BCI с виртуальной реальностью либо отдельно, либо в сочетании с дополненной реальностью16. Например, была предложена система BCI-AR для управления квадрокоптером с SSVEP17. Виртуальная реальность, дополненная реальность и другие парадигмы обозначаются термином расширенная реальность. В таком сценарии выбор умных очков соответствует требованиям к носимости и портативности, а умные очки могут быть интегрированы с минимальной настройкой сбора данных ЭЭГ. В этой статье показано, что BCI на основе SSVEP также требует минимального обучения при достижении приемлемых классификационных характеристик для приложений связи и управления с низкой и средней скоростью. Следовательно, этот метод применяется к BCI для повседневных применений и, по-видимому, особенно подходит для промышленности и здравоохранения.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Исследование было одобрено Этическим комитетом психологических исследований факультета гуманитарных наук Неаполитанского университета им. Федерико II. Добровольцы подписывали информированное согласие перед участием в экспериментах.

1. Подготовка неинвазивного носимого мозга - компьютерного интерфейса

  1. Приобретите недорогой электроэнцефалограф потребительского класса с сухими электродами и настройте его для одноканального использования.
    1. Короткое замыкание или подключение любых неиспользуемых входных каналов на недорогом электроэнцефалографе к внутреннему опорному напряжению, как указано в техническом описании. При этом неиспользуемые каналы отключаются, и они не создают перекрестных помех.
    2. Отрегулируйте усиление электроэнцефалографа (обычно через компонент с переменным сопротивлением), чтобы иметь входной диапазон порядка 100 мкВ.
      ПРИМЕЧАНИЕ: Сигналы ЭЭГ, подлежащие измерению, исчисляются десятками микровольт. Однако на сухие электроды сильно влияют артефакты движения, которые приводят к колебаниям порядка 100 мкВ из-за изменчивости импеданса электрод-обшивка. Увеличение диапазона входного напряжения помогает ограничить насыщение усилителя ЭЭГ, но не устраняет его полностью. С другой стороны, было бы неудобно еще больше увеличивать диапазон входного напряжения, потому что это повлияло бы на разрешение напряжения при измерении желаемых компонентов ЭЭГ. В конечном счете, эти два аспекта должны быть сбалансированы, принимая во внимание также битовое разрешение аналого-цифрового преобразователя внутри платы электроэнцефалографа.
    3. Подготовьте три сухих электрода для подключения к плате электроэнцефалографа. Используйте пассивный электрод (без предварительного усиления) в качестве электрода сравнения. Остальные два измерительных электрода должны быть активными (т.е. включать предварительное усиление и, в конечном итоге, аналоговую фильтрацию).
      ПРИМЕЧАНИЕ: Электроды, размещенные на волосистой области кожи головы, требуют штифтов для преодоления импеданса контакта электрода с кожей. Если возможно, паяйте серебряные штифты с плоскими головками (чтобы избежать слишком сильной боли для пользователя) или, в идеале, используйте проводящую (мягкую) резину с покрытием Ag/AgCl.
  2. Приобретите коммерческие умные очки с операционной системой Android и частотой обновления 60 Гц. В качестве альтернативы используйте более низкую частоту обновления. Более высокая частота обновления была бы желательна для стимулов, так как было бы меньше усталости глаз, но в настоящее время на рынке нет доступных решений.
    1. Загрузите исходный код приложения Android для связи или управления или разработайте его.
    2. Замените виртуальные кнопки в приложении мерцающими значками, изменив присущий им объект (обычно в Java или Kotlin). Рекомендуется использовать белые квадраты с размером экрана не менее 5%. Обычно, чем больше стимулирующий квадрат, тем выше будет компонент SSVEP для обнаружения, но оптимум может быть найден в зависимости от конкретного случая. Рекомендуемые частоты — 10 Гц и 12 Гц мерцания. Реализуйте мерцание на графическом процессоре (GPU), чтобы избежать перегрузки вычислительного блока (CPU) умных очков. Для этого используйте объекты из библиотеки OpenGL.
    3. Реализовать модуль Android-приложения для обработки входного потока ЭЭГ в режиме реального времени. Можно добавить службу Android USB, чтобы поток можно было принимать через USB. Обработка в реальном времени может просто применить скользящее окно к потоку ЭЭГ, рассматривая входящие пакеты. Рассчитайте спектральные плотности мощности, связанные с частотами 10 Гц и 12 Гц, с помощью функции быстрого преобразования Фурье. Таким образом, обученный классификатор может различать, что пользователь смотрит на мерцающий значок 10 Гц или мерцающий значок 12 Гц, классифицируя характеристики спектральной плотности мощности.

2. Калибровка интерфейса мозг - компьютер на основе SSVEP

ПРИМЕЧАНИЕ: Для этого исследования были отобраны здоровые добровольцы. Исключите испытуемых с заболеваниями головного мозга в анамнезе. Вовлеченные субъекты должны были иметь нормальное или скорректированное до нормального зрение. Их проинструктировали, чтобы они были расслаблены во время экспериментов и избегали ненужных движений, особенно головой.

  1. Позвольте пользователю носить умные очки с приложением для Android.
  2. Позвольте пользователю носить тугую повязку на голову для удержания электродов.
  3. Подключите недорогой электроэнцефалограф к ПК через USB-кабель, когда ПК отключен от основного источника питания.
    1. Сначала отсоедините все электроды от платы сбора электроэнцефалографа, чтобы начать с известного состояния.
    2. На этом этапе поток ЭЭГ обрабатывается в автономном режиме на ПК с помощью скрипта, совместимого с обработкой, реализованной в приложении Android. Запустите скрипт для получения сигналов ЭЭГ и их визуализации.
  4. Проверьте отображаемый сигнал, который обрабатывается в автономном режиме. Это должно соответствовать только шуму квантования усилителя ЭЭГ.
  5. Подсоедините электроды.
    1. Приложите пассивный электрод к левому уху с помощью специального зажима или используйте ушной зажим. Выходной сигнал должен оставаться неизменным на этом этапе, потому что измерительный дифференциальный канал по-прежнему является разомкнутой цепью.
    2. Подключите активный электрод к отрицательной клемме дифференциального входа измерительного канала ЭЭГ, и приложите к фронтальной области (стандартное расположение Fpz) с помощью оголовья. Через несколько секунд сигнал должен вернуться к нулю (шум квантования).
    3. Подключите другой активный электрод к положительной клемме дифференциального входа измерительного канала ЭЭГ и приложите к затылочной области (стандартное расположение в унциях) с помощью оголовья. Теперь отображается сигнал мозга, который соответствует зрительной активности, измеренной по отношению к лобной области мозга (никакой визуальной активности там не предвидится).
  6. Получение сигналов для калибровки системы.
    1. Многократно стимулируйте пользователя мерцающими значками 10 Гц и 12 Гц (и, в конечном итоге, другими), запустив мерцающий значок в приложении Android, а также получите и сохраните собственные сигналы ЭЭГ для обработки в автономном режиме. Убедитесь, что каждая стимуляция на этом этапе состоит из одного значка, мерцающего в течение 10 секунд, и запустите мерцающий значок, нажав на сенсорную панель умных очков, а также запустив сценарий сбора и визуализации ЭЭГ.
    2. Из 10-секундных сигналов, связанных с каждой стимуляцией, извлеките две особенности с помощью быстрого преобразования Фурье: спектральную плотность мощности при 10 Гц и при 12 Гц. В качестве альтернативы рассмотрим вторые гармоники (20 Гц и 24 Гц).
    3. Используйте представление полученных сигналов в области признаков для обучения классификатора машины опорных векторов. Используйте инструмент (в Matlab или Python) для идентификации параметров гиперплоскости с возможным ядром на основе входных признаков. Обученная модель будет способна классифицировать будущие наблюдения сигналов ЭЭГ.

3. Соберите окончательный носимый и портативный интерфейс на основе SSVEP

  1. Отсоедините USB-кабель от ПК и подключите его непосредственно к умным очкам.
  2. Вставьте параметры обученного классификатора в приложение для Android. Теперь система готова.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Возможная реализация системы, описанной выше, показана на рисунке 1; Эта реализация позволяет пользователю ориентироваться в дополненной реальности через активность мозга. Мерцающие значки на дисплее умных очков соответствуют действиям для приложения (рис. 1A), и, таким образом, эти очки представляют собой замену традиционному интерфейсу, основанному на нажатиях кнопок или тачпаде. Эффективность такого взаимодействия тесно связан...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Правильное функционирование системы включает в себя два важнейших аспекта: выявление SSVEP и сбор сигнала. Помимо конкретных устройств, выбранных для текущего исследования, SSVEP может быть вызван различными устройствами, обеспечивающими мерцающий свет, хотя умные очки предпочтительнее для обеспечения удобства ношения и портативности. Аналогичным образом, можно было бы рассмотреть и другие коммерческие электроэнцефалографы, но они должны быть носимыми, портативными и включать минимальное количество сухих электродов, чтоб...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам раскрывать нечего.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Эта работа была выполнена в рамках проекта «ИКТ для здравоохранения», который был финансово поддержан Министерством образования, университетов и исследований Италии (MIUR) в рамках инициативы «Департаменты передового опыта» (Закон о бюджете Италии No 232/2016) за счет гранта за выдающиеся достижения, присужденного Департаменту информационных технологий и электротехники Неаполитанского университета им. Федерико II. Неаполь, Италия. Проект действительно стал возможен благодаря поддержке инициативы Res4Net и TC-06 (Новые технологии в измерениях) Общества контрольно-измерительных приборов и измерений IEEE. Авторы хотели бы также поблагодарить Л. Каллегаро, А. Чоффи, С. Крискуоло, А. Культреру, Г. Де Блази, Э. Де Бенедетто, Л. Дураччо, Э. Леоне и М. Ортолано за их ценный вклад в разработку, тестирование и проверку системы.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Токопроводящая резина с покрытием Ag/AgCl Компания AB Medica S.p.A.Н/ДАльтернативные электроды – тип 2
Электрод с зажимом для ушейOpenBCIН/АЗажим для ушей
ЭЭГ-АЭОлимексН/Д Активныеэлектроды
ЭЭГ-ПЭОлимексН/ДПассивный электрод
ЭЭГ-СМТОлимексН/Д Недорогойэлектроэнцефалограф
Moverio BT-200EpsonN/A Smart
очки Защелкивающиеся электродыOpenBCIN/AАльтернативные электроды – тип 1

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. Tan, D. S., Nijholt, A. , Springer. London, UK. 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49(2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005(2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. Nakatsu, R., Rauterberg, M., Ciancarini, P. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099(2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708(2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010(2010).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

SSVEP

Похожие статьи