Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Engineering

SSVEP основе экспериментальной процедуры для мозгов Robot взаимодействия с человекоподобных роботов

Published: November 24, 2015 doi: 10.3791/53558

Introduction

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Мозг-робот взаимодействия (BRI), которая обеспечивает инновационную путь связи между человеком и роботом устройства через сигналы мозга, является перспективным в помощи инвалидам в их повседневной жизни 1,2. Разнообразие методов могут приобрести мозговые сигналы либо инвазивным или неинвазивным, такие как electrocorticography (ЭГ), электроэнцефалографом (ЭЭГ), функциональной магнитно-резонансной томографии (МРТ), и т.д. Наиболее часто используемый неинвазивный метод для построения Система BRI является приобретение сигналы ЭЭГ с электродов, помещенных на коже головы. Этот метод является недорогим, простым в использовании и обеспечивает приемлемый временное разрешение 3. Среди разнообразия роботов устройств, гуманоидные роботы передовые, как они созданы, чтобы подражать некоторые из тех же физических и умственных задач, что люди подвергаются ежедневно. BRI с человекоподобного робота будет играть важную роль в оказании помощи больным и пожилым людям, а также выполнения антисанитарных или опасных работах. Но контрольиз человекоподобного робота через систему BRI весьма сложной задачей, поскольку робот-гуманоид с полным движением тела разработана для выполнения сложных задач, таких, как личная помощь 4, 5.

Установившаяся зрительных вызванных потенциалов (SSVEP) является тип сигнала мозга, вызванный модуляцией зрительного стимула при заданной частоте 6. Он содержит синусоиды на основных и гармонических частот мерцающем стимул, и заметно, появляется в зрительной коре в затылочной области волосистой части головы 7. Причиной выбора SSVEP сигналы, что SSVEP-система BRI дает относительно высокую скорость передачи информации и требует меньше подготовки 8. Другие типы мозговых волн, такие как события, связанные с потенциалами (ССП) 9 или мотор-образов (ИМ) потенциалов 10, также может быть встроен в этой экспериментальной процедуры.

Наша процедура мозг робота-гуманоида взаимодействия сроботы на основе Cerebot - управляемым сознанием человекоподобный робот платформы - состоящий из системы сбора данных ЭЭГ и робота-гуманоида 11. Система ЭЭГ способен записывать, предварительно обрабатывают и отображают био-потенциал сигналы, полученные с помощью различных типов электродов. Это обеспечивает многократное аналогового ввода / вывода и цифрового ввода / вывода и способен записывать до 128 сигнальных каналов одновременно при частоте дискретизации 30 кГц с разрешением 16 бит. Его комплекты разработки программного обеспечения в C ++ и MATLAB легко для пользователей, чтобы разработать экспериментальные процедуры. Гуманоид Робот имеет 25 степеней свободы и оснащен множеством датчиков, в том числе 2-х камер, микрофонов, 4 2 гидроакустических дальномеров, 2 ИК-излучателей и приемников, 1 инерциальной борту, 9 датчиков тактильных и 8 датчиков давления. Она обеспечивает Choregraphe и C ++ SDK для создания и редактирования движений и интерактивных поведения роботов.

Общая цель этого метода заключается в создании SSVEP основе экспериментального процеДюре путем интеграции нескольких компьютерных программ, таких как OpenViBE, Choregraph, Центральной программного обеспечения, а также разработаны пользовательские программы, написанные на C ++ и MATLAB, для того, чтобы изучение мозга робота взаимодействия с человекоподобных роботов 11. Рисунок 1 показывает структуру системы. Выделенный стимулом презентация компьютер (SPC) отображает пользовательский интерфейс, чтобы обеспечить эту тему с визуальными стимулами, инструкций и экологических отзывы. Выделенный компьютерной обработки данных (ЦОД) работает регистратор данных и данных в автономном режиме анализатора в автономном тренировочного процесса, и работает процессор Интернет сигнал и Robot Controller для онлайн контроля робота-гуманоида. По сравнению с другими системами управления SSVEP основе, наша система является более надежным, более гибкой, и, особенно, более удобно использовать повторно и обновлен, как это развивается путем интеграции ряда стандартных пакетов программного обеспечения, таких как OpenViBE, Choregraph, Центральной программного обеспечения, и модулями, написанными на C ++и MATLAB.

Следующая процедура была рассмотрена и одобрена Тяньцзинь медицинского университета больницы общего комитета по этике, и все предметы дал письменное согласие.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

1. Приобретение сигналов ЭЭГ

  1. Объясните экспериментальную процедуру к теме и получить письменное информированное согласие на участие в эксперименте.
  2. Измерьте окружность головы субъекта, используя рулетку и выберите размер ЭЭГ колпачок, который близок к измерению. Расположение электродов на основе "Международной системе 10-20" 12.
  3. Измерьте расстояние между Насьон и затылочного бугра. Используйте маркер кожи карандаш, чтобы отметить 10% расстояния в качестве эталона для согласования крышку, и отметьте середину расстояния, как вершины на волосистой части головы испытуемого.
  4. Поместите крышку ЭЭГ на тему, совместив 10% отметку с середины электродов FP1 и FP2. Положение электрода Cz колпачка на вершину.
  5. Убедитесь, что Fz, Cz, Pz и Оз находятся на средней линии головы, и что каждая пара электродов, расположенных по обе стороны от средней линии в горизонтальной линией.
  6. Мазок электроды ref1 и ref2 с проводящей геля. Приложите электроды на левой и правой mastoids использованием медицинской ленты. Затянуть антарктического.
  7. Поставьте тупым наконечником шприца в держатели электродов и ввести проводящий гель в каждом электроде в следующем порядке: во-первых, "земля" электрода на лбу и во-вторых, пять электроды, используемые в эксперименте, О2, О1, Оз, Pz и CZ.
  8. Автокресло тему в удобном кресле 60 см в передней части стимула монитора. Поручить предмет, чтобы его / ее глаза в том же горизонтальном уровне с центром монитора.
  9. Подключите электродные провода к системе сбора данных ЭЭГ. Настройте частоту дискретизации до 1 кГц.
  10. Проверьте качество сигнала ЭЭГ на выделенном DPC. Если существует проблема с конкретным электрода, закачки геля для регулировки импеданса канала.
  11. Используйте специальный SPC мерцать четыре робота изображений на частотах 4,615, 12, 15 и 20Гц в зрительных стимулов на пользовательский интерфейс, как показано на рисунке 2.

2. Анализ Offline SSVEP Особенности

  1. Провести 32 испытаний в автономном учебных экспериментов для каждого субъекта и записывать их сигналы мозга, полученные от системы ЭЭГ на протяжении всего этого процесса.
    ПРИМЕЧАНИЕ: этот процесс проводится только по впервые субъектов эксперимента, чтобы установить их SSVEP векторов признаков и обучить классификатор.
  2. Когда суд начнет, выберите один стимул в качестве цели случайным и отображения желтую стрелку над ним.
  3. 1 сек позже, мерцают четыре визуальные стимулы на разных частотах в пользовательском интерфейсе в течение 5 сек.
  4. Запрос объекта для фокусировки на выбранной цели стимулирования, сохраняя его / ее движение тела до минимума.
  5. После каждого испытания, дать подлежит 3 сек, чтобы расслабиться, а затем начать следующий судебный процесс.
  6. Когда все испытания закончены, читать сохраненные данные. Экстракта эпоха данных 3-сек будет анимации 2 сек и 5 сек после запуска, который выбирает стимул в качестве цели в каждом испытании.
  7. Рассчитайте плотность спектра мощности (PSD) из эпох данных с использованием данных в автономном режиме анализатора в скриптах MATLAB. Используйте алгоритм обработки, описанной в подробности ниже:
    1. Рассчитать канонический корреляционный анализ (ССА) коэффициенты данных многоканального ЭЭГ с эталонными данными. ОСС является многофакторной статистический метод используется для двух наборов данных, чтобы найти свой ​​основной корреляцию 13. Учитывая 3s сегмент многоканальный ЭЭГ данных Х и справочных данных Y той же длины, используйте CCA найти весовые векторы, Ш х и W у, чтобы максимизировать коэффициент корреляции ρ между X = X T W х и у = Y T Ш Щ. Установите справочные данные, чтобы быть периодические сигналы на определенных частотах стимулирования.
      /ftp_upload/53558/53558eq1.jpg "/>
      где F 1, F 2, F 3, F 4 являются художественные частоты четырех визуальных стимулов.
    2. Пространственно фильтровать данные многоканального ЭЭГ X с помощью вычисленные коэффициенты ОСО Ш х для получения одномерных отфильтрованных данных Х, которая имеет самое видное корреляцию с линейной комбинации базовых данных.
    3. Рассчитывают РЧР пространственно отфильтрованных х данных с использованием быстрого преобразования Фурье (FFT).
      Уравнение 2
      где N БПФ размер выборки данных х и БПФ (х, N БПФ) возвращает преобразование N-точечное БПФ дискретного преобразования Фурье х.
    4. Нормализация PSD по отношению к его среднему значению между 3 и 30 Гц.
      Уравнение 3
      где60; Уравнение 3 Знаменатель обозначает среднее значение мощности спектра между 3 и 30 Гц.
  8. Калибровка параметров классификации для четырех частот стимулирования. Во-первых, наблюдать нормализованное PSD спектр, который соответствует его цели стимулирования и вручную настроить частоту с самым сильным PSD амплитудой, частотой функций. На основании частотной характеристики, разделить нормированные данные PSD на две группы: одна, полученных, когда соответствующий стимул выбран в качестве цели, а другой, полученных при выбраны нецелевые стимулы. Рассчитайте среднее значение каждой соответственно. Определить порог медианой двух средних значений классифицировать цель и нецелевых устанавливает 14.

3. Интернет обработки сигналов головного мозга

  1. Откройте процессор Интернет сигнала, как показано на рисунке 3, которая разработана бAsed на OpenViBE окружающей среды и сценариев MATLAB, на DPC для интернет-обработке сигналов головного мозга.
  2. Дважды щелкните сигнала окно приобретать и процесс, который отмечен красным цикла на рисунке 3, чтобы открыть окно настроек OpenViBE. Настройка параметров классификации для субъекта:. Установить частоту дискретизации в 1 кГц, установите длительность для БПФ как 3 сек, и установить функцию частоты по результатам автономного анализа, например, 4.667, 24, 15 и 20 Гц ,
  3. Нажмите кнопку начинает работать процессор Интернет сигнала, который обрабатывает данные в режиме реального времени, используя следующий алгоритм в три этапа.
  4. Во-первых, алгоритм получает данные ЭЭГ каналов Оз, O1, O2, Pz и CPZ системы ЭЭГ каждый 0.5s, и извлекает сегмент данных последних 3 сек для онлайн-обработки.
  5. Во-вторых, алгоритм обрабатывает сегмент данных 3-сек, используя алгоритмы, описанные в шаге 2.7, и рассчитывает в режиме реального времени PSD для КЛАССИФИния.
  6. В-третьих, алгоритм классифицирует мозговых моделей в соответствии с PSD амплитуд на четырех частотах функций. Когда амплитуда одной частоте художественного выше заданного порога, классифицировать стимул мерцающий в соответствующей частоте в качестве цели SSVEP.

4. Подключение гуманоидный робот

  1. Нажмите кнопку груди робота-гуманоида и ждать его, чтобы начать.
    ПРИМЕЧАНИЕ: этот процесс занимает примерно 1 мин и завершается, когда робот говорит "OGNAK GNOUK", а его кнопка Грудь становится белым.
  2. Установите его Wireless Fidelity (Wi-Fi) подключение к DPC 15.
  3. Откройте Робот запрограммирован контроллер в Visual C ++ скриптов на DPC. Контроллер получает результатов классификации от процессора сигналов Интернет через интерфейс виртуальной реальности периферийных сети (VRPN), переводит их в команды роботов и контролирует соответствующие поведения в humanoiд робот с помощью беспроводной связи.
  4. Настройка Robot Controller путем ввода IP-адреса робота в соответствии с его WiFi связи, определяя три набора роботов поведения, которые могут быть легко переключаться для выполнения трех различных задач, и настройке параметров выполнения этих поведений (например., Скорость ходьбы или расстояние), чтобы соответствовать требованиям задачи.
    ПРИМЕЧАНИЕ: более подробная информация об этих поведений описано в шагах 5.2.1, 5.3.1, 5.4.1 и.
  5. Нажмите кнопку Построить студии платформы Визуальный запустить Robot Controller.
  6. Откройте программу Choregraphe на SPC. Нажмите "Подключение к" кнопку, чтобы выскочить виджет Connection. Выберите робот управляется в соответствии с его IP-адрес, и дважды щелкните его значок для подключения к нему.
  7. Откройте видеомонитор из меню просмотра в строке меню Choregraphe, и переместите монитор к передней части пользовательского интерфейса для отображения живой отклик видео с камеры робота.
<р = класс "jove_title"> 5. Проведение замкнутому циклу контрольных экспериментах

  1. Запрос предмет для выполнения трех конкретных задач управления с обратной связью в пределах различных средах с целью оценки эффективности взаимодействия мозга робота.
    ПРИМЕЧАНИЕ: эти задачи, которые важны в робототехнических приложений, потому что они полезны в оказании помощи инвалидам и престарелым в повседневной жизни, нужно активировать различные поведения робота.
  2. Провести первую задачу управления с обратной связью для телеприсутствия контролировать робота-гуманоида с помощью сигналов мозга, чтобы идти через препятствия и нажать выключатель света, чтобы включить свет, как показано на рисунке 4.
    1. Для достижения первой задачи, управлять роботом поведения, которые кодируются с помощью четырех SSVEP стимулов, как: шаг вперед с фиксированной расстоянии 0,15 м, поворот налево с фиксированной радиан 0,3 рад, поворачивая направо с фиксированной радиан 0,3 рад, и нажатием переключателя, используя его правую руку.
      ПРИМЕЧАНИЕ: configuraПроцесс ция описано в шаге 4.4.
    2. Сообщить предмет цели задачи и четыре поведения, чтобы быть под контролем.
    3. Запустите робот контроллер, как в шагах 4.5-4.7, и начать эксперимент. Предоставить субъекту свободу воспринимать окружающую среду и принимать решения, основанные на обратной связи живого видео, и, чтобы активировать робота поведения, смотря на соответствующих стимулов.
      ПРИМЕЧАНИЕ: не инструкция или помощь не должно быть уделено теме, если в чрезвычайных ситуациях, например, робот не собирается сталкиваются с препятствием..
  3. Провести вторую задачу, чтобы TelePresence контролировать робота-гуманоида через мозговые сигналы, чтобы идти к лестнице после знака выхода, как показано на рисунке 5. При вступлении прохожих, попросить предмет для управления роботом, чтобы сказать "извините" и ждать прохожие, чтобы уступить дорогу.
    1. Управлять роботом поведения закодированные с помощью четырех SSVEP стимулов как: идти вперед continuouslу со скоростью 0,05 м / сек, левый поворот непрерывно со скоростью 0,1 рад / сек, повернув направо непрерывно со скоростью 0,1 рад / сек, а остановки всех пешеходных поведения.
    2. Переключите контроллер робота с функцией управления 16-поза зависит.
      ПРИМЕЧАНИЕ: когда робот идет, эта функция использует четвертый стимул, как и команда остановки пешеходные поведения; когда робот не ходить, он использует четвертый стимул для управления роботом, чтобы сказать "извините". Функция реализована в сценарии C ++ путем обнаружения состояния пешеходную робота.
    3. Сообщить предмет цели задачи и пять поведения, чтобы быть под контролем.
    4. Запустите робот контроллер и начать эксперимент, как описано в шаге 5.2.3.
  4. Провести третью задачу, чтобы TelePresence контролировать робота-гуманоида идти к цели воздушный шар, чтобы забрать его, и доставить его в руку субъекта, как показано на рисунке 6,
    1. Управлять роботом поведения закодированные с помощью четырех SSVEP стимулов, как: шаг вперед с фиксированной расстоянии 0,15 м, поворот налево с фиксированной радиан 0,3 рад, поворачивая направо с фиксированной радиан 0,3 рад, и, взяв объектов.
    2. Активируйте функцию управления поза-зависимое Робота контролера повторно четвертый стимул, как команды проставления объект, когда он уже был подобран.
    3. Сообщить предмет цели задачи и пять поведения, чтобы быть под контролем.
    4. Запустите робот контроллер и начать эксперимент, как описано в шаге 5.2.3.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Результаты, представленные здесь, были получены из мужской предметом исправив к нормальному версия. Рисунок 7 показывает процедуру обработки данных ЭЭГ, в том числе извлечения эпохи многоканальных данных (7А), пространственно фильтрации данных, используя коэффициенты ОСО (рис 7В) и вычисление нормализованной PSD (7С).

На рисунке 8 показан нормированный PSD получены с использованием одиночных испытаний, в которых субъект смотрел на цели мерцающих на разных частотах. Известный пик появляется на основной или гармонической частоты мерцающем стимула. Система отображает эти BRI модели ответов SSVEP в команды для управления различными поведения роботов.

Цифры 4-6 показывают три с замкнутым контуром продолжениеРолевые задачи выполнены, чтобы оценить эффективность взаимодействия мозга робота. Эти задачи являются популярными в роботизированной исследований и полезны в оказании помощи инвалидам и престарелым в повседневной жизни. Рис 4 показывает управления телеприсутствия эксперимент ходить через препятствия и толкая переключатель, чтобы включить свет через мозговых волн. Рисунок 5 показывает контроль телеприсутствия Эксперимент шел к лестнице случае следующий знак выхода. Рисунок 6 показывает управления телеприсутствия эксперимент поднимая шар и доставить его в руку пациента.

фигура 1
Рисунок 1. Структура системы для мозгов Robot взаимодействия с человекоподобный робот. Сигналы мозга измеряется с помощью системы сбора данных ЭЭГ. Пользовательский интерфейс вызывает ответы SSVEP и дисплеи жить видео обратную связь в контрольные эксперименты с обратной связью. Для впервые предметов, регистратор данных и данных в автономном режиме анализатора используются в автономном тренировочного процесса для анализа их SSVEP имеет в автономном режиме и обучать классификатор для каждого субъекта. Затем процессор сигналов и Интернет Робот контроллер настроены на интернет-управления робота-гуманоида. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 2
Рисунок 2. Интерфейс пользователя для SSVEP основе системы BRI. Пользовательский интерфейс отображает в видео обратную связь в среднем окне и мерцает четыре изображения на периферии, представляющей человекоподобных роботов поведения на четырех частотах. Представление 3D в правой панели показывает текущее положение в робота-гуманоида. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "целевых =" _blank "> Нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 3
Рисунок 3. Интернет сигнальный процессор реализованы в среде программирования OpenViBE. Коробка приобретать и обрабатывать сигналы, отмеченные красной цикла вызывает алгоритм обработки написанное в сценарии MATLAB. Кнопка Начинает на панели меню запускает программу. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 4
Рисунок 4. телеприсутствия контрольный эксперимент ходьбы через препятствия и нажав выключатель света.ES / ftp_upload / 53558 / 53558fig4large.jpg "целевых =" _blank "> Нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 5
Рисунок 5. телеприсутствия управления Эксперимент шел к лестнице на выход После Войти. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 6
Рисунок 6. телеприсутствия управления Эксперимент доставлять шар к теме. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 7 Рисунок 7. Порядок обработки многоканального ЭЭГ данных (А) Многоканальный эпоха данных, извлеченных из суда, в котором субъект, глядя на стимул в 4,615 Гц. (Б) Пространственно отфильтрованные данные, используя коэффициенты ОСО; (С) Нормированная СПМ пространственно отфильтрованных данных. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Рисунок 8
Рисунок 8. Нормированная PSD Полученные в отдельные исследования, в которых субъект смотрит на раздражители мерцание на разных частотах. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

Эта статья представляет собой экспериментальную процедуру SSVEP основе создать систему взаимодействия мозга робота с человекоподобных роботов путем интеграции нескольких программ. Потому что человек намерен воспринимается интерпретации сигналов ЭЭГ в реальном времени, важно, чтобы убедиться, электродные соединения и качества сигналов ЭЭГ до проведения эксперимента. Если сигналы, полученные от всех электродов бедных качеств, необходимо проверить соединение сухопутных и электродов в первую очередь. Если есть проблемы с частями электродов, повторно ввести токопроводящий гель для регулировки сопротивления этих каналов.

Еще одна распространенная проблема при приобретении сигналы ЭЭГ вмешательство артефактов и шумов 17. Поскольку сигнал ЭЭГ имеет малый сигнал-шум (SNR), артефакта и шума может легко скрывать изменения в PSD ответов SSVEP. Важно, чтобы сохранить усилитель сигнала системы ЭЭГ от ПРэр материалы и другие источники шума. В ходе эксперимента, моргание глазом и движение тела должно быть сведено к минимуму, чтобы уменьшить артефакты. Для дальнейшего повышения надежности против такого вмешательства, наш метод использует ОСО основе технику, чтобы интерпретировать данные ЭЭГ многоканальные. Результаты показывают, что этот метод эффективен при извлечении из сигналов функции ЭЭГ, содержащих шумов и артефактов.

Чтобы начать новую задачу контроля с обратной связью человекоподобных роботов, мы должны вручную настроить определение и параметр каждого поведения робота, чтобы соответствовать новым требованиям задачи. Это происходит из-за ограниченного числа команд управления, доступных в текущей системе BRI, и, таким образом может быть улучшена путем ссылки более типов паттернов мозговых волн. Хван и др. 18 был предложен метод стимуляции двухчастотный для получения более визуальные стимулы. Ван и др. 19, Эллисон и др. 20, Пан и др 21., И Ли <EM> и др. 22 предложено несколько гибридных методов, чтобы объединить модель SSVEP основе с другими паттернов мозговых волн, в том числе и ССП ИМ. Возможно также принять методы коммутации на основании машинного обучения или иерархической архитектуры для управления полную движения тела в человекоподобного робота с использованием ограниченных мозговых шаблоны 23.

Учитывая имеющиеся мигающие частоты на ЖК-мониторе 24 и влияния среди гармонических составляющих SSVEPs 25, мы просмотрели все возможные мигающие частоты от 1 до 60 Гц и найти, используя четыре частоты, то есть., 4,615, 12, 15, и 20 Гц, скорее всего, самый лучший выбор, поскольку они достигнут самый высокий средний уровень точности для наших субъектов. Таким образом, мы использовали четыре стимулы на интерфейсе для управления гуманоидных роботов поведения, в том числе идти вперед, поворот налево, поворот направо, и остановки пешком / нажатием переключателя / поднимая объекты, которые возможно анух контролировать робота-гуманоида для выполнения задачи, изложенные в этой рукописи.

Преимущества системы BRI являются его надежность и гибкость, как он разрабатывается интеграции нескольких компьютерных программ, таких как OpenViBE, Choregraph, Центральной и программного обеспечения разработана пользователей программ в C ++ и MATLAB. Это эффективный и надежный для проектирования различных экспериментальных процедур с использованием стандартизированного программного обеспечения. Наша система является мощным инструментом для исследования новых алгоритмов и методов для взаимодействия мозга робота с человекоподобного робота. Это может быть легко модернизирована для изучения приложений BRI в оказании помощи больным и пожилым, и исполнительское антисанитарных или опасных работах.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Авторы хотели бы выразить свою благодарность г-ну Ху Hong за помощь в проведении экспериментов, представленные в этой статье. Эта работа была частично поддержана Национальным фондом естественных наук Китая (№ 61473207).

Materials

Name Company Catalog Number Comments
Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

DOWNLOAD MATERIALS LIST

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29, (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
SSVEP основе экспериментальной процедуры для мозгов Robot взаимодействия с человекоподобных роботов
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).More

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter