Introduction
脳の信号を介して人間とロボット装置との間に革新的な通信経路を提供する脳とロボットのインタラクション（BRI）は、日常生活の中で1,2無効を助けることに前向きです。種々の方法は、構築するための最も一般的に使用される非侵襲的方法など皮質脳波記録（ECOG）、脳波計（EEG）、機能的磁気共鳴画像法（fMRI）などのいずれかの侵襲的または非侵襲的脳信号を取得することが可能ですBRIシステムは頭皮上に配置された電極からのEEG信号を取得することです。この方法は、安価で使いやすい、および許容可能な時間分解能3を提供します。彼らは人間が毎日受けて、同じ物理的および精神的なタスクの一部を模倣するために作成されるロボット装置の様々な中で、ヒューマノイドロボットが進んでいます。ヒューマノイドロボットを使用したBRIは、病人や高齢者を支援するだけでなく、不衛生や危険な仕事を行う上で重要な役割を果たします。しかし、制御BRIシステムによるヒューマノイドロボットの全身運動とのヒューマノイドロボットは、このような個人の支援4、5のような複雑なタスクを実行するために開発されているように、非常に困難です。
定常視覚誘発電位（SSVEP）は、所定の周波数6で視覚刺激の変調によって誘発される脳の信号の種類です。これはちらつき刺激の基本と高調波の周波数で正弦波が含まれていて、目立つ頭皮7の後頭部にある視覚野全体に表示されます。 SSVEP信号を選択する理由は、SSVEPベースBRIシステムは、比較的高い情報転送速度が得られ、より少ない訓練8を必要とすることです 。そのような事象関連電位（ERP）9またはモータ像（MI）10を電位として脳波の他のタイプもまた、この実験手順に埋め込 むことができます。
ヒューマノイドと脳とロボットの相互作用のための私たちの手順心制御ヒューマノイドロボットプラットフォーム- - EEGデータ収集システムと人型ロボット11からなるロボットはCerebotに基づいています。 EEGシステムは、電極の種々のタイプにより取得された、前処理および表示生体電位信号を記録することができます。これは、複数のアナログI / OとデジタルI / Oを提供し、16ビットの分解能では30kHzのサンプリングレートで同時に128の信号チャンネルを記録することができます。 C ++とMATLABでそのソフトウェア開発キットは、実験手順を設計するユーザーのために簡単です。ヒューマノイドロボットは自由の25度を持っており、2台のカメラ、4マイク、2ソナー距離計、2 IRエミッターと受信機、1慣性ボード、9触覚センサ、および8の圧力センサを含む複数のセンサを備えています。これは、動きや対話型ロボットの動作を作成および編集するためのChoregrapheおよびC ++ SDKを提供します。
この方法の全体的な目標は、SSVEPベースの実験的なproceを確立することですdureヒューマノイドロボット11と脳とロボットの相互作用の研究を可能にするために、このようなOpenViBE、Choregraph、中央ソフトウェアなどの複数のソフトウェアプログラムと同様に、C ++とMATLABで記述されたユーザー開発したプログラムを統合することもできます。1は、システム構成を示します。専用の刺激提示コンピュータ（SPC）は、視覚刺激、指示や環境フィードバックを対象に提供するために、ユーザーインターフェイスが表示されます。専用のデータ処理用コンピュータ（DPC）は、オフライン訓練過程でデータレコーダとオフラインデータアナライザを実行し、オンライン・シグナル・プロセッサとヒューマノイドロボットのオンライン制御するロボット制御装置を実行します。他のSSVEPベースの制御システムと比較して、我々のシステムは、より信頼性の高い、より柔軟で、それはそのようなOpenViBE、Choregraph、中央ソフトウェアとして、標準化されたソフトウェア・パッケージの数を統合することによって開発されたとして再利用し、アップグレードするために、特に、より便利で、モジュールは、C ++で書かれましたMATLAB。
次の手順を見直し、天津医科大学総合病院の倫理委員会によって承認され、すべての被験者は、書面による同意を得ました。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1.脳波信号を取得
- 被験者に実験手順を説明し、実験に参加するために書面によるインフォームドコンセントを得ます。
- 巻尺を使用して、被験者の頭部の円周を測定し、測定値に近いEEGキャップサイズを選択します。電極の配置は、「国際10-20システム」12に基づいています。
- ナジオンとイニオン間の距離を測定します。キャップを整列させるための基準となる距離の10％をマークするために、皮膚マーカー鉛筆を使用し、被験者の頭皮上の頂点との距離の中間点をマーク。
- FP1とFP2電極の中間点で10％のマークを整列させることにより被写体にEEGキャップを配置します。頂点上のキャップの位置電極のCz。
- Fzは、Czに、Pzのとオズは頭の正中線上にあることを確認し、正中線の両側に配置された電極の各ペアは、水平線になっていること。
- 導電性ゲルとREF1とREF2の電極をスミア。医療用テープを使用して、左右mastoidsの参照電極を配置します。ヒゲを締めます。
- 電極ホルダーに鈍先端に付いた注射器を置き、次の順序で各電極に導電性ゲルを注入：額の最初の、「接地」電極と第二、実験で使用した5つの電極、O2、O1、オズ、装甲、及びCzに。
- 刺激モニターの前で快適な椅子60センチメートルに件名を固定します。モニターの中心と同じ水平レベルに彼/彼女の目を保つために、被験者に指示します。
- EEGデータ収集システムに電極配線を接続します。 1 kHzにサンプリングレートを設定します。
- 専用DPCのEEG信号の品質を確認します。チャネルのインピーダンスを調整するために、特定の電極に問題がある場合、再注入するゲル。
- 4.615、12、15と20の周波数で4ロボットの画像を点滅さ専用のSPCを使用して、図2に示すように、ユーザインタフェース上の視覚刺激としてヘルツ。
2.オフラインの分析SSVEP特長
- 各被験者のためにオフライン訓練実験の32試験を実施し、このプロセスを通じてEEGシステムから取得し、それらの脳信号を記録します。
注：このプロセスは、そのSSVEP特徴ベクトルを確立し、分類器を訓練するために実験を初めて被験者によって行われます。 - 裁判が開始されると、ランダムターゲットとしてつの刺激を選択し、その上に黄色の矢印が表示されます。
- 1秒後に、5秒のためのユーザインタフェース上の異なる周波数で4視覚刺激をちらつきます。
- 最小限に彼/彼女の体の動きを維持しながら、選択刺激ターゲットに焦点を当てる対象を要求します。
- 各試験の後、リラックスしてから、次の試行を開始するために、被験者に3秒を与えます。
- すべての試験が終了すると、保存されたデータを読み取ります。 3秒のデータエポックを抽出トゥイーン2秒であり、各試行でターゲットとして刺激を選択し、トリガ後5秒。
- MATLABスクリプトでオフラインデータアナライザを使用して、データエポックのパワースペクトル密度（PSD）を算出します。以下に詳細に説明した処理アルゴリズムを使用します。
- 基準データと多チャンネルEEGデータの正準相関分析（CCA）の係数を計算します。 CCAはその基礎となる相関関係13を見つけるために、2つのデータセットに使用する多変量統計的手法です。マルチチャンネルEEGデータXと参照データと同じ長さのYの3Sセグメントを考慮すると、X = XのT Wを XおよびY = Y Tとの間のρ相関係数を最大にするために、重みベクトル、W、XおよびW yを見つけるためにCCAを使用してY、W。特定の刺激周波数で周期信号となる基準データを設定します。
/ftp_upload/53558/53558eq1.jpg "/>
ここで、f 1、F 2、F 3、4は、4つの視覚刺激の特徴周波数であるfを 。 - 空間参照データの線形結合との最も顕著な相関を持っている一次元フィルタリングされたデータxを得るために計算されたCCA係数をW Xを用いてマルチチャンネルEEGデータXをフィルタリングします 。
- 高速フーリエ変換（FFT）を使用して空間的にフィルタリングされたデータxのPSDを計算します。
N FFTサンプルデータ xのサイズ、及びFFTである場合（xは、N FFT）は、N FFT -点離散フーリエ変換Xを返します。 - 3と30 Hzの間でその平均値に対するPSDを正規化。
どこ60;
3と30Hzの間のパワースペクトルの平均を表します。
- 基準データと多チャンネルEEGデータの正準相関分析（CCA）の係数を計算します。 CCAはその基礎となる相関関係13を見つけるために、2つのデータセットに使用する多変量統計的手法です。マルチチャンネルEEGデータXと参照データと同じ長さのYの3Sセグメントを考慮すると、X = XのT Wを XおよびY = Y Tとの間のρ相関係数を最大にするために、重みベクトル、W、XおよびW yを見つけるためにCCAを使用してY、W。特定の刺激周波数で周期信号となる基準データを設定します。
- 4刺激周波数に対する分類パラメータを調整します。まず、その刺激ターゲットに対応する正規化されたPSDスペクトルを観測し、手動で特徴周波数として最強のPSD振幅と周波数を設定します。特徴周波数に基づいて、2つのセットに正規化されたPSDデータを分割：つの対応する刺激が対象として選択されたときに取得され、非標的刺激が選択されているときに、他を取得します。それぞれ設定された各平均値を計算します。対象を分類するために、2つの平均値の中央値によって閾値を決定し、非標的は14を設定します 。
3と30Hzの間のパワースペクトルの平均を表します。 3.オンライン処理の脳信号
- 図3に示すように、オンライン・シグナル・プロセッサを開き、Bを開発していますオンライン処理の脳信号のためのDPCに、OpenViBE環境とMATLABスクリプトにASED。
- ダブルOpenViBE設定画面を開くには、 図3の赤のサイクルでマークされて取得し、プロセスシグナル・ボックスをクリックします。対象の分類パラメータを設定します、1 kHzのようサンプリングレートを設定する3秒として、FFTのための時間の長さを設定し、 例えば 、オフライン分析の結果に係る特徴周波数を設定し、4.667、24、15、20ヘルツ。 。
- 3つのステップで、次のアルゴリズムを使用してリアルタイムデータを処理するオンライン・シグナル・プロセッサを、実行を開始]ボタンをクリックします。
- まず、アルゴリズムはチャンネルオズ、O1、O2、装甲およびEEGシステムごとに0.5秒のにCPzからEEGデータを取得し、オンライン処理のための最後の3Sのデータセグメントを抽出します。
- 第二に、このアルゴリズムは、ステップ2.7に記載されたアルゴリズムを使用して、3秒のデータセグメントを処理し、classificaのリアルタイムPSDを計算しまする。
- 第三に、このアルゴリズムは、4つの特徴周波数でPSD振幅に応じて脳波パターンを分類します。 1つの特徴周波数の振幅が所定の閾値を超えるときに、SSVEP対象として、対応する周波数で点滅刺激を分類します。
4.ヒューマノイドロボットの接続
- ヒューマノイドロボットの胸のボタンを押して、それが起動するのを待ちます。
注：このプロセスは約1分かかり、その胸のボタンが白になっている間、ロボットは「OGNAK GNOUK」と言うときに完了します。 - DPC 15へのワイヤレスフィデリティ（無線LAN）接続を確立します。
- DPC上のVisual C ++のスクリプトでプログラムロボットコントローラを開きます。コントローラは、ロボットコマンドに変換し、バーチャル・リアリティ周辺ネットワーク（VRPN）インタフェースを介してオンライン・シグナル・プロセッサからの分類結果を受けて、humanoiの対応行動を制御無線接続を介してDロボット。
- 、、そのWiFi接続に係るロボットのIPアドレスを入力する簡単三つの異なるタスクを実行するために切り替えることができ、ロボットの動作の三組を定義し、これらの行動（例えば、の実行パラメータを設定することにより、ロボットコントローラの設定速度を歩きますまたはタスクの要件に適合するように距離）。
注：これらの動作の詳細については、手順5.2.1、5.3.1、および5.4.1に記載されています。 - ロボットコントローラを実行するために、Visual Studioのプラットフォームのビルド]ボタンをクリックします。
- SPCのChoregrapheプログラムを開きます。接続のウィジェットをポップアップするボタン」への接続」をクリックします。そのIPアドレスに応じて制御するロボットを選択し、それに接続するために、そのアイコンをダブルクリックします。
- Choregrapheメニューバーの[表示]メニューから、[ビデオモニタを開き、ロボットのカメラからのライブ映像フィードバックを表示するには、ユーザー・インタフェースの前にモニターを移動します。
- 脳ロボットの相互作用の性能を評価するために、異なる環境内で3つの特定の閉ループ制御タスクを実行するための被写体を求めます。
注：彼らは日常生活の中で障害者や高齢者を支援するのに役立つため、ロボットの用途において重要であるこれらのタスクは、別のロボットの動作を有効にする必要があります。 - 図4に示すように、障害物の中を歩くと、光をオンにする光スイッチをプッシュするために、脳の信号を介して人型ロボットを制御するテレプレゼンスするために、第1の閉ループ制御タスクを実施します。
- 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右折：最初のタスクを達成するために、ように、4つのSSVEPの刺激によってコードされているロボットの動作を制御しますその右手を使用してスイッチを押します。
注：configura化プロセスは、ステップ4.4に記載されています。 - タスクの目的及び制御することが4行動の対象を通知します。
- ステップ4.5から4.7のようにロボットコントローラを実行し、実験を開始します。環境を知覚し、ライブビデオのフィードバックに基づいて意思決定を行い、対応する刺激を見つめてロボットの動作をアクティブにするために、被験者に自由を与えます。
。注：緊急事態で 、例えば、ロボットが障害物に衝突しようとしない限り指示やヘルプが被験者に与えられるべきではありません。
- 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右折：最初のタスクを達成するために、ように、4つのSSVEPの刺激によってコードされているロボットの動作を制御しますその右手を使用してスイッチを押します。
- 通行人に直面すると、図5に示すように、出口標識、次の階段に向かって歩いて脳の信号を介して人型ロボットを制御するテレプレゼンスする2番目のタスクを実施します。、言う「恐縮です」と待つために、ロボットを制御するために、被験者に依頼通行人方法を提供します。
- 前方歩行continuousl：として4 SSVEP刺激によってコードロボットの動作を制御します0.05メートル/秒の速度でYは、0.1ラジアン/秒の速度で右連続回し、すべての歩行動作を停止し、0.1ラジアン/秒の速度で連続的に左折します。
- 姿勢依存制御機能16にロボットコントローラを切り替えます。
注：ロボットが歩行しているときに、この関数は歩行動作を停止させるコマンドとして第四刺激を使用しています。ロボットが歩いていないとき、それは「恐縮です」と言ってロボットを制御するための第四刺激を使用しています。機能は、ロボットの歩行状態を検出することにより、C ++スクリプトで実行されます。 - 制御されるべきタスクの目的と5行動の対象を通知します。
- ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。
- 図6に示すように、それを拾うために、被験者の手にそれを提供するために、バルーンの目標に向かって歩いてヒューマノイドロボットを制御するためのテレプレゼンス第三作業を実施。
- 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右旋回し、オブジェクトを拾う：として4 SSVEP刺激によってコードロボットの動作を制御します。
- それは既にピックアップされたときに、オブジェクトを下に置くのコマンドとして第四刺激を再利用するロボットコントローラ内の姿勢に依存する制御機能を有効にします。
- 制御されるべきタスクの目的と5行動の対象を通知します。
- ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
ここに示された結果を修正対正常なバージョンを有する男性患者から得た。 図7は、空間的にCCA係数（ 図7B）を用いてデータをフィルタリング、マルチチャンネルデータのエポック（ 図7A）を抽出するなどのEEGデータを処理する手順を示しています正規化されたPSD（ 図7C）を算出します 。
図8は、正規化された PSDは、被験者が異なる周波数でちらつきの目標を見つめている単一の試験を用いて得られた示しています。顕著なピークがちらつく刺激の基本または高調波周波数で表示されます。 BRIシステムは、異なるロボットの動作を制御するためのコマンドにSSVEP応答のこれらのパターンをマッピングします。
4-6三閉ループCONT を示しROLタスクは脳ロボットの相互作用の性能を評価するために行きました。これらのタスクは、ロボット研究に人気があり、日常生活の中で障害者や高齢者を支援するには有用である。 図4は、障害物を通って歩いて、脳波を経由して光をオンにするスイッチを押すのテレプレゼンス制御実験を示す。 図5は、テレプレゼンス・コントロールを示しています出口標識、次の階段の場合に向かって歩いての実験。 図6は、バルーンを拾って、被験者の手にそれを配信するテレプレゼンス制御実験を示します。
ヒューマノイドロボットと脳ロボットインタラクション図1.システム構成。脳信号は、EEGデータ収集システムにより測定されています。ユーザーインターフェースは、SSVEP応答と表示された映像フィードバックを生きる誘発します閉ループ制御実験。初めての被験者については、データレコーダとオフラインデータアナライザは、彼らのSSVEPがオフラインを特徴分析し、被験者ごとに分類器を訓練するために、オフライン訓練過程で使用されています。そして、オンライン・シグナル・プロセッサとロボットコントローラは、ヒューマノイドロボットのオンライン制御用に構成されている。 この図の拡大版をご覧になるにはこちらをクリックしてください。
SSVEPベースBRIシステム図2.ユーザーインターフェイス。ユーザーインターフェイスが表示され中央のウィンドウにビデオフィードバックを生き、4周波数でヒューマノイドロボットの動作を表す周辺に4つの画像を点滅します。右側のパネルで3D表現は、ヒューマノイドロボットの現在の姿勢を示しています。 /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg「ターゲット= "_空白">この図の拡大版をご覧になるにはこちらをクリックしてください。
図3.オンライン・シグナル・プロセッサは、OpenViBEプログラミング環境で実装されています。赤いサイクルでマーク取得し、プロセスのシグナル・ボックスがMATLABスクリプトで記述された処理アルゴリズムを起動します。メニューパネルの開始ボタンは、プログラムを起動する。 この図の拡大版をご覧になるにはこちらをクリックしてください。
障害物を介して歩くと光スイッチを押す4.テレプレゼンス制御実験図。ES / ftp_upload / 53558 / 53558fig4large.jpg「ターゲット= "_空白">この図の拡大版をご覧になるにはこちらをクリックしてください。
終了記号の後階段に向かって歩くの図5.テレプレゼンス制御実験。 この図の拡大版をご覧になるにはこちらをクリックしてください。
図6.対象にバルーンを実現するテレプレゼンス制御実験。 この図の拡大版をご覧になるにはこちらをクリックしてください。
処理マルチチャネル脳波データの図7.手順（A）被験者は4.615 Hzで刺激を凝視された試験から抽出されたマルチチャンネルデータエポック。 （B）CCA係数を用いて空間的にフィルタリングされたデータ。 （C）空間的にフィルタリングされたデータの正規化PSD。 この図の拡大版をご覧になるにはこちらをクリックしてください。
件名が異なる周波数で刺激ちらつきを見つめするシングル試験で得られた図8正規化PSD。 この図の拡大版をご覧になるにはこちらをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本論文では、複数のソフトウェアを統合することにより、ヒューマノイドロボットと脳とロボットのインタラクションシステムを確立するために、SSVEPベースの実験手順を提示します。人間の目的は、リアルタイムEEG信号を解釈することによって知覚されるので、実験を行う前に、電極接続及びEEG信号の品質を確認することが重要です。すべての電極から得られる信号は、悪い品質である場合、それは、第1のグランド電極と参照電極との接続を確認する必要があります。電極の一部に問題がある場合、それらのチャネルのインピーダンスを調整するための導電性ゲルを再注入します。
脳波信号を取得しながら、もう1つの一般的な問題は、アーティファクトやノイズ17の干渉です。 EEG信号としてSSVEP応答のPSDにおけるアーチファクトとノイズを容易にすることができるあいまいな変化、信号対雑音比（SNR）に小信号を有しています。それは捕虜から離れたEEGシステムの信号増幅器を保つことが重要ですER用品やその他のノイズ源。実験中、まばたきや体動アーティファクトを低減するために最小に保たれるべきです。さらに、このような干渉に対する耐性を向上させるために、私たちの方法は、多チャンネルEEGデータを解釈するCCAベースの技術を利用しています。結果は、この手法はノイズやアーチファクトを含むEEG信号から特徴を抽出するのに有効であることを示しています。
ヒューマノイドロボットの閉ループ制御の新しいタスクを開始するために、我々は、手動で新しいタスクの要件に合うように各ロボットの行動の定義とパラメータを設定する必要があります。これは、現在BRIシステムで利用可能な制御コマンドの限られた数によるものであり、従って、脳波パターンの複数のタイプを誘発することによって改善することができます。ファンら 18は、より多くの視覚刺激を生成するための二周波刺激する方法を提案しました。 Wangら19、アリソンら 20、パンら 21、及びLi <em>のら22のERPとMIを含む他の脳波パターンとSSVEPベースのモデルを組み合わせて、いくつかのハイブリッド法を提案しました。これは、限られた脳波パターン23を用いて、ヒューマノイドロボットの全身の動きを制御するために、機械学習や階層アーキテクチャに基づく技術を切り替える採用することも可能です。
液晶モニタ24とSSVEPs 25の高調波成分のうち、影響力の利用可能な点滅周波数を考慮して、1から60ヘルツと、四つの周波数を使用して見つかったすなわち、4.615、12、15、および20にすべての可能な点滅周波数をスキャンし彼らは私たちの被験者についての最高の平均正解率を達成したとしてHzのは、おそらく最良の選択です。したがって、我々はスイッチを押す/右旋回、左旋回、前進歩行などのヒューマノイドロボットの動作を制御するためのインターフェイス上の4つの刺激を使用し、歩行を停止/実行可能な専用のオブジェクトを、拾っこの原稿に提示したタスクを達成するためにヒューマノイドロボットを制御するためにウワーッ。
それは、このようなC ++とMATLABでOpenViBE、Choregraph、中央のソフトウェアおよびユーザー開発したプログラムなど、複数のソフトウェアプログラムを、統合することによって開発されたとして、BRIシステムの利点は、その信頼性と柔軟性があります。これは、標準化されたソフトウェアを使用して異なる実験手順を設計するための効率的で信頼性の高いです。私たちのシステムは、ヒューマノイドロボットと脳とロボットの相互作用のための新しいアルゴリズムと技術を調査するための強力なツールです。これは、簡単に病人や高齢者を支援し、不衛生や危険な仕事を行う際に、BRIアプリケーションを探索するためにアップグレードすることができます。
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
著者は、本論文で報告された実験を行う際に、彼の支援のために氏ホン胡に感謝の意を表したいと思います。この作品は、中国の国家自然科学基金（番号61473207）によって部分的にサポートされていました。
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
