ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース

サマリー

この方法の全体的な目標は、複数のソフトウェアプログラムを統合してSSVEPベースの実験手順を確立することであり、これは病人や高齢者の支援だけでなく、不衛生または危険な仕事を行うだけでなく、ヒューマノイドロボットとの脳とロボットの相互作用の研究を可能にすることです。

要約

Brain-Robot Interaction（BRI)は、脳信号を介して人間とロボットデバイスとの間の革新的なコミュニケーション経路を提供し、障害者の日常生活を支援する有望なものです。私たちの方法の全体的な目標は、OpenViBE、Choregraph、Centralソフトウェアなどの複数のソフトウェアプログラムと、C++およびMATLABで記述されたユーザー開発プログラムを統合して、SSVEPベースの実験手順を確立し、ヒューマノイドロボットとの脳とロボットの相互作用の研究を可能にすることです。

これは、まず人間の被験者にEEG電極を配置し、EEGデータ収集システムを通じて脳の反応を測定することによって達成されます。ユーザーインターフェースは、SSVEP応答を引き出し、閉ループ制御実験でビデオフィードバックを表示するために使用されます。2番目のステップは、初めての被験者の脳波信号を記録し、SSVEP機能をオフラインで分析し、各被験者の分類器を訓練することです。次に、オンラインシグナルプロセッサとロボットコントローラは、ヒューマノイドロボットのオンライン制御用に設定されます。最後のステップとして、被験者は異なる環境内で3つの特定の閉ループ制御実験を完了し、脳とロボットの相互作用のパフォーマンスを評価します。

このアプローチの利点は、複数のソフトウェアプログラムを統合して開発されているため、その信頼性と柔軟性です。その結果、このアプローチを用いると、被験者は脳信号を介してヒューマノイドロボットと対話することができることが示された。これにより、マインドコントロールされたヒューマノイドロボットは、ロボット研究で人気があり、障害者の支援に役立つ典型的なタスクを実行することができます。

概要

脳の信号を介して人間とロボット装置との間に革新的な通信経路を提供する脳とロボットのインタラクション（BRI）は、日常生活の中で^1,2無効を助けることに前向きです。種々の方法は、構築するための最も一般的に使用される非侵襲的方法など皮質脳波記録（ECOG）、脳波計（EEG）、機能的磁気共鳴画像法（fMRI）などのいずれかの侵襲的または非侵襲的脳信号を取得することが可能ですBRIシステムは頭皮上に配置された電極からのEEG信号を取得することです。この方法は、安価で使いやすい、および許容可能な時間分解能^{3を提供します。}彼らは人間が毎日受けて、同じ物理的および精神的なタスクの一部を模倣するために作成されるロボット装置の様々な中で、ヒューマノイドロボットが進んでいます。ヒューマノイドロボットを使用したBRIは、病人や高齢者を支援するだけでなく、不衛生や危険な仕事を行う上で重要な役割を果たします。しかし、制御BRIシステムによるヒューマノイドロボットの全身運動とのヒューマノイドロボットは、このような個人の支援^4、5のような複雑なタスクを実行するために開発されているように、非常に困難です。

定常視覚誘発電位（SSVEP）は、所定の周波数⁶で視覚刺激の変調によって誘発される脳の信号の種類です。これはちらつき刺激の基本と高調波の周波数で正弦波が含まれていて、目立つ頭皮⁷の後頭部にある視覚野全体に表示されます。 SSVEP信号を選択する理由は、SSVEPベースBRIシステムは、比較的高い情報転送速度が得られ、より少ない訓練^{8を必要とすることです} 。そのような事象関連電位^（ERP）9またはモータ像^{（MI）10を}電位として脳波の他のタイプもまた、この実験手順に埋め込 ​​むことができます。

ヒューマノイドと脳とロボットの相互作用のための私たちの手順心制御ヒューマノイドロボットプラットフォーム- - EEGデータ収集システムと人型ロボット¹¹からなるロボットはCerebotに基づいています。 EEGシステムは、電極の種々のタイプにより取得された、前処理および表示生体電位信号を記録することができます。これは、複数のアナログI / OとデジタルI / Oを提供し、16ビットの分解能では30kHzのサンプリングレートで同時に128の信号チャンネルを記録することができます。 C ++とMATLABでそのソフトウェア開発キットは、実験手順を設計するユーザーのために簡単です。ヒューマノイドロボットは自由の25度を持っており、2台のカメラ、4マイク、2ソナー距離計、2 IRエミッターと受信機、1慣性ボード、9触覚センサ、および8の圧力センサを含む複数のセンサを備えています。これは、動きや対話型ロボットの動作を作成および編集するためのChoregrapheおよびC ++ SDKを提供します。

この方法の全体的な目標は、SSVEPベースの実験的なproceを確立することですdureヒューマノイドロボット¹¹と脳とロボットの相互作用の研究を可能にするために、このようなOpenViBE、Choregraph、中央ソフトウェアなどの複数のソフトウェアプログラムと同様に、C ++とMATLABで記述されたユーザー開発したプログラムを統合することもできます。1は、システム構成を示します。専用の刺激提示コンピュータ（SPC）は、視覚刺激、指示や環境フィードバックを対象に提供するために、ユーザーインターフェイスが表示されます。専用のデータ処理用コンピュータ（DPC）は、オフライン訓練過程でデータレコーダとオフラインデータアナライザを実行し、オンライン・シグナル・プロセッサとヒューマノイドロボットのオンライン制御するロボット制御装置を実行します。他のSSVEPベースの制御システムと比較して、我々のシステムは、より信頼性の高い、より柔軟で、それはそのようなOpenViBE、Choregraph、中央ソフトウェアとして、標準化されたソフトウェア・パッケージの数を統合することによって開発されたとして再利用し、アップグレードするために、特に、より便利で、モジュールは、C ++で書かれましたMATLAB。

次の手順を見直し、天津医科大学総合病院の倫理委員会によって承認され、すべての被験者は、書面による同意を得ました。

プロトコル

1.脳波信号を取得

1. 被験者に実験手順を説明し、実験に参加するために書面によるインフォームドコンセントを得ます。
2. 巻尺を使用して、被験者の頭部の円周を測定し、測定値に近いEEGキャップサイズを選択します。電極の配置は、「国際10-20システム^」12に基づいています。
3. ナジオンとイニオン間の距離を測定します。キャップを整列させるための基準となる距離の10％をマークするために、皮膚マーカー鉛筆を使用し、被験者の頭皮上の頂点との距離の中間点をマーク。
4. FP1とFP2電極の中間点で10％のマークを整列させることにより被写体にEEGキャップを配置します。頂点上のキャップの位置電極のCz。
5. Fzは、Czに、Pzのとオズは頭の正中線上にあることを確認し、正中線の両側に配置された電極の各ペアは、水平線になっていること。
6. 導電性ゲルとREF1とREF2の電極をスミア。医療用テープを使用して、左右mastoidsの参照電極を配置します。ヒゲを締めます。
7. 電極ホルダーに鈍先端に付いた注射器を置き、次の順序で各電極に導電性ゲルを注入：額の最初の、「接地」電極と第二、実験で使用した5つの電極、O2、O1、オズ、装甲、及びCzに。
8. 刺激モニターの前で快適な椅子60センチメートルに件名を固定します。モニターの中心と同じ水平レベルに彼/彼女の目を保つために、被験者に指示します。
9. EEGデータ収集システムに電極配線を接続します。 1 kHzにサンプリングレートを設定します。
10. 専用DPCのEEG信号の品質を確認します。チャネルのインピーダンスを調整するために、特定の電極に問題がある場合、再注入するゲル。
11. 4.615、12、15と20の周波数で4ロボットの画像を点滅さ専用のSPCを使用して、図2に示すように、ユーザインタフェース上の視覚刺激としてヘルツ。

2.オフラインの分析SSVEP特長

1. 各被験者のためにオフライン訓練実験の32試験を実施し、このプロセスを通じてEEGシステムから取得し、それらの脳信号を記録します。
   注：このプロセスは、そのSSVEP特徴ベクトルを確立し、分類器を訓練するために実験を初めて被験者によって行われます。
2. 裁判が開始されると、ランダムターゲットとしてつの刺激を選択し、その上に黄色の矢印が表示されます。
3. 1秒後に、5秒のためのユーザインタフェース上の異なる周波数で4視覚刺激をちらつきます。
4. 最小限に彼/彼女の体の動きを維持しながら、選択刺激ターゲットに焦点を当てる対象を要求します。
5. 各試験の後、リラックスしてから、次の試行を開始するために、被験者に3秒を与えます。
6. すべての試験が終了すると、保存されたデータを読み取ります。 3秒のデータエポックを抽出トゥイーン2秒であり、各試行でターゲットとして刺激を選択し、トリガ後5秒。
7. MATLABスクリプトでオフラインデータアナライザを使用して、データエポックのパワースペクトル密度（PSD）を算出します。以下に詳細に説明した処理アルゴリズムを使用します。
   1. 基準データと多チャンネルEEGデータの正準相関分析（CCA）の係数を計算します。 CCAはその基礎となる相関関係^{13を見つけるために、2}つのデータセットに使用する多変量統計的手法です。マルチチャンネルEEGデータXと参照データと同じ長さのYの3Sセグメントを考慮すると、X = Xの^{T Wを} _XおよびY = Y ^Tとの間のρ相関係数を最大にするために、重みベクトル_、W、XおよびW _yを見つけるためにCCAを使用して_Y、W。特定の刺激周波数で周期信号となる基準データを設定します。
      /ftp_upload/53558/53558eq1.jpg "/>
      ここで、f _1、F 2、F _{3、4は、4つの}視覚刺激の特徴周波数であるfを 。
   2. 空間参照データの線形結合との最も顕著な相関を持っている一次元フィルタリングされたデータxを得るために計算されたCCA係数をW _{Xを用いて}マルチチャンネルEEGデータXをフィルタリングします 。
   3. 高速フーリエ変換（FFT）を使用して空間的にフィルタリングされたデータxのPSDを計算します。
      
      N _{FFTサンプル}データ xのサイズ、及びFFTである場合（xは、N _{FFT）は、N FFT} -点離散フーリエ変換Xを返します。
   4. 3と30 Hzの間でその平均値に対するPSDを正規化。
      
      どこ60; 3と30Hzの間のパワースペクトルの平均を表します。
8. 4刺激周波数に対する分類パラメータを調整します。まず、その刺激ターゲットに対応する正規化されたPSDスペクトルを観測し、手動で特徴周波数として最強のPSD振幅と周波数を設定します。特徴周波数に基づいて、2つのセットに正規化されたPSDデータを分割：つの対応する刺激が対象として選択されたときに取得され、非標的刺激が選択されているときに、他を取得します。それぞれ設定された各平均値を計算します。対象を分類するために、2つの平均値の中央値によって閾値を決定し、非標的は^{14を設定します} 。

3.オンライン処理の脳信号

1. 図3に示すように、オンライン・シグナル・プロセッサを開き、Bを開発していますオンライン処理の脳信号のためのDPCに、OpenViBE環境とMATLABスクリプトにASED。
2. ダブルOpenViBE設定画面を開くには、 図3の赤のサイクルでマークされて取得し、プロセスシグナル・ボックスをクリックします。対象の分類パラメータを設定します、1 kHzのようサンプリングレートを設定する3秒として、FFTのための時間の長さを設定し、 例えば 、オフライン分析の結果に係る特徴周波数を設定し、4.667、24、15、20ヘルツ。 。
3. 3つのステップで、次のアルゴリズムを使用してリアルタイムデータを処理するオンライン・シグナル・プロセッサを、実行を開始]ボタンをクリックします。
4. まず、アルゴリズムはチャンネルオズ、O1、O2、装甲およびEEGシステムごとに0.5秒のにCPzからEEGデータを取得し、オンライン処理のための最後の3Sのデータセグメントを抽出します。
5. 第二に、このアルゴリズムは、ステップ2.7に記載されたアルゴリズムを使用して、3秒のデータセグメントを処理し、classificaのリアルタイムPSDを計算しまする。
6. 第三に、このアルゴリズムは、4つの特徴周波数でPSD振幅に応じて脳波パターンを分類します。 1つの特徴周波数の振幅が所定の閾値を超えるときに、SSVEP対象として、対応する周波数で点滅刺激を分類します。

4.ヒューマノイドロボットの接続

1. ヒューマノイドロボットの胸のボタンを押して、それが起動するのを待ちます。
   注：このプロセスは約1分かかり、その胸のボタンが白になっている間、ロボットは「OGNAK GNOUK」と言うときに完了します。
2. DPC ¹⁵へのワイヤレスフィデリティ（無線LAN）接続を確立します。
3. DPC上のVisual C ++のスクリプトでプログラムロボットコントローラを開きます。コントローラは、ロボットコマンドに変換し、バーチャル・リアリティ周辺ネットワーク（VRPN）インタフェースを介してオンライン・シグナル・プロセッサからの分類結果を受けて、humanoiの対応行動を制御無線接続を介してDロボット。
4. 、、そのWiFi接続に係るロボットのIPアドレスを入力する簡単三つの異なるタスクを実行するために切り替えることができ、ロボットの動作の三組を定義し、これらの行動（例えば、の実行パラメータを設定することにより、ロボットコントローラの設定速度を歩きますまたはタスクの要件に適合するように距離）。
   注：これらの動作の詳細については、手順5.2.1、5.3.1、および5.4.1に記載されています。
5. ロボットコントローラを実行するために、Visual Studioのプラットフォームのビルド]ボタンをクリックします。
6. SPCのChoregrapheプログラムを開きます。接続のウィジェットをポップアップするボタン」への接続」をクリックします。そのIPアドレスに応じて制御するロボットを選択し、それに接続するために、そのアイコンをダブルクリックします。
7. Choregrapheメニューバーの[表示]メニューから、[ビデオモニタを開き、ロボットのカメラからのライブ映像フィードバックを表示するには、ユーザー・インタフェースの前にモニターを移動します。

5。閉ループ制御の実験を行います

1. 脳ロボットの相互作用の性能を評価するために、異なる環境内で3つの特定の閉ループ制御タスクを実行するための被写体を求めます。
   注：彼らは日常生活の中で障害者や高齢者を支援するのに役立つため、ロボットの用途において重要であるこれらのタスクは、別のロボットの動作を有効にする必要があります。
2. 図4に示すように、障害物の中を歩くと、光をオンにする光スイッチをプッシュするために、脳の信号を介して人型ロボットを制御するテレプレゼンスするために、第1の閉ループ制御タスクを実施します。
   1. 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右折：最初のタスクを達成するために、ように、4つのSSVEPの刺激によってコードされているロボットの動作を制御しますその右手を使用してスイッチを押します。
      注：configura化プロセスは、ステップ4.4に記載されています。
   2. タスクの目的及び制御することが4行動の対象を通知します。
   3. ステップ4.5から4.7のようにロボットコントローラを実行し、実験を開始します。環境を知覚し、ライブビデオのフィードバックに基づいて意思決定を行い、対応する刺激を見つめてロボットの動作をアクティブにするために、被験者に自由を与えます。
      。注：緊急事態で 、例えば、ロボットが障害物に衝突しようとしない限り指示やヘルプが被験者に与えられるべきではありません。
3. 通行人に直面すると、図5に示すように、出口標識、次の階段に向かって歩いて脳の信号を介して人型ロボットを制御するテレプレゼンスする2番目のタスクを実施します。、言う「恐縮です」と待つために、ロボットを制御するために、被験者に依頼通行人方法を提供します。
   1. 前方歩行continuousl：として4 SSVEP刺激によってコードロボットの動作を制御します0.05メートル/秒の速度でYは、0.1ラジアン/秒の速度で右連続回し、すべての歩行動作を停止し、0.1ラジアン/秒の速度で連続的に左折します。
   2. 姿勢依存制御機能¹⁶にロボットコントローラを切り替えます。
      注：ロボットが歩行しているときに、この関数は歩行動作を停止させるコマンドとして第四刺激を使用しています。ロボットが歩いていないとき、それは「恐縮です」と言ってロボットを制御するための第四刺激を使用しています。機能は、ロボットの歩行状態を検出することにより、C ++スクリプトで実行されます。
   3. 制御されるべきタスクの目的と5行動の対象を通知します。
   4. ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。
4. 図6に示すように、それを拾うために、被験者の手にそれを提供するために、バルーンの目標に向かって歩いてヒューマノイドロボットを制御するためのテレプレゼンス第三作業を実施。
   1. 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右旋回し、オブジェクトを拾う：として4 SSVEP刺激によってコードロボットの動作を制御します。
   2. それは既にピックアップされたときに、オブジェクトを下に置くのコマンドとして第四刺激を再利用するロボットコントローラ内の姿勢に依存する制御機能を有効にします。
   3. 制御されるべきタスクの目的と5行動の対象を通知します。
   4. ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。

結果

ここに示された結果を修正対正常なバージョンを有する男性患者から得た。 図7は、空間的にCCA係数（ 図7B）を用いてデータをフィルタリング、マルチチャンネルデータのエポック（ 図7A）を抽出するなどのEEGデータを処理する手順を示しています正規化されたPSD（ 図7C）を算出します 。

図8は、正規化された PSDは、被験者が異なる周波数でちらつきの目標を見つめている単一の試験を用いて得られた示しています。顕著なピークがちらつく刺激の基本または高調波周波数で表示されます。 BRIシステムは、異なるロボットの動作を制御するためのコマンドにSSVEP応答のこれらのパターンをマッピングします。

ディスカッション

本論文では、複数のソフトウェアを統合することにより、ヒューマノイドロボットと脳とロボットのインタラクションシステムを確立するために、SSVEPベースの実験手順を提示します。人間の目的は、リアルタイムEEG信号を解釈することによって知覚されるので、実験を行う前に、電極接続及びEEG信号の品質を確認することが重要です。すべての電極から得られる信号は、悪い品質である場合、それは、第1のグランド電極と参照電極との接続を確認する必要があります。電極の一部に問題がある場合、それらのチャネルのインピーダンスを調整するための導電性ゲルを再注入します。

脳波信号を取得しながら、もう1つの一般的な問題は、アーティファクトやノイズ¹⁷の干渉です。 EEG信号としてSSVEP応答のPSDにおけるアーチファクトとノイズを容易にすることができるあいまいな変化、信号対雑音比（SNR）に小信号を有しています。それは捕虜から離れたEEGシステムの信号増幅器を保つことが重要ですER用品やその他のノイズ源。実験中、まばたきや体動アーティファクトを低減するために最小に保たれるべきです。さらに、このよ...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Cerebus EEGデータ収集システム	Blackrock Microsystems	4176-9967
NAOヒューマノイドロボット	Aldebaran Robotics	H25
EEGキャップ	Neuroscan	8732
Ten20 導電性ゲル	ウィーバーと会社	10-20-8