Name: ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース (動画) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: 学ぶSSVEPベースの脳-ロボットインタラクション手法。ヒューマノイドロボットを脳波で制御し、高齢者支援や危険作業への応用を目指す。複数ソフトウェアを統合した信頼性の高い実験手順を確立する。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

著者は、本論文で報告された実験を行う際に、彼の支援のために氏ホン胡に感謝の意を表したいと思います。この作品は、中国の国家自然科学基金（番号61473207）によって部分的にサポートされていました。

1.脳波信号を取得<ol><li>被験者に実験手順を説明し、実験に参加するために書面によるインフォームドコンセントを得ます。 </li><li>巻尺を使用して、被験者の頭部の円周を測定し、測定値に近いEEGキャップサイズを選択します。電極の配置は、「国際10-20システム」12に基づいています。 </li><li>ナジオンとイニオン間の距離を測定します。キャップを整列させるための基準となる距離の10％をマークするために、皮膚マーカー鉛筆を使用し、被験者の頭皮上の頂点との距離の中間点をマーク。 </li><li> FP1とFP2電極の中間点で10％のマークを整列させることにより被写体にEEGキャップを配置します。頂点上のキャップの位置電極のCz。 </li><li> Fzは、Czに、Pzのとオズは頭の正中線上にあることを確認し、正中線の両側に配置された電極の各ペアは、水平線になっていること。 </li><li>導電性ゲルとREF1とREF2の電極をスミア。医療用テープを使用して、左右mastoidsの参照電極を配置します。ヒゲを締めます。 </li><li>電極ホルダーに鈍先端に付いた注射器を置き、次の順序で各電極に導電性ゲルを注入：額の最初の、「接地」電極と第二、実験で使用した5つの電極、O2、O1、オズ、装甲、及びCzに。 </li><li>刺激モニターの前で快適な椅子60センチメートルに件名を固定します。モニターの中心と同じ水平レベルに彼/彼女の目を保つために、被験者に指示します。 </li><li> EEGデータ収集システムに電極配線を接続します。 1 kHzにサンプリングレートを設定します。 </li><li>専用DPCのEEG信号の品質を確認します。チャネルのインピーダンスを調整するために、特定の電極に問題がある場合、再注入するゲル。 </li><li> 4.615、12、15と20の周波数で4ロボットの画像を点滅さ専用のSPCを使用して、図2に示すように、ユーザインタフェース上の視覚刺激としてヘルツ。 </li></ol> 2.オフラインの分析SSVEP特長<ol><li>各被験者のためにオフライン訓練実験の32試験を実施し、このプロセスを通じてEEGシステムから取得し、それらの脳信号を記録します。 注：このプロセスは、そのSSVEP特徴ベクトルを確立し、分類器を訓練するために実験を初めて被験者によって行われます。 </li><li>裁判が開始されると、ランダムターゲットとしてつの刺激を選択し、その上に黄色の矢印が表示されます。 </li><li> 1秒後に、5秒のためのユーザインタフェース上の異なる周波数で4視覚刺激をちらつきます。 </li><li>最小限に彼/彼女の体の動きを維持しながら、選択刺激ターゲットに焦点を当てる対象を要求します。 </li><li>各試験の後、リラックスしてから、次の試行を開始するために、被験者に3秒を与えます。 </li><li>すべての試験が終了すると、保存されたデータを読み取ります。 3秒のデータエポックを抽出<html>トゥイーン2秒であり、各試行でターゲットとして刺激を選択し、トリガ後5秒。 </li><li> MATLABスクリプトでオフラインデータアナライザを使用して、データエポックのパワースペクトル密度（PSD）を算出します。以下に詳細に説明した処理アルゴリズムを使用します。 <ol><li>基準データと多チャンネルEEGデータの正準相関分析（CCA）の係数を計算します。 CCAはその基礎となる相関関係13を見つけるために、2つのデータセットに使用する多変量統計的手法です。マルチチャンネルEEGデータXと参照データと同じ長さのYの3Sセグメントを考慮すると、X = XのT Wを XおよびY = Y Tとの間のρ相関係数を最大にするために、重みベクトル、W、XおよびW yを見つけるためにCCAを使用してY、W。特定の刺激周波数で周期信号となる基準データを設定します。 /ftp_upload/53558/53558eq1.jpg &quot;/&gt; ここで、f 1、F 2、F 3、4は、4つの視覚刺激の特徴周波数であるfを 。 </li><li>空間参照データの線形結合との最も顕著な相関を持っている一次元フィルタリングされたデータxを得るために計算されたCCA係数をW Xを用いてマルチチャンネルEEGデータXをフィルタリングします 。 </li><li>高速フーリエ変換（FFT）を使用して空間的にフィルタリングされたデータxのPSDを計算します。 <img alt="式（2）" src="/files/ftp_upload/53558/53558eq2.jpg" /> N FFTサンプルデータ xのサイズ、及びFFTである場合（xは、N FFT）は、N FFT -点離散フーリエ変換Xを返します。 </li><li> 3と30 Hzの間でその平均値に対するPSDを正規化。 <img alt="式3" src="/files/ftp_upload/53558/53558eq3.jpg" /> どこ60; <img alt="式3分母" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> 3と30Hzの間のパワースペクトルの平均を表します。 </li></ol></li><li> 4刺激周波数に対する分類パラメータを調整します。まず、その刺激ターゲットに対応する正規化されたPSDスペクトルを観測し、手動で特徴周波数として最強のPSD振幅と周波数を設定します。特徴周波数に基づいて、2つのセットに正規化されたPSDデータを分割：つの対応する刺激が対象として選択されたときに取得され、非標的刺激が選択されているときに、他を取得します。それぞれ設定された各平均値を計算します。対象を分類するために、2つの平均値の中央値によって閾値を決定し、非標的は14を設定します 。 </li></ol> 3.オンライン処理の脳信号<ol><li> 図3に示すように、オンライン・シグナル・プロセッサを開き、Bを開発していますオンライン処理の脳信号のためのDPCに、OpenViBE環境とMATLABスクリプトにASED。 </li><li>ダブルOpenViBE設定画面を開くには、 図3の赤のサイクルでマークされて取得し、プロセスシグナル・ボックスをクリックします。対象の分類パラメータを設定します、1 kHzのようサンプリングレートを設定する3秒として、FFTのための時間の長さを設定し、 例えば 、オフライン分析の結果に係る特徴周波数を設定し、4.667、24、15、20ヘルツ。 。 </li><li> 3つのステップで、次のアルゴリズムを使用してリアルタイムデータを処理するオンライン・シグナル・プロセッサを、実行を開始]ボタンをクリックします。 </li><li>まず、アルゴリズムはチャンネルオズ、O1、O2、装甲およびEEGシステムごとに0.5秒のにCPzからEEGデータを取得し、オンライン処理のための最後の3Sのデータセグメントを抽出します。 </li><li>第二に、このアルゴリズムは、ステップ2.7に記載されたアルゴリズムを使用して、3秒のデータセグメントを処理し、classificaのリアルタイムPSDを計算しまする。 </li><li>第三に、このアルゴリズムは、4つの特徴周波数でPSD振幅に応じて脳波パターンを分類します。 1つの特徴周波数の振幅が所定の閾値を超えるときに、SSVEP対象として、対応する周波数で点滅刺激を分類します。 </li></ol> 4.ヒューマノイドロボットの接続<ol><li>ヒューマノイドロボットの胸のボタンを押して、それが起動するのを待ちます。 注：このプロセスは約1分かかり、その胸のボタンが白になっている間、ロボットは「OGNAK GNOUK」と言うときに完了します。 </li><li> DPC 15へのワイヤレスフィデリティ（無線LAN）接続を確立します。 </li><li> DPC上のVisual C ++のスクリプトでプログラムロボットコントローラを開きます。コントローラは、ロボットコマンドに変換し、バーチャル・リアリティ周辺ネットワーク（VRPN）インタフェースを介してオンライン・シグナル・プロセッサからの分類結果を受けて、humanoiの対応行動を制御無線接続を介してDロボット。 </li><li> 、、そのWiFi接続に係るロボットのIPアドレスを入力する簡単三つの異なるタスクを実行するために切り替えることができ、ロボットの動作の三組を定義し、これらの行動（例えば、の実行パラメータを設定することにより、ロボットコントローラの設定速度を歩きますまたはタスクの要件に適合するように距離）。 注：これらの動作の詳細については、手順5.2.1、5.3.1、および5.4.1に記載されています。 </li><li>ロボットコントローラを実行するために、Visual Studioのプラットフォームのビルド]ボタンをクリックします。 </li><li> SPCのChoregrapheプログラムを開きます。接続のウィジェットをポップアップするボタン」への接続」をクリックします。そのIPアドレスに応じて制御するロボットを選択し、それに接続するために、そのアイコンをダブルクリックします。 </li><li> Choregrapheメニューバーの[表示]メニューから、[ビデオモニタを開き、ロボットのカメラからのライブ映像フィードバックを表示するには、ユーザー・インタフェースの前にモニターを移動します。 </li></ol> &lt;Pクラス= &quot;jove_title&quot;&gt; 5。閉ループ制御の実験を行います<ol><li>脳ロボットの相互作用の性能を評価するために、異なる環境内で3つの特定の閉ループ制御タスクを実行するための被写体を求めます。 注：彼らは日常生活の中で障害者や高齢者を支援するのに役立つため、ロボットの用途において重要であるこれらのタスクは、別のロボットの動作を有効にする必要があります。 </li><li> 図4に示すように、障害物の中を歩くと、光をオンにする光スイッチをプッシュするために、脳の信号を介して人型ロボットを制御するテレプレゼンスするために、第1の閉ループ制御タスクを実施します。 <ol><li> 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右折：最初のタスクを達成するために、ように、4つのSSVEPの刺激によってコードされているロボットの動作を制御しますその右手を使用してスイッチを押します。 注：configura化プロセスは、ステップ4.4に記載されています。 </li><li>タスクの目的及び制御することが4行動の対象を通知します。 </li><li>ステップ4.5から4.7のようにロボットコントローラを実行し、実験を開始します。環境を知覚し、ライブビデオのフィードバックに基づいて意思決定を行い、対応する刺激を見つめてロボットの動作をアクティブにするために、被験者に自由を与えます。 。注：緊急事態で 、例えば、ロボットが障害物に衝突しようとしない限り指示やヘルプが被験者に与えられるべきではありません。 </li></ol></li><li>通行人に直面すると、図5に示すように、出口標識、次の階段に向かって歩いて脳の信号を介して人型ロボットを制御するテレプレゼンスする2番目のタスクを実施します。、言う「恐縮です」と待つために、ロボットを制御するために、被験者に依頼通行人方法を提供します。 <ol><li>前方歩行continuousl：として4 SSVEP刺激によってコードロボットの動作を制御します0.05メートル/秒の速度でYは、0.1ラジアン/秒の速度で右連続回し、すべての歩行動作を停止し、0.1ラジアン/秒の速度で連続的に左折します。 </li><li>姿勢依存制御機能16にロボットコントローラを切り替えます。 注：ロボットが歩行しているときに、この関数は歩行動作を停止させるコマンドとして第四刺激を使用しています。ロボットが歩いていないとき、それは「恐縮です」と言ってロボットを制御するための第四刺激を使用しています。機能は、ロボットの歩行状態を検出することにより、C ++スクリプトで実行されます。 </li><li>制御されるべきタスクの目的と5行動の対象を通知します。 </li><li>ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。 </li></ol></li><li> 図6に示すように、それを拾うために、被験者の手にそれを提供するために、バルーンの目標に向かって歩いてヒューマノイドロボットを制御するためのテレプレゼンス第三作業を実施。 <ol><li> 、0.15メートルの固定距離で前方にステップ0.3ラジアンの一定のラジアンで左折、0.3ラジアンの一定のラジアンで右旋回し、オブジェクトを拾う：として4 SSVEP刺激によってコードロボットの動作を制御します。 </li><li>それは既にピックアップされたときに、オブジェクトを下に置くのコマンドとして第四刺激を再利用するロボットコントローラ内の姿勢に依存する制御機能を有効にします。 </li><li>制御されるべきタスクの目的と5行動の対象を通知します。 </li><li>ステップ5.2.3で説明したように、ロボットコントローラを実行して、実験を開始します。 </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

著者らは開示するものは何もない。

本論文では、複数のソフトウェアを統合することにより、ヒューマノイドロボットと脳とロボットのインタラクションシステムを確立するために、SSVEPベースの実験手順を提示します。人間の目的は、リアルタイムEEG信号を解釈することによって知覚されるので、実験を行う前に、電極接続及びEEG信号の品質を確認することが重要です。すべての電極から得られる信号は、悪い品質である場合、それは、第1のグランド電極と参照電極との接続を確認する必要があります。電極の一部に問題がある場合、それらのチャネルのインピーダンスを調整するための導電性ゲルを再注入します。 脳波信号を取得しながら、もう1つの一般的な問題は、アーティファクトやノイズ17の干渉です。 EEG信号としてSSVEP応答のPSDにおけるアーチファクトとノイズを容易にすることができるあいまいな変化、信号対雑音比（SNR）に小信号を有しています。それは捕虜から離れたEEGシステムの信号増幅器を保つことが重要ですER用品やその他のノイズ源。実験中、まばたきや体動アーティファクトを低減するために最小に保たれるべきです。さらに、このよ...

脳の信号を介して人間とロボット装置との間に革新的な通信経路を提供する脳とロボットのインタラクション（BRI）は、日常生活の中で1,2無効を助けることに前向きです。種々の方法は、構築するための最も一般的に使用される非侵襲的方法など皮質脳波記録（ECOG）、脳波計（EEG）、機能的磁気共鳴画像法（fMRI）などのいずれかの侵襲的または非侵襲的脳信号を取得することが可能ですBRIシステムは頭皮上に配置された電極からのEEG信号を取得することです。この方法は、安価で使いやすい、および許容可能な時間分解能3を提供します。彼らは人間が毎日受けて、同じ物理的および精神的なタスクの一部を模倣するために作成されるロボット装置の様々な中で、ヒューマノイドロボットが進んでいます。ヒューマノイドロボットを使用したBRIは、病人や高齢者を支援するだけでなく、不衛生や危険な仕事を行う上で重要な役割を果たします。しかし、制御BRIシステムによるヒューマノイドロボットの全身運動とのヒューマノイドロボットは、このような個人の支援4、5のような複雑なタスクを実行するために開発されているように、非常に困難です。 定常視覚誘発電位（SSVEP）は、所定の周波数6で視覚刺激の変調によって誘発される脳の信号の種類です。これはちらつき刺激の基本と高調波の周波数で正弦波が含まれていて、目立つ頭皮7の後頭部にある視覚野全体に表示されます。 SSVEP信号を選択する理由は、SSVEPベースBRIシステムは、比較的高い情報転送速度が得られ、より少ない訓練8を必要とすることです 。そのような事象関連電位（ERP）9またはモータ像（MI）10を電位として脳波の他のタイプもまた、この実験手順に埋め込 ​​むことができます。 ヒューマノイドと脳とロボットの相互作用のための私たちの手順心制御ヒューマノイドロボットプラットフォーム- - EEGデータ収集システムと人型ロボット11からなるロボットはCerebotに基づいています。 EEGシステムは、電極の種々のタイプにより取得された、前処理および表示生体電位信号を記録することができます。これは、複数のアナログI / OとデジタルI / Oを提供し、16ビットの分解能では30kHzのサンプリングレートで同時に128の信号チャンネルを記録することができます。 C ++とMATLABでそのソフトウェア開発キットは、実験手順を設計するユーザーのために簡単です。ヒューマノイドロボットは自由の25度を持っており、2台のカメラ、4マイク、2ソナー距離計、2 IRエミッターと受信機、1慣性ボード、9触覚センサ、および8の圧力センサを含む複数のセンサを備えています。これは、動きや対話型ロボットの動作を作成および編集するためのChoregrapheおよびC ++ SDKを提供します。 この方法の全体的な目標は、SSVEPベースの実験的なproceを確立することですdureヒューマノイドロボット11と脳とロボットの相互作用の研究を可能にするために、このようなOpenViBE、Choregraph、中央ソフトウェアなどの複数のソフトウェアプログラムと同様に、C ++とMATLABで記述されたユーザー開発したプログラムを統合することもできます。1は、システム構成を示します。専用の刺激提示コンピュータ（SPC）は、視覚刺激、指示や環境フィードバックを対象に提供するために、ユーザーインターフェイスが表示されます。専用のデータ処理用コンピュータ（DPC）は、オフライン訓練過程でデータレコーダとオフラインデータアナライザを実行し、オンライン・シグナル・プロセッサとヒューマノイドロボットのオンライン制御するロボット制御装置を実行します。他のSSVEPベースの制御システムと比較して、我々のシステムは、より信頼性の高い、より柔軟で、それはそのようなOpenViBE、Choregraph、中央ソフトウェアとして、標準化されたソフトウェア・パッケージの数を統合することによって開発されたとして再利用し、アップグレードするために、特に、より便利で、モジュールは、C ++で書かれましたMATLAB。 次の手順を見直し、天津医科大学総合病院の倫理委員会によって承認され、すべての被験者は、書面による同意を得ました。

<table><tbody><tr><td>Cerebus EEGデータ収集システム</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>NAOヒューマノイドロボット</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>EEGキャップ</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 導電性ゲル</td><td>ウィーバーと会社</td><td>10-20-8</td><td></td></tr></tbody></table>

ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をssvepベース

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Brain-Robot Interaction（BRI)は、脳信号を介して人間とロボットデバイスとの間の革新的なコミュニケーション経路を提供し、障害者の日常生活を支援する有望なものです。私たちの方法の全体的な目標は、OpenViBE、Choregraph、Centralソフトウェアなどの複数のソフトウェアプログラムと、C++およびMATLABで記述されたユーザー開発プログラムを統合して、SSVEPベースの実験手順を確立し、ヒューマノイドロボットとの脳とロボットの相互作用の研究を可能にすることです。
これは、まず人間の被験者にEEG電極を配置し、EEGデータ収集システムを通じて脳の反応を測定することによって達成されます。ユーザーインターフェースは、SSVEP応答を引き出し、閉ループ制御実験でビデオフィードバックを表示するために使用されます。2番目のステップは、初めての被験者の脳波信号を記録し、SSVEP機能をオフラインで分析し、各被験者の分類器を訓練することです。次に、オンラインシグナルプロセッサとロボットコントローラは、ヒューマノイドロボットのオンライン制御用に設定されます。最後のステップとして、被験者は異なる環境内で3つの特定の閉ループ制御実験を完了し、脳とロボットの相互作用のパフォーマンスを評価します。
このアプローチの利点は、複数のソフトウェアプログラムを統合して開発されているため、その信頼性と柔軟性です。その結果、このアプローチを用いると、被験者は脳信号を介してヒューマノイドロボットと対話することができることが示された。これにより、マインドコントロールされたヒューマノイドロボットは、ロボット研究で人気があり、障害者の支援に役立つ典型的なタスクを実行することができます。

ここに示された結果を修正対正常なバージョンを有する男性患者から得た。 図7は、空間的にCCA係数（ 図7B）を用いてデータをフィルタリング、マルチチャンネルデータのエポック（ 図7A）を抽出するなどのEEGデータを処理する手順を示しています正規化されたPSD（ 図7C）を算出します 。 図8は、正規化された PSDは、被験者が異なる周波数でちらつきの目標を見つめている単一の試験を用いて得られた示しています。顕著なピークがちらつく刺激の基本または高調波周波数で表示されます。 BRIシステムは、異なるロボットの動作を制御するためのコマンドにSSVEP応答のこれらのパターンをマッピングします。 <p class="jove_content" fo:keep-together.wit...

この方法の全体的な目標は、複数のソフトウェアプログラムを統合してSSVEPベースの実験手順を確立することであり、これは病人や高齢者の支援だけでなく、不衛生または危険な仕事を行うだけでなく、ヒューマノイドロボットとの脳とロボットの相互作用の研究を可能にすることです。

ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

本手法の全体的な目的は、複数のソフトウェアプログラムを統合することでSSVEPベースの実験手順を確立し、ヒューマノイドロボットを用いた脳・ロボットインタラクションの研究を可能にすることです。これはまず、被験者にEEG電極を装着し、EEGデータ収集システムを通じて脳応答を測定することで達成されます。また、ユーザーインターフェースを用いてSSVEP応答を誘発させ、クローズドループ制御実験におけるビデオフィードバックを表示します。第2のステップは、被験者の初回EEG信号を記録し、S-S-V-E-Pの特徴をオフラインで分析して、被験者ごとの分類器をトレーニングすることです。次に、ヒューマノイドロボットをオンラインで制御するため、オンライン信号処理装置とロボットコントローラを設定します。最終ステップとして、被験者は異なる環境下で3つの特定のクローズドループ制御実験を行います。脳とRobertの相互作用パフォーマンスを評価するため、異なる周波数で点滅する刺激を凝視している間に生成された脳信号の正規化パワースペクトル密度を結果として示します。本システムは、これらの脳波パターンをRobertの動作を制御するためのコマンドに変換します。このアプローチを用いることで、被験者は脳信号を用いてヒューマノイドのRobertと相互作用することが可能です。これにより、ヒューマノイドロボットのRobertが、ロボット研究で一般的であり、かつ障害者支援に有用な典型的なタスクを実行することが可能になります。このアプローチの利点は、Open Wide GraphやCentral Softwareなどの複数のソフトウェアプログラムに加え、C++やMATLABで開発されたユーザープログラムを統合して構築されているため、信頼性と柔軟性が高いことです。本手法を用いることで、ヒューマノイドロボットを用いたブレイン・ロボット・インターフェースの動作に関する研究が可能になります。本研究は、病者や高齢者の支援、および不衛生または危険な作業の遂行に寄与することを目的としています。ここからは、チームメイトのLimとHanが、それぞれEEGセンサーの配置と、人間からロボットへの接続方法について実演します。被験者に実験手順を説明してください。実験への参加同意を得ます。被験者の頭囲を測定し、その測定値に近いサイズのEEGキャップを選択します。NASマークの間隔を測定し、キャップを合わせるための基準としてその距離の10%を算出します。被験者の頭頂部の位置に、距離の中間点をマークします。EEGキャップの頭頂部にある電極Czを、Fp1電極とFp2電極の中間点に合わせて配置します。Fz、Cz、Pz、およびOz電極が頭部の正中線上にあることを確認してください。導電性ジェルを基準電極に塗布します。医療用テープを用いて、基準電極を左右のOIDに固定します。チンストラップを締めて固定してください。鈍端のシリンジを電極ホルダーにセットし、以下の順序で各電極に導電性ゲルを注入します。まず接地電極に注入し、次に実験O 2 0 1 OZ.PZおよびczで使用する5つの電極に注入します。被験者を心地よい椅子に座らせ、刺激モニターから60 centimeter離れた正面に配置します。電極線をEEGデータ収集システムに接続します。サンプリングレートを1 kHzに設定します。専用のデータ処理コンピュータでEEG信号の品質を確認します。特定の電極に問題がある場合は、ゲルを再注入してチャンネルのインピーダンスを調整してください。ユーザーインターフェース上に、視覚刺激として異なる周波数で点滅する4台のロボットの画像を表示させます。最初の被験者に対し、S-S-V-E-P特徴ベクトルを確立し、分類器を学習させるためのオフライン訓練実験を行います。被験者ごとに32回の試行を行い、このプロセス全体の脳信号を記録します。試行が開始される際、刺激の中から1つをターゲットとしてランダムに選択し、その上に黄色い矢印を表示させます。1秒間待機します。その後、ユーザーインターフェース上の4つの視覚刺激を異なる周波数で5秒間点滅させ、被験者に対し、身体の動きを最小限に抑えながら選択した刺激ターゲットに集中するように指示します。各試行後、被験者に3秒間の休息時間を設けてから、次の試行を開始します。すべての試行が終了したら、保存されたデータを読み取ります。オレンジ色の垂直バーは、刺激をターゲットとして選択するためのトリガーを示しており、刺激は5秒間にわたって点滅します。各試行において、トリガー後2秒から5秒までの間の3秒間のデータエポックを抽出します。参照信号y（特定の周波数における周期的な刺激信号に設定）を用いて、マルチチャネルEEGデータのCCA係数を算出します。CCA法では、結合された信号間の相関係数を最大化する線形結合ベクトルを求めます。算出されたCCA係数を用いて、マルチチャネルEEGデータを空間フィルタリングします。高速フーリエ変換を用いて、フィルターデータのパワースペクトル密度を算出します。3 Hzから40 Hzの間の平均値でパワースペクトル密度を正規化してください。その後、各刺激周波数に対して分類パラメータを校正します。設定ウィンドウを開き、被験者の分類パラメータを構成します。データ処理用コンピュータでオンライン信号プロセッサを起動します。EEGシステムのチャンネルO 2 0 1、OZ、PZ、およびCZから0.5秒ごとにEEGデータを取得し、オンライン処理用に直近3秒間のデータセグメントを抽出します。オフライン処理で説明したアルゴリズムを用いてデータセグメントを処理します。分類のために、リアルタイムのパワースペクトル密度を算出します。ある特徴周波数の振幅が規定の閾値を超えた場合、対応する周波数で点滅する刺激として分類されます。SSV EEPターゲットとして、ヒト型NorRobotを起動し、データ処理コンピュータへのWi-Fi接続を確立します。オンライン信号プロセッサから分類結果を受信し、無線接続を介して humanoid robot の対応する動作を制御するロボットコントローラを設定し、実行します。専用の刺激提示コンピュータでコレオグラフプログラムを実行し、ロボットのカメラからのライブビデオフィードバックをユーザーインターフェースに表示させます。脳とロボットの相互作用性能を評価するため、被験者に異なる環境下で3つの特定のクローズドループ制御テストを実施するよう依頼します。これらのテストはロボット研究で一般的であり、障害者や高齢者の日常生活を支援する上で有用です。新しいタスクを開始する前に、タスクの目的と制御可能な動作について被験者に説明してください。これらの結果は、マルチチャンネルデータのエポック抽出、CCA係数を用いたデータの空間フィルタリング、および正規化パワースペクトル密度の算出を含む、EEGデータの処理手順を示すものである。被験者が異なる点滅ターゲットを注視したシングルトライアルで得られた正規化パワースペクトル密度をここに示す。最初のクローズドループ制御実験では、被験者のNoah Robertが、脳信号を用いて障害物を通り抜け、壁の照明スイッチを押す操作を行った。脳信号をリアルタイムで処理しました。被験者の制御意図を分類するため、被験者はライブビデオフィードバックを視聴し、対応する刺激を凝視することでRobertの動作を制御しました。スイッチに到達した後、被験者はRobertを操作して照明を点灯させました。2番目の実験では、ビデオフィードバックに基づいて、出口標識に従い人間型ロボットを階段に向かって継続的にナビゲートさせました。通行人に遭遇した際、被験者はロボットに「すみません」と言わせ、通行人が道を譲るまで待機するように制御しました。その後、ロボットを操作して階段に向かって歩かせました。3番目の実験では、ヒューマノイドのRobertを全身運動で制御し、ライブビデオフィードバックに基づいて、風船のターゲットに到達してそれを拾い上げ、被験者の手に届ける操作を行いました。人間の意図はLU時間のEEG信号を解釈することで認識されるため、実験を行う前に電気的な接続とEEG信号の品質を確認することが極めて重要です。EEG信号の取得におけるもう一つの一般的な問題は、干渉やアーチファクト、およびノイズです。被験者の身体運動を抑制し、CCAベースのマルチチャネル手法を利用することで、このような干渉は改善されます。本手法は、多様な実験手順の設計に有効であり、特に脳ロボットインタラクション（BRI）のためのアルゴリズムや技術の検討に柔軟に対応できるため、新しいBRIアプリケーションの探索に容易に活用することが可能です。

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

JoVE Journal

Engineering

工学

我々は、神経のコントロールで一般的な原則を調査するために閉ループフライマシンインタフェースを使用してください。...

ブレインマシンインタフェースの閉ループ性能を研究する実験プラットフォーム

最近では、見通しの膨大な量は、人間とロボットの対話的なシステムに利用可能なってきた。本稿では、急速にインタラクティブ機能の可能なライブラリを作ることができるオープンソースソフトウェアを使用して、新しいロボットデバイスの統合の概要を説明します。私たちは、その後、神経リハビリテーションのアプリケーションのための臨床応用を概説する。...

触覚/グラフィックリハビリテーション：仮想環境のライブラリにロボットを統合し、脳卒中治療に適用すること

3TのfMRIの中の触覚ロボットの適応と使用が記載されている。...

3TのfMRIの中の触覚ロボットの適応

この論文では、クローズドループ実験を行うための実験フレームワークが提示されています。そこでは、ロボット体との連続的な相互作用の中で、情報処理(すなわち、コーディングとデコード)とニューロンアセンブリの学習が研究されます。...

閉ループ神経のロボット実験は、神経回路網の計算特性を試験すること

&gt;jove_content&lt;この記事では、インタラクティブな脳卒中後バランスリハビリテーションシステムのための新しい低コストのヒューマンマシンインターフェースを紹介します。このシステムは、自発的に駆動される電気治療パラダイムに向けて、既製の低コストセンサーを統合しています。概念実証ソフトウェアインターフェースは、健康なボランティアでデモンストレーションされています。...

脳卒中後のバランスリハビリテーションのための神経筋電気刺激システムで低コストのセンサーを統合ヒューマンマシンインターフェース

ここでは、仮想手と体関連の自己認識/ -representationを研究するために使用することができる仮想面錯覚パラダイムを記述しています。彼らは既に仮想の手や顔、身体表現はかなり柔軟であることを示唆し、自分の身体表現に組み込むことができ、特定の条件の下で、それを実証するために様々な研究で使用されてきました。...

自己表現を調査するために、仮想手と仮想面のイリュージョンを作成します

私たちは、密接なループで人体と心臓の信号をストリーミング、パラメータ化、分析、および変更する共適応インターフェースを構築するためのプロトコルと分析方法を提示します。このセットアップは、外部感覚入力を持つ人の末梢および中枢神経系から導き出された信号をインターフェースし、生物物理学的変化を追跡するのに役立ちます。...

クローズループインタフェースを用いた再パラメータ化周辺信号のリアルタイムプロキシ制御

世界では、6人に1人が一生のうちに脳卒中を発症し、長期的な障害を引き起こすと推定されていますが、そのリハビリテーションメカニズムはまだよくわかっていません。この研究では、機能的近赤外分光法(fNIRS)による脳の活性化を評価するためのプロトコルを提案します...

機能的近赤外分光法とロボット支援下肢の多関節指差し運動を用いた実験

バーチャルリアリティ環境での運動イメージは、ブレイン・コンピュータ・インターフェース・システムにおいて幅広い用途があります。この原稿では、参加者が想像した動きをバーチャルリアリティ環境で行うのに似たパーソナライズされたデジタルアバターを使用して、没入感と身体の所有権を高める方法について概説しています。...

バーチャルリアリティ対応のブレインコンピュータインターフェース環境における具現化されたデジタルツインによる運動イメージ性能

本研究では、脳波患者向けのブレイン・コンピュータ・インターフェース(BCI)システムを導入し、脳波と眼電図の信号を組み合わせて上肢のロボットハンドを制御し、日常生活の活性化を図るシステムを紹介します。評価には、ベルリン脳卒中二手動試験(BeBiTS)を使用しました。...

脳卒中患者の日常生活向上のためのブレイン・コンピュータ・インターフェース制御上肢ロボットシステム

学ぶSSVEPベースの脳-ロボットインタラクション手法。ヒューマノイドロボットを脳波で制御し、高齢者支援や危険作業への応用を目指す。複数ソフトウェアを統合した信頼性の高い実験手順を確立する。

ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース

さらに動画を探す