ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース
2015年11月24日
この方法の全体的な目標は、複数のソフトウェアプログラムを統合してSSVEPベースの実験手順を確立することであり、これは病人や高齢者の支援だけでなく、不衛生または危険な仕事を行うだけでなく、ヒューマノイドロボットとの脳とロボットの相互作用の研究を可能にすることです。
この方法の全体的な目標は、複数のソフトウェアプログラムを統合して、脳内ロボットとヒューマノイドロボットの相互作用の研究を可能にすることにより、S-S-V-E-Pベースの実験手順を確立することです。これは、脳波データ収集システムを通じて脳の反応を測定するために、人間の被験者にEEG電極を最初に配置することによって達成されます。ユーザーインターフェースを使用して、S-S-V-E-Pの応答を引き出し、閉ループ制御実験でビデオフィードバックを表示します。
2番目のステップは、初めての被験者のEEG信号を記録して、S-S-V-E-P機能をオフラインで分析し、各被験者の分類器を訓練することです。次に、オンライン信号プロセッサとロボットコントローラは、ヒューマノイドのロバートのオンライン制御用に構成されます。最後のステップとして、被験者は異なる環境内で3つの特定の閉ループ制御実験を完了します。
脳のロバート相互作用の性能を評価するために、結果は、異なる周波数でちらつく刺激を見つめながら生成される脳信号の正規化されたパワースペクトル密度を示しています。私たちのシステムは、これらの脳波パターンをロバートの行動を制御するためのコマンドに変換します。このアプローチを使用すると、被験者はヒューマノイドのロバート・バイオ・ブレイニン信号と対話することができます。
これにより、ヒューマノイドのロバートは、ロボット研究で人気があり、障害者の支援に役立つ典型的なタスクを実行できます。このアプローチの利点は、オープンワイドグラフやセントラルソフトウェアなどの複数のソフトウェアプログラムと、c plus plusやmatch labに関連するユーザー開発プログラムを統合して開発されているため、信頼性と柔軟性があることです。この方法により、ヒューマノイドロボットと行動する脳ロボットを研究することができます。
この研究は、病人や高齢者を支援するだけでなく、不衛生または危険な仕事を遂行する上で前向きです。私のチームメイトであるリムとハンは、それぞれ脳波センサーの配置を実演し、人間とロボットの接続方法を示します。実験の手順を被験者に説明します。
実験への参加について同意を得る。被験者の円周を測定し、測定値に近いE EEGキャップサイズを選択します。NASマーク間の距離を測定します 距離の10%をキャップを裏打ちするための基準として
。被写体のカル位置の頂点で距離の中点をマークします。頂点上のE EEGキャップの電極czは、FP 1とFP 2の電極の中点に10%マークを揃えます。fz、cz、PZ、およびOZ電極がヘッドの正中線上にあることを確認してください。
導電性ゲルで電極への参照を塗ります。医療用テープを使用して、参照電極を左右のOIDに配置します。チェーンストラップを締めます。
先端が鈍いシリンジを電極トーターに入れ、次の順序で各電極に導電性ゲルを注入します。まず、接地電極、次に、実験で使用した5つの電極O 2 0 1 OZです。PZおよびCZ。刺激モニターの前の60センチメートルの快適な椅子に被験者を座
らせます。電極線をEEGデータ収集システムに接続します。サンプリングレートを 1 キロヘルツに構成します。専用のデータ処理コンピュータで脳波信号の品質を調べます。
特定の電極に問題がある場合。ゲルを再注入して、チャネルのインピーダンスを調整します。4つのロボットがユーザーインターフェース上の視覚刺激として異なる周波数の画像をちらつ
かせます。初めての被験者は、オフライントレーニング実験を実施して、S-S-V-E-P特徴ベクトルを確立し、分類器をトレーニングします。被験者ごとに32回の試行を行い、このプロセス全体で脳信号を記録します。トライアルが開始されたら、ターゲットとして1つの刺激をランダムに選択し、その上に黄色の矢印を表示します。
ちょっと。その後、ユーザーインターフェース上の異なる周波数で4つの視覚刺激を5秒間ちらつき、体の動きを最小限に抑えながら、選択した刺激ターゲットに焦点を合わせるように被験者に要求します。各試行の後、被験者に3秒間リラックスさせてから、次の試行を開始します。
すべてのトライアルが終了したら、保存したデータを読み込みます。縦のオレンジ色のバーは、5秒間に刺激がちらついているターゲットとして刺激を選択するトリガーを示します。各試行で、トリガーの 2 秒から 5 秒後の間に 3 秒のデータ アポを抽出します。
特定の周波数での周期的な刺激信号として設定された基準信号yを使用して、マルチチャネルEEGデータのCCA係数を計算します。CCA 法では、結合された信号間の相関係数を最大化するために線形結合ベクトルを検出します。計算された CCA 係数を使用して、マルチチャネル EEG データを空間的にフィルタリングします。
高速ホワイエ変換を使用して、フィルター データのパワー スペクトル密度を計算します。パワー スペクトル密度を、3 hutz から 40 hutz の間の平均値に対して正規化します。次に、各刺激周波数の分類パラメーターを較正します。
被写体の分類パラメータを設定するには、オープンワイプ設定ウィンドウを使用します。データ処理コンピュータでオンライン信号プロセッサを起動します。EEGシステムのチャネルO 2、0、1 OZ、PZ、およびCZから0.5秒ごとにEEGデータを取得し、オンライン処理のために最後の3秒間のデータセグメントを抽出します。
オフライン・プロセスで説明されているアルゴリズムを使用して、データ・セグメントを処理します。分類のためにリアルタイムのパワースペクトル密度を計算します。1つの特徴周波数の振幅が特定のしきい値を超えると、対応する周波数でちらつく刺激が分類されます。
SSV EEPターゲットとして、人間のノロロボットを起動し、データ処理コンピューターへのWi-Fi接続を確立します。ロボットコントローラを設定・実行すると、ロボットコントローラはオンライン信号プロセッサから分類結果を受け取り、無線接続を介してヒューマノイドロバートの対応する動作を制御します。専用の刺激プレゼンテーションコンピューターで振り付けプログラムを実行して、Robertsカメラからのライブビデオフィードバックをユーザーインターフェイスに表示します。
被験者に、脳のロバート相互作用のパフォーマンスを評価するために、異なる環境内で3つの特定の閉ループ制御テストを実行するように要求します。これらのテストはロボット研究で人気があり、障害者や高齢者の日常生活を支援するのに役立ちます。新しいタスクの前に、タスクの目的と制御に利用可能な動作を被験者に知らせます。
これらの結果は、マルチチャネルデータエポックの抽出、CCA係数を用いたデータの空間フィルタリング、正規化されたパワースペクトル密度の計算など、脳波データの処理手順を示しています。ここでは、被験者が異なるちらつくターゲットを見つめる 1 回の試行で得られた正規化されたパワー スペクトル密度を示します。最初のクローズドループ制御実験では、人間のノア・ロバートが脳の信号によって制御され、障害物を通り抜けたり、壁の照明スイッチを押したりしました。
脳の信号はリアルタイムで憑依されていました。被験者の制御意図を分類するために、被験者はライブビデオフィードバックを視聴し、対応する刺激を見つめることによってロバートの行動を制御しました。スイッチに到達した後、被験者はロバートを制御してライトを点灯させました。
2つ目の実験では、ビデオフィードバックに基づいて、人間のロボットを出口標識に続く階段に向かって連続的にナビゲートしました。通行人のスパイと対峙したとき、被験者はロバートをコントロールして、「すみません、通行人のスパイが道を譲るのを待ってください」と言いました。その後、ロバートは階段に向かって歩くように制御されました。
3つ目の実験では、ヒューマノイドのロバートが全身の動きで制御され、ライブビデオのフィードバックに基づいてバルーンターゲットに到達して拾い上げ、被験者の手に届けました。人間の意図はLU時間のEEG信号を解釈することで認識されるため、実験を行う前に電気接続とEEG信号の品質を確認することが重要です。EEG信号を取得する際の別の一般的な問題は、干渉またはアーティファクトとノイズです。
腰は、体の動きの主題を減らし、CCAベースのマルチチャネル技術を利用することにより、そのような干渉が改善されます。本手法は、特に脳内ロボットの相互作用に関するアルゴリズムや技術を調査するために柔軟性を持ち、様々な実験手順を設計するのに有効であり、新たなBRIアプリケーションの探索に容易に利用することができます。
完全なトランスクリプトを表示し、数千本の科学動画にアクセス
概要
この研究は、ヒューマノイドロボットを使用した脳ロボット相互作用を探索するためのSSVEPベースの実験手順を確立します。この方法は、複数のソフトウェアプログラムを統合して、病人や高齢者の支援や危険な作業の遂行を支援します。
主要な研究構成要素
科学の領域
- 神経科学
- ロボット工学
- ヒューマノイドロボットとの相互作用
背景
- SSVEP（定常視覚誘発電位）は脳コンピュータインターフェースで使用される脳反応です。
- ヒューマノイドロボットは介護や危険な仕事など、様々なタスクを支援できます。
- EEG（脳波検査）は脳活動を測定するために使用されます。
- ソフトウェアプログラムの統合により、ロボットシステムの制御が向上します。
研究目的
- 脳ロボット相互作用を研究する方法を開発すること。
- 脳信号を通じてヒューマノイドロボットの制御を可能にすること。
- ロボット技術を通じて必要とする人々を支援すること。
使用した方法
- 脳反応を測定するために被験者の頭部にEEG電極を配置すること。
- SSVEP反応を誘発するためにユーザーインターフェースの利用。
- オフライン分析と分類器のトレーニングのためにEEG信号を記録すること。
- オンライン信号処理とロボット制御システムの設定。
主要な結果
- 被験者からSSVEP反応を成功裏に誘発すること。
- ヒューマノイドロボットのリアルタイム制御のための分類器の効果的なトレーニング。
- 様々な環境で閉ループ制御実験の完了。
- 高齢者の支援や危険なタスクの実行における潜在的な応用の実証。
結論
- SSVEPベースの方法は脳ロボット相互作用研究に実行可能であること。
- ソフトウェアプログラムの統合によりロボット制御能力が向上すること。
- このアプローチは医療や安全分野における将来の応用に有望であること。
よくある質問
Executive Industry Relevance
This SSVEP-based brain-robot interaction method enables non-invasive neural control of humanoid robots, offering a pathway for assistive technologies in neurorehabilitation and disability support. By translating steady-state visual evoked potentials into robotic commands, the approach supports early-stage validation of neural interface paradigms for translational neurotechnology development. The integration of OpenViBE, MATLAB, and custom C++ software provides a flexible framework for de-risking brain-computer interface (BCI) applications in preclinical assistive device research.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of sensorimotor integration pathways through real-time decoding of visual-evoked brain signals during closed-loop robotic control.
- Operational Value: Supports subject-specific classifier training using offline CCA analysis to personalize neural decoding models for inter-subject variability.
Screening & Assay Development
- Scientific Value: Provides a standardized SSVEP elicitation protocol using flickering visual stimuli at defined frequencies to generate reproducible neural responses across trials.
- Operational Value: Enables quantitative power spectral density normalization and CCA-based spatial filtering to extract reliable feature vectors for signal classification.
Translational & Preclinical Research
- Scientific Value: Demonstrates feasibility of using EEG-derived SSVEP signals to trigger complex robotic behaviors such as navigation, object manipulation, and environmental interaction.
- Operational Value: Supports iterative testing across environments to evaluate real-world robustness of brain-robot interaction systems for assistive technology development.
Pipeline & Workflow Integration
This method fits within the early discovery phase of neurotechnology development, where neural signal fidelity and decoding accuracy are evaluated before advancing to chronic implantable systems or clinical trials.
- Discovery Biology: Enables hypothesis testing of neural correlates of intent by linking visual attention to measurable EEG changes during goal-directed robotic tasks.
- Screening: Delivers assay-ready SSVEP responses through standardized visual stimulation and offline feature extraction for classifier optimization.
- Analytics: Generates normalized power spectral density and CCA coefficients as quantitative readouts to compare neural engagement across stimuli and conditions.
- Translational Research: Supports continuity from acute neural signal detection to functional robotic output, informing design of hybrid BCI-assistive systems.
- Enterprise Reuse: The modular software integration (OpenViBE, MATLAB, Choregraph) allows adaptation to different robotic platforms and stimulus paradigms for platform-wide reuse.
Operational & Enterprise Impact
- Scientific Value: Reduces mechanistic ambiguity in neural decoding by providing time-locked, frequency-specific SSVEP responses tied to visual stimuli.
- Operational Value: Ensures reproducibility through standardized electrode placement (Oz, Pz, Cz, O2, O1), gel application, and impedance checking via reinjection protocols.
- Strategic Value: Informs go/no-go decisions in BCI development by validating real-time classification accuracy and subject controllability across multiple task environments.
- Portfolio Impact: Enables risk-adjusted prioritization of neural interface strategies by demonstrating closed-loop controllability in ecologically valid scenarios.
Implementation Considerations
- Requires expertise in EEG signal processing, CCA analysis, and real-time spectral feature extraction for online classification.
- Dependent on EEG acquisition systems capable of 1 kHz sampling and multi-channel recording from occipital and central sites.
- Necessitates cross-team standardization between neuroscience, robotics, and software engineering teams for synchronized signal processing and behavioral output.
- Adaptation to different model systems may require recalibration of visual stimulus frequencies and classifier thresholds based on subject-specific SSVEP profiles.
- Practical limitations include susceptibility to motion artifacts and environmental EEG noise, mitigated by minimizing subject movement and using spatial filtering techniques.
