産業およびヘルスケア向けの単一チャネルおよび非侵襲的ウェアラブルブレインコンピュータインタフェース

サマリー

この論文では、消費者グレードの機器と定常状態の視覚誘発電位に依存してブレインコンピュータインターフェースを構築する方法について説明します。このために、乾式電極を利用する単一チャネル脳波計は、刺激の提示と出力データの視覚化のために拡張現実メガネと統合されました。最終的なシステムは、非侵襲的で、ウェアラブルで、ポータブルでした。

要約

本研究では、ウェアラブルブレインコンピュータインターフェース(BCI)の構築方法に焦点を当てています。BCIは、障害を持つ人々と健常者の両方を支援するために脳信号の直接測定に依存する人間とコンピュータの相互作用の新しい手段です。アプリケーション例には、ロボット制御、産業検査、および神経リハビリテーションが含まれます。特に、最近の研究では、定常状態の視覚誘発電位(SSVEP)が通信および制御アプリケーションに特に適していることが示されており、現在、BCI技術を日常生活に取り入れるための努力がなされています。この目的を達成するために、最終的なシステムは、ウェアラブル、ポータブル、および低コストの計測器に依存する必要があります。SSVEPを利用するには、固定周波数のちらつきのある視覚刺激が必要です。そこで,日常生活の制約を考慮するにあたり,スマートグラスによる視覚刺激の提供の可能性について検討した.さらに、誘発電位を検出するために、脳波(EEG)用の市販の装置が検討された。これは、乾式電極(導電性ゲルなし)を備えた単一の差動チャネルで構成されているため、最大限の装着性と携帯性を実現します。このようなBCIでは、ユーザは、ディスプレイに表示されるアイコンを見つめるだけでスマートグラスと対話することができる。この単純な原理に基づいて、拡張現実(XR)メガネと市販のEEGデバイスを統合することにより、ユーザーフレンドリーで低コストのBCIが構築されました。このウェアラブルXR-BCIの機能性は、20人の被験者を対象とした実験キャンペーンで検討されました。分類精度は、刺激時間に応じて平均80%〜95%であった。これらの結果を考えると、このシステムは、工業検査だけでなく、ADHDや自閉症のリハビリテーションのためのヒューマンマシンインターフェースとしても使用できます。

概要

ブレインコンピュータインターフェース(BCI)は、自然な神経経路のないデバイスとの通信および/または制御を可能にするシステム^です1。BCIテクノロジーは、人類が心の力でオブジェクトを制御するのに最も近いものです。技術的な観点から、システム操作は^{、被験者2}から非自発的または自発的に生成される可能性のある誘発または誘発された脳活動を測定することによって機能します。歴史的に、研究はBCI³を通じて運動障害を持つ人々を支援することに焦点を当てていましたが、今日では、ゲーム⁴、ロボット工学⁵、インダスト^リー6、および人間と機械の相互作用を含むその他のアプリケーション向けにBCIベースの機器を提供する企業が増えています。特に、BCIは、サイバーフィジカル生産システムが人間と周囲の環境との相互作用を変化させている第4.0次産業革命、すなわちインダストリー4.0⁷で役割を果たす可能性があります⁸。大まかに言えば、ヨーロッパのプロジェクトBNCI Horizon 2020は、中枢神経系の失われた自然機能の交換、回復、改善、強化、または補足などのアプリケーションシナリオ、および脳の調査におけるBCIの使用を特定^{しました9}。

この枠組みでは、最近の技術的進歩により、ブレインコンピュータインターフェースが日常生活での使用に適用できる可能性がある^{ことを意味します10,11}。この目的を達成するために、最初の要件は非侵襲性であり、これは外科的介入のリスクを回避し、ユーザーの受け入れを高めるために重要です。ただし、非侵襲的ニューロイメージングの選択は、測定された脳信号の品質に影響を与えるため、BCI設計は関連する落とし穴に対処する必要があることに注意してください¹²。さらに、着用性と携帯性が求められます。これらの要件は、ユーザーフレンドリーなシステムの必要性と一致していますが、いくつかの制約もあります。全体として、言及されたハードウェアの制約は、ゲルフリー電極⁶を備えた脳波(EEG)システムの使用によって対処される。このようなEEGベースのBCIも低コストです。一方、ソフトウェアに関しては、最小限のユーザートレーニング(または理想的にはトレーニングなし)が望まれます。つまり、ユーザーがシステムを使用する前に、処理アルゴリズムを調整するための長い期間を避けるのが最善です。この側面は、被験者間および被験者内の非定常性のためにBCIで重要です^13,14。

以前の文献は、誘発された脳電位の検出が、信号取得における非定常性およびノイズに関して堅牢であることを示している。言い換えれば、誘発電位の検出に依存するBCIは 反応性と呼ばれ、脳パターン認識の観点から最もパフォーマンスの高いBCIです¹⁵。それにもかかわらず、それらは感覚刺激を必要とし、それはおそらくそのようなインターフェースの主な欠点である。したがって、提案手法の目標は、ウェアラブルな既製の計測器に依存する、高度にウェアラブルでポータブルなBCIを構築することです。ここでの感覚刺激は、スマートグラスによって生成されたちらつき光で構成されており、定常状態の視覚誘発電位(SSVEP)を誘発することができます。以前の研究では、BCIを単独で、または拡張現実と組み合わせて仮想現実と統合することをすでに検討しています¹⁶。たとえば、SSVEP¹⁷でクワッドコプターを制御するためにBCI-ARシステムが提案されました。仮想現実、拡張現実、およびその他のパラダイムは、拡張現実という用語で参照されます。このようなシナリオでは、スマートグラスの選択はウェアラビリティと携帯性の要件に準拠しており、スマートグラスは最小限のEEG取得セットアップで統合できます。この論文では、SSVEPベースのBCIは、低速から中速の通信および制御アプリケーションで許容可能な分類性能を達成しながら、最小限のトレーニングしか必要としないことを示しています。したがって、この技術は日常生活用途のBCIに適用され、特に産業やヘルスケアに適しているようです。

プロトコル

この研究は、ナポリ大学フェデリコ2世の人文学部の心理学研究倫理委員会によって承認されました。ボランティアは、実験に参加する前にインフォームドコンセントに署名しました。

1.非侵襲的なウェアラブル脳の準備-コンピューターインターフェース

1. 乾式電極を備えた低コストの民生用脳波計を入手し、シングルチャンネル用に構成します。
   1. 低コスト脳波計の未使用の入力チャンネルを、固有のデータシートで指定されている内部リファレンス電圧に短絡または接続します。これにより、未使用のチャネルは無効になり、クロストークノイズは発生しません。
   2. 脳波計のゲインを(通常は可変抵抗の部品を介して)調整して、入力範囲を100μV程度にします。
      注:測定するEEG信号は数十マイクロボルトのオーダーです。ただし、乾式電極はモーションアーチファクトの影響を大きく受け、電極-皮膚インピーダンスの変動により100μV程度の振動が発生します。入力電圧範囲を広げると、EEGアンプの飽和を制限するのに役立ちますが、完全になくなるわけではありません。一方、入力電圧範囲をさらに大きくすることは、所望のEEG成分を測定する際の電圧分解能に影響を与えるため、不便です。最終的には、脳波計ボード内のアナログ-デジタルコンバータのビット分解能も考慮して、2つの側面のバランスをとる必要があります。
   3. 脳波計ボードに接続する乾式電極を3つ用意します。参照電極として受動電極(事前増幅なし)を使用してください。残りの2つの測定電極はアクティブなものでなければなりません(つまり、事前増幅と最終的なアナログフィルタリングが必要です)。
      注意: 毛むくじゃらの頭皮領域に配置された電極には、電極と皮膚の接触インピーダンスを克服するためのピンが必要です。可能であれば、フラットヘッドの銀ピンをはんだ付けするか(ユーザーの痛みを避けるため)、理想的にはAg/AgClコーティングを施した導電性(柔らかい)ゴムを使用してください。
2. Androidオペレーティングシステムと60Hzのリフレッシュレートを備えた商用スマートグラスを入手します。 または、より低いリフレッシュレートを使用します。目の疲れが少ないため、刺激にはより高いリフレッシュレートが望ましいですが、現在市場には利用可能なソリューションはありません。
   1. 通信または制御用のAndroidアプリケーションのソースコードをダウンロードするか、開発します。
   2. 固有のオブジェクト(通常はJavaまたはKotlin)を変更して、アプリケーション内の仮想ボタンをちらつきアイコンに置き換えます。画面寸法が5%以上の白い四角形をお勧めします。通常、刺激マスが大きいほど、検出するSSVEP成分は高くなりますが、特定のケースに応じて最適なものを見つけることができます。推奨される周波数は、10 Hz と 12 Hz のちらつきです。スマートグラスの計算ユニット(CPU)の過負荷を回避するために、グラフィック処理ユニット(GPU)にちらつきを実装します。このためには、OpenGLライブラリのオブジェクトを使用します。
   3. 入力EEGストリームのリアルタイム処理のためのAndroidアプリケーションのモジュールを実装します。Android USBサービスを追加して、USB 経由で ストリームを受信できるようにすることができます。リアルタイム処理は、単に、着信パケットを考慮することによって、EEGストリームにスライディングウィンドウを適用してもよい。高速フーリエ変換関数を使用して、10Hzおよび12Hzの周波数に関連するパワースペクトル密度を計算します。したがって、訓練された分類器は、パワースペクトル密度特徴を分類することによって、ユーザが10Hzのちらつきアイコンまたは12Hzのちらつきアイコンを見ていることを区別することができる。

2. SSVEPベースの脳のキャリブレーション-コンピューターインターフェース

注:この研究のために健康なボランティアが選ばれました。脳疾患の病歴のある被験者を除外します。関与した被験者は、正常または正常への矯正視力を持っている必要がありました。彼らは実験中はリラックスし、特に頭の不必要な動きを避けるように指示されました。

1. ユーザーがAndroidアプリケーションでスマートグラスを着用できるようにします。
2. 電極を保持するためのタイトなヘッドバンドをユーザーに着用させます。
3. 低コストの脳波計をUSBケーブル で PCに接続し、PCを主電源から切り離します。
   1. 最初に、脳波計取得ボードからすべての電極を外して、既知の状態から開始します。
   2. このフェーズでは、脳波ストリームは、Androidアプリケーションに実装された処理と互換性のあるスクリプトを使用して、PC上でオフラインで処理されます。スクリプトを開始して、EEG信号を受信し、視覚化します。
4. オフラインで処理されている表示された信号を確認してください。これは、EEG増幅器の量子化ノイズのみに対応する必要があります。
5. 電極を接続します。
   1. カスタムクリップを使用してパッシブ電極を左耳に適用するか、イヤークリップ電極を使用します。測定差動チャンネルはまだ開回路であるため、出力信号はこのステップで変更しないでください。
   2. 測定脳波チャネルの差動入力の負極端子に活性電極を接続し、ヘッドバンドで前頭部(Fpz標準位置)に適用します。数秒後、信号はゼロ(量子化ノイズ)に戻ります。
   3. もう一方のアクティブ電極を測定EEGチャネルの差動入力の正極に接続し、ヘッドバンドで後頭部(Oz標準位置)に適用します。前頭脳領域に関して測定された視覚活動に対応する脳信号が表示されるようになりました(そこには視覚活動は予測されません)。
6. システムキャリブレーション用の信号を集録します。
   1. Androidアプリケーションでちらつきアイコンを起動して、10Hzと12Hz(最終的には他の)のちらつきアイコンでユーザーを繰り返し刺激し、オフライン処理のために固有の脳波信号を取得して保存します。このフェーズの各刺激が10秒間ちらつく単一のアイコンで構成されていることを確認し、スマートグラスのタッチパッドを押してちらつきアイコンを開始し、EEG取得および視覚化スクリプトを開始します。
   2. 各刺激に関連する10秒の信号から、高速フーリエ変換を使用して、10 Hzと12 Hzでのパワースペクトル密度の2つの特徴を抽出します。 あるいは、第2高調波(20 Hzと24 Hz)を考えてみましょう。
   3. 特徴領域で集録された信号の表現を使用して、サポートベクターマシン分類器をトレーニングします。ツール(MatlabまたはPython)を使用して、入力特徴に基づいて最終的なカーネルを持つ超平面のパラメータを特定します。訓練されたモデルは、EEG信号の将来の観測を分類することができるでしょう。

3. 最終的なウェアラブルでポータブルなSSVEPベースのインターフェースを組み立てる

1. USBケーブルをPCから外し、スマートグラスに直接接続します。
2. トレーニング済みの分類器のパラメーターを Android アプリケーションに挿入します。これでシステムの準備が整いました。

結果

上記のシステムの可能な実装を 図1に示します。この実装により、ユーザーは脳活動を通じて拡張現実をナビゲートできます。スマートグラスディスプレイのちらつきアイコンは、アプリケーションのアクションに対応しているため(図1A)、これらのメガネは、ボタンの押下またはタッチパッドに基づく従来のインターフェイスの代わりとなります。そのような相互作用の有効性は、ちらつきによって引き起こされる電位の成功した分類に厳密に関連しています。この目的を達成するために、まずシステム¹⁸について計量学的特徴付けが行われ、次いでヒトユーザが実験的検証に関与した。

ディスカッション

システムが適切に機能するには、SSVEPの誘発と信号取得という2つの重要な側面が含まれます。現在の研究のために選択された特定のデバイスとは別に、SSVEPは、ちらつきのある光を提供するさまざまなデバイスで引き出すことができますが、ウェアラビリティと携帯性を確保するためにスマートグラスが好まれます。同様に、さらなる商用脳波計を検討することができますが、それらはウェアラブルでポータブルであり、ユーザーフレンドリーであるためには最小限の数の乾式電極を含む必要があります。さらに、システムは、プログラミングが簡単なデバイスを使用するようにカスタマイズできます。さらに、処理戦略によって最終的なパフォーマンスが決まります。処理戦略は、記載されたシステム設計において決定的には見えなかったが、その強化は、通信および制御アプリケーションのためのより高速でより正確なシステムに確実に貢献するであろう^10、11、19。

シ...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Ag/AgClコーティングを施した導電性ゴム	AB Medica S.p.A.	N/A	代替電極 – type 2
イヤークリップ電極	OpenBCI	該当なし 耳	栓
EEG-AE	Olimex	該当なし	アクティブ電極
EEG-PE	Olimex	該当なし	パッシブ電極
EEG-SMT	Olimex	該当なし 低コスト	脳波計
Moverio BT-200	Epson	該当なし	Smartメガネ
スナップ電極	OpenBCI	N/A	代替電極 – type 1