高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ

私たちの研究は、EMGと視覚データの同期を使用して、動的な手のジェスチャー認識を改善することに焦点を当てています。私たちは、さまざまな手の位置で筋肉活動が指のジェスチャーにどれだけ正確にマッピングされるか、そしてこれが義肢リハビリテーションや人間とコンピューターの相互作用への応用をどのように強化できるかを決定することを目指しています。当社のプロトコルは、さまざまな動的な手の位置で筋肉活動を指のジェスチャーにマッピングできるようにすることで、手のジェスチャー認識のギャップを埋めます。

私たちのアプローチは、動的な動きの間にDMGと視覚データを収集して同期し、堅牢なジェスチャー認識モデルを開発するための基礎を築きます。静的なセットアップを使用する従来の方法とは異なり、当社のプロトコルは、動的な動きの間にワイヤレスEMGRAとハンドトラッキングシステムを使用し、ジェスチャー認識研究のための柔軟性とより現実的なデータ収集を保証します。まず、GitHubリポジトリを開き、インストールセクションの詳細な手順に従います。

プライマリ Python ファイル data_collection を見つけます。pyをフォルダに格納し、実験を実行する準備をします。スクリプト スペクトログラムを使用します。

筋電図、つまりEMG信号品質、および信号フィルタリングとセグメンテーションのためのデータ解析スクリプトを評価するためのpy。各セッションの前に、EMGデータ収集ユニット、つまりDAUが完全に充電されていることを確認してください。次に、DAU をオンにします。

専用アプリケーションを使用して、DAUをBluetooth経由でPCに接続します。Bluetoothの通信速度を毎秒500サンプルに設定します。ハンドトラッキングカメラソフトウェアをPCにインストールして開きます。ハンドトラッキングカメラをPCにケーブルで接続します。

1つの画面を使用して、ハンドトラッキングカメラソフトウェアを常に表示します。まず、参加者に右手を強い拳に曲げるように指示します。参加者が体を曲げたら、前腕をそっと押して筋肉を触診し、最も活性化が顕著な場所を特定します。

EMG電極アレイから白い保護層をはがし、電極を特定した前腕領域に慎重に取り付けます。粘着テープを手のひらの近くに置き、軽くたたいて電極アレイを皮膚に固定します。電極アレイが皮膚に付着したら、透明な支持層をはがします。

次に、電極アレイコネクタカードをDAUコネクタソケットに挿入します。DAUを電極の横にある粘着テープに取り付けます。カスタムの Python スペクトログラム スクリプトを実行して、リアルタイムの信号品質を確認します。

表示されたウィンドウに、左側に生データ、右側にすべての電極の周波数領域データが表示されます。すべての電極が検出されて正しく機能していること、および信号が過度のノイズや50ヘルツのノイズからクリーンであることを確認します。必要に応じて、不要な機器を電源から抜き、電子機器から離れてノイズを減らし、信号が安定するまでの時間を確保してください。

次に、肘掛け椅子に肘をついて指を動かすように参加者に指示し、リラックスするように頼みます。クリアなEMG信号が表示され、その後に静的なベースラインノイズが表示されていることを確認します。シグナルの検証が完了したら、スクリプトを閉じます。

位置を確認するには、finger pose estimationをクリックし、続いてdata acquisitionをクリックして画像フォルダを開きます。参加者と一緒にジェスチャー画像を確認します。フォアハンドのポジションを参加者に明確に説明します。

各セッションの前に手の持ち方を指導し、適切な姿勢とポジショニングを確保します。ハンドポジション1では、参加者にテーブルから約1メートル離れてまっすぐに立つように依頼します。次に、参加者に右手をまっすぐにリラックスさせ、手のひらをハンドトラッキングカメラに向けて保持するように指示します。

自撮り棒を使用してハンドトラッキングカメラをテーブルに固定し、参加者の手を向けます。ビープ音が鳴り始めたら参加者がしっかりとしたジェスチャーをし、休憩時間中は手のひらをリラックスさせるようにしてください。手の位置2では、モニターから40〜70センチの位置にあるアームチェアに快適に座るように参加者に指示します。

次に、参加者に右手を90度の角度で前方に伸ばし、手のひらをリラックスさせてハンドトラッキングカメラに向けてもらいます。必要に応じてサポートデバイスを使用して、手を安定させます。ハンドトラッキングカメラを上向きにテーブルに置きます。

ビープ音が鳴り始めたら参加者がしっかりとしたジェスチャーをし、休憩時間中は手のひらをリラックスさせるようにしてください。手の位置3では、肘をアームチェアに乗せて手を上に折りたたむように参加者に依頼します。手のひらがリラックスし、ハンドトラッキングカメラに面していることを確認します。

ハンドトラッキングカメラを参加者の手に向けてテーブルに固定します。参加者の位置が、画面を見るためとカメラの視野内にいるための両方に最適であることを確認してください。ビープ音の発生時に参加者がしっかりとしたジェスチャーをし、休憩時間中に手のひらをリラックスさせることを確認します。

手の位置 4 では、参加者に手を自由に動かしながら指のジェスチャーを行うように依頼し、動的手の位置 1、動的な手の位置 2、または動的な手の位置 3 のいずれかを選択します。コンピュータの電源を入れ、Pythonを開いて、スクリプトdata_collection.pyをロードします。ハンドトラッキングカメラの位置と角度を調整して、参加者の手の位置に合わせます。

data_collectionを実行します。py スクリプトを使用します。参加者の詳細を入力するウィンドウが表示されます。

必要な情報を入力して[OK]を押すと、実験が自動的に開始されます。セッションごとに、EMGとハンドトラッキングのデータを記録し、自動的に保存されます。実験が終了したら、参加者のシリアル番号がラベル付けされたフォルダーにデータが自動的に保存されることを確認します。

各セッションが S number という名前のサブフォルダーに格納され、各ハンド ポジションに P 番号というラベルの付いた 4 つのサブフォルダーが含まれていることを確認します。参加者が複数のセッションを完了する場合は、すべてのデータが対応するセッションフォルダに保存されていることを確認してください。各ハンドポジションフォルダに、EDFファイルに保存されたEMGデータ、CSVファイルに保存されたハンドトラッキングデータ、およびセッションに関するメタデータを含むログファイルが含まれていることを確認します。

EMGチャネルは、休止期と比較してアブダクションフェーズ中の電気的活動の増加を示し、これはすべてのチャネルで振幅の大きい信号で明らかであり、鋭いスパイクによって特徴付けられる機械的アーチファクトを示しました。手の運動学的データは、指示された外転ジェスチャーに対応する同期した指の角度の変化を示し、障害物のない追跡中に安定した信号軌道と、位置がずれた部分の目に見える偏差を示しました。