高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ
March 28th, 2025
この論文では、自然な指のジェスチャー中に手筋電図検査(EMG)と視覚的な指の追跡を同時に記録するための包括的なプロトコルを提示しています。視覚データは、指のジェスチャー認識のための正確なEMGベースの計算モデルを開発するためのグラウンドトゥルースとして機能するように設計されています。
私たちの研究は、EMGと視覚データの同期を使用して、動的な手のジェスチャー認識を改善することに焦点を当てています。私たちは、さまざまな手の位置で筋肉活動が指のジェスチャーにどれだけ正確にマッピングされるか、そしてこれが義肢リハビリテーションや人間とコンピューターの相互作用への応用をどのように強化できるかを決定することを目指しています。当社のプロトコルは、さまざまな動的な手の位置で筋肉活動を指のジェスチャーにマッピングできるようにすることで、手のジェスチャー認識のギャップを埋めます。
私たちのアプローチは、動的な動きの間にDMGと視覚データを収集して同期し、堅牢なジェスチャー認識モデルを開発するための基礎を築きます。静的なセットアップを使用する従来の方法とは異なり、当社のプロトコルは、動的な動きの間にワイヤレスEMGRAとハンドトラッキングシステムを使用し、ジェスチャー認識研究のための柔軟性とより現実的なデータ収集を保証します。まず、GitHubリポジトリを開き、インストールセクションの詳細な手順に従います。
プライマリ Python ファイル data_collection を見つけます。pyをフォルダに格納し、実験を実行する準備をします。スクリプト スペクトログラムを使用します。
筋電図、つまりEMG信号品質、および信号フィルタリングとセグメンテーションのためのデータ解析スクリプトを評価するためのpy。各セッションの前に、EMGデータ収集ユニット、つまりDAUが完全に充電されていることを確認してください。次に、DAU をオンにします。
専用アプリケーションを使用して、DAUをBluetooth経由でPCに接続します。Bluetoothの通信速度を毎秒500サンプルに設定します。ハンドトラッキングカメラソフトウェアをPCにインストールして開きます。ハンドトラッキングカメラをPCにケーブルで接続します。
1つの画面を使用して、ハンドトラッキングカメラソフトウェアを常に表示します。まず、参加者に右手を強い拳に曲げるように指示します。参加者が体を曲げたら、前腕をそっと押して筋肉を触診し、最も活性化が顕著な場所を特定します。
EMG電極アレイから白い保護層をはがし、電極を特定した前腕領域に慎重に取り付けます。粘着テープを手のひらの近くに置き、軽くたたいて電極アレイを皮膚に固定します。電極アレイが皮膚に付着したら、透明な支持層をはがします。
次に、電極アレイコネクタカードをDAUコネクタソケットに挿入します。DAUを電極の横にある粘着テープに取り付けます。カスタムの Python スペクトログラム スクリプトを実行して、リアルタイムの信号品質を確認します。
表示されたウィンドウに、左側に生データ、右側にすべての電極の周波数領域データが表示されます。すべての電極が検出されて正しく機能していること、および信号が過度のノイズや50ヘルツのノイズからクリーンであることを確認します。必要に応じて、不要な機器を電源から抜き、電子機器から離れてノイズを減らし、信号が安定するまでの時間を確保してください。
次に、肘掛け椅子に肘をついて指を動かすように参加者に指示し、リラックスするように頼みます。クリアなEMG信号が表示され、その後に静的なベースラインノイズが表示されていることを確認します。シグナルの検証が完了したら、スクリプトを閉じます。
位置を確認するには、finger pose estimationをクリックし、続いてdata acquisitionをクリックして画像フォルダを開きます。参加者と一緒にジェスチャー画像を確認します。フォアハンドのポジションを参加者に明確に説明します。
各セッションの前に手の持ち方を指導し、適切な姿勢とポジショニングを確保します。ハンドポジション1では、参加者にテーブルから約1メートル離れてまっすぐに立つように依頼します。次に、参加者に右手をまっすぐにリラックスさせ、手のひらをハンドトラッキングカメラに向けて保持するように指示します。
自撮り棒を使用してハンドトラッキングカメラをテーブルに固定し、参加者の手を向けます。ビープ音が鳴り始めたら参加者がしっかりとしたジェスチャーをし、休憩時間中は手のひらをリラックスさせるようにしてください。手の位置2では、モニターから40〜70センチの位置にあるアームチェアに快適に座るように参加者に指示します。
次に、参加者に右手を90度の角度で前方に伸ばし、手のひらをリラックスさせてハンドトラッキングカメラに向けてもらいます。必要に応じてサポートデバイスを使用して、手を安定させます。ハンドトラッキングカメラを上向きにテーブルに置きます。
ビープ音が鳴り始めたら参加者がしっかりとしたジェスチャーをし、休憩時間中は手のひらをリラックスさせるようにしてください。手の位置3では、肘をアームチェアに乗せて手を上に折りたたむように参加者に依頼します。手のひらがリラックスし、ハンドトラッキングカメラに面していることを確認します。
ハンドトラッキングカメラを参加者の手に向けてテーブルに固定します。参加者の位置が、画面を見るためとカメラの視野内にいるための両方に最適であることを確認してください。ビープ音の発生時に参加者がしっかりとしたジェスチャーをし、休憩時間中に手のひらをリラックスさせることを確認します。
手の位置 4 では、参加者に手を自由に動かしながら指のジェスチャーを行うように依頼し、動的手の位置 1、動的な手の位置 2、または動的な手の位置 3 のいずれかを選択します。コンピュータの電源を入れ、Pythonを開いて、スクリプトdata_collection.pyをロードします。ハンドトラッキングカメラの位置と角度を調整して、参加者の手の位置に合わせます。
data_collectionを実行します。py スクリプトを使用します。参加者の詳細を入力するウィンドウが表示されます。
必要な情報を入力して[OK]を押すと、実験が自動的に開始されます。セッションごとに、EMGとハンドトラッキングのデータを記録し、自動的に保存されます。実験が終了したら、参加者のシリアル番号がラベル付けされたフォルダーにデータが自動的に保存されることを確認します。
各セッションが S number という名前のサブフォルダーに格納され、各ハンド ポジションに P 番号というラベルの付いた 4 つのサブフォルダーが含まれていることを確認します。参加者が複数のセッションを完了する場合は、すべてのデータが対応するセッションフォルダに保存されていることを確認してください。各ハンドポジションフォルダに、EDFファイルに保存されたEMGデータ、CSVファイルに保存されたハンドトラッキングデータ、およびセッションに関するメタデータを含むログファイルが含まれていることを確認します。
EMGチャネルは、休止期と比較してアブダクションフェーズ中の電気的活動の増加を示し、これはすべてのチャネルで振幅の大きい信号で明らかであり、鋭いスパイクによって特徴付けられる機械的アーチファクトを示しました。手の運動学的データは、指示された外転ジェスチャーに対応する同期した指の角度の変化を示し、障害物のない追跡中に安定した信号軌道と、位置がずれた部分の目に見える偏差を示しました。
概要
この研究では、自然な指の動きの間、手の筋電図（EMG）と視覚的な指の追跡を同時に記録するプロトコルを提示します。この視覚データは、正確なEMGベースのジェスチャー認識モデルを開発するための基準データとして機能します。
研究の主要な要素
科学の分野
- 神経科学
- 筋電図
- ジェスチャー認識
背景
- 動的な手のジェスチャー認識は、義肢リハビリテーションの応用において重要です。
- 筋活動を指のジェスチャーにマッピングすることで、人とコンピューターの相互作用が向上します。
- 既存の方法はしばしば静的なセットアップに依存しており、データのリアリティに限界があります。
- この研究は、動的な動きの間にEMGと視覚データを同期させることでこのギャップに対処します。
研究の目的
- 動的な手のジェスチャー認識の精度を向上させること。
- 指のジェスチャー認識のための堅牢な計算モデルを開発すること。
- 様々な手の位置での筋活動のマッピングを可能にすること。
使用された方法
- ワイヤレスEMGと手の追跡システムが使用されました。
- 参加者は複数の手の位置でジェスチャーを行いました。
- データ収集と分析のためにカスタムのPythonスクリプトが使用されました。
- 実験中にリアルタイムの信号品質検証が行われました。
主な結果
- EMGと視覚データの成功的な同期が達成されました。
- 様々な動的な手の位置でのデータ収集が完了しました。
- EMGデータの品質が検証され、ノイズのないクリーンなデータであることが確認されました。
- データは参加者のセッションに基づいて分析のために体系的に整理されました。
結論
- このプロトコルは、筋活動を指のジェスチャーに効果的にマッピングすることを可能にします。
- 結果は正確なジェスチャー認識モデルの開発を支持します。
- このアプローチはリハビリテーションと相互作用技術への応用可能性を高めます。
よくある質問
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
