Name: 高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ (動画) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: 学ぶ高解像度表面筋電図とコンピュータービジョンを用いた動的指ジェスチャー解析法。無線EMGと手追跡カメラで同期データを収集し、筋活動と指動作のマッピングを実現。義肢リハビリテーションやヒューマンコンピュータインタラクションの応用に貢献する。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

健康な参加者 (n = 18、18 歳から 32 歳、男性と女性の両方) がこの研究に募集され、テルアビブ大学倫理審査委員会 (承認番号 0004877-3) によって承認されました。このプロトコルは、人間の参加者が関与する研究に関する委員会のガイドラインに準拠しています。インフォームドコンセントは、機関の要件に従ってすべての参加者から得られました。
1. 実験者ブリーフィング
<ol>
	<li>参加者に一連の 14 の異なる指のジェスチャー ( 図 1 を参照) を実行し、各ジェスチャーをランダムな順序で 7 回繰り返すように依頼します。各ジェスチャーを5秒間しっかりと維持し、その後3秒間の休憩時間を設けるように依頼します。各セッションの合計時間は13:04分です。</li>
	<li>コンピュータ画面に表示されるジェスチャの大きな画像には、ジェスチャのパフォーマンスを示すカウントダウンタイマーが付随しています。休憩時間中に、参加者に、残りの休憩時間を示すタイマーと一緒に、次のジェスチャーの小さな画像を見てもらいます。2つの異なるビープ音が各ジェスチャーの開始と終了を通知し、参加者が次のジェスチャーの準備をするのに役立ちます。</li>
	<li>各参加者に、前に提示した22と同様に、4つの異なる位置で手順を実行するように依頼します。 ポジション 1: 立っている参加者。ハンドダウン、ストレート、リラックス。 ポジション2:肘掛け椅子に座っている参加者。手を90°前方に伸ばし、手のひらをリラックスさせます(サポートデバイスを使用できます)。 ポジション3:手を上に折りたたみ(肘を肘掛け椅子に乗せて)、手のひらをリラックスさせます。 ポジション4:参加者は前のポジションのいずれかを選択し、カメラの検出範囲内で手を自由に動かすことができ、PC画面上でリアルタイムで監視されます(詳細については、ステップ1.4を参照してください)。</li>
	<li>各セッションで、参加者に腕に筋電計デバイスを装着させ、ハンドトラッキングカメラを参加者に向けて配置させます。参加者に、手のひらが常にカメラの方を向いていることを確認するように依頼します。ハンドトラッキングソフトウェアは別の画面に表示されるため、参加者と指揮者の両方がハンドが正しく認識されていることを確認できます。</li>
	<li>位置ごとに、ハンドトラッキングカメラの位置と角度を調整して、正確なハンド認識を確保します。さらに、スペクトログラムスクリプトを使用して電極からの信号の品質を評価します。</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
図1:データ収集プロセスの概略図。 被験者には、前腕 (3) に配置されたソフト電極アレイが装備されており、ジェスチャー パフォーマンス中に高解像度の表面筋電図検査 (sEMG) 信号をキャプチャします。被験者は、コンピューターのディスプレイにランダムな順序で提示された14の異なる指のジェスチャーを実行します(4)。EMGデータは、データ収集ユニット(DAU;1)からパーソナルコンピュータ(PC)にワイヤレスでストリーミングされます。同時に、指の関節角度を表すハンドキネマティックデータ(HKD)がハンドトラッキングカメラ(2)を使用してキャプチャされます。 <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
2. データ取得ユニットのセットアップ
<ol>
	<li>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git でGithubリポジトリを開き、インストールセクションの詳細な指示に従います。プライマリ Python ファイル data_collection.py を finger_pose_estimation/data_acquisition フォルダで見つけます。これを使用して実験を実行し、スクリプト spectrogram.py を使用して実験を開始する前にEMG信号の品質を評価し、スクリプトdata_analysis.py信号フィルタリングとセグメンテーションを行います。</li>
	<li>各セッションの前にEMGデータ収集ユニット(DAU)が完全に充電されていることを確認し、電源を入れます。</li>
	<li>専用アプリケーションを使用して、DAUをBluetooth経由でPCに接続します。Bluetooth通信速度を500サンプル/秒(S / s)に設定します。</li>
	<li>ハンドトラッキングカメラのソフトウェアをPCにインストールして開きます。ハンドトラッキングカメラとPCをケーブルで接続します。</li>
	<li>1つの画面で、常にハンドトラッキングカメラソフトウェアを表示します。このようにして、指揮者と参加者は、実験中にカメラが手を正しく認識することを確認できます。</li>
</ol>
3. 参加者の準備
<ol>
	<li>導入と同意<ol>
		<li>研究の関連性と実験手順を参加者に簡単に説明します。人間が関与する研究に関する機関のガイドラインに従って、インフォームドコンセントを取得します。</li>
	</ol>
	</li>
	<li>電極の配置<ol>
		<li>参加者に、強い拳を形成して右手を曲げるように指示します。参加者が体を曲げている間に、筋肉に沿ってそっと押して前腕を触診し、筋肉の活性化が最も顕著な場所を特定します。この場所は、収縮中に筋肉が膨らむ領域を感じることで簡単に識別できます。</li>
		<li>オプション:アルコール繊維を含まない布、プレップジェル、または水と石鹸で洗浄して、特定された皮膚領域を準備します。その領域を風乾させます。アルコールによる過度の洗浄は、皮膚を乾燥させる可能性があるため、避けてください。この手順はオプションです。ディスカッションのセクションを参照してください。</li>
		<li>EMG電極アレイから白い保護層をはがし、ステップ3.2.1で決定したように、電極を特定した前腕領域に慎重に取り付けます。( 図1を参照)。粘着テープが手のひらに近づいていることを確認してください。電極アレイを軽くたたいて皮膚に固定します。</li>
		<li>電極アレイが皮膚に付着したら、透明な支持層をはがします。</li>
		<li>電極アレイコネクタカードをDAUのコネクタソケットに挿入します。DAUを電極の横にある粘着テープに取り付けます。</li>
		<li>カスタムの Python スペクトログラム スクリプト Spectrogram.py を実行して、リアルタイムの信号品質を確認します。ウィンドウが表示され、すべての電極の生データ(左側)と周波数領域(右側)が表示されます( 補足図1 を参照)。<ol>
			<li>すべての電極が検出されて正しく機能していること、および信号が過度のノイズや50Hzのノイズからクリーンであることを確認します。</li>
			<li>必要に応じて、干渉を引き起こす可能性のある電子機器から離れ、不要なデバイスを電源から抜くことで、50Hzのノイズを低減します。信号が安定するまで待ちます。</li>
			<li>EMG信号のキャプチャを確認する:参加者に肘を肘掛け椅子に置き、指を動かしてからリラックスするように指示します。クリアなEMG信号が表示され、その後に静的なベースラインノイズが表示されていることを確認します。</li>
			<li>シグナルの検証が完了したら、スクリプトを閉じます。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>ジェスチャーと手の位置の見直し<ol>
		<li>Finger_pose_estimation &gt; Data_acquisitionをクリックして画像フォルダを開きます。参加者と一緒にジェスチャー画像を確認します。</li>
		<li>彼らが各動きを理解し、正確に実行できることを確認してください。参加者に4つの手の位置を明確に説明します。</li>
		<li>各セッションの前に、適切な姿勢とポジショニングを確保しながら、参加者に手の持ち方を指導します。</li>
	</ol>
	</li>
	<li>参加者とカメラの位置<ol>
		<li>ハンドポジション1では、テーブルから約1m離れたところにまっすぐ立つように参加者に指示します。参加者に、手のひらをハンドトラッキングカメラに向けて、右手をまっすぐリラックスさせたまま押さえるように指示します。ハンドトラッキングカメラを自撮り棒でテーブルに固定し、参加者の手を向けます。</li>
		<li>手の位置2については、モニターから40〜70cm離れたアームチェアに快適に座るように参加者に指示します。リラックスした手のひらをハンドトラッキングカメラに向けて、右手を90°前方に伸ばすように参加者に指示します。必要に応じて、サポートデバイスを使用して手を安定させます。ハンドトラッキングカメラをテーブルの上に上向きに置きます。 注:参加者は一定の姿勢を保つように求められるため、セッション全体を通して維持できる快適な姿勢を見つけることが重要です。</li>
		<li>ハンドポジション3については、ステップ3.4.2で説明されているように参加者に座るように指示します。肘を肘掛け椅子に乗せながら、手を上に折りたたむように参加者に指示します。手のひらをリラックスさせ、参加者はハンドトラッキングカメラに向き合う必要があります。ハンドトラッキングカメラをテーブルの上に置き、参加者の手を向けます(必要に応じて自撮り棒を使用します)。参加者の位置が、画面を見るためとカメラの視野内にいるための両方に最適であることを確認してください。</li>
		<li>ハンドトラッキングデータを表示する画面を継続的に監視し、実験全体を通してカメラが手と指を検出するようにします。オプション:実験を開始する前に、各手の位置でEMG信号の品質を確認します(ステップ3.2.6.)。</li>
	</ol>
	</li>
</ol>
4. データ収集
<ol>
	<li>実験の実行<ol>
		<li>Pythonを開き、data_collection.pyをロードします。パラメータ num_repetition、gesture_duration、rest_duration が必要に応じて設定されていることを確認します。<ol>
			<li>num_repetition: 各ジェスチャ画像が表示される回数を定義します。この実験では、7 に設定すると、各画像が 7 回表示されます。gesture_duration: 参加者がハンドジェスチャを実行する時間(秒単位)を指定します。この実験では、5 秒に設定して、各ジェスチャ イメージが表示される時間を決定します。Rest_duration: 参加者がジェスチャーの間に手のひらをリラックスさせる時間 (秒単位) を指定します。この実験では、3 秒に設定します。</li>
		</ol>
		</li>
		<li>ハンドトラッキングカメラの位置と角度を参加者の手の位置に合わせます。</li>
		<li>data_collection.pyスクリプトを実行します。参加者の詳細(シリアル番号、年齢、性別、セッション番号、ハンドポジション)を入力するウィンドウが表示されます。この情報を入力して [OK] を押すと、実験が自動的に開始されます。</li>
	</ol>
	</li>
	<li>データ収集<ol>
		<li>セッションごとに、自動的に保存されるEMGとハンドトラッキングのデータを記録します。各参加者に対して、ハンドポジションごとに1回、実験を4回繰り返します。</li>
	</ol>
	</li>
</ol>
5. 実験終了と実験後のデータの取り扱い
<ol>
	<li>実験が完了すると、データは自動的に保存されます。参加者がシリアル番号でラベル付けされたフォルダにデータが保存されていることを確認します。各セッションは S# という名前のサブフォルダー (S1 など) に格納され、各ハンド ポジション P# (P1、P2、P3、P4) に 4 つのサブフォルダーがあります。1 つのセッションのフォルダ サイズは約 160 MB です。</li>
	<li>参加者が複数のセッションを完了する場合は、すべてのデータが対応するセッションフォルダ(S1、S2など)に保存されていることを確認してください。</li>
	<li>データファイル 各ハンドポジションフォルダ(P#)に次のファイルが含まれていることを確認します。EDFファイルに保存されたEMGデータ。名前は次のとおりです。fpe_pos{ポジション番号}_{サブジェクト番号}_S{セッション番号}_rep0_BT;CSV ファイルに保存されたハンドトラッキング データ、fpe_pos{位置番号}_{被験者番号}_S{セッション番号}_rep0_BT_full;セッションに関するメタデータを含むログファイル log.txt。</li>
	<li>データ処理 注:ユーザーは、信号解析の進め方と使用するツールを選択できます。ここでは、Pythonで信号フィルタリングとデータセグメンテーションを実行するためのスクリプトを提供します。Pythonを使用する場合は、すべての依存関係(Numpy、Pandas、SciPy、MNE、Sklearnなど)がインストールされていることを確認してください。<ol>
		<li>Pythonを開き、data_analysis.pyをロードしてスクリプトを実行します。</li>
		<li>コンソールにリクエストが表示され、データ処理に必要なパラメータ(EMGファイルへのパス、ハンドキネマティックデータへのパス、処理されたデータが保存されるパス、サンプリングレート(Hz)、ウィンドウ持続時間(ms)、ストライドインターバル(ms))が提供されます。</li>
		<li>その手順に従って、スクリプトはデータ処理を実行します。</li>
		<li>EMG信号フィルタリング:上記のようにスクリプトを実行します。このスクリプトでは、まず 20 Hz のカットオフを持つ 4 次バターワース ハイパス フィルターを適用して非 EMG 信号を除去し、次にノッチ フィルターを適用して 50 Hz と 100 Hz の高調波を除去して sEMG 信号をフィルター処理します。さらに、スクリプトは EMG 信号の正規化を適用します。</li>
		<li>EMG、HKD データ、および指示されたジェスチャ セグメンテーション: 上記のようにスクリプトを実行します。このスクリプトは、指定されたウィンドウの長さとストライド間隔によって定義されるローリング ウィンドウ手法を利用して、セグメンテーションを適用します。この実験では、それぞれ 512 ミリ秒と 2 ミリ秒に設定します。次に、スクリプトは、電極アレイのレイアウトを維持しながら、sEMGチャネル構成を4 x 4の空間グリッド構成に変換します。最後に、スクリプトはメタデータを含むディクショナリを pickle ファイルとして生成します。</li>
		<li>データのクリーニングと検証の手順<ol>
			<li>アーティファクト、ノイズ、または一貫性のないジェスチャーラベルを含むセグメントを特定し、データセットから除外します。</li>
			<li>セグメントの完全性とウィンドウ間の時間的連続性を確保して、データの信頼性を維持します。</li>
			<li>ジェスチャ データを HKD と照合して一貫性を確保します。HKD セッション標準から逸脱したジェスチャ パターンを表示しているウィンドウを削除します。</li>
			<li>セッションで予想される運動学的パターンに適合しない外れ値セグメントを検出して破棄します。</li>
			<li>高度なアルゴリズムを使用して、さらにデータ分析を実行します。これらは現在のプロトコルでは提供されていません。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>調整可能な自撮り棒</td><td></td><td></td><td>ハンドトラッキングカメラを希望の向きに配置および角度付けて、実験中の最適なデータキャプチャに使用します。</td></tr><tr><td>アルコールパッド</td><td></td><td></td>電極<td>配置のための領域を清掃します。</td></tr><tr><td>データ取得ユニット(DAU)</td><td>株式会社エクストローズ</td><td>&nbsp;XTR-BT V1.3</td><td>Realtime compatible DAU 2.0.17 or 4.0.1</td></tr><tr><td>Finger Gestures Recognition library</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>ハンドトラッキングカメラ</td></tr><tr><td>ロングType-C-Type-Cケーブル</td><td></td><td></td><td>ハンドトラッキングカメラをPCに接続。</td></tr><tr><td>PCモニター</td><td></td><td></td><td>ガイドライン用、ハンドトラッキングカメラデータの表示用&nbsp;</td></tr><tr><td>パソコン(PC)</td><td>Windows</td><td></td><td>Windows 10+;プロセッサー: Inteli7 プロセッサー。BTレシーバー。</td></tr><tr><td>Pythonコード</td><td></td><td></td>:DAUがBluetooth、Ultraleapカメラ、PythonAPI、Ultraleap、Python、API、およびUltraleapからの指示に従って、<td>DAUがPCに接続されているときに、最大500 S/sのシームレスなデータストリーミングと記録を可能にするスクリプト</td></tr><tr><td></td><td></td><td></td><td>のGitHubリポジトリ(https://github.com/ultraleap/leapc-python-bindings)は、実験中にUltraleapユニットからデータを収集するために使用</td></tr>されました <tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Tracking software</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td></td><td>XTELC0003405RM EMG、ECGモニタリング用16チャンネルウェアラブル乾電極アレイパッチ</td></tr><tr><td>X-trodes PCアプリ X-trodes</td><td>Ltd.</td><td>1.1.35.0</td><td>X-trodes DAUをBT経由でPCに接続するためのアプリケーション</td></tr></tbody></table>

高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

このデータセットは、16チャンネルの筋電図データセットとハンドトラッキングカメラシステムのデータの2つの時間同期コンポーネントで構成されています。16チャンネルの筋電図データは、さまざまな筋肉からの電気信号を経時的に記録することで、筋肉の活動を捉えます。ハンドトラッキングシステムは、手の骨格モデル上の重要なポイントに対応する16チャンネルのデータを提供します。モデルには手首を除いて21ポイントがありますが、モーションコンストレイント24により、この数は16ポイントに減少しました。EMGと視覚データは、同期を確立するために、記録中に同じコンピューター上で2つの別々のプロセスを実行することによって収集されました。タイムスタンプを使用して各プロセスの開始をマークし、データ分析コードで記録の終了時に筋肉活動と手の動きのデータを整列させることができました。タイムスタンプの注釈は、EDFファイルとCSVファイルの両方に自動的に保存され、特定の指のジェスチャーが指示された正確な時間をマークし、データ分析中のアライメントを容易にしました。フィルタリングされたEMG信号(20Hzの4次バターワースハイパスフィルター)は、ベースラインが低い(灰色の影の領域)ことを特徴とし、通常は3〜9μVの範囲に収まります25。このベースラインは、被験者の手が静止していて、筋肉が静止しているときに観察されます。ただし、安静時でも筋緊張が存在する場合は、明確なEMG信号を検出することができます。動きによって引き起こされる機械的なアーチファクトは、通常、10〜20 Hzの範囲で現れるため、それに応じてフィルタリングする必要があります。ベースライン値が大幅に上昇している場合は、50 Hzのライン干渉を示している可能性があるため、実験のセットアップ段階では避ける必要があります。適度な50Hzノイズが持続する場合。ノッチフィルターが適用されます。鋭い動きのアーチファクトは、除去がより困難であり、信号に顕著な高振幅のスパイクとして現れることがよくあります( 図2Aのアスタリスクを参照)。16電極アレイ全体のEMG信号の振幅は、測定された領域にわたる筋肉活動の空間分布を反映して変化します。この分散は、手のジェスチャー中の筋肉収縮の不均一性に関する貴重な洞察を提供します。
ハンドトラッキングカメラは、記録されたEMG信号と密接に相関することが予想される指の角度(ハンドキネマティックデータ、HKD)の直接情報を提供します。ジェスチャー中、特定のジェスチャーに応じて、通常の範囲26の指の角度。ハンドトラッキングカメラとハンドの間の視路が遮られていない場合、 図2に示すように、得られる信号は安定して正確になります。ただし、視覚的な接触が失われた場合、またはシステムに技術的な制限が発生した場合、HKD が不安定になり、誤った値間のジャンプが表示されることがあります。このような外れ値のデータは、データ収集中に最小限に抑え、結果の整合性を維持するために最終分析で破棄する必要があります。
HKDは直感的で、実際に実行されたジェスチャーと直接比較できます。被験者間や異なる手の位置間でのばらつきが少ないことを示しています。対照的に、EMGデータは、手のサイズや筋肉の発達などの解剖学的な違いにより、個人間で大きく異なる傾向がある27。さらに、利き手と非利き手の間でばらつきが見られる場合があります。この主題固有の変動性は、オフライン分析中に対処できます。
図2では、EMGとHKDの両方が指示されたジェスチャトリガに対してオフセットされていることは明らかです。この不一致は、応答時間と自然な動きの実行28によって生じる。回帰タスクでは、このような変動性がデータの豊富さに寄与する可能性がありますが、分類タスクでは、同様のシナリオ28に適用される一般化尤度比アプローチを使用して管理できます。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
図2:指の外転中の代表的なsEMGとHKD。 1人の参加者が手の位置1(手を下ろし、まっすぐ、リラックスした状態)で行った動的な指の外転と休息中に記録された表面筋電図(sEMG)信号と手の運動学的データ(HKD)。(A)16チャンネルからのEMG信号を時間の関数としてフィルタリング。アスタリスク(*)は、チャネル5のEMG記録で検出された機械的アーティファクトを示します。(B)HKD、ジョイント角度を時間の関数として示しています。関節角度は、台形中手骨(TMC)、中手指節(MCP)、近位指節間(PIP)など、さまざまな関節で測定されます。実験のフェーズ(休息と外転)は、x軸に沿って示されます。 <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
これらの代表的な結果は、手のジェスチャーをキャプチャする上で、同期されたEMGデータとHKDデータの有用性を実証しました。EMG信号と対応するHKDの位置合わせにより、筋肉の活動を特定指の動きにマッピングすることができます。予測モデルを構築する際、研究者はHKDをグラウンドトゥルースとして使用し、EMGベースのジェスチャー予測を繰り返し検証し、改良することができます。このアプローチは、プロトコールの実際的な適用性を強調し、より自然な環境でのさらなる研究の必要性を示唆しています。
補足図1:信号検証ステップ中に表示されるスペクトログラムウィンドウ。 左側のパネルには生のEMGデータが表示され、右側のパネルには検出された周波数領域が表示されます。(A)50Hzと100Hzの強い干渉を伴う非常にノイズの多いEMG信号の例。(B)参加者を電気機器からさらに遠ざけた後で同じEMG信号が記録され、干渉が最小限に抑えられたきれいなEMG信号が得られる例。 <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">このファイルをダウンロードするには、ここをクリックしてください。</a>

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

JoVE Journal

Bioengineering

バイオエンジニアリング（生体工学）

源：ヒラ・マン1、ポール・F・ファンク2、イエバ・ヴェブレイテ・アデレス3、クリストフ・アンダース4、オーランド・グンティナス・リキウス2、ヤエル・ハネイン1,3,51テルアビブ大学サゴル神経科学部、 2イエナ大学病院耳鼻咽喉科、フリードリヒシラー大学イエナ、 3テルアビブ大学電気工学部、 4部門 運動研究、病態生理学および生体力学、外傷、手および再建外科、イエナ大学病院、フリードリヒシラー大学イエナ、 5X-trodes Ltd.このビデオは、参加者がビデオガイド下で行う顔の表情中に、ワイヤレス表面筋電図 (sEMG)...

表情中の顔面筋活動のワイヤレス表面筋電図記録

直立運動課題中の脳活動を監視することは、運動障害の神経源を調査する際に大きな価値があります。ここでは、機能的な近赤外分光法と、4種類の運動課題における筋肉および運動学的活動の継続的なモニタリングを組み合わせたプロトコルを実演します。...

運動課題中に同時キネマとEMGの監視と感覚運動の脳領域の機能的近赤外分光法

&gt;jove_content&lt;この記事では、インタラクティブな脳卒中後バランスリハビリテーションシステムのための新しい低コストのヒューマンマシンインターフェースを紹介します。このシステムは、自発的に駆動される電気治療パラダイムに向けて、既製の低コストセンサーを統合しています。概念実証ソフトウェアインターフェースは、健康なボランティアでデモンストレーションされています。...

脳卒中後のバランスリハビリテーションのための神経筋電気刺激システムで低コストのセンサーを統合ヒューマンマシンインターフェース

経頭蓋磁気刺激、筋電図、および3Dモーションキャプチャは、人間の神経筋機能を調査するために一般的に使用される非侵襲的技術です。このホワイトペーパーでは、これら3つのツールすべてによって生成されたデータを同期的にサンプリングするプロトコルと、仮想現実刺激のプレゼンテーションとフィードバックの独自の追加について説明します。...

経頭蓋磁気刺激、電、モーションキャプチャ、およびバーチャルリアリティを用いたヒトモータ制御研究のための多機能のセットアップ

ここで提示される行動パラダイムは、視覚的に導かれた到達の間に人間の上肢の筋肉に対する堅牢な高速バイビオータ応答を引き出す。...

人間の上肢筋肉に対する高速ビスオモター応答を呼び起こす新たな標的パラダイム

物体をつかむとき、指と手の複数の領域は通常、物体の表面に接触します。このような接触領域の再構築は困難です。本稿では,マーカベースのモーションキャプチャと既存の深層学習を用いたハンドメッシュ再構成を組み合わせることで,接触領域を近似推定する手法を提示する.

人間の多桁把持時の手と物体の接触領域の推定

脳磁図法(MEG)と高密度脳波法(HD-EEG)が同時に記録されることはめったにありませんが、確認的で補完的な情報が得られます。ここでは、MEGとHD-EEGを同時に記録するための実験設定と、薬剤耐性てんかんの小児のてんかん原性および雄弁な脳領域の局在化を目指したこれらのデータの解析方法を紹介します。...

薬剤耐性てんかん小児の術前評価における電磁源イメージング

彼らはネイティブの微小環境での進化として、多くの生物学的および臨床的状況では、細胞プロセスを研究するのが有利である。ここでは、細胞培養、動物実験、および患者の臨床試験ではリアルタイムイメージングを提供できる低コストの光ファイバ顕微鏡の組み立てと使用方法を説明します。...

高分解能光ファイバMicroendoscopy用その場で細胞イメージング

非破壊ボリュームの可視化は、最も効率的ではX線マイクロコンピュータ断層撮影（CT）となっている断層の技術によって達成することができます。...

の高分解能3次元イメージング生体外</emマイクロCTによる>生物試料

ここではそれらの完全な複製および/または時系列の寿命の間に単一の出芽酵母細胞の連続的かつ高分解能顕微鏡イメージングを可能にするマイクロ流体装置の動作を説明する。...

出芽酵母の老化複製の連続高分解能顕微鏡観察

学ぶ高解像度表面筋電図とコンピュータービジョンを用いた動的指ジェスチャー解析法。無線EMGと手追跡カメラで同期データを収集し、筋活動と指動作のマッピングを実現。義肢リハビリテーションやヒューマンコンピュータインタラクションの応用に貢献する。

高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ

さらに動画を探す