Name: Erfassung dynamischer Fingergesten mit hochauflösender Oberflächen-Elektromyographie und Computer Vision (Video) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Lernen Sie die Erfassung dynamischer Handgesten mit synchronisierter EMG- und visueller Datenverarbeitung. Diese Methode ermöglicht präzise Muskelaktivitätszuordnung für Anwendungen in Prothesenrehabilitation und Mensch-Maschine-Interaktion.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Gesunde Teilnehmer (n = 18, im Alter von 18-32 Jahren, sowohl Männer als auch Frauen) wurden für diese Studie rekrutiert, die vom Ethikprüfungsausschuss der Universität Tel Aviv genehmigt wurde (Zulassungsnummer 0004877-3). Das Protokoll hält sich an die Richtlinien des Boards für Forschung mit menschlichen Teilnehmern. Von allen Teilnehmenden wurde eine Einwilligungserklärung gemäß den institutionellen Vorgaben eingeholt.
1. Einweisung des Experimentators
<ol>
	<li>Bitten Sie die Teilnehmer, eine Reihe von 14 verschiedenen Fingergesten auszuführen (siehe Abbildung 1) und wiederholen Sie jede Geste 7x in einer zufälligen Reihenfolge. Bitten Sie sie, jede Geste 5 Sekunden lang fest zu halten, gefolgt von einer Ruhepause von 3 Sekunden. Die Gesamtdauer für jede Sitzung beträgt 13:04 Minuten.</li>
	<li>Ein großes Bild der Geste, das auf einem Computerbildschirm angezeigt wird, wird von einem Countdown-Timer begleitet, der die Gestenleistung anzeigt. Bitten Sie den Teilnehmer während der Ruhephase, auf das kleine Bild der bevorstehenden Geste zu schauen, zusammen mit einem Timer, der die verbleibende Ruhezeit anzeigt. Zwei unterschiedliche Pieptöne signalisieren den Beginn und das Ende jeder Geste und helfen den Teilnehmern, sich auf die nächste Geste vorzubereiten.</li>
	<li>Bitten Sie jeden Teilnehmer, die Prozedur in vier verschiedenen Positionen auszuführen, ähnlich wie zuvorvorgestellt 22: Position 1: Teilnehmer stehend. Mit der Hand nach unten, gerade und entspannt. Position 2: Teilnehmer sitzt im Sessel. Die Hand ist um 90° nach vorne gestreckt, die Handfläche entspannt (eine Stützvorrichtung kann verwendet werden). Position 3: Hand nach oben geklappt (mit einem Ellbogen auf dem Sessel ruhend), Handfläche entspannt. Position 4: Der Teilnehmer wählt eine der vorherigen Positionen und darf die Hand innerhalb des Erfassungsbereichs der Kamera frei bewegen, der in Echtzeit auf einem PC-Bildschirm überwacht wird (siehe Schritt 1.4 für weitere Details).</li>
	<li>Lassen Sie den Teilnehmer bei jeder Sitzung ein Elektromyographie-Gerät am Arm tragen und positionieren Sie eine Hand-Tracking-Kamera auf ihn. Bitten Sie die Teilnehmer, darauf zu achten, dass ihre Handflächen immer in die Kamera zeigen. Die Hand-Tracking-Software wird auf einem separaten Bildschirm angezeigt, so dass sowohl der Teilnehmer als auch der Dirigent überprüfen können, ob die Hand korrekt erkannt wird.</li>
	<li>Passen Sie für jede Position die Position und den Winkel der Hand-Tracking-Kamera an, um eine genaue Handerkennung zu gewährleisten. Beurteilen Sie außerdem die Qualität der Signale von den Elektroden mithilfe des Spektrogrammskripts.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Abbildung 1: Schematische Darstellung des Datenerfassungsprozesses. Der Proband ist mit einem weichen Elektrodenarray ausgestattet, das auf dem Unterarm (3) platziert ist und hochauflösende Oberflächen-Elektromyographie-Signale (sEMG) während der Gestenausführung erfasst. Der Proband führt 14 verschiedene Fingergesten aus, die in zufälliger Reihenfolge auf einem Computerbildschirm präsentiert werden (4). Die EMG-Daten werden von der Datenerfassungseinheit (DAU; 1) drahtlos an einen PC (PC) gestreamt. Gleichzeitig werden mit einer Hand-Tracking-Kamera (2) handkinematische Daten (HKD) erfasst, die die Fingergelenkswinkel darstellen. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
2. Einrichten der Datenerfassungseinheiten
<ol>
	<li>Öffnen Sie das Github-Repository unter https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git und folgen Sie den detaillierten Anweisungen im Abschnitt Installation. Suchen Sie die primäre Python-Datei data_collection.py im Ordner finger_pose_estimation/data_acquisition. Verwenden Sie diese Option, um das Experiment auszuführen, verwenden Sie das Skript spectrogram.py, um die EMG-Signalqualität zu bewerten, bevor das Experiment beginnt, und verwenden Sie die Skript data_analysis.py für die Signalfilterung und Segmentierung.</li>
	<li>Stellen Sie sicher, dass die EMG Data Acquisition Unit (DAU) vor jeder Sitzung vollständig aufgeladen ist, und schalten Sie sie ein.</li>
	<li>Verbinden Sie die DAU über Bluetooth mit der entsprechenden Anwendung mit dem PC. Stellen Sie die Bluetooth-Kommunikationsrate auf 500 Abtastungen pro Sekunde (S/s) ein.</li>
	<li>Installieren und öffnen Sie die Software der Hand-Tracking-Kamera auf dem PC. Verbinden Sie die Hand-Tracking-Kamera über ein Kabel mit dem PC.</li>
	<li>Verwenden Sie einen Bildschirm, um immer die Hand-Tracking-Kamerasoftware anzuzeigen. Auf diese Weise können der Dirigent und der Teilnehmer sicherstellen, dass die Kamera die Hand während des Experiments korrekt erkennt.</li>
</ol>
3. Vorbereitung der Teilnehmer
<ol>
	<li>Einleitung und Einwilligung<ol>
		<li>Erklären Sie dem Teilnehmer kurz die Relevanz der Studie und den experimentellen Ablauf. Einholung einer Einwilligungserklärung gemäß den institutionellen Richtlinien für die Forschung am Menschen.</li>
	</ol>
	</li>
	<li>Platzierung der Elektroden<ol>
		<li>Weisen Sie den Teilnehmer an, seine rechte Hand zu beugen, indem er eine starke Faust formt. Während der Teilnehmer sich beugt, tasten Sie den Unterarm ab, indem Sie sanft entlang des Muskels drücken, um die Stelle zu identifizieren, an der die Muskelaktivierung am stärksten ausgeprägt ist. Diese Stelle ist leicht zu erkennen, indem man den Bereich fühlt, in dem sich der Muskel während der Kontraktion wölbt.</li>
		<li>Optional: Bereiten Sie die identifizierte Hautpartie vor, indem Sie sie mit einem alkoholfaserfreien Tuch, Präparationsgel oder Wasser und Seife reinigen. Lassen Sie den Bereich an der Luft trocknen. Vermeiden Sie übermäßige Reinigung mit Alkohol, da dieser die Haut austrocknen kann. Dieser Schritt ist optional. Siehe den Diskussionsbereich.</li>
		<li>Ziehen Sie die weiße Schutzschicht vom EMG-Elektrodenarray ab und befestigen Sie die Elektroden vorsichtig an dem identifizierten Unterarmbereich, wie in Schritt 3.2.1 bestimmt. (siehe Abbildung 1). Stellen Sie sicher, dass das Klebeband näher an der Handfläche anliegt. Befestigen Sie das Elektrodenarray durch leichtes Klopfen auf der Haut.</li>
		<li>Sobald das Elektrodenarray an der Haut befestigt ist, ziehen Sie die transparente Stützschicht ab.</li>
		<li>Stecken Sie die Elektrodenarray-Anschlusskarte in die Anschlussbuchse der DAU. Befestigen Sie die DAU auf dem Klebeband neben den Elektroden.</li>
		<li>Führen Sie ein benutzerdefiniertes Python-Spektrogramm-Skript Spectrogram.py aus, um die Signalqualität in Echtzeit zu überprüfen. Es erscheint ein Fenster, in dem die Rohdaten (links) und der Frequenzbereich (rechts) für alle Elektroden angezeigt werden (siehe Ergänzende Abbildung 1 als Referenz).<ol>
			<li>Stellen Sie sicher, dass alle Elektroden erkannt werden und ordnungsgemäß funktionieren und dass das Signal frei von übermäßigem Rauschen und 50-Hz-Rauschen ist.</li>
			<li>Reduzieren Sie bei Bedarf das 50-Hz-Rauschen, indem Sie sich von elektronischen Geräten entfernen, die Störungen verursachen können, und unnötige Geräte vom Stromnetz trennen. Warten Sie Zeit, bis sich das Signal stabilisiert hat.</li>
			<li>Überprüfen Sie die EMG-Signalerfassung: Weisen Sie die Teilnehmer an, einen Ellbogen auf den Sessel zu legen, die Finger zu bewegen und sich dann zu entspannen. Stellen Sie sicher, dass ein klares EMG-Signal angezeigt wird, gefolgt von statischem Grundrauschen.</li>
			<li>Schließen Sie das Skript, sobald die Signalüberprüfung abgeschlossen ist.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Überprüfung der Gesten- und Handposition<ol>
		<li>Öffnen Sie den Ordner Bilder, indem Sie auf Finger_pose_estimation &gt; Data_acquisition klicken. Überprüfen Sie die Gestenbilder mit den Teilnehmern.</li>
		<li>Stellen Sie sicher, dass sie jede Bewegung verstehen und genau ausführen können. Erklären Sie dem Teilnehmer die vier Handpositionen deutlich.</li>
		<li>Weisen Sie den Teilnehmer vor jeder Sitzung an, wie er die Hand halten soll, um die richtige Haltung und Positionierung sicherzustellen.</li>
	</ol>
	</li>
	<li>Teilnehmer- und Kamerapositionierung<ol>
		<li>Weisen Sie den Teilnehmer für die Handposition 1 an, etwa 1 m vom Tisch entfernt gerade zu stehen. Weisen Sie den Teilnehmer an, die rechte Hand gerade und entspannt nach unten zu halten, wobei die Handfläche zur Hand-Tracking-Kamera zeigt. Fixieren Sie die Hand-Tracking-Kamera mit einem Selfie-Stick auf dem Tisch und richten Sie sie auf die Hand des Teilnehmers.</li>
		<li>Weisen Sie den Teilnehmer für die Handposition 2 an, bequem in einem Sessel zu sitzen, der 40-70 cm von den Monitoren entfernt positioniert ist. Weisen Sie den Teilnehmer an, die rechte Hand um 90° nach vorne zu strecken, wobei eine entspannte Handfläche zur Hand-Tracking-Kamera zeigt. Verwenden Sie bei Bedarf eine Stützvorrichtung, um die Hand stabil zu halten. Platzieren Sie die Handverfolgungskamera mit der Vorderseite nach oben auf dem Tisch. HINWEIS: Da der Teilnehmer aufgefordert wird, in einer festen Haltung zu bleiben, ist es wichtig, eine bequeme Position zu finden, die er während der gesamten Sitzung beibehalten kann.</li>
		<li>Für die Handposition 3 weisen Sie den Teilnehmer an, wie in Schritt 3.4.2 beschrieben zu sitzen. Weisen Sie den Teilnehmer an, die Hand nach oben zu falten, während er den Ellbogen auf dem Sessel abstützt. Die Handfläche sollte entspannt sein und der Teilnehmer sollte sich der Hand-Tracking-Kamera zuwenden. Befestigen Sie die Hand-Tracking-Kamera auf dem Tisch mit Blick auf die Hand des Teilnehmers (verwenden Sie ggf. einen Selfie-Stick). Stellen Sie sicher, dass die Position des Teilnehmers sowohl für den Blick auf die Bildschirme als auch für den Aufenthalt im Sichtfeld der Kamera optimal ist.</li>
		<li>Überwachen Sie kontinuierlich den Bildschirm, auf dem Hand-Tracking-Daten angezeigt werden, um sicherzustellen, dass die Kamera die Hand und die Finger während des gesamten Experiments erkennt. Optional: Überprüfen Sie die EMG-Signalqualität (Schritt 3.2.6.) in jeder Handposition, bevor Sie das Experiment starten.</li>
	</ol>
	</li>
</ol>
4. Datenerhebung
<ol>
	<li>Ausführen des Experiments<ol>
		<li>Öffnen Sie Python und laden Sie data_collection.py. Vergewissern Sie sich, dass die Parameter num_repetition, gesture_duration rest_duration wie gewünscht eingestellt sind.<ol>
			<li>num_repetition: Legen Sie fest, wie oft jedes Gestenbild angezeigt wird. Legen Sie für dieses Experiment den Wert auf 7 fest, was bedeutet, dass jedes Bild 7 Mal angezeigt wird. gesture_duration: Geben Sie die Dauer (in s) an, für die der Teilnehmer die Handgeste ausführt. Legen Sie für dieses Experiment den Wert auf 5 s fest, um zu bestimmen, wie lange jedes Gestenbild angezeigt wird. Rest_duration: Geben Sie die Dauer (in s) an, für die der Teilnehmer seine Handfläche zwischen den Gesten entspannt. Legen Sie für dieses Experiment den Wert auf 3 s fest.</li>
		</ol>
		</li>
		<li>Passen Sie die Position und den Winkel der Hand-Tracking-Kamera an die Handposition des Teilnehmers an.</li>
		<li>Führen Sie das Skript data_collection.py aus. Es erscheint ein Fenster, in dem Sie die Daten des Teilnehmers eingeben können (Seriennummer, Alter, Geschlecht, Sitzungsnummer und Handposition). Geben Sie diese Informationen ein, und drücken Sie OK, um das Experiment automatisch zu starten.</li>
	</ol>
	</li>
	<li>Datensammlung<ol>
		<li>Zeichnen Sie für jede Sitzung EMG- und Hand-Tracking-Daten auf, die automatisch gespeichert werden. Wiederholen Sie das Experiment 4x für jeden Teilnehmer, einmal pro Handposition.</li>
	</ol>
	</li>
</ol>
5. Datenverarbeitung am Ende des Versuchs und nach dem Versuch
<ol>
	<li>Nach Abschluss des Experiments werden die Daten automatisch gespeichert. Stellen Sie sicher, dass die Daten in einem Ordner gespeichert werden, der mit der Seriennummer des Teilnehmers gekennzeichnet ist. Jede Sitzung wird in einem Unterordner mit dem Namen S# (z. B. S1) gespeichert, mit vier Unterordnern für jede Handposition P# (P1, P2, P3 und P4). Die Ordnergröße für eine einzelne Sitzung beträgt ca. 160 MB.</li>
	<li>Wenn ein Teilnehmer mehrere Sitzungen abschließt, stellen Sie sicher, dass alle Daten im entsprechenden Sitzungsordner (z. B. S1, S2) gespeichert sind.</li>
	<li>Dateien Stellen Sie sicher, dass jeder Handpositionsordner (P#) die folgenden Dateien enthält: EMG-Daten, die in einer EDF-Datei gespeichert sind und wie folgt benannt sind: fpe_pos{Positionsnummer}_{Probandennummer}_S{Sitzungsnummer}_rep0_BT; Hand-Tracking-Daten, die in einer CSV-Datei mit dem Namen fpe_pos{Positionsnummer}_{Betreffnummer}_S{Sitzungsnummer}_rep0_BT_full gespeichert sind; und eine Protokolldatei, log.txt, die Metadaten über die Sitzung enthält.</li>
	<li>Datenverarbeitung HINWEIS: Ein Benutzer kann wählen, wie er mit der Signalanalyse fortfahren möchte und welche Tools verwendet werden sollen. Hier stellen wir ein Skript für die Durchführung von Signalfilterung und Datensegmentierung in Python zur Verfügung. Wenn Sie Python verwenden, stellen Sie sicher, dass alle Abhängigkeiten (z. B. Numpy, Pandas, SciPy, MNE, Sklearn) installiert sind.<ol>
		<li>Öffnen Sie Python, laden Sie data_analysis.py und führen Sie das Skript aus.</li>
		<li>In der Konsole wird eine Anfrage angezeigt, um die notwendigen Parameter für die Datenverarbeitung anzugeben: Pfad zur EMG-Datei, Pfad zu den kinematischen Handdaten, Pfad, in dem die verarbeiteten Daten gespeichert werden, Abtastrate in Hz, Fensterdauer in ms und Schrittintervall in ms.</li>
		<li>Nach diesem Schritt führt das Skript die Datenverarbeitung durch.</li>
		<li>EMG-Signalfilterung: Führen Sie das Skript wie oben beschrieben aus. Das Skript filtert zunächst das sEMG-Signal, indem es einen Butterworth-Hochpassfilter 4. Ordnung mit einem Cutoff von 20 Hz anwendet, um Nicht-EMG-Signale zu entfernen, und dann einen Notch-Filter, um 50-Hz- und 100-Hz-Oberwellen zu entfernen. Zusätzlich wendet das Skript eine Normalisierung des EMG-Signals an.</li>
		<li>EMG, HKD-Daten und segmentierte Gesten: Führen Sie das Skript wie oben beschrieben aus. Das Skript wendet die Segmentierung an, wobei eine Rolling-Window-Technik verwendet wird, die durch die angegebene Fensterdauer und das Schrittintervall definiert wird. Legen Sie sie in diesem Experiment auf 512 bzw. 2 ms fest. Das Skript transformiert dann die Organisation des sEMG-Kanals in eine 4 x 4 räumliche Gitterkonfiguration, wobei das Layout des Elektrodenarrays beibehalten wird. Schließlich generiert das Skript ein Wörterbuch, das Metadaten als Pickle-Datei enthält.</li>
		<li>Schritte zur Datenbereinigung und -validierung<ol>
			<li>Identifizieren und Ausschließen von Segmenten, die Artefakte, Rauschen oder inkonsistente Gestenbeschriftungen enthalten, aus dem Datensatz.</li>
			<li>Stellen Sie die Vollständigkeit der Segmente und die zeitliche Kontinuität über Fenster hinweg sicher, um die Zuverlässigkeit der Daten zu gewährleisten.</li>
			<li>Vergleichen Sie die Gestendaten mit dem HKD auf Konsistenz. Entfernen Sie Fenster, in denen Gestenmuster angezeigt werden, die von den HKD-Sitzungsstandards abweichen.</li>
			<li>Erkennen und verwerfen Sie Ausreißersegmente, die nicht den erwarteten kinematischen Mustern für die Sitzung entsprechen.</li>
			<li>Führen Sie weitere Datenanalysen mit fortschrittlichen Algorithmen durch. Diese sind im aktuellen Protokoll nicht vorgesehen.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Verstellbarer Selfie-Stick</td><td></td><td></td><td>Wird verwendet, um die Hand-Tracking-Kamera in der gewünschten Ausrichtung zu positionieren und zu winkeln, um eine optimale Datenerfassung während des Experiments zu gewährleisten.</td></tr><tr><td>Alkohol-Pad</td><td></td><td></td><td>Zum Reinigen des Bereichs für die Elektrodenplatzierung.</td></tr><tr><td>Datenerfassungseinheit (DAU)</td><td>X-trodes GmbH</td><td>&nbsp; XTR-BT V1.3</td><td>Echtzeit-kompatible DAU 2.0.17 oder 4.0.1</td></tr><tr><td>Finger Gestures Recognition Library</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Hand-Tracking-Kamera</td></tr><tr><td>Langes Typ-C-auf-Typ-C-Kabel</td><td></td><td></td><td>Anschluss der Hand-Tracking-Kamera an den PC.</td></tr><tr><td>PC-Monitore</td><td></td><td></td><td>Einer für Richtlinien, einer für die Anzeige der Hand-Tracking-Kameradaten&nbsp;</td></tr><tr><td>PC (PC)</td><td>Windows</td><td></td><td>Windows 10+; Prozessoren: Inteli7-Prozessor. BT-Empfänger.</td></tr><tr><td>Python-Code</td><td></td><td></td><td>: Ein Skript, das nahtloses Daten-Streaming und -Aufzeichnung mit bis zu 500 S/s ermöglicht, wenn die DAU über Bluetooth mit dem PC verbunden ist</td></tr>, <tr><td>Ultraleap Camera Python API</td>, <td>Ultraleap</td><td></td><td>Python API und Anweisungen von Ultraleap' s GitHub-Repository (https://github.com/ultraleap/leapc-python-bindings), das zum Sammeln von Daten von der Ultraleap-Einheit während des Experiments verwendet wird</td></tr>, <tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Tracking Software</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>tragbares 16-Kanal-Trockenelektroden-Array-Pflaster für EMG und EKG-Überwachung</td></tr><tr><td>X-trodes PC App</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Eine Anwendung zum Verbinden von X-trodes DAU mit dem PC über BT</td></tr></tbody></table>

erfassung dynamischer fingergesten mit hochauflösender oberflächen-elektromyographie und computer vision

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

Der Datensatz besteht aus zwei zeitsynchronisierten Komponenten: einem 16-Kanal-EMG-Datensatz und Daten eines Hand-Tracking-Kamerasystems. Die 16-Kanal-EMG-Daten erfassen die Muskelaktivität, indem sie elektrische Signale von verschiedenen Muskeln im Laufe der Zeit aufzeichnen. Das Hand-Tracking-System liefert 16 Datenkanäle, die Schlüsselpunkten auf einem Skelettmodell der Hand entsprechen. Während das Modell ohne Handgelenk 21 Punkte hat, wurde diese Zahl aufgrund von Bewegungseinschränkungenauf 16 reduziert. Das EMG und die visuellen Daten wurden gesammelt, indem während der Aufzeichnung zwei separate Prozesse auf demselben Computer ausgeführt wurden, um eine Synchronität herzustellen. Ein Zeitstempel wurde verwendet, um den Beginn jedes Prozesses zu markieren, so dass der Datenanalysecode die Muskelaktivitäts- und Handbewegungsdaten am Ende der Aufzeichnung ausrichten konnte. Zeitstempel-Anmerkungen wurden automatisch sowohl in EDF- als auch in CSV-Dateien gespeichert, um den genauen Zeitpunkt zu markieren, zu dem bestimmte Fingergesten angewiesen wurden, und die Ausrichtung während der Datenanalyse zu erleichtern. Das gefilterte EMG-Signal (20 Hz Butterworth-Hochpassfilter 4. Ordnung) zeichnet sich durch eine niedrige Basislinie (grau schattierte Bereiche) aus, die typischerweise im Bereich von 3-9 μV25 liegt. Diese Grundlinie wird beobachtet, wenn die Hand des Probanden stationär ist und die Muskeln in Ruhe sind. Ist jedoch auch in der Ruheposition ein Muskeltonus vorhanden, kann ein deutliches EMG-Signal nachgewiesen werden. Mechanische Artefakte, die durch Bewegung verursacht werden, manifestieren sich meist im Bereich von 10-20 Hz und sollten entsprechend herausgefiltert werden. Deutlich erhöhte Ausgangswerte können auf eine 50-Hz-Leitungsstörung hinweisen und sollten während der Versuchsaufbauphase vermieden werden. In Fällen, in denen mäßiges 50-Hz-Rauschen anhält; Ein Kerbfilter wird angewendet. Scharfe Bewegungsartefakte, die schwieriger zu entfernen sind, erscheinen oft als ausgeprägte Spitzen mit hoher Amplitude im Signal (siehe Sternchen in Abbildung 2A). Die Amplitude des EMG-Signals über das 16-Elektroden-Array variiert und spiegelt die räumliche Verteilung der Muskelaktivität über den gemessenen Bereich wider. Diese Varianz liefert wertvolle Einblicke in die Heterogenität der Muskelkontraktion während der Handgesten.
Die Hand-Tracking-Kamera liefert direkte Informationen über Fingerwinkel (Hand Kinematic Data, HKD), von denen erwartet wird, dass sie eng mit den aufgezeichneten EMG-Signalen korrelieren. Während der Gesten bewegen sich die Fingerwinkel im Normalbereich26, abhängig von der spezifischen Geste. Wenn der visuelle Pfad zwischen der Hand-Tracking-Kamera und der Hand frei ist, ist das resultierende Signal stabil und genau, wie in Abbildung 2 gezeigt. In Fällen, in denen der Sichtkontakt verloren geht oder wenn das System technische Einschränkungen aufweist, kann der HKD jedoch unregelmäßig werden und Sprünge zwischen falschen Werten anzeigen. Solche Ausreißerdaten sollten während der Datenerfassung minimiert und in der endgültigen Analyse verworfen werden, um die Integrität der Ergebnisse zu wahren.
Der HKD ist intuitiv und ermöglicht einen direkten Vergleich mit den tatsächlich ausgeführten Gesten. Es weist eine geringe Variabilität zwischen den Motiven und über verschiedene Handpositionen hinweg auf. Im Gegensatz dazu variieren die EMG-Daten aufgrund anatomischer Unterschiede wie Handgröße und Muskelentwicklung tendenziell erheblich zwischen den Individuen27. Darüber hinaus kann eine Variabilität zwischen dominanten und nicht-dominanten Händen beobachtet werden. Diese fachspezifische Variabilität kann im Rahmen der Offline-Analyse angesprochen werden.
In Abbildung 2 ist ersichtlich, dass sowohl das EMG als auch das HKD relativ zum angewiesenen Gestenauslöser versetzt sind. Diese Diskrepanz ergibt sich aus der Reaktionszeit und der natürlichen Bewegungsausführung28. Bei Regressionsaufgaben könnte eine solche Variabilität zur Reichhaltigkeit der Daten beitragen, während sie bei Klassifikationsaufgaben mit einem verallgemeinerten Likelihood-Ratio-Ansatz gehandhabt werden kann, wie er in ähnlichen Szenarienangewendet wird 28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Abbildung 2: Repräsentatives sEMG und HKD während der Fingerabduktion. Oberflächen-Elektromyographie (sEMG) Signale und kinematische Handdaten (HKD), die während der dynamischen Fingerabduktion und -pause während der Handposition 1 (Hand nach unten, gerade und entspannt) von einem einzelnen Teilnehmer aufgezeichnet wurden. (A) Gefilterte EMG-Signale von 16 Kanälen als Funktion der Zeit. Ein Sternchen (*) kennzeichnet ein mechanisches Artefakt, das in der EMG-Aufzeichnung von Kanal 5 entdeckt wurde. (B) HKD, das die Gelenkwinkel als Funktion der Zeit zeigt. Die Gelenkwinkel werden an verschiedenen Gelenken gemessen: trapeziometakarpal (TMC), metacarpophalangeal (MCP) und proximales Interphalangeal (PIP). Die Phasen des Experiments (Ruhe und Abduktion) sind entlang der x-Achse angedeutet. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
Diese repräsentativen Ergebnisse zeigten die Nützlichkeit der synchronisierten EMG- und HKD-Daten bei der Erfassung von Handgesten. Die Ausrichtung der EMG-Signale mit den entsprechenden HKD ermöglicht es, die Muskelaktivität auf bestimmte Fingerbewegungen abzubilden. Bei der Erstellung eines Vorhersagemodells können Forscher HKD als Ground Truth verwenden und EMG-basierte Gestenvorhersagen iterativ verifizieren und verfeinern. Dieser Ansatz unterstreicht die praktische Anwendbarkeit des Protokolls und deutet auf die Notwendigkeit weiterer Forschung in natürlicheren Umgebungen hin.
Ergänzende Abbildung 1: Spektrogrammfenster, die während des Signalverifizierungsschritts angezeigt werden. Die linken Felder zeigen EMG-Rohdaten, während die rechten Felder die erkannten Frequenzbereiche anzeigen. (A) Beispiel für ein sehr verrauschtes EMG-Signal mit starken 50 Hz und 100 Hz Störungen. (B) Beispiel für die gleiche EMG-Signalaufzeichnung, nachdem der Teilnehmer weiter von elektrischen Geräten entfernt wurde, was zu einem sauberen EMG-Signal mit minimalen Interferenzen führte. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Bitte klicken Sie hier, um diese Datei herunterzuladen.</a>

Erfassung dynamischer Fingergesten mit hochauflösender Oberflächen-Elektromyographie und Computer Vision

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

Forschung

JoVE Journal

Bioengineering

Biotechnik

Quelle:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Sagol School of Neuroscience, Universität Tel Aviv, 2Klinik für Hals-Nasen-Heilkunde, Universitätsklinikum Jena, Friedrich-Schiller-Universität Jena, 3Fakultät für Elektrotechnik, Universität Tel Aviv, 4Abteilung Motorforschung, Pathophysiologie und Biomechanik, Klinik für Unfall-, Hand- und Wiederherstellungschirurgie, Universitätsklinikum Jena, Friedrich-Schiller-Universität...

Drahtlose Oberflächen-Elektromyographie Aufzeichnung der Aktivität der Gesichtsmuskulatur während der Expression

Die Überwachung der Gehirnaktivität während aufrechter motorischer Aufgaben ist von großem Wert, wenn es darum geht, die neuronale Ursache von Bewegungsstörungen zu untersuchen. Hier demonstrieren wir ein Protokoll, das funktionelle Nahinfrarotspektroskopie mit einer kontinuierlichen Überwachung der Muskel- und kinematischen Aktivität bei 4 Arten von motorischen Aufgaben kombiniert.

Funktionale Nahinfrarotspektroskopie der die sensorischen und motorischen Hirnregionen mit Simultaneous kinematische und EMG-Überwachung Während Motor Aufgaben

In diesem Artikel wird eine neuartige, kostengünstige Mensch-Maschine-Schnittstelle für ein interaktives Rehabilitationssystem nach einem Schlaganfall vorgestellt. Das System integriert handelsübliche, kostengünstige Sensoren in Richtung eines willentlich getriebenen Elektrotherapie-Paradigmas. Die Proof-of-Concept-Softwareschnittstelle wird an gesunden Freiwilligen demonstriert.

Eine Mensch-Maschine-Schnittstelle Integration von Low-Cost-Sensoren mit einem Neuromuskuläre Elektrostimulation System zur Post-Stroke Balance Rehabilitation

Transkranielle Magnetstimulation, Elektromyographie und 3D-Bewegungserfassung sind häufig verwendete nicht-invasive Techniken zur Untersuchung der neuromuskulären Funktion beim Menschen. In diesem Artikel beschreiben wir ein Protokoll, das synchron Daten abtastet, die von allen drei dieser Tools generiert werden, zusammen mit der einzigartigen Hinzufügung von Virtual-Reality-Stimuluspräsentation und Feedback.

Multifunktions-Setup für das Studium der menschlichen Motor Control Mit Transkranielle Magnetstimulation, Elektromyographie, Motion Capture und Virtual Reality

Präsentiert hier ist ein Verhaltensparadigma, das robuste schnelle visuomotorische Reaktionen auf menschliche Obermaße Muskeln während visuell geführter Reichweiten auslöst.

Ein aufstrebendes Zielparadigma, um schnelle Visuomotor-Antworten auf menschliche Oberkörpermuskeln zu evozieren

Wenn wir ein Objekt greifen, kommen in der Regel mehrere Regionen der Finger und der Hand mit der Oberfläche des Objekts in Kontakt. Die Rekonstruktion solcher Kontaktregionen ist eine Herausforderung. In dieser Arbeit stellen wir eine Methode zur approximativen Schätzung der Kontaktregionen vor, indem markerbasiertes Motion Capture mit bestehender Deep-Learning-basierter Handnetzrekonstruktion kombiniert wird.

Abschätzung von Kontaktbereichen zwischen Händen und Objekten beim mehrstelligen Greifen des Menschen

Die Magnetenzephalographie (MEG) und die High-Density-Elektroenzephalographie (HD-EEG) werden selten gleichzeitig aufgezeichnet, obwohl sie bestätigende und komplementäre Informationen liefern. In diesem Artikel veranschaulichen wir den experimentellen Aufbau zur gleichzeitigen Aufzeichnung von MEG und HD-EEG und die Methodik zur Analyse dieser Daten mit dem Ziel, epileptogene und eloquente Hirnareale bei Kindern mit medikamentenresistenter Epilepsie zu lokalisieren.

Bildgebung mit elektromagnetischen Quellen bei der präoperativen Beurteilung von Kindern mit arzneimittelresistenter Epilepsie

In vielen biologischen und klinischen Situationen ist es vorteilhaft, zelluläre Prozesse zu untersuchen, wie sie sich entwickeln in ihrer Muttersprache Mikroumgebung. Hier beschreiben wir die Montage und die Verwendung eines Low-Cost-Glasfaser-Mikroskop, das Echtzeit-Bildgebung in der Zellkultur, Tierversuche und klinische Patientenstudien bieten kann.

Hochauflösende LWL-Mikroendoskopiesysteme für In situ Cellular Imaging

Zerstörungsfreie Volumen-Visualisierung können nur von tomographischen Techniken, von denen die am effizientesten ist die x-ray micro-Computertomographie (CT) erreicht werden.

Hochauflösende 3D Imaging von Ex-Vivo Biologische Proben von Micro-CT

Wir beschreiben hier den Betrieb einer mikrofluidischen Vorrichtung, die eine kontinuierliche und hochauflösende mikroskopische Bildgebung einzelner knospenden Hefezellen ermöglicht während ihres kompletten replikativen und / oder chronologischer Lebensdauer.

Kontinuierliche Hochauflösende mikroskopische Beobachtung Replikative Aging in Bäckerhefe

Lernen Sie die Erfassung dynamischer Handgesten mit synchronisierter EMG- und visueller Datenverarbeitung. Diese Methode ermöglicht präzise Muskelaktivitätszuordnung für Anwendungen in Prothesenrehabilitation und Mensch-Maschine-Interaktion.

Erfassung dynamischer Fingergesten mit hochauflösender Oberflächen-Elektromyographie und Computer Vision

Weitere Videos entdecken