Erfassung dynamischer Fingergesten mit hochauflösender Oberflächen-Elektromyographie und Computer Vision

Unsere Forschung konzentriert sich auf die Verbesserung der dynamischen Handgestenerkennung unter Verwendung synchronisierter EMG- und visueller Daten. Unser Ziel ist es, herauszufinden, wie genau die Muskelaktivität auf die Fingergesten über verschiedene Handpositionen hinweg abgebildet wird und wie dies die Anwendung in der prothetischen Rehabilitation und der Mensch-Computer-Interaktion verbessern kann. Unser Protokoll schließt die Lücke in der Erkennung von Handgesten, indem es die Zuordnung der Muskelaktivität zu Fingergesten über verschiedene dynamische Handpositionen hinweg ermöglicht.

Unser Ansatz sammelt und synchronisiert DMG- und visuelle Daten während dynamischer Bewegungen und legt damit den Grundstein für die Entwicklung robuster Gestenerkennungsmodelle. Im Gegensatz zu herkömmlichen Methoden mit statischen Setups verwendet unser Protokoll ein drahtloses EMGRA und das Hand-Tracking-System bei dynamischen Bewegungen, was Flexibilität und eine realistischere Datenerfassung für Gestenerkennungsstudien gewährleistet. Öffnen Sie zunächst das GitHub-Repository und folgen Sie den detaillierten Anweisungen im Installationsabschnitt.

Suchen Sie die primäre Python-Datei data_collection. py in den Ordner, und bereiten Sie es für die Ausführung des Experiments vor. Verwenden Sie das Skriptspektrogramm.

py zur Beurteilung der Elektromyographie, kurz EMG-Signalqualität, und das Datenanalyseskript zur Signalfilterung und Segmentierung. Stellen Sie sicher, dass die EMG-Datenerfassungseinheit, kurz DAU, vor jeder Sitzung vollständig aufgeladen ist. Schalten Sie dann die DAU ein.

Verbinden Sie die DAU über Bluetooth mit der entsprechenden Anwendung mit dem PC. Stellen Sie die Bluetooth-Kommunikationsrate auf 500 Abtastungen pro Sekunde ein. Installieren und öffnen Sie die Hand-Tracking-Kamerasoftware auf dem PC. Verbinden Sie die Hand-Tracking-Kamera über ein Kabel mit dem PC.

Verwenden Sie einen Bildschirm, um immer die Hand-Tracking-Kamerasoftware anzuzeigen. Weisen Sie den Teilnehmer zu Beginn an, seine rechte Hand zu einer starken Faust zu formen. Während sich der Teilnehmer beugt, drücken Sie sanft entlang seines Unterarms, um den Muskel zu ertasten und die Stelle mit der auffälligsten Aktivierung zu identifizieren.

Ziehen Sie die weiße Schutzschicht vom EMG-Elektrodenarray ab und befestigen Sie die Elektroden vorsichtig an der identifizierten Unterarmpartie. Platzieren Sie das Klebeband in der Nähe der Handfläche und klopfen Sie vorsichtig darauf, um das Elektrodenarray auf der Haut zu befestigen. Sobald das Elektrodenarray an der Haut befestigt ist, ziehen Sie die transparente Stützschicht ab.

Stecken Sie als Nächstes die Elektrodenarray-Anschlusskarte in die DAU-Anschlussbuchse. Befestigen Sie die DAU auf dem Klebeband neben den Elektroden. Führen Sie das benutzerdefinierte Python-Spektrogramm-Skript aus, um die Signalqualität in Echtzeit zu überprüfen.

Beachten Sie das angezeigte Fenster, in dem auf der linken Seite die Rohdaten und auf der rechten Seite die Frequenzbereichsdaten für alle Elektroden angezeigt werden. Stellen Sie sicher, dass alle Elektroden erkannt werden und ordnungsgemäß funktionieren und dass das Signal frei von übermäßigem Rauschen und 50-Hertz-Rauschen ist. Trennen Sie bei Bedarf nicht benötigte Gerätegeräte von der Stromversorgung und entfernen Sie sich von den elektronischen Geräten, um das Rauschen zu reduzieren und Zeit für die Stabilisierung des Signals zu haben.

Weisen Sie den Teilnehmer dann an, einen Ellbogen auf den Sessel zu legen, die Finger zu bewegen, und bitten Sie ihn dann, sich zu entspannen. Stellen Sie sicher, dass ein klares EMG-Signal angezeigt wird, gefolgt von statischem Grundrauschen. Schließen Sie das Skript, sobald die Signalüberprüfung abgeschlossen ist.

Um die Position zu überprüfen, klicken Sie auf Schätzung der Fingerhaltung, gefolgt von der Datenerfassung, um den Bilderordner zu öffnen. Überprüfen Sie die Gestenbilder mit dem Teilnehmer. Erklären Sie dem Teilnehmer die Vorhandpositionen anschaulich.

Weisen Sie sie vor jeder Sitzung an, wie sie ihre Hand halten sollen, um auf die richtige Haltung und Positionierung zu achten. Bitten Sie den Teilnehmer für die erste Handposition, gerade zu stehen, etwa einen Meter vom Tisch entfernt. Weisen Sie dann den Teilnehmer an, seine rechte Hand gerade und entspannt nach unten zu halten, wobei die Handfläche zur Handverfolgungskamera zeigt.

Befestigen Sie die Hand-Tracking-Kamera mit einem Selfie-Stick auf dem Tisch und richten Sie sie auf die Hand des Teilnehmers. Stellen Sie sicher, dass der Teilnehmer zu Beginn des Pieptons feste Gesten macht, gefolgt von einer entspannten Handfläche während der Ruhephase. Weisen Sie den Teilnehmer für die zweite Handposition an, bequem in einem Sessel zu sitzen, der 40 bis 70 Zentimeter von den Monitoren entfernt ist.

Bitten Sie dann den Teilnehmer, seine rechte Hand in einem 90-Grad-Winkel nach vorne zu strecken, wobei die Handfläche entspannt ist und zur Handverfolgungskamera gerichtet ist. Verwenden Sie bei Bedarf eine Stützvorrichtung, um die Hand stabil zu halten. Platzieren Sie die Handverfolgungskamera mit der Vorderseite nach oben auf dem Tisch.

Stellen Sie sicher, dass der Teilnehmer zu Beginn des Pieptons feste Gesten macht, gefolgt von einer entspannten Handfläche während der Ruhephase. Bitten Sie den Teilnehmer für die dritte Handposition, seine Hand nach oben zu falten, während er den Ellbogen auf dem Sessel abstützt. Stellen Sie sicher, dass die Handfläche entspannt ist und zur Hand-Tracking-Kamera zeigt.

Befestigen Sie die Handverfolgungskamera auf dem Tisch mit Blick auf die Hand des Teilnehmers. Stellen Sie sicher, dass die Position des Teilnehmers sowohl für den Blick auf die Bildschirme als auch für den Aufenthalt im Sichtfeld der Kamera optimal ist. Stellen Sie sicher, dass der Teilnehmer zu Beginn des Pieptons feste Gesten macht, gefolgt von einer entspannten Handfläche während der Ruhephase.

Bitten Sie den Teilnehmer für die vierte Handposition, die Fingergesten auszuführen, während er die Hand frei bewegt, und wählen Sie entweder die dynamische Handposition eins, die dynamische Handposition zwei oder die dynamische Handposition drei. Schalten Sie den Computer ein, öffnen Sie Python, und laden Sie das Skript data_collection.py. Passen Sie die Position und den Winkel der Hand-Tracking-Kamera an die Handposition des Teilnehmers an.

Führen Sie die data_collection aus. py-Skript. Es erscheint ein Fenster, in dem Sie die Daten des Teilnehmers eingeben können.

Geben Sie die erforderlichen Informationen ein und drücken Sie auf OK, um das Experiment automatisch zu starten. Zeichnen Sie für jede Sitzung EMG- und Hand-Tracking-Daten auf, die automatisch gespeichert werden. Stellen Sie nach Abschluss des Experiments sicher, dass die Daten automatisch in einem Ordner gespeichert werden, der mit der Seriennummer des Teilnehmers beschriftet ist.

Stellen Sie sicher, dass jede Sitzung in einem Unterordner mit dem Namen S-Nummer gespeichert wird, der vier Unterordner für jede Handposition enthält, die als P-Nummer gekennzeichnet ist. Wenn ein Teilnehmer mehrere Sitzungen abschließt, vergewissern Sie sich, dass alle Daten im entsprechenden Sitzungsordner gespeichert sind. Stellen Sie sicher, dass jeder Handpositionsordner die in einer EDF-Datei gespeicherten EMG-Daten, die in einer CSV-Datei gespeicherten Hand-Tracking-Daten und eine Protokolldatei mit den Metadaten zur Sitzung enthält.

Die EMG-Kanäle zeigten während der Abduktionsphasen im Vergleich zu den Ruhephasen eine erhöhte elektrische Aktivität, was sich in Signalen mit höherer Amplitude über alle Kanäle zeigte, wobei mechanische Artefakte durch scharfe Spitzen gekennzeichnet waren. Die kinematischen Daten der Hand zeigten synchronisierte Änderungen des Fingerwinkels, die den angewiesenen Abduktionsgesten entsprachen, mit stabilen Signaltrajektorien bei ungehinderter Verfolgung und sichtbarer Abweichung in falsch ausgerichteten Abschnitten.