Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie
28 maart 2025
Het artikel presenteert een uitgebreid protocol voor het gelijktijdig registreren van handelektromyografie (EMG) en visuele vingertracking tijdens natuurlijke vingergebaren. De visuele gegevens zijn ontworpen om te dienen als de basiswaarheid voor de ontwikkeling van nauwkeurige EMG-gebaseerde computermodellen voor herkenning van vingergebaren.
Ons onderzoek richt zich op het verbeteren van dynamische handgebarenherkenning met behulp van gesynchroniseerde EMG en visuele gegevens. We willen bepalen hoe nauwkeurig spieractiviteit overeenkomt met vingerbewegingen over verschillende handposities en hoe dit de toepassing in prothetische revalidatie en mens-computerinteractie kan verbeteren. Ons protocol pakt de kloof in de herkenning van handgebaren aan door het mogelijk te maken om spieractiviteit in kaart te brengen aan vingergebaren in verschillende dynamische handposities.
Onze aanpak verzamelt en synchroniseert DMG- en visuele gegevens tijdens dynamische bewegingen, waardoor de basis wordt gelegd voor de ontwikkeling van robuuste gebarenherkenningsmodellen. In tegenstelling tot traditionele methoden met statische opstellingen, maakt ons protocol gebruik van een draadloze EMGRA en het handvolgsysteem tijdens dynamische bewegingen, wat zorgt voor flexibiliteit en meer realistische gegevensverzameling voor studies naar gebarenherkenning. Open om te beginnen de GitHub-repository en volg de gedetailleerde instructies in het installatiegedeelte.
Zoek het primaire Python-bestand data_collection. PY in de map en bereid deze voor om het experiment uit te voeren. Gebruik het scriptspectrogram.
om de elektromyografie, kortom de EMG-signaalkwaliteit, en het data-analysescript voor signaalfiltering en segmentatie te beoordelen. Zorg ervoor dat de EMG-data-acquisitie-eenheid, kortweg DAU, voor elke sessie volledig is opgeladen. Schakel vervolgens de DAU in.
Verbind de DAU via Bluetooth met de pc met behulp van de speciale applicatie. Stel de Bluetooth-communicatiesnelheid in op 500 samples per seconde. Installeer en open de software voor handvolgcamera's op de pc. Sluit de handvolgcamera met een kabel aan op de pc.
Gebruik één scherm om de software van de handvolgcamera altijd weer te geven. Instrueer de deelnemer om om te beginnen zijn rechterhand tot een sterke vuist te buigen. Terwijl de deelnemer buigt, drukt u voorzichtig langs zijn onderarm om de spier te palperen en de plek met de meest prominente activering te identificeren.
Verwijder de witte beschermlaag van de EMG-elektrode-array en bevestig de elektroden voorzichtig op het geïdentificeerde onderarmgebied. Plaats het plakband dicht bij de handpalm en tik er zachtjes op om de elektrode-array op de huid te bevestigen. Zodra de elektrode-array op de huid is bevestigd, verwijdert u de transparante steunlaag.
Steek vervolgens de connectorkaart van de elektrode-array in de DAU-connectoraansluiting. Bevestig de DAU op het plakband naast de elektroden. Voer het aangepaste Python-spectrogramscript uit om de realtime signaalkwaliteit te controleren.
Let op het weergegeven venster met onbewerkte gegevens aan de linkerkant en frequentiedomeingegevens aan de rechterkant voor alle elektroden. Controleer of alle elektroden worden gedetecteerd en goed werken en of het signaal vrij is van overmatige ruis en ruis van 50 hertz. Haal indien nodig onnodige apparaten uit het stopcontact en ga uit de buurt van de elektronische apparaten om ruis te verminderen, zodat het signaal de tijd heeft om te stabiliseren.
Instrueer de deelnemer vervolgens om een elleboog op de fauteuil te plaatsen en vingers te bewegen, en vraag dan om te ontspannen. Zorg ervoor dat een duidelijk EMG-signaal wordt weergegeven, gevolgd door statische basislijnruis. Sluit het script zodra de signaalverificatie is voltooid.
Om de positie te bekijken, klikt u op schatting van de vingerhouding, gevolgd door gegevensverzameling om de map met afbeeldingen te openen. Bekijk de gebarenafbeeldingen met de deelnemer. Leg de forehandposities duidelijk uit aan de deelnemer.
Instrueer ze voor elke sessie hoe ze hun hand moeten vasthouden, zodat ze de juiste houding en positionering hebben. Vraag de deelnemer voor handpositie één om rechtop te gaan staan, op ongeveer een meter afstand van de tafel. Instrueer de deelnemer vervolgens om zijn rechterhand naar beneden te houden, recht en ontspannen, met de handpalm naar de handvolgcamera gericht.
Bevestig de handvolgcamera op de tafel met behulp van een selfiestick en richt deze op de hand van de deelnemer. Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode. Instrueer de deelnemer voor handpositie twee om comfortabel in een fauteuil te zitten, op 40 tot 70 centimeter van de monitoren.
Vraag de deelnemer vervolgens om zijn rechterhand in een hoek van 90 graden naar voren uit te strekken met de handpalm ontspannen en naar de handvolgcamera gericht. Gebruik indien nodig een hulpmiddel om de hand stabiel te houden. Plaats de handvolgcamera op de tafel met het gezicht naar boven.
Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode. Vraag de deelnemer voor handpositie drie om zijn hand omhoog te vouwen terwijl hij zijn elleboog op de fauteuil laat rusten. Zorg ervoor dat de handpalm ontspannen is en naar de handvolgcamera is gericht.
Bevestig de handvolgcamera op de tafel met het gezicht naar de hand van de deelnemer. Zorg ervoor dat de positie van de deelnemer optimaal is voor zowel het bekijken van de schermen als om zich binnen het gezichtsveld van de camera te bevinden. Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode.
Vraag de deelnemer voor handpositie vier om de vingergebaren uit te voeren terwijl u de hand vrij beweegt, waarbij u dynamische handpositie één, dynamische handpositie twee of dynamische handpositie drie kiest. Zet de computer aan, open Python en laad het script data_collection.py. Pas de positie en hoek van de handvolgcamera aan zodat deze zijn uitgelijnd met de handpositie van de deelnemer.
Voer de data_collection uit. py-schrift. Er verschijnt een venster om de gegevens van de deelnemer in te voeren.
Vul de vereiste gegevens in en druk op OK om het experiment automatisch te starten. Registreer voor elke sessie EMG- en handtrackinggegevens, die automatisch worden opgeslagen. Zorg er aan het einde van het experiment voor dat de gegevens automatisch worden opgeslagen in een map met het serienummer van de deelnemer.
Controleer of elke sessie is opgeslagen in een submap met de naam S-nummer, die vier submappen bevat voor elke handpositie die is gelabeld als P-nummer. Als een deelnemer meerdere sessies voltooit, controleert u of alle gegevens zijn opgeslagen in de bijbehorende sessiemap. Zorg ervoor dat elke map met handposities de EMG-gegevens bevat die zijn opgeslagen in een EDF-bestand, handvolggegevens die zijn opgeslagen in een CSV-bestand en een logbestand met de metagegevens over de sessie.
De EMG-kanalen vertoonden een verhoogde elektrische activiteit tijdens abductiefasen in vergelijking met rustfasen, zoals blijkt uit signalen met een hogere amplitude over alle kanalen, met mechanische artefacten gemarkeerd door scherpe pieken. Kinematische handgegevens toonden gesynchroniseerde vingerhoekveranderingen aan die overeenkomen met geïnstrueerde abductiegebaren, met stabiele signaaltrajecten tijdens onbelemmerde tracking en zichtbare afwijking in verkeerd uitgelijnde secties.
Overzicht
Deze studie presenteert een protocol voor gelijktijdige registratie van hand elektromyografie (EMG) en visuele vingertracking tijdens natuurlijke vingerbewegingen. De visuele gegevens dienen als grondwaarheid voor het ontwikkelen van nauwkeurige EMG-gebaseerde modellen voor gebarercognitie.
Belangrijkste studiecomponenten
Wetenschapsgebied
- Neurowetenschappen
- Elektromyografie
- Gebarercognitie
Achtergrond
- Dynamische handgebarercognitie is cruciaal voor toepassingen in prothetische revalidatie.
- Het toepassen van spieractiviteit op vingergebaren verbetert de mens-computer interactie.
- Bestaande methoden vertrouwen vaak op statische opstellingen, waardoor de realiteit van de gegevens beperkt wordt.
- Deze studie vult de lacune op door EMG en visuele gegevens te synchroniseren tijdens dynamische bewegingen.
Doel van de studie
- Om de nauwkeurigheid in dynamische handgebarercognitie te verbeteren.
- Om robuuste computationele modellen voor vingergebarencognitie te ontwikkelen.
- Om het toepassen van spieractiviteit over verschillende handposities mogelijk te maken.
Gebruikte methoden
- Draadloze EMG en handtrackingsystemen werden gebruikt.
- Deelnemers voerden gebaren uit in meerdere handposities.
- Aangepaste Python-scripts werden gebruikt voor gegevensverzameling en analyse.
- Real-time controle van de signaalkwaliteit werd uitgevoerd tijdens het experiment.
Belangrijkste resultaten
- Succesvolle synchronisatie van EMG en visuele gegevens werd bereikt.
- Gegevensverzameling werd voltooid voor verschillende dynamische handposities.
- De kwaliteit van EMG-gegevens werd geverifieerd en was gegarandeerd schoon van ruis.
- Gegevens werden systematisch georganiseerd voor analyse op basis van de sessies van de deelnemers.
Conclusies
- Het protocol maakt effectieve toepassing van spieractiviteit op vingergebaren mogelijk.
- De resultaten ondersteunen de ontwikkeling van nauwkeurige gebarercognitiemodellen.
- Deze aanpak vergroot het potentieel voor toepassingen in revalidatie en interactietechnologieën.
Veelgestelde vragen
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
