Dynamische vingergebaren vastleggen met oppervlakte-elektromyografie met hoge resolutie en computervisie

Ons onderzoek richt zich op het verbeteren van dynamische handgebarenherkenning met behulp van gesynchroniseerde EMG en visuele gegevens. We willen bepalen hoe nauwkeurig spieractiviteit overeenkomt met vingerbewegingen over verschillende handposities en hoe dit de toepassing in prothetische revalidatie en mens-computerinteractie kan verbeteren. Ons protocol pakt de kloof in de herkenning van handgebaren aan door het mogelijk te maken om spieractiviteit in kaart te brengen aan vingergebaren in verschillende dynamische handposities.

Onze aanpak verzamelt en synchroniseert DMG- en visuele gegevens tijdens dynamische bewegingen, waardoor de basis wordt gelegd voor de ontwikkeling van robuuste gebarenherkenningsmodellen. In tegenstelling tot traditionele methoden met statische opstellingen, maakt ons protocol gebruik van een draadloze EMGRA en het handvolgsysteem tijdens dynamische bewegingen, wat zorgt voor flexibiliteit en meer realistische gegevensverzameling voor studies naar gebarenherkenning. Open om te beginnen de GitHub-repository en volg de gedetailleerde instructies in het installatiegedeelte.

Zoek het primaire Python-bestand data_collection. PY in de map en bereid deze voor om het experiment uit te voeren. Gebruik het scriptspectrogram.

om de elektromyografie, kortom de EMG-signaalkwaliteit, en het data-analysescript voor signaalfiltering en segmentatie te beoordelen. Zorg ervoor dat de EMG-data-acquisitie-eenheid, kortweg DAU, voor elke sessie volledig is opgeladen. Schakel vervolgens de DAU in.

Verbind de DAU via Bluetooth met de pc met behulp van de speciale applicatie. Stel de Bluetooth-communicatiesnelheid in op 500 samples per seconde. Installeer en open de software voor handvolgcamera's op de pc. Sluit de handvolgcamera met een kabel aan op de pc.

Gebruik één scherm om de software van de handvolgcamera altijd weer te geven. Instrueer de deelnemer om om te beginnen zijn rechterhand tot een sterke vuist te buigen. Terwijl de deelnemer buigt, drukt u voorzichtig langs zijn onderarm om de spier te palperen en de plek met de meest prominente activering te identificeren.

Verwijder de witte beschermlaag van de EMG-elektrode-array en bevestig de elektroden voorzichtig op het geïdentificeerde onderarmgebied. Plaats het plakband dicht bij de handpalm en tik er zachtjes op om de elektrode-array op de huid te bevestigen. Zodra de elektrode-array op de huid is bevestigd, verwijdert u de transparante steunlaag.

Steek vervolgens de connectorkaart van de elektrode-array in de DAU-connectoraansluiting. Bevestig de DAU op het plakband naast de elektroden. Voer het aangepaste Python-spectrogramscript uit om de realtime signaalkwaliteit te controleren.

Let op het weergegeven venster met onbewerkte gegevens aan de linkerkant en frequentiedomeingegevens aan de rechterkant voor alle elektroden. Controleer of alle elektroden worden gedetecteerd en goed werken en of het signaal vrij is van overmatige ruis en ruis van 50 hertz. Haal indien nodig onnodige apparaten uit het stopcontact en ga uit de buurt van de elektronische apparaten om ruis te verminderen, zodat het signaal de tijd heeft om te stabiliseren.

Instrueer de deelnemer vervolgens om een elleboog op de fauteuil te plaatsen en vingers te bewegen, en vraag dan om te ontspannen. Zorg ervoor dat een duidelijk EMG-signaal wordt weergegeven, gevolgd door statische basislijnruis. Sluit het script zodra de signaalverificatie is voltooid.

Om de positie te bekijken, klikt u op schatting van de vingerhouding, gevolgd door gegevensverzameling om de map met afbeeldingen te openen. Bekijk de gebarenafbeeldingen met de deelnemer. Leg de forehandposities duidelijk uit aan de deelnemer.

Instrueer ze voor elke sessie hoe ze hun hand moeten vasthouden, zodat ze de juiste houding en positionering hebben. Vraag de deelnemer voor handpositie één om rechtop te gaan staan, op ongeveer een meter afstand van de tafel. Instrueer de deelnemer vervolgens om zijn rechterhand naar beneden te houden, recht en ontspannen, met de handpalm naar de handvolgcamera gericht.

Bevestig de handvolgcamera op de tafel met behulp van een selfiestick en richt deze op de hand van de deelnemer. Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode. Instrueer de deelnemer voor handpositie twee om comfortabel in een fauteuil te zitten, op 40 tot 70 centimeter van de monitoren.

Vraag de deelnemer vervolgens om zijn rechterhand in een hoek van 90 graden naar voren uit te strekken met de handpalm ontspannen en naar de handvolgcamera gericht. Gebruik indien nodig een hulpmiddel om de hand stabiel te houden. Plaats de handvolgcamera op de tafel met het gezicht naar boven.

Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode. Vraag de deelnemer voor handpositie drie om zijn hand omhoog te vouwen terwijl hij zijn elleboog op de fauteuil laat rusten. Zorg ervoor dat de handpalm ontspannen is en naar de handvolgcamera is gericht.

Bevestig de handvolgcamera op de tafel met het gezicht naar de hand van de deelnemer. Zorg ervoor dat de positie van de deelnemer optimaal is voor zowel het bekijken van de schermen als om zich binnen het gezichtsveld van de camera te bevinden. Zorg ervoor dat de deelnemer stevige gebaren maakt bij het begin van de pieptoon, gevolgd door een ontspannen handpalm tijdens de rustperiode.

Vraag de deelnemer voor handpositie vier om de vingergebaren uit te voeren terwijl u de hand vrij beweegt, waarbij u dynamische handpositie één, dynamische handpositie twee of dynamische handpositie drie kiest. Zet de computer aan, open Python en laad het script data_collection.py. Pas de positie en hoek van de handvolgcamera aan zodat deze zijn uitgelijnd met de handpositie van de deelnemer.

Voer de data_collection uit. py-schrift. Er verschijnt een venster om de gegevens van de deelnemer in te voeren.

Vul de vereiste gegevens in en druk op OK om het experiment automatisch te starten. Registreer voor elke sessie EMG- en handtrackinggegevens, die automatisch worden opgeslagen. Zorg er aan het einde van het experiment voor dat de gegevens automatisch worden opgeslagen in een map met het serienummer van de deelnemer.

Controleer of elke sessie is opgeslagen in een submap met de naam S-nummer, die vier submappen bevat voor elke handpositie die is gelabeld als P-nummer. Als een deelnemer meerdere sessies voltooit, controleert u of alle gegevens zijn opgeslagen in de bijbehorende sessiemap. Zorg ervoor dat elke map met handposities de EMG-gegevens bevat die zijn opgeslagen in een EDF-bestand, handvolggegevens die zijn opgeslagen in een CSV-bestand en een logbestand met de metagegevens over de sessie.

De EMG-kanalen vertoonden een verhoogde elektrische activiteit tijdens abductiefasen in vergelijking met rustfasen, zoals blijkt uit signalen met een hogere amplitude over alle kanalen, met mechanische artefacten gemarkeerd door scherpe pieken. Kinematische handgegevens toonden gesynchroniseerde vingerhoekveranderingen aan die overeenkomen met geïnstrueerde abductiegebaren, met stabiele signaaltrajecten tijdens onbelemmerde tracking en zichtbare afwijking in verkeerd uitgelijnde secties.