Methodenartikel

Prestaties op het gebied van motorische beelden door middel van belichaamde digitale tweelingen in een virtual reality-enabled hersen-computerinterface-omgeving

DOI:

10.3791/66859

⸱

10 mei 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Motorische beelden in een virtual reality-omgeving hebben brede toepassingen in hersen-computerinterfacesystemen. Dit manuscript schetst het gebruik van gepersonaliseerde digitale avatars die lijken op de deelnemers die bewegingen uitvoeren die door de deelnemer zijn bedacht in een virtual reality-omgeving om de onderdompeling en het gevoel van lichaamseigendom te vergroten.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deze studie introduceert een innovatief kader voor neurologische revalidatie door hersen-computerinterfaces (BCI) en virtual reality (VR) technologieën te integreren met de aanpassing van driedimensionale (3D) avatars. Traditionele benaderingen van revalidatie slagen er vaak niet in om patiënten volledig te betrekken, voornamelijk vanwege hun onvermogen om een diep meeslepende en interactieve ervaring te bieden. Dit onderzoek probeert deze leemte op te vullen door gebruik te maken van motorische beeldvorming (MI) -technieken, waarbij deelnemers fysieke bewegingen visualiseren zonder daadwerkelijke uitvoering. Deze methode maakt gebruik van de neurale mechanismen van de hersenen en activeert gebieden die betrokken zijn bij de uitvoering van bewegingen bij het voorstellen van bewegingen, waardoor het herstelproces wordt vergemakkelijkt. De integratie van de meeslepende mogelijkheden van VR met de precisie van elektro-encefalografie (EEG) om hersenactiviteit geassocieerd met ingebeelde bewegingen vast te leggen en te interpreteren, vormt de kern van dit systeem. Digital Twins in de vorm van gepersonaliseerde 3D-avatars worden gebruikt om het gevoel van onderdompeling in de virtuele omgeving aanzienlijk te verbeteren. Dit verhoogde gevoel van belichaming is cruciaal voor effectieve revalidatie, met als doel de verbinding tussen de patiënt en zijn virtuele tegenhanger te versterken. Door dit te doen, wil het systeem niet alleen de prestaties van motorische beelden verbeteren, maar ook een boeiendere en effectievere revalidatie-ervaring bieden. Door de real-time toepassing van BCI maakt het systeem de directe vertaling van ingebeelde bewegingen naar virtuele acties mogelijk die door de 3D-avatar worden uitgevoerd, waardoor de gebruiker onmiddellijk feedback krijgt. Deze feedbacklus is essentieel voor het versterken van de neurale paden die betrokken zijn bij motorische controle en herstel. Het uiteindelijke doel van het ontwikkelde systeem is om de effectiviteit van motorische beeldoefeningen aanzienlijk te verbeteren door ze interactiever te maken en beter te laten reageren op de cognitieve processen van de gebruiker, waardoor een nieuwe weg wordt ingeslagen op het gebied van neurologische revalidatie.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Revalidatieparadigma's voor patiënten met neurologische stoornissen ondergaan een transformatieve verschuiving met de integratie van geavanceerde technologieën zoals hersen-computerinterfaces (BCI) en immersieve virtual reality (VR), die een meer genuanceerde en effectieve methode bieden om herstel te bevorderen. Motorische beeldvorming (MI), de techniek die centraal staat in BCI-gebaseerde revalidatie, omvat de mentale repetitie van fysieke bewegingen zonder daadwerkelijke motorische uitvoering1. MI maakt gebruik van een neuraal mechanisme waarbij het voorstellen van een beweging een patroon van hersenactiviteit teweegbrengt dat nauw aansluit bij dat van het uitvoeren van de fysieke actie zelf 2,3,4. In het bijzonder leidt MI tot een fenomeen dat bekend staat als gebeurtenisgerelateerde desynchronisatie (ERD) in de alfa (8-13 Hz) en bèta (13-25 Hz) frequentiebanden van de elektrische activiteit van de hersenen 5,6,7. ERD is een indicatie van een onderdrukking van de basislijnritmes van de hersenen, een patroon dat ook wordt waargenomen tijdens daadwerkelijke beweging, waardoor een neuraal substraat wordt geboden voor het gebruik van MI binnen BCI-ondersteunde revalidatiekaders7. Een dergelijke gelijkenis in corticale activering tussen MI en fysieke beweging suggereert dat MI de neurale netwerken die betrokken zijn bij motorische controle effectief kan stimuleren, waardoor het een waardevol hulpmiddel is voor patiënten met motorischetekorten. Bovendien is de praktijk van MI uitgebreid tot meer dan alleen mentale repetitie en omvat het ook actieobservatiestrategieën9. Het observeren van de beweging van taakgerelateerde lichaamsdelen of acties in anderen kan het spiegelneuronnetwerk (MNN) activeren, een groep neuronen die zowel reageren op actieobservatie als op uitvoering9. Het is aangetoond dat activering van het MNN door observatie corticale plasticiteit induceert, zoals blijkt uit verschillende neuroimaging-modaliteiten, waaronder functionele MRI10, positronemissietomografie11 en transcraniële magnetische stimulatie12. Het bewijs ondersteunt het idee dat MI-training, versterkt door actieobservatie, kan leiden tot significante neurale aanpassing en herstel bij getroffen individuen.

Virtual reality-technologie heeft een revolutie teweeggebracht op het gebied van MI-gebaseerde revalidatie door een meeslepende omgeving te bieden die het gevoel van lichaamseigendom versterkt en het onderscheid tussen de echte en virtuele werelden vervaagt 13,14,15. De meeslepende kwaliteit van VR maakt het een effectief hulpmiddel voor actieobservatie en het oefenen van motorische beelden, omdat het deelnemers in staat stelt de virtuele omgeving als echt waar te nemen15. Onderzoek heeft aangetoond dat VR-apparaten een meer uitgesproken effect hebben op MI-training in vergelijking met traditionele 2D-monitorschermen15,16. Dergelijke bevindingen worden bewezen door verbeterde neurale activiteit, zoals verhoogde ERD-amplitudeverhoudingen in de sensomotorische cortex, wat de voordelen benadrukt van hogere onderdompelingsniveaus bij het stimuleren van hersenactiviteit tijdens visueel geleide MI-oefeningen16. Het systeem helpt bij het verbeteren van de MI-prestaties voor taken met arm- of ledemaatbewegingen door directe feedback te geven, waardoor het revalidatieproces wordt verbeterd16,17. De synergie tussen MI en VR legt de nadruk op het integreren van sensorische, perceptuele, cognitieve en motorische activiteiten 18,19. De combinatie is vooral gunstig geweest voor overlevenden van een beroerte20,21 en oorlogsveteranen22, aangezien studies hebben aangetoond dat het integreren van VR in op MI gebaseerde revalidatieprotocollen de revalidatietijd aanzienlijk kan verkorten en de herstelresultaten kan verbeteren. Het unieke kenmerk van VR bij revalidatie ligt in het vermogen om een gevoel van aanwezigheid te creëren in een speciaal ontworpen virtuele omgeving, waardoor de revalidatie-ervaring wordt verbeterd die verder wordt versterkt door de opname van virtuele avatars die het lichaam van de gebruiker vertegenwoordigen, die steeds vaker worden gebruikt in motorische revalidatiestudies23. Deze avatars bieden een realistische driedimensionale weergave van de bewegingen van de ledematen, helpen bij MI en hebben een aanzienlijke invloed op de activering van de motorische cortex. Door deelnemers in staat te stellen hun virtuele zelf te visualiseren terwijl ze specifieke taken uitvoeren, verrijkt VR niet alleen de MI-ervaring, maar bevordert het ook een sneller en effectiever neuraal reorganisatie- en herstelproces24. De implementatie van virtuele avatars en gesimuleerde omgevingen in MI-training benadrukt het natuurlijke en geïntegreerde gebruik van virtuele lichamen binnen meeslepende virtuele werelden.

Ondanks de opmerkelijke voordelen van BCI-gebaseerde controle van 3D-avatars in MI voor revalidatie, blijft er een aanzienlijke beperking in het overheersende gebruik van offline methodologieën. Momenteel omvatten de meeste BCI-toepassingen het vastleggen van vooraf opgenomen elektro-encefalografie (EEG) -gegevens die vervolgens worden gebruikt om een avatar te manipuleren24,25. Zelfs in scenario's waarin real-time avatar-controle wordt bereikt, zijn deze avatars vaak generiek en lijken ze niet op de deelnemers die ze vertegenwoordigen23. Deze generieke benadering mist een cruciale kans om de onderdompeling en het gevoel van lichaamseigendom te verdiepen, wat cruciaal is voor effectieve revalidatie24. De creatie van een 3D-avatar die de exacte gelijkenis van het onderwerp weerspiegelt, kan de meeslepende ervaring van de ervaring aanzienlijk verbeteren16. Door zichzelf in de virtuele wereld te visualiseren, kunnen deelnemers een sterkere verbinding bevorderen tussen hun ingebeelde en werkelijke bewegingen, wat mogelijk leidt tot meer uitgesproken ERD-patronen en dus tot effectievere neurale aanpassing en herstel16. Door te evolueren naar real-time controle van gepersonaliseerde 3D-avatars, kan het gebied van BCI en VR de revalidatieparadigma's aanzienlijk verbeteren en een meer genuanceerde, boeiende en effectieve methode bieden voor het herstel van de patiënt.

Het huidige manuscript presenteert de creatie, het ontwerp en de technologische aspecten van zowel hardware als software van de VR-gebaseerde real-time BCI-besturing van 3D-avatars, en benadrukt de innovatieve resultaten die de integratie ervan in motorische revalidatie-instellingen ondersteunen. Het voorgestelde systeem zal elektro-encefalografie (EEG) gebruiken om motorische beeldsignalen vast te leggen die door het onderwerp worden gegenereerd, die vervolgens zullen worden gebruikt om de bewegingen en acties van de avatar in realtime te controleren. De huidige aanpak zal de geavanceerde mogelijkheden van VR-technologie combineren met de precisie van EEG bij het herkennen en interpreteren van hersenactiviteit gerelateerd aan ingebeelde bewegingen, met als doel een meer boeiende en effectieve interface te creëren voor gebruikers om te communiceren met digitale omgevingen door de kracht van hun gedachten.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De huidige studie heeft tot doel de haalbaarheid te onderzoeken van het in realtime besturen van een 3D-avatar binnen een VR-omgeving met behulp van MI-signalen die via EEG zijn opgenomen. De studie richt zich op het verbeteren van de onderdompeling en het gevoel van lichaamseigendom door de avatar te personaliseren om sterk op het onderwerp te lijken. Het protocol werd goedgekeurd door de Vellore Institute of Technology Review Board. Deelnemers gaven schriftelijke geïnformeerde toestemming na het bekijken van het doel, de procedures en de mogelijke risico's van het onderzoek.

1. Experimentele opzet

OPMERKING: Zorg ervoor dat het systeem alle componenten bevat zoals afgebeeld in het diagram van de experimentele opstelling in afbeelding 1 (zie Materiaaltabel voor de gebruikte apparatuur).

  1. 3D avatar ontwikkeling
    1. Het modelleren van de avatar
      1. Verzamel de dag voor het verzamelen van gegevens meerdere gezichtsfoto's vanuit verschillende hoeken en nauwkeurige lichaamsafmetingen van elke deelnemer.
      2. Klik op Modelleersoftware om het te openen. Zoek direct na het openen de schuifregelaar voor Geslacht. Pas deze schuifregelaar aan zodat deze overeenkomt met het geslacht van het model dat u wilt maken.
      3. Navigeer naar het tabblad Modellering bovenaan het scherm en klik op het tabblad om toegang te krijgen tot de opties voor het aanpassen van het lichaam.
      4. Gebruik de schuifregelaars onder verschillende secties, zoals romp, armen, benen, enz., om het lichaam te modelleren. Concentreer u op de volgende basismetingen: lengte, borst/buste, taille, heupen, beenlengte en armlengte.
      5. Klik op het tabblad Pose/Animate en selecteer het standaardskelet voor basisanimaties. Ga naar het menu Bestanden bovenaan, selecteer Exporteren en kies vervolgens de. MHX2-formaat voor compatibiliteit met de animatiesoftware. Zorg ervoor dat u de optie Exporteren met Rig selecteert om het skelet op te nemen. Kies een doelmap, geef het bestand een naam en klik op Exporteren.
      6. Open de animatiesoftware. Ga naar Bestand > importeren en selecteer .mhx2 of het formaat dat u kunt verwachten. Navigeer naar het opgeslagen bestand, selecteer het en importeer het in de software.
      7. Ga naar het menu Bewerken, selecteer Voorkeuren > Add-ons en zorg ervoor dat de juiste plug-in voor het bouwen van gezichten is ingeschakeld.
      8. Schakel in de 3D-viewport over naar de lay-outvoorinstelling van de plug-in of ga naar het plug-inpaneel, meestal op de gereedschapsplank aan de linkerkant.
      9. Klik op Maak een nieuw hoofd in het plug-inpaneel om het hoofdmodel te starten. Gebruik de knop Foto toevoegen om foto's van de deelnemer te importeren. Gebruik voor- en zijprofielen voor nauwkeurige modellering.
      10. Volg de aanwijzingen om punten op de foto's uit te lijnen met de overeenkomstige punten op het 3D-model. De plug-in past vervolgens het hoofdmodel aan zodat het overeenkomt met de kenmerken van de deelnemer. Als u tevreden bent met de gelijkenis, voltooit u het hoofdmodel.
      11. Plaats het hoofdmodel handmatig om uit te lijnen met de nek van het lichaamsmodel. Pas de schaal en rotatie van het hoofd aan voor een naadloze pasvorm.
      12. Gebruik het gereedschap Snap (Shift+Tab) om de hoekpunten van de nek op het hoofd precies uit te lijnen met die op het lichaam.
      13. Zodra ze zijn uitgelijnd, voegt u het hoofd en het lichaam samen door beide netten te selecteren en op Ctrl+J te drukken om ze samen te voegen tot één object.
      14. Importeer of modelleer een paar bongo's en plaats ze op een geschikte hoogte voor het model.
    2. De avatar animeren
      1. Schakel over naar de pose-modus voor het opgetuigde model. Selecteer bij frame 1 alle botten en voeg een keyframe in (gebruik de I-toets) voor LocRotScale om hun beginposities vast te leggen.
      2. Verplaats de tijdlijn naar voren naar frame 30 om de linkerhand te plaatsen om de bongo te raken.
      3. Beweeg en draai het anker van de linkerhand om het raken van de bongo te simuleren. Voeg een keyframe in voor deze botten. Herhaal dit proces om de hand terug te brengen naar de startpositie bij frame 60 en voeg een ander keyframe toe om de actie te voltooien.
      4. Verplaats de tijdlijn naar frame 90, waar de rechterhand zijn actie begint. Net als bij de linkerhand, pas je de positie en rotatie van de rechterhand aan om het raken van de andere bongo te simuleren en een keyframe in te voegen.
      5. Breng de hand terug naar de startpositie en plaats een keyframe om de beweging te beëindigen bij frame 150.
      6. Blader door de tijdlijn om de animatie te bekijken. Pas indien nodig aan voor een soepelere beweging of een betere timing tussen de bongospeles. Sla het bestand op.
  2. Installatie van apparatuur
    1. Monteer het 16-kanaals EEG-data-acquisitiesysteem door de Daisy-module met 8 EEG-kanalen bovenop het bord met 8 EEG-kanalen te bevestigen.
    2. Sluit de referentie-elektrode via een Y-splitterkabel aan op de onderste referentiepin op het Daisy Board en de onderste referentiepin van het bord in de onderkant, die beide zijn gelabeld als SRB.
    3. Sluit de aardelektrode aan op de BIAS-pin op het onderste bord.
    4. Sluit de 16 EEG-elektroden aan op de onderste bordpennen met het label N1P-N8P en de daisy bottom-pinnen met het label N1P-N8P.
    5. Plaats de elektroden op de gelvrije dop op de gelabelde locaties volgens het internationale 10-20-systeem voor het plaatsen van elektroden met elektroden gelabeld als FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 en T4.
    6. Week 18 sponzen die voor de EEG-elektroden zijn meegeleverd in een zoutoplossing met 5 g natriumchloride gemengd in 200 ml kraanwater gedurende 15 minuten.
    7. Plaats de geweekte sponzen aan de onderkant van elke elektrode om contact te maken tussen de hoofdhuid en de elektrode.
    8. Laat de deelnemers comfortabel zitten in een rustige ruimte. Plaats de gelvrije EEG-dop op de hoofdhuid van de deelnemer en zorg ervoor dat de dop correct is uitgelijnd om over de oren van de deelnemer te passen.
    9. Sluit de USB-dongle aan op de laptop. Open de EEG GUI, klik op het EEG-systeem, selecteer onder de optie Gegevensbron de optie Serieel (van dongle), 16 kanalen en AUTO-CONNECT.
    10. Selecteer in het scherm Gegevensverzameling de signaalwidget om de signaalkwaliteit van de aangesloten elektroden te controleren door een optimaal impedantieniveau van <10 kΩ op elke elektrodeplaatste verifiëren 26.
    11. Als de impedantie hoger is dan 10 kΩ, voeg dan een paar druppels zoutoplossing toe aan de spons onder de elektrode. Sluit na de impedantiecontrole de GUI.
    12. Open de Acquisition Server-software, selecteer het juiste EEG-bord onder Driver en klik op Connect > Play om een verbinding met het EEG-systeem tot stand te brengen.
    13. Bereid de VR-headset voor door deze te ontsmetten met doekjes en op het hoofd van de deelnemer over de EEG-dop te plaatsen om een meeslepende interactie te vergemakkelijken tijdens het vastleggen van EEG-gegevens.
  3. Opzet van het spel
    OPMERKING: De volgende instructies beschrijven de installatie van twee game-engine-scenario's met behulp van Open Sound Control (OSC): één voor het trainen van motorische beelden (feedforward) en één voor het testen van motorische beelden (feedback). Het feedforward-scenario traint gebruikers in motorische beelden door middel van waargenomen animaties die worden geactiveerd door OSC-berichten. Het feedbackscenario test de effectiviteit van motorische beelden door door de gebruiker bedachte bewegingen te animeren op basis van OSC-invoer.
    1. Open de software van de game-engine en selecteer Motor Imagery Training Project. VR-ondersteuning inschakelen: Ga naar > Projectinstellingen bewerken > Player > XR-instellingen, vink Virtual Reality Supported aan en zorg ervoor dat de VR-headset wordt vermeld onder virtual reality-SDK's.
    2. Verwijder de standaardcamera en sleep de VR-camera naar de scène uit het VR-integratiepakket.
    3. Plaats het geïmporteerde animatiebestand in de scène. Pas de schaal en oriëntatie indien nodig aan. Zorg ervoor dat het OSCListener GameObject met vooraf geschreven scripts is ingesteld om modelanimaties voor links- en rechtshandige bewegingen te activeren op basis van OSC-berichten, waarbij de bongo-rakende actie wordt gesimuleerd voor motorische beeldvormingstraining.
    4. Open Bestand > Build-instellingen in de game-enginesoftware. Selecteer Pc, Mac en Linux Standalone, target Windows en klik vervolgens op Bouwen en uitvoeren.
    5. Voer voor het project voor het testen van motorische beelden vergelijkbare stappen uit als voor het trainingsproject voor motorische beelden. Gebruik het OSCListener GameObject dat is geconfigureerd met scripts die zijn ontworpen om OSC-signalen te ontvangen die indicatief zijn voor de ingebeelde handbewegingen van de deelnemer, waardoor de bijbehorende animaties voor het testproject worden geactiveerd.

figure-protocol-1
Figuur 1: VR-BCI-opstelling. De gehele VR-BCI setup toont de deelnemer met de VR-headset en EEG-cap. De deelnemers bekeken de gepersonaliseerde 3D-avatar in de virtuele omgeving en bestuurden de actie ervan met behulp van hersensignalen die draadloos naar de computer werden verzonden. Klik hier om een grotere versie van deze figuur te bekijken.

2. Experimenteel ontwerp

  1. Fase van signaalverificatie
    1. Open de softwaretool om scenario's voor motorbeelden te ontwerpen en uit te voeren, ga naar Bestand en laad de zes Motor-Imagery-BCI-scenario's met het label Signaalverificatie, Acquisitie, CSP-training, Classifier Training, Testing en Confusion Matrix.
    2. Navigeer naar het scenario voor signaalverificatie. Pas een banddoorlaatfilter tussen 1 en 40 Hz met een filtervolgorde van 4 toe op de onbewerkte signalen met behulp van designervakken voor geoptimaliseerde signaalverwerking.
  2. Fase van de opleiding
    1. Begeleid en instrueer deelnemers om motorische beeldvormingstaken te ondergaan, waarbij u zich handbewegingen voorstelt als reactie op visuele signalen.
    2. Open het bestand voor motorische beeldtraining en toon de voorbereide 3D-avatar die over een set bongo's staat via de VR-headset.
    3. Navigeer naar het acquisitiescenario en dubbelklik op de Graz Motor Imagery Stimulator om het vak te configureren.
    4. Configureer proeven van 50, 5 s (cue-1.25 s en MI-3.75 s) voor zowel linkse als rechtse bewegingen, met een basislijnperiode van 20 s, gevolgd door intervallen van 10 s rust na elke 10 pogingen om mentale vermoeidheid te voorkomen.
    5. Configureer de links- en rechterhandproeven om willekeurig te worden en zorg voor een aanwijzing voor de proef die aangeeft welke hand moet worden voorgesteld.
    6. Sluit een OSC-box aan met het IP-adres en de poort om de cue voor de hand die moet worden voorgesteld door te sturen naar het game-engineprogramma voor motorische beelden.
    7. Laat de deelnemers zich voorstellen dat ze de beweging van hun hand uitvoeren, samen met de 3D-avatar, in hetzelfde tempo als de avatar terwijl deze de bongo raakt met de bijbehorende hand, volgens een tekstaanwijzing die aangeeft welke hand moet worden voorgesteld.
  3. CSP- en LDA-training
    1. Voer na de acquisitie het CSP-trainingsscenario uit om de EEG-gegevens van de acquisitiefase te analyseren en bereken Common Spatial Patterns (CSP), waarbij filters worden gemaakt om onderscheid te maken tussen linker- en rechterhandbeelden.
    2. Navigeer na de CSP-training naar het trainingsscenario van de classificatie en voer het uit om Linear Discriminant Analysis (LDA) te gebruiken met behulp van de CSP-filters voor efficiënte taakclassificatie, waardoor het systeem wordt voorbereid op real-time avatarbesturing.
  4. Testfase
    1. Navigeer naar het testscenario voor deelnemers om hun 3D-avatars in realtime te besturen met behulp van hersen-computerinterface (BCI)-technologie.
    2. Laad in de juiste vakken die de classifiers tijdens het vorige scenario hebben getraind op EEG-gegevens die zijn vastgelegd terwijl deelnemers zich handbewegingen voorstelden om deze ingebeelde acties in realtime te interpreteren.
    3. Zorg ervoor dat het EEG-systeem en de VR-opstelling operationeel zijn en correct zijn geconfigureerd volgens de instellingen van de trainingsfase.
    4. Informeer de deelnemers over de testprocedure en benadruk de noodzaak om handbewegingen (bongo slaan met de linker- of rechterhand) duidelijk voor te stellen zoals gevraagd door tekstsignalen.
    5. Net als in de trainingsfase, voert u 20 proeven uit voor elke deelnemer, gelijkelijk verdeeld over het voorstellen van bewegingen van de linker- en rechterhand en gerandomiseerd.
    6. Sluit een OSC-box aan en configureer deze om de cue-informatie te verzenden die moet worden weergegeven als tekst die aangeeft welke hand moet worden afgebeeld in het game-engineprogramma.
    7. Sluit aan op een andere OSC-box om de voorspelde waarde voor de bewegingen van de linker- en rechterhand door te geven, zodat het game-engineprogramma de bijbehorende animatie kan afspelen op basis van de hand die de deelnemer zich heeft voorgesteld.
    8. Voer het testscenario uit. Voer het programma Motor Imagery Testing game engine uit.

3. Gegevensverzameling en -analyse

  1. Registreer continu EEG-gegevens en classifier-outputs tijdens de acquisitie- en testfasen van het experiment, met gegevens die worden bemonsterd bij 125 Hz.
  2. Navigeer naar het Confusion Matrix-scenario en laad het verkregen EEG-bestand in het vak met het label Generieke streamlezer voor elke deelnemer en voor zowel de acquisitie- als de trainingsfase.
  3. Voer het scenario uit om de verwarringsmatrix te verkrijgen om te evalueren hoe nauwkeurig het BCI-systeem motorische beeldsignalen interpreteert.
  4. Verzamel feedback van deelnemers over hun ervaring met het gebruiksgemak, de bedieningsmogelijkheden, het onderdompelingsniveau en het comfort van de avatar tijdens het dragen van de EEG-pet en VR-headset.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De getoonde resultaten zijn van 5 personen die het hierboven beschreven protocol hebben gevolgd. In totaal namen 5 gezonde volwassenen (3 vrouwen) met leeftijden variërend van 21 tot 38 jaar deel aan het onderzoek.

De individuele classificatieprestaties voor elke deelnemer onder zowel motorische beeldvormingstraining als testomstandigheden worden weergegeven in figuur 2. Een gemiddelde verwarringsmatrix voor alle proefpersonen werd berekend om de nauwkeurigheid van de classifier te evalueren bij het onderscheiden van linker- en rechterMI-signalen tijdens zowel de trainings- als de testsessies (zie figuur 3).

De CSP-gewichten berekend voor linker- en rechtermotorische beelden tijdens de trainingssessie werden geprojecteerd als een topografisch patroon voor een representatieve deelnemer in figuur 4A. Bovendien werd voor dezelfde deelnemer een tijd-frequentieanalyse uitgevoerd op EEG-gegevens die waren verzameld van de C4-elektrode, die was geplaatst op het contralaterale rechter sensomotorische gebied dat overeenkomt met de linkerhand, en de C3-elektrode, die zich over het linker sensomotorische gebied voor de rechterhand bevond. De tijd-frequentiegrafieken om gebeurtenisgerelateerde spectrale verstoringen (ERSP) te identificeren, die laten zien hoe de amplitude van frequenties variërend van 8 tot 30 Hz dynamisch verandert in de tijd tijdens een tijdperk, worden weergegeven in figuur 4B onder de trainingssessie voor motorische beelden. Door zich te concentreren op de alfa- (8-12 Hz) en bèta-banden (13-30 Hz), werden ERSP's voor elk tijdperk genormaliseerd door ze te delen door hun basislijnspectra, en een gemiddelde ERSP werd berekend op basis van deze genormaliseerde waarden.

Verder was de feedback van de deelnemers overwegend positief over het comfort en gebruiksgemak van de EEG-cap en VR-bril. Deelnemers waren vooral enthousiast over de real-time besturing van hun 3D-avatars. De deelnemers waren echter van mening dat de bongo-aanval gepaard kon gaan met geluidsfeedback voor een betere onderdompeling.

figure-results-1
Figuur 2: Nauwkeurigheidspercentages voor elke deelnemer tijdens de trainings- en testsessies voor motorische beelden. Het echte positieve (TP) percentage toont het aandeel van motorische beeldvormingssignalen (MI) dat het classificatiemodel correct identificeerde als MI-signalen. Het percentage vals-positieven (FP) geeft aan hoe vaak linker MI-signalen ten onrechte werden geclassificeerd als rechter MI-signalen. Het percentage vals-negatieve (FN) onthult het aandeel van de werkelijke linker MI-signalen die het model niet heeft gedetecteerd. Ten slotte geeft het echte negatieve (TN) percentage het aandeel van de juiste MI-signalen aan dat het model nauwkeurig als zodanig herkende. S1, S2, S3, S4 en S5 staan voor de vijf deelnemers. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 3: Gemiddelde verwarringsmatrices van de classificatieprestaties tijdens trainings- en testsessies voor motorische beelden. De algehele gemiddelde nauwkeurigheid weerspiegelt het vermogen van het model om zowel linker- als rechter-MI-signalen correct te classificeren. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 4: CSP-filter-, patroon- en tijdfrequentieplots voor beide handen tijdens een trainingssessie voor motorische verbeelding voor een representatieve deelnemer. (A) De afbeelding toont CSP-filters voor S1 die maximaal onderscheid maken tussen de twee klassen (links en rechts) op basis van variantie. (B) De tijd-frequentiegrafiek voor S1. De blauwe gebieden geven de gebeurtenisgerelateerde desynchronisatie aan. Bij 0 ms werd de cue voor het voorstellen van de linker- of rechterhand weergegeven voor een duur van 1250 ms. Na de cue stelde de deelnemer zich de bongo-slaande beweging voor met de bijbehorende hand. Klik hier om een grotere versie van deze figuur te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De toepassing van MI in combinatie met VR-technologie biedt een veelbelovende weg voor revalidatie door gebruik te maken van de natuurlijke mechanismen van de hersenen voor motorische planning en uitvoering. Het vermogen van MI om gebeurtenisgerelateerde desynchronisatie te induceren in specifieke hersenfrequentiebanden, waarbij de neurale activiteit van fysieke beweging wordt gespiegeld 2,3,4, biedt een robuust kader voor het inschakelen en versterken van de neurale netwerken die betrokken zijn bij motorische controle 8. Dit proces wordt verder versterkt door de meeslepende kwaliteit van VR, die niet alleen het gevoel van aanwezigheid en lichaamseigendom versterkt, maar ook de visualisatie van bewegingen vergemakkelijkt, waardoor de MI-ervaring wordt verrijkt16.

De ontwikkeling van gepersonaliseerde 3D-avatars die sterk lijken op de onderwerpen die ze vertegenwoordigen, markeert een opmerkelijke innovatie op dit gebied 13,14,15. De aanpak is conceptueel afgestemd op het werk van Skola et al.27 aan co-adaptieve MI-BCI-training met behulp van gamified taken in een VR-omgeving. Dit protocol introduceert echter een significante differentiatie door gebruik te maken van een volledige 3D-avatar, die het uiterlijk van de deelnemer nauw weerspiegelt, in tegenstelling tot het point-of-view-perspectief gericht op handen dat wordt gebruikt door Skola et al. Door een visuele weergave te geven van de ingebeelde bewegingen van de gebruiker in realtime, verdiepen deze avatars de onderdompeling en versterken ze de verbinding tussen ingebeelde en werkelijke bewegingen18. De aanpak die in dit manuscript wordt beschreven, zal naar verwachting meer uitgesproken ERD-patronen bevorderen, wat leidt tot effectievere neurale aanpassing en herstel.

De overgang van offline BCI-methodologieën naar real-time besturing van avatars brengt echter uitdagingen met zich mee, met name bij het waarborgen van de nauwkeurigheid en het reactievermogen van het systeem op de ingebeelde bewegingen van de gebruiker. Het systeem zorgt voor real-time computing door middel van een opstelling waarbij het EEG-data-acquisitiesysteem is aangesloten op een laptop, die vervolgens communiceert met een Oculus Rift-S VR-headset. Deze opstelling zorgt voor de naadloze integratie van EEG-gegevensvastlegging met VR-onderdompeling, gefaciliteerd door de Acquisition Server en Game Engine voor visuele feedback en interactie via een op maat ontwikkelde 3D-avatar.

De algehele latentie van het systeem kan efficiënt worden geminimaliseerd in een BCI-VR-integratiescenario door gebruik te maken van een gaming-laptop die is uitgerust met een hoogwaardige grafische kaart en lichtgewicht berichten via OSC te gebruiken voor aanwijzingen en handvoorspellingswaarden. Het gebruik van een gaming-laptop zorgt voor een snelle verwerking van EEG-gegevens die via de EEG-kaart zijn verkregen, waarbij de initiële digitalisering en transmissielatentie ruim onder de 5 ms worden gehouden. Verwacht kan worden dat de daaropvolgende signaalverwerking en -classificatie een extra latentie van ongeveer 20-40 ms zal bijdragen, waarbij rekening wordt gehouden met zowel signaalfiltering als de uitvoering van algoritmen zoals CSP voor functie-extractie. De communicatie tussen de scenario-ontwerper en de game-engine, gefaciliteerd door OSC, dat eenvoudige numerieke aanwijzingen voor links- en rechtshandige bewegingen verzendt, is ontworpen voor minimale overhead, wat waarschijnlijk niet meer dan 5-10 ms latentie toevoegt. De verwerking van deze commando's door de game-engine zou, dankzij de rekenefficiëntie van de grafische kaart, snel zijn en nog eens minder dan 10 ms vertraging opleveren voordat de visuele feedback wordt weergegeven in de VR-omgeving van de VR-headset, die tot doel heeft de latentie onder de 20 ms te houden. Gezamenlijk werken deze componenten samen om de totale latentie van het systeem binnen een wenselijk bereik van 45-75 ms te houden, wat zorgt voor real-time responsiviteit die cruciaal is voor meeslepende VR-ervaringen en effectieve BCI-toepassingen.

Bovendien kregen de deelnemers voldoende oefenproeven als een vorm van zelfstudiemodule om vertrouwd te raken met de VR-opstelling en het tempo van de avatar tijdens de trainingsfase en hun gedachten te gebruiken om de 3D-avatar in de testfase te besturen. De nadruk op verificatie van de signaalkwaliteit, het gebruik van CSP en LDA voor taakclassificatie en de gedetailleerde testfase zijn van cruciaal belang voor het succes van real-time avatarbesturing.

De resultaten van deze studie zullen naar verwachting bijdragen aan het veld door de haalbaarheid en effectiviteit aan te tonen van het gebruik van real-time BCI-controle van gepersonaliseerde 3D-avatars voor revalidatie. Door de nauwkeurigheid van de detectie van motorische intentie te vergelijken tussen de trainingsfase voor motorische beelden en de real-time tests, zal de studie waardevolle inzichten opleveren in het potentieel van deze technologie om de revalidatieresultaten te verbeteren. Bovendien zal de feedback van de deelnemers over het bedieningsgemak en het ervaren niveau van onderdompeling toekomstige ontwikkelingen in BCI- en VR-technologieën informeren, met als doel meer boeiende en effectieve revalidatie-interfaces te creëren.

Vooruitgang in BCI- en VR-technologieën opent nieuwe mogelijkheden voor revalidatieprotocollen die persoonlijker, boeiender en effectiever zijn. Toekomstig onderzoek moet zich richten op het verfijnen van de technologie voor real-time controle van avatars, het verkennen van het gebruik van meer geavanceerde machine learning-algoritmen voor signaalclassificatie en het uitbreiden van de toepassing van deze benadering op een breder scala aan neurologische aandoeningen. Daarnaast zijn longitudinale studies nodig om de langetermijnimpact van deze revalidatiemethode op functioneel herstel en kwaliteit van leven voor personen met neurologische stoornissen te beoordelen.

Hoewel de integratie van MI met VR-technologie in revalidatie veelbelovend is, verdienen verschillende beperkingen aandacht. Er is een aanzienlijk bereik in het vermogen van individuen om duidelijke MI-signalen te genereren en hun neurale reacties op MI- en VR-interventies. Deze variabiliteit betekent dat de effectiviteit van het revalidatieproces sterk kan verschillen tussen patiënten, waardoor het een aanzienlijke uitdaging is om de therapie aan individuele verschillen te personaliseren. Bovendien is het bereiken van een hoge nauwkeurigheid en reactievermogen bij de real-time besturing van avatars een complexe onderneming. Vertragingen of fouten bij het interpreteren van MI-signalen kunnen de meeslepende ervaring onderbreken, waardoor de effectiviteit van het revalidatieproces mogelijk wordt verminderd. Hoewel VR-technologie de onderdompeling en betrokkenheid kan verbeteren, kan het voor sommige gebruikers ook leiden tot ongemak of bewegingsziekte, waardoor hun vermogen om deel te nemen aan lange sessies en bijgevolg het algehele succes van de therapie wordt beïnvloed.

Concluderend vertegenwoordigt de integratie van BCI en VR, geïllustreerd door de real-time controle van gepersonaliseerde 3D-avatars met behulp van MI-signalen, een geavanceerde benadering van neurologische revalidatie. Het huidige protocol onderstreept niet alleen de technische haalbaarheid van een dergelijke integratie, maar zet ook de toon voor een nieuw tijdperk van revalidatie waarin technologie en neurowetenschappen samenkomen om het volledige potentieel van het vermogen van het menselijk brein voor herstel en aanpassing te ontsluiten.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben geen belangenconflict bekend te maken.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs willen alle deelnemers bedanken voor hun tijd en betrokkenheid.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Alienware LaptopDellHigh-end gaming laptop met GTX1070 grafische kaart
Oculus Rift-S VR-headsetMetaVR-headset
OpenBCI Cyton DaisyOpenBCIEEG-systeem
OpenBCI Gel-vrije dopOpenBCIGel-vrije dop voor het plaatsen van de EEG-elektroden over de hoofdhuid van de deelnemer

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

EEG acquisitie3D avatarsrehabilitatie van motorische vaardighedenCSP trainingreal time avatar besturingevent gerelateerde spectrale perturbaties

Gerelateerde artikelen