Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.

Methodenartikel

Leistung der motorischen Bildgebung durch verkörperte digitale Zwillinge in einer Virtual-Reality-fähigen Gehirn-Computer-Schnittstellenumgebung

2.7K Aufrufe

⸱

DOI:

10.3791/66859

⸱

10. Mai 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

In diesem Artikel

Zusammenfassung

Motorische Bilder in einer Virtual-Reality-Umgebung haben breite Anwendungen in Gehirn-Computer-Schnittstellensystemen. Dieses Manuskript beschreibt die Verwendung personalisierter digitaler Avatare, die den Teilnehmern ähneln, die Bewegungen ausführen, die sich der Teilnehmer in einer Virtual-Reality-Umgebung vorstellt, um die Immersion und das Gefühl der Körperverantwortung zu verbessern.

Zusammenfassung

Diese Studie stellt ein innovatives Framework für die neurologische Rehabilitation vor, indem sie Gehirn-Computer-Schnittstellen (BCI) und Virtual-Reality-Technologien (VR) mit der Anpassung von dreidimensionalen (3D) Avataren integriert. Traditionelle Rehabilitationsansätze können die Patienten oft nicht vollständig einbeziehen, vor allem aufgrund ihrer Unfähigkeit, ein tief immersives und interaktives Erlebnis zu bieten. Diese Forschung versucht, diese Lücke durch den Einsatz von motorischen Vorstellungstechniken (MI) zu schließen, bei denen die Teilnehmer körperliche Bewegungen ohne tatsächliche Ausführung visualisieren. Diese Methode nutzt die neuronalen Mechanismen des Gehirns und aktiviert Bereiche, die an der Bewegungsausführung beteiligt sind, wenn sie sich Bewegungen vorstellt, und erleichtert so den Erholungsprozess. Die Integration der immersiven Fähigkeiten von VR mit der Präzision der Elektroenzephalographie (EEG) zur Erfassung und Interpretation der Gehirnaktivität, die mit imaginären Bewegungen verbunden ist, bildet den Kern dieses Systems. Digitale Zwillinge in Form von personalisierten 3D-Avataren werden eingesetzt, um das Gefühl des Eintauchens in die virtuelle Umgebung deutlich zu verbessern. Dieses gesteigerte Gefühl der Verkörperung ist entscheidend für eine effektive Rehabilitation, die darauf abzielt, die Verbindung zwischen dem Patienten und seinem virtuellen Gegenüber zu stärken. Auf diese Weise zielt das System nicht nur darauf ab, die Leistung der motorischen Bilder zu verbessern, sondern auch ein ansprechenderes und effektiveres Rehabilitationserlebnis zu bieten. Durch die Echtzeitanwendung von BCI ermöglicht das System die direkte Übersetzung von imaginären Bewegungen in virtuelle Aktionen, die vom 3D-Avatar ausgeführt werden, und bietet dem Benutzer ein unmittelbares Feedback. Diese Rückkopplungsschleife ist wichtig, um die neuronalen Bahnen zu stärken, die an der motorischen Kontrolle und Erholung beteiligt sind. Das ultimative Ziel des entwickelten Systems ist es, die Effektivität von motorischen Vorstellungsübungen deutlich zu verbessern, indem sie interaktiver und reaktionsfähiger auf die kognitiven Prozesse des Benutzers gemacht werden, um damit einen neuen Weg im Bereich der neurologischen Rehabilitation zu ebnen.

Einleitung

Die Rehabilitationsparadigmen für Patienten mit neurologischen Beeinträchtigungen durchlaufen einen transformativen Wandel mit der Integration fortschrittlicher Technologien wie Gehirn-Computer-Schnittstellen (BCI) und immersiver virtueller Realität (VR), die eine nuanciertere und effektivere Methode zur Förderung der Genesung bieten. Motor Imagery (MI), die Technik, die das Herzstück der BCI-basierten Rehabilitation bildet, beinhaltet das mentale Einüben körperlicher Bewegungen ohne tatsächliche motorische Ausführung1. MI nutzt einen neuronalen Mechanismus, bei dem die Vorstellung einer Bewegung ein Muster der Gehirnaktivität auslöst, das dem der Ausführung der körperlichen Handlung selbst sehr ähnlich ist 2,3,4. Insbesondere führt die Beteiligung an MI zu einem Phänomen, das als ereigniskorrente Desynchronisation (ERD) in den Alpha- (8-13 Hz) und Beta-Frequenzbändern (13-25 Hz) der elektrischen Aktivität des Gehirns bekanntist 5,6,7. ERD ist ein Hinweis auf eine Unterdrückung der Ausgangsrhythmen des Gehirns, ein Muster, das auch während der tatsächlichen Bewegung beobachtet wird, und bietet damit ein neuronales Substrat für den Einsatz von MI im Rahmen der BCI-gestützten Rehabilitation7. Eine solche Ähnlichkeit in der kortikalen Aktivierung zwischen MI und körperlicher Bewegung deutet darauf hin, dass MI die neuronalen Netzwerke, die an der motorischen Kontrolle beteiligt sind, effektiv stimulieren kann, was es zu einem wertvollen Werkzeug für Patienten mit motorischen Defiziten macht8. Darüber hinaus wurde die Praxis der Myokardinologie über das bloße mentale Üben hinaus um Handlungsbeobachtungsstrategien erweitert9. Das Beobachten der Bewegung von aufgabenbezogenen Körperteilen oder Handlungen bei anderen kann das Spiegelneuronennetzwerk (MNN) aktivieren, eine Gruppe von Neuronen, die sowohl auf die Beobachtung als auch auf die Ausführung von Handlungen reagieren9. Es wurde gezeigt, dass die Aktivierung des MNN durch Beobachtung kortikale Plastizität induziert, wie verschiedene bildgebende Verfahren belegen, darunter funktionelle MRT10, Positronen-Emissions-Tomographie11 und transkranielle Magnetstimulation12. Die Evidenz unterstützt die Vorstellung, dass MI-Training, verstärkt durch Handlungsbeobachtung, bei betroffenen Personen zu einer signifikanten neuronalen Anpassung und Genesung führen kann.

Die Virtual-Reality-Technologie hat den Bereich der MI-basierten Rehabilitation revolutioniert, indem sie eine immersive Umgebung bietet, die das Gefühl des Körperbesitzes verstärkt und die Grenzen zwischen der realen und der virtuellen Welt verwischt 13,14,15. Die immersive Qualität von VR macht es zu einem effektiven Werkzeug für die Handlungsbeobachtung und das Üben motorischer Bilder, da es den Teilnehmern ermöglicht, die virtuelle Umgebung als realwahrzunehmen. Untersuchungen haben gezeigt, dass VR-Geräte im Vergleich zu herkömmlichen 2D-Monitoren einen ausgeprägteren Effekt auf das MI-Training haben15,16. Solche Ergebnisse werden durch eine erhöhte neuronale Aktivität belegt, wie z. B. erhöhte ERD-Amplitudenverhältnisse im sensomotorischen Kortex, was die Vorteile eines höheren Immersionsniveaus bei der Stimulierung der Gehirnaktivität während visuell geführter MI-Übungen hervorhebt16. Das System hilft bei der Verbesserung der MI-Leistung bei Aufgaben, die Arm- oder Gliedmaßenbewegungen beinhalten, indem es direktes Feedback gibt und dadurch den Rehabilitationsprozess verbessert16,17. Die Synergie zwischen MI und VR betont die Integration von sensorischen, wahrnehmungsbezogenen, kognitiven und motorischen Aktivitäten18,19. Die Kombination war besonders vorteilhaft für Schlaganfallüberlebende20, 21 und Kriegsveteranen22, da Studien gezeigt haben, dass die Integration von VR in MI-basierte Rehabilitationsprotokolle die Rehabilitationszeit erheblich verkürzen und die Genesungsergebnisse verbessern kann. Das einzigartige Merkmal von VR in der Rehabilitation liegt in seiner Fähigkeit, ein Gefühl der Präsenz in einer speziell gestalteten virtuellen Umgebung zu erzeugen und das Rehabilitationserlebnis zu verbessern, das durch die Einbeziehung virtueller Avatare, die den Körper des Benutzers repräsentieren, weiter verbessert wird, was zunehmend in Studien zur motorischen Rehabilitation verwendet wurde23. Diese Avatare bieten eine realistische dreidimensionale Darstellung der Bewegungen der Gliedmaßen, unterstützen den Myokardinfarkt und beeinflussen die Aktivierung des motorischen Kortex erheblich. Indem VR es den Teilnehmern ermöglicht, sich vorzustellen, wie sie bestimmte Aufgaben ausführen, bereichert sie nicht nur das MI-Erlebnis, sondern fördert auch einen schnelleren und effektiveren neuronalen Reorganisations- und Wiederherstellungsprozess24. Die Implementierung von virtuellen Avataren und simulierten Umgebungen in der MI-Ausbildung betont den natürlichen und integrierten Einsatz virtueller Körper innerhalb immersiver virtueller Welten.

Trotz der bemerkenswerten Vorteile der BCI-basierten Kontrolle von 3D-Avataren bei MI für die Rehabilitation bleibt eine signifikante Einschränkung bei der vorherrschenden Verwendung von Offline-Methoden. Gegenwärtig beinhalten die meisten BCI-Anwendungen die Erfassung von aufgezeichneten Elektroenzephalographie (EEG)-Daten, die anschließend zur Manipulation eines Avatars verwendet werden24,25. Selbst in Szenarien, in denen eine Echtzeit-Avatar-Steuerung erreicht wird, sind diese Avatare oft generisch und ähneln nicht den Teilnehmern, die sie repräsentieren23. Dieser generische Ansatz verpasst eine entscheidende Gelegenheit, die Immersion und das Gefühl der Eigenverantwortung für den Körper zu vertiefen, was für eine effektive Rehabilitation entscheidend ist24. Die Erstellung eines 3D-Avatars, der das exakte Abbild des Subjekts widerspiegelt, könnte die immersive Erfahrung der Erfahrung erheblich verbessern16. Indem sie sich selbst in der virtuellen Welt visualisierten, konnten die Teilnehmer eine stärkere Verbindung zwischen ihren imaginären und tatsächlichen Bewegungen fördern, was möglicherweise zu ausgeprägteren ERD-Mustern und damit zu einer effektiveren neuronalen Anpassung und Wiederherstellung führte16. Durch die Weiterentwicklung hin zur Echtzeitsteuerung personalisierter 3D-Avatare kann der Bereich BCI und VR die Rehabilitationsparadigmen erheblich verbessern und eine nuanciertere, ansprechendere und wirksamere Methode für die Genesung von Patienten bieten.

Das vorliegende Manuskript stellt die Erstellung, das Design und die technologischen Aspekte sowohl der Hard- als auch der Software der VR-basierten Echtzeit-BCI-Steuerung von 3D-Avataren vor und hebt ihre innovativen Ergebnisse hervor, die ihre Integration in motorische Rehabilitationsumgebungen unterstützen. Das vorgeschlagene System wird die Elektroenzephalographie (EEG) nutzen, um die vom Probanden erzeugten motorischen Bildsignale zu erfassen, die dann zur Steuerung der Bewegungen und Aktionen des Avatars in Echtzeit verwendet werden. Der aktuelle Ansatz wird die fortschrittlichen Fähigkeiten der VR-Technologie mit der Präzision des EEG bei der Erkennung und Interpretation von Gehirnaktivitäten im Zusammenhang mit imaginären Bewegungen kombinieren, um eine ansprechendere und effektivere Schnittstelle für Benutzer zu schaffen, die mit der Kraft ihrer Gedanken mit digitalen Umgebungen interagieren können.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Die aktuelle Studie zielt darauf ab, die Machbarkeit der Steuerung eines 3D-Avatars in Echtzeit innerhalb einer VR-Umgebung mit Hilfe von MI-Signalen zu untersuchen, die per EEG aufgezeichnet werden. Die Studie konzentriert sich auf die Verbesserung der Immersion und des Gefühls des Körperbesitzes, indem der Avatar so personalisiert wird, dass er dem Motiv sehr ähnlich ist. Das Protokoll wurde vom Vellore Institute of Technology Review Board genehmigt. Die Teilnehmer gaben eine schriftliche Einverständniserklärung ab, nachdem sie den Zweck, die Verfahren und die potenziellen Risiken der Studie überprüft hatten.

1. Versuchsaufbau

HINWEIS: Stellen Sie sicher, dass das System alle Komponenten enthält, die im Diagramm des Versuchsaufbaus in Abbildung 1 dargestellt sind (siehe Materialtabelle für die verwendeten Geräte).

  1. Entwicklung von 3D-Avataren
    1. Modellieren des Avatars
      1. Sammeln Sie am Tag vor der Datenerfassung mehrere Gesichtsfotos aus verschiedenen Blickwinkeln und genaue Körpermaße von jedem Teilnehmer.
      2. Klicken Sie auf Modellierungssoftware , um sie zu öffnen. Suchen Sie unmittelbar nach dem Öffnen den Schieberegler für Geschlecht. Passen Sie diesen Schieberegler an das Geschlecht des Modells an, das erstellt werden soll.
      3. Navigieren Sie zur Registerkarte Modellierung am oberen Bildschirmrand und klicken Sie auf die Registerkarte, um auf die Optionen zur Körperanpassung zuzugreifen.
      4. Verwenden Sie die Schieberegler unter verschiedenen Abschnitten, wie Rumpf, Arme, Beine usw., um den Körper zu modellieren. Konzentrieren Sie sich auf die folgenden Grundmaße: Größe, Brust/Brust, Taille, Hüfte, Beinlänge und Armlänge.
      5. Klicken Sie auf die Registerkarte Pose/Animate und wählen Sie das Standardskelett für grundlegende Animationen aus. Wechseln Sie oben zum Menü Dateien, wählen Sie Exportieren und dann aus. MHX2-Format für Kompatibilität mit der Animationssoftware. Stellen Sie sicher, dass Sie die Option Mit Rig exportieren auswählen, um das Skelett einzuschließen. Wählen Sie einen Zielordner aus, benennen Sie die Datei und klicken Sie auf Exportieren.
      6. Öffnen Sie die Animationssoftware. Gehen Sie zu Datei > Importieren und wählen Sie .mhx2 oder das gewünschte Format aus. Navigieren Sie zu der gespeicherten Datei, wählen Sie sie aus und importieren Sie sie in die Software.
      7. Gehen Sie zum Menü Bearbeiten, wählen Sie Einstellungen > Add-ons und stellen Sie sicher, dass das entsprechende Plugin zum Erstellen von Gesichtern aktiviert ist.
      8. Wechseln Sie im 3D-Ansichtsfenster zu der vom Plugin bereitgestellten Layout-Voreinstellung oder gehen Sie zum Plugin-Panel, das sich normalerweise im Werkzeugregal auf der linken Seite befindet.
      9. Klicken Sie im Plugin-Panel auf Neuen Kopf erstellen , um das Kopfmodell zu starten. Verwenden Sie die Schaltfläche Foto hinzufügen , um Fotos des Teilnehmers zu importieren. Verwenden Sie Front- und Seitenprofile für eine genaue Modellierung.
      10. Befolgen Sie die Anweisungen, um Punkte auf den Fotos an den entsprechenden Punkten auf dem 3D-Modell auszurichten. Das Plugin passt dann das Kopfmodell an die Eigenschaften des Teilnehmers an. Wenn Sie mit dem Abbild zufrieden sind, stellen Sie das Kopfmodell fertig.
      11. Positionieren Sie das Kopfmodell manuell so, dass es mit dem Hals des Körpermodells ausgerichtet ist. Passen Sie die Skalierung und Drehung des Kopfes für eine nahtlose Passform an.
      12. Verwenden Sie das Einrastwerkzeug (Umschalt+Tabulatortaste), um die Scheitelpunkte des Halses auf dem Kopf genau an denen am Körper auszurichten.
      13. Verbinden Sie nach dem Ausrichten den Kopf und den Körper, indem Sie beide Netze auswählen und Strg+J drücken, um sie zu einem einzigen Objekt zu verbinden.
      14. Importieren oder modellieren Sie ein Paar Bongos und positionieren Sie sie in geeigneter Höhe vor dem Modell.
    2. Animieren des Avatars
      1. Wechseln Sie für das geriggte Modell in den Pose-Modus. Wählen Sie bei Frame 1 alle Bones aus, und fügen Sie ein Keyframe ein (verwenden Sie die I-Taste), damit LocRotScale ihre Anfangspositionen aufzeichnen kann.
      2. Verschieben Sie die Zeitleiste nach vorne bis zu Bild 30, um die linke Hand so zu platzieren, dass sie auf das Bongo schlägt.
      3. Bewegen und drehen Sie den Anker der linken Hand, um das Anschlagen des Bongos zu simulieren. Fügen Sie einen Keyframe für diese Bones ein. Wiederholen Sie diesen Vorgang, um die Hand in ihre Ausgangsposition bei Bild 60 zurückzubringen, und fügen Sie ein weiteres Schlüsselbild ein, um die Aktion abzuschließen.
      4. Verschieben Sie die Zeitleiste auf Bild 90, wo die rechte Hand ihre Aktion startet. Ähnlich wie bei der linken Hand passen Sie die Position und Drehung der rechten Hand an, um das Anschlagen des anderen Bongos zu simulieren, und fügen Sie einen Keyframe ein.
      5. Bringen Sie die Hand wieder in ihre Ausgangsposition zurück und fügen Sie einen Keyframe ein, um die Bewegung bei Frame 150 zu beenden.
      6. Blättern Sie durch die Zeitachse, um die Animation zu überprüfen. Passe sie nach Bedarf an, um eine gleichmäßigere Bewegung oder ein besseres Timing zwischen den Bongo-Zügen zu erzielen. Speichern Sie die Datei.
  2. Einrichtung der Ausrüstung
    1. Montieren Sie das 16-Kanal-EEG-Datenerfassungssystem, indem Sie das Daisy-Modul mit 8 EEG-Kanälen auf der Platine mit 8 EEG-Kanälen anbringen.
    2. Verbinden Sie die Referenzelektrode über ein Y-Splitter-Kabel mit dem unteren Referenzpin auf dem Daisy Board und dem unteren Referenzpin der Platine auf der Unterseite, die beide als SRB beschriftet sind.
    3. Verbinden Sie die Masseelektrode mit dem BIAS-Stift auf der unteren Platine.
    4. Verbinden Sie die 16 EEG-Elektroden mit den unteren Platinen-Pins mit der Bezeichnung N1P-N8P und den Daisy-Bottom-Pins mit der Bezeichnung N1P-N8P.
    5. Führen Sie die Elektroden auf der gelfreien Kappe an den markierten Stellen ein, die dem internationalen 10-20-System für die Elektrodenplatzierung mit Elektroden entsprechen, die als FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 und T4 gekennzeichnet sind.
    6. 18 Schwämme, die für die EEG-Elektroden vorgesehen sind, in einer Kochsalzlösung mit 5 g Natriumchlorid in 200 mL Leitungswasser für 15 min einweichen.
    7. Führen Sie die getränkten Schwämme an der Unterseite jeder Elektrode ein, um den Kontakt zwischen der Kopfhaut und der Elektrode herzustellen.
    8. Lassen Sie die Teilnehmer bequem in einem ruhigen Raum sitzen. Setzen Sie die gelfreie EEG-Kappe auf die Kopfhaut des Teilnehmers und stellen Sie sicher, dass die Kappe richtig ausgerichtet ist, damit sie über die Ohren des Teilnehmers passt.
    9. Schließen Sie den USB-Dongle an den Laptop an. Öffnen Sie die EEG-GUI, klicken Sie auf das EEG-System, wählen Sie unter der Option Datenquelle die Option Seriell (vom Dongle), 16 Kanäle und AUTO-CONNECT.
    10. Wählen Sie im Bildschirm "Datenerfassung" das Signal-Widget aus, um die Signalqualität der angeschlossenen Elektroden zu überprüfen, indem Sie einen optimalen Impedanzpegel von <10 kΩ an jeder Elektrodenstelle26 überprüfen.
    11. Wenn die Impedanz höher als 10 kΩ ist, geben Sie einige Tropfen Kochsalzlösung in den Schwamm unter der Elektrode. Schließen Sie nach der Impedanzprüfung die GUI.
    12. Öffnen Sie die Acquisition Server Software, wählen Sie unter Treiber die entsprechende EEG-Karte aus und klicken Sie auf Connect > Play , um eine Verbindung mit dem EEG-System herzustellen.
    13. Bereiten Sie das VR-Headset vor, indem Sie es mit Tüchern desinfizieren und über der EEG-Kappe auf den Kopf des Teilnehmers legen, um eine immersive Interaktion bei der Erfassung von EEG-Daten zu ermöglichen.
  3. Aufbau des Spiels
    HINWEIS: In den folgenden Anweisungen wird die Einrichtung von zwei Spiel-Engine-Szenarien mit Open Sound Control (OSC) beschrieben: eines für das Training motorischer Bilder (Feedforward) und eines zum Testen von motorischen Bildern (Feedback). Das Feedforward-Szenario trainiert Benutzer in motorischen Bildern durch beobachtete Animationen, die durch OSC-Nachrichten ausgelöst werden. Das Feedback-Szenario testet die Wirksamkeit motorischer Bilder, indem es vom Benutzer imaginäre Bewegungen basierend auf OSC-Eingaben animiert.
    1. Öffnen Sie die Spiel-Engine-Software, und wählen Sie "Motor Imagery Training Project" aus. VR-Unterstützung aktivieren: Wechseln Sie zu > Projekteinstellungen bearbeiten > Player > XR-Einstellungen, aktivieren Sie Virtual Reality unterstützt und stellen Sie sicher, dass das VR-Headset unter Virtual Reality SDKs aufgeführt ist.
    2. Löschen Sie die Standardkamera, und ziehen Sie die VR-Kamera aus dem VR-Integrationspaket in die Szene.
    3. Platzieren Sie die importierte Animationsdatei in der Szene. Passen Sie den Maßstab und die Ausrichtung nach Bedarf an. Stellen Sie sicher, dass das OSCListener-GameObject mit vordefinierten Skripts so eingestellt ist, dass Modellanimationen für Bewegungen der linken und rechten Hand basierend auf OSC-Befehlen ausgelöst werden, wodurch die Bongo-Schlagaktion für das Training motorischer Bilder simuliert wird.
    4. Öffnen Sie Datei > Build-Einstellungen in der Spiel-Engine-Software. Wählen Sie PC, Mac und Linux Standalone als Ziel Windows aus, und klicken Sie dann auf Erstellen und ausführen.
    5. Führen Sie für das Testprojekt für motorische Bilder ähnliche Schritte wie für das Trainingsprojekt für motorische Bilder aus. Verwenden Sie das OSCListener-GameObject, das mit Skripten konfiguriert ist, die OSC-Signale empfangen, die auf die imaginären Handbewegungen des Teilnehmers hinweisen, und lösen Sie die entsprechenden Animationen für das Testprojekt aus.

figure-protocol-1
Abbildung 1: VR-BCI-Einrichtung. Das gesamte VR-BCI-Setup zeigt den Teilnehmer mit dem VR-Headset und der EEG-Kappe. Die Teilnehmer betrachteten den personalisierten 3D-Avatar in der virtuellen Umgebung und steuerten seine Aktion mithilfe von Gehirnsignalen, die drahtlos an den Computer übertragen wurden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

2. Versuchsplanung

  1. Phase der Signalverifizierung
    1. Öffnen Sie das Software-Tool, um motorische Bildszenarien zu entwerfen und auszuführen, wechseln Sie zu Datei, und laden Sie die sechs Motor-Imagery-BCI-Szenarien mit den Bezeichnungen Signal Verification, Acquisition, CSP Training, Classifier Training, Testing und Confusion Matrix.
    2. Navigieren Sie zum Szenario für die Signalverifizierung. Wenden Sie einen Bandpassfilter zwischen 1 und 40 Hz mit einer Filterordnung von 4 auf die Rohsignale an, indem Sie Designer-Boxen verwenden, um die Signalverarbeitung zu optimieren.
  2. Ausbildungsphase
    1. Leiten Sie die Teilnehmer an und leiten Sie sie an, sich motorischen Vorstellungsaufgaben zu unterziehen und sich Handbewegungen als Reaktion auf visuelle Hinweise vorzustellen.
    2. Öffnen Sie die Datei für das Training der motorischen Bilder und zeigen Sie den vorbereiteten 3D-Avatar über dem VR-Headset an, der über einem Satz Bongos steht.
    3. Navigieren Sie zum Szenario Erfassung und doppelklicken Sie auf den Graz Motor Imagery Stimulator , um die Box zu konfigurieren.
    4. Konfigurieren Sie 50, 5 s Versuche (Cue-1,25 s und MI-3,75 s) für Bewegungen der linken und rechten Hand, einschließlich einer Basisperiode von 20 s, gefolgt von Intervallen von 10 s Pause nach jeweils 10 Versuchen, um geistige Ermüdung zu vermeiden.
    5. Konfigurieren Sie die Versuche für die linke und rechte Hand so, dass sie randomisiert werden, und haben Sie vor dem Versuch einen Hinweis, der die Hand angibt, die vorgestellt werden soll.
    6. Schließen Sie eine OSC-Box mit der IP-Adresse und dem Port an, um den Hinweis für die Hand, die Sie sich vorstellen sollen, an das Engine-Programm des Motorbildtrainingsspiels zu übertragen.
    7. Weisen Sie die Teilnehmer an, sich vorzustellen, wie sie die Bewegung ihrer Hand zusammen mit dem 3D-Avatar ausführen, der dem gleichen Tempo wie der Avatar folgt, während er mit der entsprechenden Hand auf das Bongo trifft, und dabei einem Texthinweis folgen, der anzeigt, welche Hand man sich vorstellen soll.
  3. CSP- und LDA-Schulungen
    1. Führen Sie nach der Erfassung das CSP-Trainingsszenario aus, um die EEG-Daten aus der Erfassungsphase zu analysieren und Common Spatial Patterns (CSP) zu berechnen, indem Sie Filter erstellen, um zwischen linken und rechten Bilddaten zu unterscheiden.
    2. Navigieren Sie nach dem CSP-Training zum Trainingsszenario für den Klassifikator, und führen Sie es aus, um die lineare Diskriminanzanalyse (LDA) mithilfe der CSP-Filter für eine effiziente Aufgabenklassifizierung zu verwenden und das System auf die Echtzeit-Avatarsteuerung vorzubereiten.
  4. Testphase
    1. Navigieren Sie zum Testszenario, in dem die Teilnehmer ihre 3D-Avatare in Echtzeit mithilfe der Brain-Computer-Interface (BCI)-Technologie steuern können.
    2. Laden Sie die Klassifikatoren, die während des vorherigen Szenarios mit EEG-Daten trainiert wurden, in die entsprechenden Boxen, die erfasst wurden, während sich die Teilnehmer Handbewegungen vorstellten, um diese imaginierten Aktionen in Echtzeit zu interpretieren.
    3. Stellen Sie sicher, dass das EEG-System und das VR-Setup betriebsbereit und gemäß den Einstellungen der Trainingsphase korrekt konfiguriert sind.
    4. Informieren Sie die Teilnehmer über das Testverfahren und betonen Sie die Notwendigkeit, sich Handbewegungen (Bongo-Schlagen mit der linken oder rechten Hand) klar vorzustellen, die durch Texthinweise ausgelöst werden.
    5. Ähnlich wie in der Trainingsphase führen Sie für jeden Teilnehmer 20 Versuche durch, die zu gleichen Teilen auf imaginäre Bewegungen der linken und rechten Hand aufgeteilt und randomisiert sind.
    6. Schließen Sie eine OSC-Box an und konfigurieren Sie sie, um die Cue-Informationen zu übertragen, die als Text angezeigt werden sollen, der angibt, welche Hand im Spiel-Engine-Programm abgebildet werden soll.
    7. Stellen Sie eine Verbindung zu einer anderen OSC-Box her, um den vorhergesagten Wert für die Bewegungen der linken und rechten Hand zu übertragen, damit das Spiel-Engine-Programm die entsprechende Animation basierend auf der vom Teilnehmer vorgestellten Hand abspielen kann.
    8. Führen Sie das Testszenario aus. Führen Sie das Spiel-Engine-Programm Motor Imagery Testing aus.

3. Datenerhebung und -analyse

  1. Kontinuierliche Aufzeichnung von EEG-Daten und Klassifikatorausgängen während der Erfassungs- und Testphase des Experiments, wobei die Daten bei 125 Hz abgetastet werden.
  2. Navigieren Sie zum Szenario "Confusion Matrix" und laden Sie die erfasste EEG-Datei in das Feld mit der Bezeichnung "Generischer Stream-Reader" für jeden Teilnehmer und sowohl für die Akquisitions- als auch für die Trainingsphase.
  3. Führen Sie das Szenario aus, um die Konfusionsmatrix abzurufen und zu bewerten, wie genau das BCI-System motorische Bildsignale interpretiert.
  4. Sammeln Sie Feedback von Teilnehmern zu ihren Erfahrungen mit der Benutzerfreundlichkeit, den Steuerungsmöglichkeiten, dem Immersionsgrad und dem Komfort des Avatars beim Tragen der EEG-Kappe und des VR-Headsets.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Die gezeigten Ergebnisse stammen von 5 Personen, die das oben beschriebene Protokoll befolgt haben. Insgesamt nahmen 5 gesunde Erwachsene (3 Frauen) im Alter von 21 bis 38 Jahren an der Studie teil.

Die individuelle Klassifizierungsleistung für jeden Teilnehmer sowohl unter Trainings- als auch unter Testbedingungen für motorische Bilder ist in Abbildung 2 dargestellt. Eine durchschnittliche Konfusionsmatrix für alle Probanden wurde berechnet, um die Genauigkeit de...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Die Anwendung von MI in Verbindung mit der VR-Technologie bietet einen vielversprechenden Weg für die Rehabilitation, indem die natürlichen Mechanismen des Gehirns für die motorische Planung und Ausführung genutzt werden. Die Fähigkeit von MI, eine ereigniskorrelierte Desynchronisation in spezifischen Gehirnfrequenzbändern zu induzieren, die die neuronale Aktivität körperlicher Bewegung widerspiegelt 2,3,4, bietet einen robusten...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren haben keinen Interessenkonflikt offenzulegen.

Danksagungen

Die Autorinnen und Autoren bedanken sich bei allen Teilnehmenden für ihre Zeit und ihr Engagement.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
Alienware LaptopDellHigh-End-Gaming-Laptop mit GTX1070 Grafikkarte
Oculus Rift-S VR-HeadsetMetaVR-Headset
OpenBCI Cyton DaisyOpenBCIEEG-System
OpenBCI Gelfreie KappeOpenBCIGelfreie Kappe zum Platzieren der EEG-Elektroden über der Kopfhaut des Teilnehmers

Referenzen

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Tags

EEG-Akquisition3D-AvatareRehabilitation motorischer FähigkeitenCSP-TrainingEchtzeit-Avatar-Steuerungereigniskorrelierte spektrale Perturbationen
Leistung der motorischen Bildgebung durch verkörperte digitale Zwillinge in einer Virtual-Reality-fähigen Gehirn-Computer-Schnittstellenumgebung
Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.