Leistung der motorischen Bildgebung durch verkörperte digitale Zwillinge in einer Virtual-Reality-fähigen Gehirn-Computer-Schnittstellenumgebung

Summary

Motorische Bilder in einer Virtual-Reality-Umgebung haben breite Anwendungen in Gehirn-Computer-Schnittstellensystemen. Dieses Manuskript beschreibt die Verwendung personalisierter digitaler Avatare, die den Teilnehmern ähneln, die Bewegungen ausführen, die sich der Teilnehmer in einer Virtual-Reality-Umgebung vorstellt, um die Immersion und das Gefühl der Körperverantwortung zu verbessern.

Abstract

Diese Studie stellt ein innovatives Framework für die neurologische Rehabilitation vor, indem sie Gehirn-Computer-Schnittstellen (BCI) und Virtual-Reality-Technologien (VR) mit der Anpassung von dreidimensionalen (3D) Avataren integriert. Traditionelle Rehabilitationsansätze können die Patienten oft nicht vollständig einbeziehen, vor allem aufgrund ihrer Unfähigkeit, ein tief immersives und interaktives Erlebnis zu bieten. Diese Forschung versucht, diese Lücke durch den Einsatz von motorischen Vorstellungstechniken (MI) zu schließen, bei denen die Teilnehmer körperliche Bewegungen ohne tatsächliche Ausführung visualisieren. Diese Methode nutzt die neuronalen Mechanismen des Gehirns und aktiviert Bereiche, die an der Bewegungsausführung beteiligt sind, wenn sie sich Bewegungen vorstellt, und erleichtert so den Erholungsprozess. Die Integration der immersiven Fähigkeiten von VR mit der Präzision der Elektroenzephalographie (EEG) zur Erfassung und Interpretation der Gehirnaktivität, die mit imaginären Bewegungen verbunden ist, bildet den Kern dieses Systems. Digitale Zwillinge in Form von personalisierten 3D-Avataren werden eingesetzt, um das Gefühl des Eintauchens in die virtuelle Umgebung deutlich zu verbessern. Dieses gesteigerte Gefühl der Verkörperung ist entscheidend für eine effektive Rehabilitation, die darauf abzielt, die Verbindung zwischen dem Patienten und seinem virtuellen Gegenüber zu stärken. Auf diese Weise zielt das System nicht nur darauf ab, die Leistung der motorischen Bilder zu verbessern, sondern auch ein ansprechenderes und effektiveres Rehabilitationserlebnis zu bieten. Durch die Echtzeitanwendung von BCI ermöglicht das System die direkte Übersetzung von imaginären Bewegungen in virtuelle Aktionen, die vom 3D-Avatar ausgeführt werden, und bietet dem Benutzer ein unmittelbares Feedback. Diese Rückkopplungsschleife ist wichtig, um die neuronalen Bahnen zu stärken, die an der motorischen Kontrolle und Erholung beteiligt sind. Das ultimative Ziel des entwickelten Systems ist es, die Effektivität von motorischen Vorstellungsübungen deutlich zu verbessern, indem sie interaktiver und reaktionsfähiger auf die kognitiven Prozesse des Benutzers gemacht werden, um damit einen neuen Weg im Bereich der neurologischen Rehabilitation zu ebnen.

Introduction

Die Rehabilitationsparadigmen für Patienten mit neurologischen Beeinträchtigungen durchlaufen einen transformativen Wandel mit der Integration fortschrittlicher Technologien wie Gehirn-Computer-Schnittstellen (BCI) und immersiver virtueller Realität (VR), die eine nuanciertere und effektivere Methode zur Förderung der Genesung bieten. Motor Imagery (MI), die Technik, die das Herzstück der BCI-basierten Rehabilitation bildet, beinhaltet das mentale Einüben körperlicher Bewegungen ohne tatsächliche motorische Ausführung¹. MI nutzt einen neuronalen Mechanismus, bei dem die Vorstellung einer Bewegung ein Muster der Gehirnaktivität auslöst, das dem der Ausführung der körperlichen Handlung selbst sehr ähnlich ist ^2,3,4. Insbesondere führt die Beteiligung an MI zu einem Phänomen, das als ereigniskorrente Desynchronisation (ERD) in den Alpha- (8-13 Hz) und Beta-Frequenzbändern (13-25 Hz) der elektrischen Aktivität des Gehirns bekannt^{ist 5,6,7}. ERD ist ein Hinweis auf eine Unterdrückung der Ausgangsrhythmen des Gehirns, ein Muster, das auch während der tatsächlichen Bewegung beobachtet wird, und bietet damit ein neuronales Substrat für den Einsatz von MI im Rahmen der BCI-gestützten Rehabilitation⁷. Eine solche Ähnlichkeit in der kortikalen Aktivierung zwischen MI und körperlicher Bewegung deutet darauf hin, dass MI die neuronalen Netzwerke, die an der motorischen Kontrolle beteiligt sind, effektiv stimulieren kann, was es zu einem wertvollen Werkzeug für Patienten mit motorischen Defiziten macht⁸. Darüber hinaus wurde die Praxis der Myokardinologie über das bloße mentale Üben hinaus um Handlungsbeobachtungsstrategien erweitert⁹. Das Beobachten der Bewegung von aufgabenbezogenen Körperteilen oder Handlungen bei anderen kann das Spiegelneuronennetzwerk (MNN) aktivieren, eine Gruppe von Neuronen, die sowohl auf die Beobachtung als auch auf die Ausführung von Handlungen reagieren⁹. Es wurde gezeigt, dass die Aktivierung des MNN durch Beobachtung kortikale Plastizität induziert, wie verschiedene bildgebende Verfahren belegen, darunter funktionelle MRT¹⁰, Positronen-Emissions-Tomographie¹¹ und transkranielle Magnetstimulation¹². Die Evidenz unterstützt die Vorstellung, dass MI-Training, verstärkt durch Handlungsbeobachtung, bei betroffenen Personen zu einer signifikanten neuronalen Anpassung und Genesung führen kann.

Die Virtual-Reality-Technologie hat den Bereich der MI-basierten Rehabilitation revolutioniert, indem sie eine immersive Umgebung bietet, die das Gefühl des Körperbesitzes verstärkt und die Grenzen zwischen der realen und der virtuellen Welt verwischt 13,14,15. Die immersive Qualität von VR macht es zu einem effektiven Werkzeug für die Handlungsbeobachtung und das Üben motorischer Bilder, da es den Teilnehmern ermöglicht, die virtuelle Umgebung als real^wahrzunehmen. Untersuchungen haben gezeigt, dass VR-Geräte im Vergleich zu herkömmlichen 2D-Monitoren einen ausgeprägteren Effekt auf das MI-Training haben^15,16. Solche Ergebnisse werden durch eine erhöhte neuronale Aktivität belegt, wie z. B. erhöhte ERD-Amplitudenverhältnisse im sensomotorischen Kortex, was die Vorteile eines höheren Immersionsniveaus bei der Stimulierung der Gehirnaktivität während visuell geführter MI-Übungen hervorhebt¹⁶. Das System hilft bei der Verbesserung der MI-Leistung bei Aufgaben, die Arm- oder Gliedmaßenbewegungen beinhalten, indem es direktes Feedback gibt und dadurch den Rehabilitationsprozess verbessert^16,17. Die Synergie zwischen MI und VR betont die Integration von sensorischen, wahrnehmungsbezogenen, kognitiven und motorischen Aktivitäten^18,19. Die Kombination war besonders vorteilhaft für Schlaganfallüberlebende^{20, 21} und Kriegsveteranen²², da Studien gezeigt haben, dass die Integration von VR in MI-basierte Rehabilitationsprotokolle die Rehabilitationszeit erheblich verkürzen und die Genesungsergebnisse verbessern kann. Das einzigartige Merkmal von VR in der Rehabilitation liegt in seiner Fähigkeit, ein Gefühl der Präsenz in einer speziell gestalteten virtuellen Umgebung zu erzeugen und das Rehabilitationserlebnis zu verbessern, das durch die Einbeziehung virtueller Avatare, die den Körper des Benutzers repräsentieren, weiter verbessert wird, was zunehmend in Studien zur motorischen Rehabilitation verwendet wurde²³. Diese Avatare bieten eine realistische dreidimensionale Darstellung der Bewegungen der Gliedmaßen, unterstützen den Myokardinfarkt und beeinflussen die Aktivierung des motorischen Kortex erheblich. Indem VR es den Teilnehmern ermöglicht, sich vorzustellen, wie sie bestimmte Aufgaben ausführen, bereichert sie nicht nur das MI-Erlebnis, sondern fördert auch einen schnelleren und effektiveren neuronalen Reorganisations- und Wiederherstellungsprozess²⁴. Die Implementierung von virtuellen Avataren und simulierten Umgebungen in der MI-Ausbildung betont den natürlichen und integrierten Einsatz virtueller Körper innerhalb immersiver virtueller Welten.

Trotz der bemerkenswerten Vorteile der BCI-basierten Kontrolle von 3D-Avataren bei MI für die Rehabilitation bleibt eine signifikante Einschränkung bei der vorherrschenden Verwendung von Offline-Methoden. Gegenwärtig beinhalten die meisten BCI-Anwendungen die Erfassung von aufgezeichneten Elektroenzephalographie (EEG)-Daten, die anschließend zur Manipulation eines Avatars verwendet werden^24,25. Selbst in Szenarien, in denen eine Echtzeit-Avatar-Steuerung erreicht wird, sind diese Avatare oft generisch und ähneln nicht den Teilnehmern, die sie repräsentieren²³. Dieser generische Ansatz verpasst eine entscheidende Gelegenheit, die Immersion und das Gefühl der Eigenverantwortung für den Körper zu vertiefen, was für eine effektive Rehabilitation entscheidend ist²⁴. Die Erstellung eines 3D-Avatars, der das exakte Abbild des Subjekts widerspiegelt, könnte die immersive Erfahrung der Erfahrung erheblich verbessern¹⁶. Indem sie sich selbst in der virtuellen Welt visualisierten, konnten die Teilnehmer eine stärkere Verbindung zwischen ihren imaginären und tatsächlichen Bewegungen fördern, was möglicherweise zu ausgeprägteren ERD-Mustern und damit zu einer effektiveren neuronalen Anpassung und Wiederherstellung führte¹⁶. Durch die Weiterentwicklung hin zur Echtzeitsteuerung personalisierter 3D-Avatare kann der Bereich BCI und VR die Rehabilitationsparadigmen erheblich verbessern und eine nuanciertere, ansprechendere und wirksamere Methode für die Genesung von Patienten bieten.

Das vorliegende Manuskript stellt die Erstellung, das Design und die technologischen Aspekte sowohl der Hard- als auch der Software der VR-basierten Echtzeit-BCI-Steuerung von 3D-Avataren vor und hebt ihre innovativen Ergebnisse hervor, die ihre Integration in motorische Rehabilitationsumgebungen unterstützen. Das vorgeschlagene System wird die Elektroenzephalographie (EEG) nutzen, um die vom Probanden erzeugten motorischen Bildsignale zu erfassen, die dann zur Steuerung der Bewegungen und Aktionen des Avatars in Echtzeit verwendet werden. Der aktuelle Ansatz wird die fortschrittlichen Fähigkeiten der VR-Technologie mit der Präzision des EEG bei der Erkennung und Interpretation von Gehirnaktivitäten im Zusammenhang mit imaginären Bewegungen kombinieren, um eine ansprechendere und effektivere Schnittstelle für Benutzer zu schaffen, die mit der Kraft ihrer Gedanken mit digitalen Umgebungen interagieren können.

Protocol

Die aktuelle Studie zielt darauf ab, die Machbarkeit der Steuerung eines 3D-Avatars in Echtzeit innerhalb einer VR-Umgebung mit Hilfe von MI-Signalen zu untersuchen, die per EEG aufgezeichnet werden. Die Studie konzentriert sich auf die Verbesserung der Immersion und des Gefühls des Körperbesitzes, indem der Avatar so personalisiert wird, dass er dem Motiv sehr ähnlich ist. Das Protokoll wurde vom Vellore Institute of Technology Review Board genehmigt. Die Teilnehmer gaben eine schriftliche Einverständniserklärung ab, nachdem sie den Zweck, die Verfahren und die potenziellen Risiken der Studie überprüft hatten.

1. Versuchsaufbau

HINWEIS: Stellen Sie sicher, dass das System alle Komponenten enthält, die im Diagramm des Versuchsaufbaus in Abbildung 1 dargestellt sind (siehe Materialtabelle für die verwendeten Geräte).

1. Entwicklung von 3D-Avataren
   1. Modellieren des Avatars
      1. Sammeln Sie am Tag vor der Datenerfassung mehrere Gesichtsfotos aus verschiedenen Blickwinkeln und genaue Körpermaße von jedem Teilnehmer.
      2. Klicken Sie auf Modellierungssoftware , um sie zu öffnen. Suchen Sie unmittelbar nach dem Öffnen den Schieberegler für Geschlecht. Passen Sie diesen Schieberegler an das Geschlecht des Modells an, das erstellt werden soll.
      3. Navigieren Sie zur Registerkarte Modellierung am oberen Bildschirmrand und klicken Sie auf die Registerkarte, um auf die Optionen zur Körperanpassung zuzugreifen.
      4. Verwenden Sie die Schieberegler unter verschiedenen Abschnitten, wie Rumpf, Arme, Beine usw., um den Körper zu modellieren. Konzentrieren Sie sich auf die folgenden Grundmaße: Größe, Brust/Brust, Taille, Hüfte, Beinlänge und Armlänge.
      5. Klicken Sie auf die Registerkarte Pose/Animate und wählen Sie das Standardskelett für grundlegende Animationen aus. Wechseln Sie oben zum Menü Dateien, wählen Sie Exportieren und dann aus. MHX2-Format für Kompatibilität mit der Animationssoftware. Stellen Sie sicher, dass Sie die Option Mit Rig exportieren auswählen, um das Skelett einzuschließen. Wählen Sie einen Zielordner aus, benennen Sie die Datei und klicken Sie auf Exportieren.
      6. Öffnen Sie die Animationssoftware. Gehen Sie zu Datei > Importieren und wählen Sie .mhx2 oder das gewünschte Format aus. Navigieren Sie zu der gespeicherten Datei, wählen Sie sie aus und importieren Sie sie in die Software.
      7. Gehen Sie zum Menü Bearbeiten, wählen Sie Einstellungen > Add-ons und stellen Sie sicher, dass das entsprechende Plugin zum Erstellen von Gesichtern aktiviert ist.
      8. Wechseln Sie im 3D-Ansichtsfenster zu der vom Plugin bereitgestellten Layout-Voreinstellung oder gehen Sie zum Plugin-Panel, das sich normalerweise im Werkzeugregal auf der linken Seite befindet.
      9. Klicken Sie im Plugin-Panel auf Neuen Kopf erstellen , um das Kopfmodell zu starten. Verwenden Sie die Schaltfläche Foto hinzufügen , um Fotos des Teilnehmers zu importieren. Verwenden Sie Front- und Seitenprofile für eine genaue Modellierung.
      10. Befolgen Sie die Anweisungen, um Punkte auf den Fotos an den entsprechenden Punkten auf dem 3D-Modell auszurichten. Das Plugin passt dann das Kopfmodell an die Eigenschaften des Teilnehmers an. Wenn Sie mit dem Abbild zufrieden sind, stellen Sie das Kopfmodell fertig.
      11. Positionieren Sie das Kopfmodell manuell so, dass es mit dem Hals des Körpermodells ausgerichtet ist. Passen Sie die Skalierung und Drehung des Kopfes für eine nahtlose Passform an.
      12. Verwenden Sie das Einrastwerkzeug (Umschalt+Tabulatortaste), um die Scheitelpunkte des Halses auf dem Kopf genau an denen am Körper auszurichten.
      13. Verbinden Sie nach dem Ausrichten den Kopf und den Körper, indem Sie beide Netze auswählen und Strg+J drücken, um sie zu einem einzigen Objekt zu verbinden.
      14. Importieren oder modellieren Sie ein Paar Bongos und positionieren Sie sie in geeigneter Höhe vor dem Modell.
   2. Animieren des Avatars
      1. Wechseln Sie für das geriggte Modell in den Pose-Modus. Wählen Sie bei Frame 1 alle Bones aus, und fügen Sie ein Keyframe ein (verwenden Sie die I-Taste), damit LocRotScale ihre Anfangspositionen aufzeichnen kann.
      2. Verschieben Sie die Zeitleiste nach vorne bis zu Bild 30, um die linke Hand so zu platzieren, dass sie auf das Bongo schlägt.
      3. Bewegen und drehen Sie den Anker der linken Hand, um das Anschlagen des Bongos zu simulieren. Fügen Sie einen Keyframe für diese Bones ein. Wiederholen Sie diesen Vorgang, um die Hand in ihre Ausgangsposition bei Bild 60 zurückzubringen, und fügen Sie ein weiteres Schlüsselbild ein, um die Aktion abzuschließen.
      4. Verschieben Sie die Zeitleiste auf Bild 90, wo die rechte Hand ihre Aktion startet. Ähnlich wie bei der linken Hand passen Sie die Position und Drehung der rechten Hand an, um das Anschlagen des anderen Bongos zu simulieren, und fügen Sie einen Keyframe ein.
      5. Bringen Sie die Hand wieder in ihre Ausgangsposition zurück und fügen Sie einen Keyframe ein, um die Bewegung bei Frame 150 zu beenden.
      6. Blättern Sie durch die Zeitachse, um die Animation zu überprüfen. Passe sie nach Bedarf an, um eine gleichmäßigere Bewegung oder ein besseres Timing zwischen den Bongo-Zügen zu erzielen. Speichern Sie die Datei.
2. Einrichtung der Ausrüstung
   1. Montieren Sie das 16-Kanal-EEG-Datenerfassungssystem, indem Sie das Daisy-Modul mit 8 EEG-Kanälen auf der Platine mit 8 EEG-Kanälen anbringen.
   2. Verbinden Sie die Referenzelektrode über ein Y-Splitter-Kabel mit dem unteren Referenzpin auf dem Daisy Board und dem unteren Referenzpin der Platine auf der Unterseite, die beide als SRB beschriftet sind.
   3. Verbinden Sie die Masseelektrode mit dem BIAS-Stift auf der unteren Platine.
   4. Verbinden Sie die 16 EEG-Elektroden mit den unteren Platinen-Pins mit der Bezeichnung N1P-N8P und den Daisy-Bottom-Pins mit der Bezeichnung N1P-N8P.
   5. Führen Sie die Elektroden auf der gelfreien Kappe an den markierten Stellen ein, die dem internationalen 10-20-System für die Elektrodenplatzierung mit Elektroden entsprechen, die als FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 und T4 gekennzeichnet sind.
   6. 18 Schwämme, die für die EEG-Elektroden vorgesehen sind, in einer Kochsalzlösung mit 5 g Natriumchlorid in 200 mL Leitungswasser für 15 min einweichen.
   7. Führen Sie die getränkten Schwämme an der Unterseite jeder Elektrode ein, um den Kontakt zwischen der Kopfhaut und der Elektrode herzustellen.
   8. Lassen Sie die Teilnehmer bequem in einem ruhigen Raum sitzen. Setzen Sie die gelfreie EEG-Kappe auf die Kopfhaut des Teilnehmers und stellen Sie sicher, dass die Kappe richtig ausgerichtet ist, damit sie über die Ohren des Teilnehmers passt.
   9. Schließen Sie den USB-Dongle an den Laptop an. Öffnen Sie die EEG-GUI, klicken Sie auf das EEG-System, wählen Sie unter der Option Datenquelle die Option Seriell (vom Dongle), 16 Kanäle und AUTO-CONNECT.
   10. Wählen Sie im Bildschirm "Datenerfassung" das Signal-Widget aus, um die Signalqualität der angeschlossenen Elektroden zu überprüfen, indem Sie einen optimalen Impedanzpegel von <10 kΩ an jeder Elektrodenstelle²⁶ überprüfen.
   11. Wenn die Impedanz höher als 10 kΩ ist, geben Sie einige Tropfen Kochsalzlösung in den Schwamm unter der Elektrode. Schließen Sie nach der Impedanzprüfung die GUI.
   12. Öffnen Sie die Acquisition Server Software, wählen Sie unter Treiber die entsprechende EEG-Karte aus und klicken Sie auf Connect > Play , um eine Verbindung mit dem EEG-System herzustellen.
   13. Bereiten Sie das VR-Headset vor, indem Sie es mit Tüchern desinfizieren und über der EEG-Kappe auf den Kopf des Teilnehmers legen, um eine immersive Interaktion bei der Erfassung von EEG-Daten zu ermöglichen.
3. Aufbau des Spiels
   HINWEIS: In den folgenden Anweisungen wird die Einrichtung von zwei Spiel-Engine-Szenarien mit Open Sound Control (OSC) beschrieben: eines für das Training motorischer Bilder (Feedforward) und eines zum Testen von motorischen Bildern (Feedback). Das Feedforward-Szenario trainiert Benutzer in motorischen Bildern durch beobachtete Animationen, die durch OSC-Nachrichten ausgelöst werden. Das Feedback-Szenario testet die Wirksamkeit motorischer Bilder, indem es vom Benutzer imaginäre Bewegungen basierend auf OSC-Eingaben animiert.
   1. Öffnen Sie die Spiel-Engine-Software, und wählen Sie "Motor Imagery Training Project" aus. VR-Unterstützung aktivieren: Wechseln Sie zu > Projekteinstellungen bearbeiten > Player > XR-Einstellungen, aktivieren Sie Virtual Reality unterstützt und stellen Sie sicher, dass das VR-Headset unter Virtual Reality SDKs aufgeführt ist.
   2. Löschen Sie die Standardkamera, und ziehen Sie die VR-Kamera aus dem VR-Integrationspaket in die Szene.
   3. Platzieren Sie die importierte Animationsdatei in der Szene. Passen Sie den Maßstab und die Ausrichtung nach Bedarf an. Stellen Sie sicher, dass das OSCListener-GameObject mit vordefinierten Skripts so eingestellt ist, dass Modellanimationen für Bewegungen der linken und rechten Hand basierend auf OSC-Befehlen ausgelöst werden, wodurch die Bongo-Schlagaktion für das Training motorischer Bilder simuliert wird.
   4. Öffnen Sie Datei > Build-Einstellungen in der Spiel-Engine-Software. Wählen Sie PC, Mac und Linux Standalone als Ziel Windows aus, und klicken Sie dann auf Erstellen und ausführen.
   5. Führen Sie für das Testprojekt für motorische Bilder ähnliche Schritte wie für das Trainingsprojekt für motorische Bilder aus. Verwenden Sie das OSCListener-GameObject, das mit Skripten konfiguriert ist, die OSC-Signale empfangen, die auf die imaginären Handbewegungen des Teilnehmers hinweisen, und lösen Sie die entsprechenden Animationen für das Testprojekt aus.

Abbildung 1: VR-BCI-Einrichtung. Das gesamte VR-BCI-Setup zeigt den Teilnehmer mit dem VR-Headset und der EEG-Kappe. Die Teilnehmer betrachteten den personalisierten 3D-Avatar in der virtuellen Umgebung und steuerten seine Aktion mithilfe von Gehirnsignalen, die drahtlos an den Computer übertragen wurden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

2. Versuchsplanung

1. Phase der Signalverifizierung
   1. Öffnen Sie das Software-Tool, um motorische Bildszenarien zu entwerfen und auszuführen, wechseln Sie zu Datei, und laden Sie die sechs Motor-Imagery-BCI-Szenarien mit den Bezeichnungen Signal Verification, Acquisition, CSP Training, Classifier Training, Testing und Confusion Matrix.
   2. Navigieren Sie zum Szenario für die Signalverifizierung. Wenden Sie einen Bandpassfilter zwischen 1 und 40 Hz mit einer Filterordnung von 4 auf die Rohsignale an, indem Sie Designer-Boxen verwenden, um die Signalverarbeitung zu optimieren.
2. Ausbildungsphase
   1. Leiten Sie die Teilnehmer an und leiten Sie sie an, sich motorischen Vorstellungsaufgaben zu unterziehen und sich Handbewegungen als Reaktion auf visuelle Hinweise vorzustellen.
   2. Öffnen Sie die Datei für das Training der motorischen Bilder und zeigen Sie den vorbereiteten 3D-Avatar über dem VR-Headset an, der über einem Satz Bongos steht.
   3. Navigieren Sie zum Szenario Erfassung und doppelklicken Sie auf den Graz Motor Imagery Stimulator , um die Box zu konfigurieren.
   4. Konfigurieren Sie 50, 5 s Versuche (Cue-1,25 s und MI-3,75 s) für Bewegungen der linken und rechten Hand, einschließlich einer Basisperiode von 20 s, gefolgt von Intervallen von 10 s Pause nach jeweils 10 Versuchen, um geistige Ermüdung zu vermeiden.
   5. Konfigurieren Sie die Versuche für die linke und rechte Hand so, dass sie randomisiert werden, und haben Sie vor dem Versuch einen Hinweis, der die Hand angibt, die vorgestellt werden soll.
   6. Schließen Sie eine OSC-Box mit der IP-Adresse und dem Port an, um den Hinweis für die Hand, die Sie sich vorstellen sollen, an das Engine-Programm des Motorbildtrainingsspiels zu übertragen.
   7. Weisen Sie die Teilnehmer an, sich vorzustellen, wie sie die Bewegung ihrer Hand zusammen mit dem 3D-Avatar ausführen, der dem gleichen Tempo wie der Avatar folgt, während er mit der entsprechenden Hand auf das Bongo trifft, und dabei einem Texthinweis folgen, der anzeigt, welche Hand man sich vorstellen soll.
3. CSP- und LDA-Schulungen
   1. Führen Sie nach der Erfassung das CSP-Trainingsszenario aus, um die EEG-Daten aus der Erfassungsphase zu analysieren und Common Spatial Patterns (CSP) zu berechnen, indem Sie Filter erstellen, um zwischen linken und rechten Bilddaten zu unterscheiden.
   2. Navigieren Sie nach dem CSP-Training zum Trainingsszenario für den Klassifikator, und führen Sie es aus, um die lineare Diskriminanzanalyse (LDA) mithilfe der CSP-Filter für eine effiziente Aufgabenklassifizierung zu verwenden und das System auf die Echtzeit-Avatarsteuerung vorzubereiten.
4. Testphase
   1. Navigieren Sie zum Testszenario, in dem die Teilnehmer ihre 3D-Avatare in Echtzeit mithilfe der Brain-Computer-Interface (BCI)-Technologie steuern können.
   2. Laden Sie die Klassifikatoren, die während des vorherigen Szenarios mit EEG-Daten trainiert wurden, in die entsprechenden Boxen, die erfasst wurden, während sich die Teilnehmer Handbewegungen vorstellten, um diese imaginierten Aktionen in Echtzeit zu interpretieren.
   3. Stellen Sie sicher, dass das EEG-System und das VR-Setup betriebsbereit und gemäß den Einstellungen der Trainingsphase korrekt konfiguriert sind.
   4. Informieren Sie die Teilnehmer über das Testverfahren und betonen Sie die Notwendigkeit, sich Handbewegungen (Bongo-Schlagen mit der linken oder rechten Hand) klar vorzustellen, die durch Texthinweise ausgelöst werden.
   5. Ähnlich wie in der Trainingsphase führen Sie für jeden Teilnehmer 20 Versuche durch, die zu gleichen Teilen auf imaginäre Bewegungen der linken und rechten Hand aufgeteilt und randomisiert sind.
   6. Schließen Sie eine OSC-Box an und konfigurieren Sie sie, um die Cue-Informationen zu übertragen, die als Text angezeigt werden sollen, der angibt, welche Hand im Spiel-Engine-Programm abgebildet werden soll.
   7. Stellen Sie eine Verbindung zu einer anderen OSC-Box her, um den vorhergesagten Wert für die Bewegungen der linken und rechten Hand zu übertragen, damit das Spiel-Engine-Programm die entsprechende Animation basierend auf der vom Teilnehmer vorgestellten Hand abspielen kann.
   8. Führen Sie das Testszenario aus. Führen Sie das Spiel-Engine-Programm Motor Imagery Testing aus.

3. Datenerhebung und -analyse

1. Kontinuierliche Aufzeichnung von EEG-Daten und Klassifikatorausgängen während der Erfassungs- und Testphase des Experiments, wobei die Daten bei 125 Hz abgetastet werden.
2. Navigieren Sie zum Szenario "Confusion Matrix" und laden Sie die erfasste EEG-Datei in das Feld mit der Bezeichnung "Generischer Stream-Reader" für jeden Teilnehmer und sowohl für die Akquisitions- als auch für die Trainingsphase.
3. Führen Sie das Szenario aus, um die Konfusionsmatrix abzurufen und zu bewerten, wie genau das BCI-System motorische Bildsignale interpretiert.
4. Sammeln Sie Feedback von Teilnehmern zu ihren Erfahrungen mit der Benutzerfreundlichkeit, den Steuerungsmöglichkeiten, dem Immersionsgrad und dem Komfort des Avatars beim Tragen der EEG-Kappe und des VR-Headsets.

Results

Die gezeigten Ergebnisse stammen von 5 Personen, die das oben beschriebene Protokoll befolgt haben. Insgesamt nahmen 5 gesunde Erwachsene (3 Frauen) im Alter von 21 bis 38 Jahren an der Studie teil.

Die individuelle Klassifizierungsleistung für jeden Teilnehmer sowohl unter Trainings- als auch unter Testbedingungen für motorische Bilder ist in Abbildung 2 dargestellt. Eine durchschnittliche Konfusionsmatrix für alle Probanden wurde berechnet, um die Genauigkeit des Klassifikators bei der Unterscheidung zwischen linken und rechten MI-Signalen sowohl während des Trainings als auch während der Testsitzungen zu bewerten (siehe Abbildung 3).

Die CSP-Gewichte, die während der Trainingseinheit für linke und rechte motorische Bilder berechnet wurden, wurden als topographisches Muster für einen repräsentativen Teilnehmer in Abbildung 4A projiziert. Darüber hinaus wurde für denselben Teilnehmer eine Zeit-Frequenz-Analyse von EEG-Daten durchgeführt, die von der C4-Elektrode gesammelt wurden, die über dem kontralateralen rechten sensomotorischen Bereich der linken Hand positioniert war, und der C3-Elektrode, die sich über dem linken sensomotorischen Bereich für die rechte Hand befand. Die Zeit-Frequenz-Diagramme zur Identifizierung ereigniskorrelierter spektraler Störungen (ERSP), die zeigen, wie sich die Amplitude von Frequenzen im Bereich von 8 bis 30 Hz im Laufe der Zeit während einer Epoche dynamisch ändert, sind in Abbildung 4B unter der Trainingseinheit für motorische Bilder dargestellt. Mit Fokus auf die Alpha- (8-12 Hz) und Beta-Bänder (13-30 Hz) wurden die ERSPs für jede Epoche normiert, indem sie durch ihre Basislinienspektren dividiert wurden, und aus diesen normalisierten Werten wurde ein durchschnittlicher ERSP berechnet.

Darüber hinaus war das Feedback der Teilnehmer hinsichtlich des Komforts und der Benutzerfreundlichkeit der EEG-Kappe und des VR-Headsets überwiegend positiv. Besonders begeistert zeigten sich die Teilnehmer von der Echtzeitsteuerung ihrer 3D-Avatare. Die Teilnehmer waren jedoch der Meinung, dass die Bongo-Schlagaktion von einem akustischen Feedback begleitet werden könnte, um ein besseres Eintauchen zu ermöglichen.

Abbildung 2: Prozentuale Genauigkeitsangaben für jeden Teilnehmer während der Trainings- und Testsitzungen für motorische Bilder. Die True-Positive-Rate (TP) zeigt den Anteil der Signale (Motor Imagery, MI) an, die das Klassifikatormodell korrekt als MI-Signale identifiziert hat. Die Falsch-Positiv-Rate (FP) gibt an, wie oft linke MI-Signale fälschlicherweise als rechte MI-Signale klassifiziert wurden. Die Falsch-Negativ-Rate (FN) zeigt den Anteil der tatsächlichen linken MI-Signale, die das Modell nicht erkannt hat. Schließlich gibt die Richtig-Negativ-Rate (TN) den Anteil der rechten MI-Signale an, die das Modell genau als solche erkannt hat. S1, S2, S3, S4 und S5 bezeichnen die fünf Teilnehmer. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Durchschnittliche Konfusionsmatrizen der Klassifikationsleistung während des Trainings und der Tests von Motorbildern. Die durchschnittliche Gesamtgenauigkeit spiegelt die Fähigkeit des Modells wider, sowohl linke als auch rechte MI-Signale korrekt zu klassifizieren. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: CSP-Filter-, Muster- und Zeit-Frequenz-Diagramme für beide Hände während einer Trainingseinheit für motorische Vorstellungskraft für einen repräsentativen Teilnehmer. (A) Die Abbildung zeigt CSP-Filter für S1, die maximal zwischen den beiden Klassen (links und rechts) basierend auf der Varianz unterscheiden. (B) Das Zeit-Häufigkeits-Diagramm für S1. Die blauen Bereiche zeigen die ereignisbezogene Desynchronisation. Bei 0 ms wurde für eine Dauer von 1250 ms der Hinweis für die Vorstellung der linken oder rechten Hand angezeigt. Dem Stichwort folgend, stellte sich der Teilnehmer die Bongo-Schlagbewegung mit der entsprechenden Hand vor. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Discussion

Die Anwendung von MI in Verbindung mit der VR-Technologie bietet einen vielversprechenden Weg für die Rehabilitation, indem die natürlichen Mechanismen des Gehirns für die motorische Planung und Ausführung genutzt werden. Die Fähigkeit von MI, eine ereigniskorrelierte Desynchronisation in spezifischen Gehirnfrequenzbändern zu induzieren, die die neuronale Aktivität körperlicher Bewegung widerspiegelt ^2,3,4, bietet einen robusten Rahmen für die Aktivierung und Stärkung der neuronalen Netzwerke, die an der motorischen Kontrolle beteiligt sind⁸. Dieser Prozess wird durch die immersive Qualität von VR noch verstärkt, die nicht nur das Gefühl der Präsenz und des Körperbesitzes verstärkt, sondern auch die Visualisierung von Bewegungen erleichtert und so das MI-Erlebnis^{bereichert 16}.

Die Entwicklung personalisierter 3D-Avatare, die den Subjekten, die sie repräsentieren, sehr ähnlich sind, stellt eine bemerkenswerte Innovation in diesem Bereich dar 13,14,15. Der Ansatz orientiert sich konzeptionell an der Arbeit von Skola et ^al.27 zum co-adaptiven MI-BCI-Training mit gamifizierten Aufgaben in einer VR-Umgebung. Dieses Protokoll führt jedoch eine signifikante Differenzierung ein, indem es einen vollständigen 3D-Avatar verwendet, der das Aussehen des Teilnehmers genau widerspiegelt, im Gegensatz zu der von Skola et al. verwendeten Point-of-View-Perspektive, die sich auf die Hände konzentriert. Indem sie eine visuelle Darstellung der imaginierten Bewegungen des Benutzers in Echtzeit bieten, vertiefen diese Avatare die Immersion und stärken die Verbindung zwischen imaginären und tatsächlichen Bewegungen¹⁸. Es wird erwartet, dass der in diesem Manuskript beschriebene Ansatz ausgeprägtere ERD-Muster fördert, was zu einer effektiveren neuronalen Anpassung und Wiederherstellung führt.

Der Übergang von Offline-BCI-Methoden zur Echtzeitsteuerung von Avataren stellt jedoch eine Herausforderung dar, insbesondere wenn es darum geht, die Genauigkeit und Reaktionsfähigkeit des Systems auf die vorgestellten Bewegungen des Benutzers sicherzustellen. Das System gewährleistet Echtzeit-Computing durch ein Setup, bei dem das EEG-Datenerfassungssystem mit einem Laptop verbunden ist, der dann mit einem Oculus Rift-S VR-Headset verbunden ist. Dieses Setup ermöglicht die nahtlose Integration der EEG-Datenerfassung mit der VR-Immersion, die durch den Acquisition Server und die Game Engine für visuelles Feedback und Interaktion durch einen speziell entwickelten 3D-Avatar ermöglicht wird.

Die Gesamtlatenz des Systems kann in einem BCI-VR-Integrationsszenario effizient minimiert werden, indem ein Gaming-Laptop mit einer High-End-Grafikkarte genutzt und leichtgewichtige Nachrichten über OSC für Hinweise und Handvorhersagewerte verwendet werden. Die Verwendung eines Gaming-Laptops gewährleistet eine schnelle Verarbeitung der über die EEG-Karte erfassten EEG-Daten, wobei die anfängliche Digitalisierung und Übertragungslatenz deutlich unter 5 ms gehalten wird. Es ist zu erwarten, dass die anschließende Signalverarbeitung und -klassifizierung zu einer zusätzlichen Latenz von etwa 20-40 ms beiträgt, wobei sowohl die Signalfilterung als auch die Ausführung von Algorithmen wie CSP für die Merkmalsextraktion berücksichtigt werden. Die Kommunikation zwischen dem Szenario-Designer und der Spiel-Engine, die durch OSC erleichtert wird, das einfache numerische Hinweise für Bewegungen nach links und rechts überträgt, ist auf minimalen Overhead ausgelegt und fügt wahrscheinlich eine Latenz von nicht mehr als 5-10 ms hinzu. Die Verarbeitung dieser Befehle durch die Spiel-Engine würde dank der Recheneffizienz der Grafikkarte schnell erfolgen und zu einer weiteren Verzögerung von unter 10 ms beitragen, bevor das visuelle Feedback in der VR-Umgebung vom VR-Headset wiedergegeben wird, das darauf abzielt, die Latenz unter 20 ms zu halten. Zusammen wirken diese Komponenten zusammen, um die Gesamtlatenz des Systems in einem wünschenswerten Bereich von 45 bis 75 ms zu halten und eine Echtzeit-Reaktionsfähigkeit zu gewährleisten, die für immersive VR-Erlebnisse und effektive BCI-Anwendungen entscheidend ist.

Darüber hinaus erhielten die Teilnehmer genügend Übungsversuche als eine Art Tutorial-Modul, um sich während der Trainingsphase mit dem VR-Setup und dem Tempo des Avatars vertraut zu machen und ihre Gedanken zur Steuerung des 3D-Avatars in der Testphase zu nutzen. Der Schwerpunkt auf der Überprüfung der Signalqualität, die Verwendung von CSP und LDA für die Aufgabenklassifizierung und die detaillierte Testphase sind entscheidend für den Erfolg der Echtzeit-Avatarsteuerung.

Es wird erwartet, dass die Ergebnisse dieser Studie einen Beitrag zum Feld leisten, indem sie die Machbarkeit und Wirksamkeit des Einsatzes von Echtzeit-BCI-Steuerung von personalisierten 3D-Avataren für die Rehabilitation demonstrieren. Durch den Vergleich der Genauigkeit der motorischen Intentionserkennung zwischen der Trainingsphase der motorischen Vorstellungskraft und den Echtzeittests wird die Studie wertvolle Einblicke in das Potenzial dieser Technologie zur Verbesserung der Rehabilitationsergebnisse liefern. Darüber hinaus wird das Feedback der Teilnehmer über die einfache Steuerung und den Grad der Immersion in zukünftige Entwicklungen bei BCI- und VR-Technologien einfließen, mit dem Ziel, ansprechendere und effektivere Rehabilitationsschnittstellen zu schaffen.

Fortschritte bei BCI- und VR-Technologien eröffnen neue Möglichkeiten für Rehabilitationsprotokolle, die personalisierter, ansprechender und effektiver sind. Zukünftige Forschungen sollten sich auf die Verfeinerung der Technologie für die Echtzeitsteuerung von Avataren, die Erforschung der Verwendung ausgefeilterer Algorithmen des maschinellen Lernens zur Signalklassifizierung und die Ausweitung der Anwendung dieses Ansatzes auf ein breiteres Spektrum neurologischer Erkrankungen konzentrieren. Darüber hinaus sind Längsschnittstudien erforderlich, um die langfristigen Auswirkungen dieser Rehabilitationsmethode auf die funktionelle Erholung und die Lebensqualität von Menschen mit neurologischen Beeinträchtigungen zu bewerten.

Während die Integration von MI mit VR-Technologie in der Rehabilitation vielversprechend ist, gibt es einige Einschränkungen, die Beachtung verdienen. Es gibt eine signifikante Bandbreite in der Fähigkeit von Individuen, klare MI-Signale zu erzeugen, und ihren neuronalen Reaktionen auf MI- und VR-Interventionen. Diese Variabilität bedeutet, dass die Wirksamkeit des Rehabilitationsprozesses von Patient zu Patient sehr unterschiedlich sein kann, was die Personalisierung der Therapie an die individuellen Unterschiede zu einer erheblichen Herausforderung macht. Darüber hinaus ist es ein komplexes Unterfangen, eine hohe Genauigkeit und Reaktionsfähigkeit bei der Echtzeitsteuerung von Avataren zu erreichen. Verzögerungen oder Fehler bei der Interpretation von MI-Signalen können das immersive Erlebnis unterbrechen und möglicherweise die Wirksamkeit des Rehabilitationsprozesses verringern. Während die VR-Technologie die Immersion und das Engagement verbessern kann, kann sie bei einigen Nutzern auch zu Unbehagen oder Reisekrankheit führen, was sich auf ihre Fähigkeit auswirkt, sich an langen Sitzungen zu beteiligen, und damit den Gesamterfolg der Therapie.

Zusammenfassend lässt sich sagen, dass die Integration von BCI und VR, beispielhaft für die Echtzeitsteuerung personalisierter 3D-Avatare anhand von MI-Signalen, einen innovativen Ansatz für die neurologische Rehabilitation darstellt. Das aktuelle Protokoll unterstreicht nicht nur die technische Machbarkeit einer solchen Integration, sondern schafft auch die Voraussetzungen für eine neue Ära der Rehabilitation, in der Technologie und Neurowissenschaften zusammenkommen, um das volle Potenzial der Erholungs- und Anpassungsfähigkeit des menschlichen Gehirns freizusetzen.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-End-Gaming-Laptop mit GTX1070 Grafikkarte
Oculus Rift-S VR-Headset	Meta		VR-Headset
OpenBCI Cyton Daisy	OpenBCI		EEG-System
OpenBCI Gelfreie Kappe	OpenBCI		Gelfreie Kappe zum Platzieren der EEG-Elektroden über der Kopfhaut des Teilnehmers