$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
EMG-Anlage
Die Hardware des EMG-Systems besteht aus 15 EMG-Sensoren, die zur Gewinnung von Muskelaktivierungsdaten verwendet werden. Eine kommerziell erhältliche Anwendungsprogrammierschnittstelle (API) wurde verwendet, um eine benutzerdefinierte EMG-Aufzeichnungssoftware zu generieren. Die Hardware des VR-Systems besteht aus einem Virtual-Reality-Headset, das zur Darstellung der immersiven VR-Umgebung verwendet wird, und einem Kabel, um das Headset mit dem dedizierten Computer zu verbinden, auf dem die virtuelle Bewertungsaufgabe gespeichert ist. Die Software besteht aus einer 3D-Computergrafiksoftware zum Erstellen und Ausführen der VR-Aufgabe. Hier wurde ein modifizierter Box- und Blocktest, adaptiert von der beliebten manuellen Geschicklichkeitsbewertung26, als Bewertungsaufgabe verwendet. Die Interaktion mit der VR-Umgebung wurde durch die Verwendung eines Softwareprogramms ermöglicht, das entwickelt wurde, um den Ort zu berechnen, an dem der Tisch spawnt, die Aufgabe zu starten, Blöcke zu erzeugen und die Daten zu speichern.
Motion-Capture-System
Die Hardware des Motion-Capture-Systems besteht aus dem VR-Headset, dem Marker-Motion-Capture-System und dem VR-Motion-Controller. Das VR-Headset ist mit einer Hand-Tracking-Funktion durch vier eingebaute Infrarotkameras (72-120 Hz) ausgestattet. Diese Daten wurden für die kinematische Analyse aus dem Gerät extrahiert. Das Marker-Motion-Capture-System besteht aus einem Server, Kameras mit einem Sichtfeld von 60°, einer roten Leuchtdiode (LED) als Marker und einem Kalibrierungsobjekt. Um den Raum genau zu erfassen, müssen sich die Kameras leicht überlappen. Während des Experiments wurde ein bestimmter Aufnahmebereich von acht Kameras (480 Hz) umgeben, wobei sich vier an der Decke und vier am Boden befanden. Dieses System wurde vor dem Experiment kalibriert und ausgerichtet. Marker-Motion-Capture-Systeme können bevorzugt werden, da sie hochauflösende kinematische Daten sowohl für klinische als auch für Forschungsanwendungen liefern. Der VR-Motion-Controller enthält ein optisches Hand-Tracking-Modul, das die Hand- und Fingerbewegungen erfasst. Der Controller verfügt über zwei Nahinfrarotkameras mit 640 x 240 Pixeln (120 Hz), die in der Lage sind, Bewegungen bis zu 60 cm vom Gerät entfernt und in einem Sichtfeld von 140 x 120° zu verfolgen. Dieses Gerät wurde an der VR-Brille befestigt oder während der Bewegung über dem Kopf gesichert. 3D-Computergrafik-Entwicklungssoftware wurde verwendet, um die Handverfolgung zu visualisieren und Daten aus der VR-Umgebung zu sammeln. Die Daten von den markerlosen und markerlosen Motion-Capture-Systemen wurden mit Hilfe von benutzerdefinierten Softwareprogrammskripten erfasst und gespeichert. Beispiele für Software-Programmskripte finden Sie unter: https://www.dropbox.com/sh/7se5lih4noxj584/AACqFDZytpDm-L8jAULFwfTHa?dl=0.
Möglicher Austausch von Geräten
In diesem Protokoll werden drahtlose, bipolare Oberflächen-EMG-Elektroden verwendet, aber auch andere EMG-Technologien (verdrahtet usw.) können ersetzt werden. Bei Verwendung von handelsüblichen Sensoren, wie in der Materialtabelle beschrieben, kann die mitgelieferte Datenerfassungssoftware anstelle der benutzerdefinierten Softwareskripte (Abtastrate von 2.000 Hz) verwendet werden. Wenn alternative EMG-Sensoren verwendet werden, sollte auch Software verwendet werden, die mit diesem System kompatibel ist.
Anstatt das VR-Headset über ein Kabel mit dem Computer zu verbinden, kann das VR-Headset die interaktive Umgebung im Headset speichern. Die Implementierung der Funktion in zukünftigen Anwendungen für die Take-Home-Rehabilitation wäre für den Patienten von Vorteil. Das hier verwendete VR-Headset kann durch ein anderes immersives VR-Headset ersetzt werden. Vor der Substitution müsste dafür die Kompatibilität mit der Spieleentwicklungssoftware validiert werden.
Für die Erstellung der in diesem Protokoll beschriebenen virtuellen Umgebung und Aufgabe kann alternative Entwicklungssoftware verwendet werden. Darüber hinaus können andere klinische Bewertungen, die in VR übersetzt wurden, anstelle der hier dargestellten modifizierten BBT verwendet werden (z. B. der Action Research Arm Test (ARAT) oder der Graded Redefined Assessment of Strength, Sensation, and Prehension (GRASSP)). Während die BBT zur Beurteilung eines breiten Spektrums von neurologischen Verletzungen verwendet werden kann, würde die Verwendung alternativer klinischer Aufgaben die Bewertung anderer Bewegungsstörungen ermöglichen. Das GRASSP wird beispielsweise in erster Linie zur Beurteilung von Patienten mit Querschnittlähmung eingesetzt, während das ARAT am häufigsten zur Beurteilung von Hemiplegien aufgrund einer kortikalen Schädigung eingesetzt wird. Virtuelle Bewertungen könnten auch ohne Kontrolle durch ein Softwareprogrammskript (d. h. eigenständig) durchgeführt werden, aber die Datenerfassung und die Steuerung der Testverwaltung müssten berücksichtigt werden. Für die Bewertung von Fähigkeiten könnte ein greifbarer Box-and-Block-Test (BBT) anstelle der in VR26 entwickelten Aufgabe verwendet werden. Die Verwendung von Geräten aus der realen Welt würde eine alternative Motion-Capture-Technologie anstelle der von einem VR-Headset aufgezeichneten Hand-Tracking erfordern.
Zur Verfolgung der Handkinematik kann eine alternative zuverlässige Markierung oder markerlose Bewegungserfassung verwendet werden. Zum Beispiel kann VR-basierte Bewegungserfassung verwendet werden, um die Einrichtung zu vereinfachen und gleichzeitig die notwendigen Hand-Tracking-Daten zu erhalten, um kinematische Informationen zu extrahieren. Das hier verwendete Marker-Motion-Capture-System umfasst eine Software zur Kalibrierung des experimentellen Motion-Capture-Raums und zum Betrieb der Kameras (Abtastrate von 480 Hz). Es sollte eine alternative Motion-Capture-Technologie mit der entsprechenden Software verwendet werden.
In Abbildung 1 sind separate Computer dargestellt, auf denen jeweils eine andere Hardwarekomponente ausgeführt wird. Auf einem einzigen Hochleistungsrechner kann die gesamte Software für die Datenerfassung und VR ausgeführt werden. In dem hier beschriebenen Protokoll ist für die Verwendung von drei separaten Computern eine Datensynchronisierung erforderlich. Die rechtzeitige Synchronisierung der Daten über Geräte hinweg ist entscheidend für EMG-, Kinematik- und Force-Daten, um aussagekräftige Schlussfolgerungen zu ziehen. Benutzerdefinierte Softwareprogrammskripte mit einer integrierten datetime-Funktion wurden verwendet, um die Weltzeit auf jedem System zu Beginn der Aufgabe aufzuzeichnen. Entscheidend ist, dass alle Computer mit demselben Netzwerk verbunden sein müssen, damit diese Skripts ordnungsgemäß funktionieren. Nachdem die Startzeit mit datetime aufgezeichnet wurde, nutzten die Datenerfassungsskripte die tic- und toc-Funktionen, um die Zeit während des Versuchs zu erhöhen. Diese Funktionen haben eine Genauigkeit von ca. 0,000001 s, so dass Daten möglicherweise bei 1.000 kHz aufgezeichnet werden können. In unserem Setup liegt die höchste Abtastfrequenz bei 30 kHz, was weit unter den maximalen Möglichkeiten dieser Methode für die Aufzeichnung und Synchronisierung von Zeit auf verschiedenen Geräten liegt. Eine in Python entwickelte TCP-IP-Messaging-Anwendung (Transmission Control Protocol/Internet Protocol)29 wurde verwendet, um Daten zwischen der VR-Umgebung und der Datenerfassungsanwendung auf der Grundlage der IP-Adresse zu übertragen.
Neben der Sicherstellung der Zeitsynchronisation war es von entscheidender Bedeutung, Daten zu synchronisieren, die mit unterschiedlichen Abtastfrequenzen erfasst wurden. Zwei der Computer wurden manuell gestartet, um Motion-Capture-Daten (480 Hz) und EMG-Daten (2000 Hz) zu erfassen. Frühere Studien haben benutzerdefinierte Synchronisationsschaltungen verwendet, um ein gemeinsames Ereignis zwischen Systemen an Orientierungspunkten zu senden (z. B. wird ein Synchronisationsimpuls gesendet, wenn die Datenaufzeichnung beginnt, und erneut, wenn die Aufzeichnung endet)30. Hier ermöglicht die Verwendung der datetime-, tic- und toc-Funktionen des Softwareprogramms eine Synchronisierung, ohne dass zusätzliche Hardware erforderlich ist. Die hier eingesetzte kommerziell erhältliche TCP-IP-Messaging-Anwendung unterstützte zudem die durchgängige Kommunikation über Systeme hinweg. Dieses Framework für die Synchronisierung von Zeit und Datenerfassungshäufigkeiten über Systeme hinweg funktionierte auch dazu, Daten für erweiterte Post-hoc-Analysen konsistent zu organisieren.
Das hier beschriebene experimentelle Protokoll ist extrem anpassbar, um den unterschiedlichen Bedürfnissen von klinischen oder Forschungsgruppen gerecht zu werden, mit dem Potenzial, sowohl in klinischen als auch in häuslichen/entfernten Umgebungen angewendet zu werden. Während wir eine Bewertung der Muskelaktivität und Kinematik mit Hilfe eines modifizierten BBT in VR beschrieben haben, kann ein ähnlicher Aufbau für verschiedene klinische Tests verwendet werden und kann bei reduzierten Datensätzen sogar vereinfacht werden. So können z.B. EMG- und Kraftsensoren ausgeschlossen werden, wenn nur kinematische Daten benötigt werden. Die reine Erfassung kinematischer Daten würde lediglich den Einsatz eines Motion-Capture-Systems erfordern. Zusätzliche Hardware wie Elektroenzephalographie oder Elektrokardiographie könnte ebenfalls integriert werden, um zusätzliche Daten aufzuzeichnen. Anstelle von Standard-Oberflächen-EMG-Elektroden kann ein Oberflächen-EMG mit hoher Dichte oder ein intramuskuläres EMG verwendet werden, um genauere Muskelaktivitätsdaten aufzuzeichnen31,32. Darüber hinaus können andere funktionelle klinische Tests, wie z. B. ARAT oder GRASSP, verwendet werden, um motorische Defizite in verschiedenen Patientenpopulationen zu bewerten. Während der hier beschriebene Aufbau in erster Linie für Forschungszwecke gedacht ist, um Bewegungsdefizite in VR besser quantifizieren zu können, wollen wir einen ähnlichen Aufbau entwickeln, um eine Fernüberwachung und -rehabilitation von Patienten zu ermöglichen. Wir gehen davon aus, dass dieses Protokoll mit Standard-VR-Brillen für Verbraucher, die mit Handbewegungsverfolgung ausgestattet sind, in Kombination mit einem tragbaren EMG-Aufzeichnungsgerät leicht angepasst werden kann. In zukünftigen Studien wollen wir dieses Protokoll für den Heimgebrauch weiterentwickeln, indem wir eine kostengünstige, tragbare EMG-Hülle mit hoher Dichte einbauen, die derzeit entwickelt wird.
Im Vergleich zur traditionellen Physio- oder Ergotherapie in einer Klinik oder einem Rehabilitationszentrum bietet die VR-Rehabilitation viele potenzielle Vorteile. Während das hier beschriebene Protokoll in erster Linie für Forschungszwecke gedacht ist, können virtuelle Auswertungsmethoden möglicherweise aus der Ferne und mit handelsüblichen Geräten implementiert werden, ohne dass teure, spezialisierte medizinische Geräte erforderlich sind. Darüber hinaus sind VR-Systeme in der Lage, Handbewegungen quantitativ zu verfolgen, um Einblicke in die Bewegungsqualität zu erhalten, was mit der Standardbewertung möglicherweise nicht möglich ist33,34. Die Vergleichbarkeit von Bewegungen in VR mit realen Aufgaben bleibt ein intensives Studienthema, und zukünftige Erkenntnisse werden sich darauf auswirken, wie VR für die Rehabilitation eingesetzt werden kann. Bei dem hier beschriebenen Vorgehen handelt es sich um einen flexiblen Aufbau, der mithilfe von VR standardisierte Bewegungen steuert und individuelle Kinematik- und EMG-Daten erhält. Daten, die aus Studien gewonnen wurden, die den beschriebenen Aufbau verwenden, können auch Einblicke in die Art und Weise geben, wie sich Individuen in der virtuellen Umgebung bewegen, und mögliche Mechanismen, durch die einige Probanden VR als immersiver empfinden. Dies ist von entscheidender Bedeutung, wenn es darum geht, reale klinische Bewertungen in eine VR-Umgebung zu übertragen.
Mehrere Schritte bei der Einrichtung und Ausführung dieses Protokolls müssen sorgfältig überwacht werden, um qualitativ hochwertige, genaue Daten zu erhalten. Von größter Bedeutung ist die richtige Platzierung des EMG-Sensors. Saubere, genaue EMG-Daten mit einem hohen Signal-Rausch-Verhältnis erfordern, dass die Sensoren auf desinfizierter, haarfreier Haut über dem Bauch des ausgewählten Muskels platziert werden27. Wenn ein Marker-Motion-Capture-System verwendet wird, müssen Marker genau auf knöchernen Orientierungspunkten platziert werden, um zuverlässige Daten für die Berechnung der interessierenden Gelenkwinkel zu erfassen. Im Vergleich zu den EMG-Sensoren gibt es eine gewisse Flexibilität in der Ausrichtung von Motion-Capture-Markern, aber es sollten immer mindestens drei nicht-kolineare Punkte verwendet werden, um die Position eines starren Körpers im Raum35 zu definieren. Bestimmte Techniken zur Berechnung von Gelenkwinkeln, wie z. B. die modellbasierte inverse Kinematik, erfordern eine exakte Platzierung von Markierungen. Bei Verwendung dieser Methode sollten die Positionen der experimentellen Marker mit denen des Modells36 übereinstimmen. Muskuloskelettale Modellierungssoftware, die für die Berechnung der inversen Kinematik entwickelt wurde, enthält in der Regel integrierte Rechenfunktionen für den Abgleich des Modells und der experimentellen Markerpositionen. OpenSim, eine von der Stanford University37 entwickelte Plattform, wird häufig für diese Art der Analyse verwendet. Sowohl die Sicherheit des EMG-Sensors als auch der Markierung sollte während der gesamten Aufgabe überwacht werden, um sicherzustellen, dass qualitativ hochwertige Daten aufgezeichnet werden.
Wenn die von diesem Protokoll abgerufenen Daten verrauscht sind, sollte sich die Fehlerbehebung auf die Berücksichtigung mehrerer Schritte konzentrieren. Erstens kann eine schlechte Platzierung des EMG-Sensors zu verrauschten Daten führen und sollte überprüft werden. Um dieses Problem zu mildern, ist die Hautvorbereitung vor dem Anbringen des EMG-Sensors wichtig, wie bereits erwähnt. Darüber hinaus kann es zu minderwertigen Motion-Capture-Daten kommen, wenn sich die Marker außerhalb des Bereichs der Kameras bewegen. Ein kurzer Verlust von verfolgten Punkten kann durch Interpolation behoben werden, aber wenn Marker weiterhin keine genauen Positionsdaten übertragen, können schwerwiegendere zugrunde liegende Probleme auftreten. Wenn ein einzelner Marker wiederholt ausfällt, kann dies darauf hindeuten, dass der Marker entweder durch die Bewegung des Motivs verdeckt wird oder sich außerhalb des Kamerabereichs bewegt. Darüber hinaus kann eine fehlerhafte Kamerakalibrierung dazu führen, dass mehrere Marker fehlschlagen. In diesem Szenario ist es am besten, das Motion-Capture-System vollständig neu zu kalibrieren, nachdem das Subjekt und die Testausrüstung aus dem Versuchsraum entfernt wurden. Darüber hinaus sollte eine ausreichende Beleuchtung verwendet werden, da Umgebungen mit schlechten Lichtverhältnissen die Erfassung hochwertiger Bewegungserfassungsdaten behindern können.
Das beschriebene Protokoll hat mehrere Einschränkungen. Zunächst erfordert das hier dargestellte Setup den Einsatz mehrerer Motion-Capture-Kameras. Die Absicht dieses Protokolls ist es jedoch, hochauflösende Daten zu sammeln, um Bewegungsdefizite in VR besser zu quantifizieren, bevor klinische Untersuchungen aus der Ferne durchgeführt werden, die vom Patienten allein durchgeführt werden können. Darüber hinaus fehlt es bei Aufgaben, die in VR ausgeführt werden, an taktilem Feedback. Dies ist wichtig zu beachten, da das taktile Feedback allein die Größe der Greifkraft38,39 verändern kann. Dies kann sich auf die Muskelaktivierung oder die Kinematik auswirken, wenn eine Aufgabe in einer virtuellen Umgebung ausgeführt wird, anstatt materielle Geräte zu verwenden. Wenn man davon ausgeht, dass taktiles Feedback von entscheidender Bedeutung ist (z. B. wenn Patienten auch sensorische Defizite haben), kann der Einsatz von haptischen Robotern zur Nachahmung des taktilen Feedbacks einbezogen werden. Trotz dieser Einschränkung gehen wir davon aus, dass die Daten aus dem hier beschriebenen Aufbau entscheidend für die Quantifizierung von Veränderungen der Kinematik und Muskelaktivität bei reinen VR-Aufgaben für Patienten mit Bewegungsstörungen sein werden. Dies wird dazu beitragen, solche klinischen Tests für den Heimgebrauch anzupassen. Eine weitere Einschränkung dieses Protokolls besteht darin, dass während des Tests jeweils ein einzelner Block präsentiert wird. In der Standard-BBT werden zunächst 150 Holzklötze in ein Fach der Box gelegt. Diese modifizierte BBT wurde entwickelt, um die Reproduzierbarkeit der aufgezeichneten Motion-Capture- und EMG-Daten zu erhöhen, indem ein Block simuliert wird, der am selben virtuellen Ort respawnt. Daher ist die modifizierte BBT, die in VR implementiert ist, wahrscheinlich eine vereinfachte Aufgabe. In zukünftigen Studien wird es wichtig sein, dass die modifizierte BBT in VR mit dem Aufbau der Standard-BBT konsistent ist, um die Validität der Inhalte zu gewährleisten.