Haptische / Graphic Rehabilitation: Integration eines Roboters in einer virtuellen Umgebung Bibliothek und ihre Anwendung auf die Therapie von Schlaganfällen

Summary

In jüngster Zeit haben eine große Menge an Interessenten kommen für Mensch-Roboter-interaktive Systeme. In diesem Papier beschreiben wir die Integration eines neuen Roboter-Gerät mit Open-Source-Software, die schnell machen kann möglich eine Bibliothek von interaktiven Funktionen. Wir haben dann Umrisse einer klinischen Anwendung für eine Neurorehabilitation Anwendung.

Abstract

Neuere Forschungen, die interaktive Geräte für längere Therapie Praxis-Tests hat neue Perspektiven für die Robotik mit grafischen und anderen Formen von Biofeedback kombiniert ergeben. Vorherige Mensch-Roboter-interaktive Systeme haben verschiedene Software-Befehle benötigt, um für jeden Roboter führt zu unnötigen Entwicklungsstörungen Overhead-Zeit jedes Mal ein neues System zur Verfügung stehen umgesetzt werden. Zum Beispiel, wenn eine haptische / Grafik Virtual-Reality-Umgebung für einen bestimmten Roboter haptische Feedback wurde kodiert, wäre, dass bestimmte Roboter nicht in der Lage sein, für einen anderen Roboter ohne Neucodierung des Programms gehandelt werden. Allerdings haben die jüngsten Anstrengungen in der Open Source Community eine Wrapper-Klasse Ansatz, der nahezu identischen Reaktionen auslösen können, unabhängig von der Roboter verwendet vorgeschlagen. Das Ergebnis können die Forscher auf der ganzen Welt, um ähnliche Experimente mit gemeinsam genutztem Code auszuführen führen. Deshalb modular "Schalten out" eines Roboters für eine andere nicht beeinträchtigen würde Entwicklungszeit. In diesem Papier stellen wir die erfolgreiche Entwicklung und Implementierung einer Wrapper-Klasse für einen Roboter in die Open-Source-H3DAPI, die die Software-Befehle am häufigsten von allen eingesetzten Roboter integriert.

Protocol

Einführung

Es gibt einen wachsenden Bedarf in allen der Mensch-Maschine-Interaktion (MMI) für intuitive und effiziente interaktive Umgebungen. Zahlreiche Branchen weiterhin stärker abhängig von HMI, wie zum Beispiel: Rehabilitationsrobotik, der Automobilindustrie, Metall verarbeitenden, Verpackungsmaschinen, Pharma-, Lebensmittel-, Getränke-und Versorgungsunternehmen. Technologies in diesen Bereichen tätig sind: Display-Terminals, PCs und HMI Software. Diese Technologien können miteinander kombiniert werden, um unbegrenzte Funktionen ausführen.

Roboter können zur direkten Interaktion mit den Nutzern, wie beispielsweise die Bereitstellung als Musiklehrer zu erleichtern. Zum Beispiel haben Forscher an der Waseda Universität ein Roboter, der das Saxophon zu den Menschen, wie zu spielen zu lehren und die Interaktion zwischen Lehrer und Schüler ^ein Verständnis spielt geschaffen. Andere Robotik-Forscher haben eine Vision-basierte fliegenden Roboter vorgenommen, um festzustellen, wie künstliche Intelligenz kann in intelligente Interaktionen mit der Umwelt ² zu entwickeln. Die besondere Konzentration dieses Papier befindet sich innerhalb Rehabilitationsrobotik.

Im Bereich der Forschung und Industrie, wird die schnelle Tempo des Wandels für neue Produkte und Anforderungen der Nutzer wachsen. Diese Forderungen durchzusetzen größeren Herausforderungen bei der Skalierbarkeit. Deshalb Code-Design geworden ist integraler bei der Erfüllung der Bedürfnisse dieser Personen in einer fristgerechten Weise. Daher würden die Qualität eines starken architektonischen Kandidaten sind leicht austauschbar Grafik-Roboter-Systeme, die Treiber-Unterstützung beinhalten. Die H3DAPI Architektur erfüllt diese Anforderungen und damit eine Wrapper-Klasse erstellt wurde. Darüber hinaus ist H3D für Virtual-Reality-Umgebungen, wie sie in Rehabilitationsrobotik benötigte.

Neural Rehabilitationsrobotik will Roboter zum Zwecke der Unterstützung der Rehabilitation Profis zu nutzen. Die Hilfe, die diese Roboter liefern kommt in Form einer Kraft-Feld. Passed Motor Befehl Forscher wie Shadmehr und Mussa-Ivaldi, Gewalt-Felder Motoranpassung zu fördern, und haben gefunden, 1) Anpassung an einer von außen angelegten Kraftfeld tritt mit verschiedenen Klassen von Bewegungen einschließlich, aber nicht zu erreichen Bewegungen begrenzt, und 2) Anpassung verallgemeinert über verschiedene Bewegungen, die den gleichen Regionen des äußeren Feldes ^{3 zu} besuchen. Forschung aus biomechanischen Ingenieure in Performance-Based Progressive Robot-Assisted-Therapie zeigt, dass sich wiederholende, task-specific, zielgerichtet, roboter-assistierte Therapie wirksam bei der Verringerung motorischen Beeinträchtigungen in den betroffenen Arm nach Schlaganfall ⁴ ist, aber die genaue therapeutische Effekte und Parameter weiterhin ein Feld der Forschung sein.

Sensorisches Feedback wirkt sich Lern-und Anpassungsprozess. Daher ist die nächste logische Frage wäre zu fragen, ob oder nicht künstlich erhöht das Ausmaß solcher Rückmeldungen würden schneller oder mehr vollständige Lernen / Anpassung zu fördern. Einige Forscher haben herausgefunden, dass die Anwendung mehr sensorisches Feedback Kräfte oder visuelle Hinweise, um Fehler verbessern kann eine angemessene neurologische Impulse zu geben, um höhere Ebenen der Anpassung / Lernen ^5,6 zu fördern. Dies wird als "Fehler Augmentation" bezeichnet. Dieses Phänomen kann aufgrund der Tatsache, dass, sobald die Ergebnisse einer Motorsteuerung Aktion von der idealen abweicht, unser internes Modell selbst passt je nach Größe des Fehlers. Folglich wird, wie unser internes Modell nähert sich der äußeren Umgebung, Fehler bei der Ausführung einer Aufgabe ab.

Forschung weiterhin anhaltende Praxis der funktionell relevanten Aktivitäten zur Wiederherstellung der Funktion zu unterstützen, obwohl viele aktuelle Gesundheitspolitik der Höhe der Zeit Patienten einschränken können Zeit mit Therapeuten zu verbringen. Die zwingende Frage ist, ob diese neuen Anwendungen der Technologie können noch weiter gehen, als einfach was eine höhere Dosierung von den aktuellen Stand der Pflege. Mensch-Maschine-Interaktion Studien haben neue Perspektiven in den Bereichen des motorischen Lernens ergeben, und kann in einigen Fällen bieten Wert für den therapeutischen Prozess aufgenommen. Spezialisierte Roboter-Geräte mit Computer-Displays kombiniert werden können erweitern Feedback der Fehler in Ordnung zu beschleunigen, zu verbessern oder Trigger-Motor Umlernen. Dieser Beitrag stellt eine Methode der Verwendung eines entwickelten Systems für eine klinische Intervention als ein Beispiel der Anwendung dieser Technologie.

1. Gründung HAPI Wrapper-Klasse für einen Roboter

1. Erstellen Sie einen Wrapper für HAPI die Haptik Bibliothek, indem Sie eigene. Cpp und Header-Datei. Zum Beispiel verwenden wir den Namen HAPIWAM.cpp und HAPIWAM.h.
2. Legen Sie HAPIWAM.cpp in das Quellverzeichnis: HAPI / src
3. Legen Sie HAPIWAM.h in die Header-Datei-Verzeichnis: HAPI / include / HAPI
4. An der Spitze der HAPIWAM.h gehören zu den Haupt-Header-Datei (en) Ihrer Roboter, im Falle des Barrett WAM, das wäre:

<em> extern "C" {
# Include <include/btwam.h>
}
# Include <HAPI/HAPIHapticsDevice.h>

Hinweis: extern "C" ist erforderlich, um Compiler Mangeln zu lösen, weil die mitgelieferten Bibliothek in 'C' geschrieben wird und die H3DAPI ist in C + + geschrieben.

5. In HAPIWAM.h, erstellen Sie Ihre Klasse und die folgenden 4 Funktionen

bool initHapticsDevice (int);
bool releaseHapticsDevice ();
void updateDeviceValues ​​(DeviceValues ​​& dv, HAPITime dt);
void sendOutput (HAPIHapticsDevice: DeviceOutput & d, HAPITime t);

6. Vergewissern Sie sich, Ihre Klasse erbt öffentlich von der HAPIhapticsdevice Klasse.
7. Erstellen Sie eine Kopfzeile Schutz für Ihre Klasse.
8. Erstellen Sie statische DeviceOutput und statische HapticsDeviceRegistration Attribute unter dem HAPIWAM Klasse.
9. Erstellen Sie statische Member-Funktionen für Rückrufe.
10. Definieren Sie Ihre Konstruktor und Destruktor in HAPIWAM.cpp.
11. Registrieren Sie Ihr Gerät in HAPIWAM.cpp.
12. Definieren Sie Ihre 4 geerbt Funktionen und Rückrufe in HAPIWAM.cpp.

2. HAPI Bibliothek Schöpfung

1. Nun, da haben wir die HAPI Wrapper-Klasse erstellt haben, müssen wir Ihre Wrapper in die HAPI Bibliothek zu bauen. Die WAM hängt von einigen Bibliotheken, die H3DAPI nicht auf in seiner rohen Form abhängen, wird daher diese Bibliotheken müssen auf HAPI hinzugefügt werden. Zum HAPI / HAPI / build und bearbeiten CMakeLists.txt. Fügen Sie die abhängigen Bibliotheken nach der Zeile "SET (OptionalLibs) sagt.
2. Öffnen Sie ein Kommandozeilen-Konsole und navigieren Sie zu: HAPI / HAPI / build und geben Sie die folgenden 3 Befehle in dieser Reihenfolge:

cmake.
sudo make
sudo make install

3. H3D-Wrapper-Klasse

1. Zum Erstellen der Wrapper-Klasse für die H3D-Bibliothek mit Ihrem HAPIWAM, erstellen Sie zuerst WAMDevice.cpp im Quellverzeichnis: H3DAPI/src
2. Legen Sie WAMDevice.h in die Header-Datei-Verzeichnis: H3DAPI/include/H3D
3. WAMDevice.h sollte die Standard-Header-Datei für alle H3DAPI Geräte mit dem Namen ersetzt, um was Sie wollen.
4. WAMDevice.cpp sollte die Standard-Quelle für alle H3DAPI Geräte mit dem Namen ersetzt, um was Sie wollen.
5. Nun, da der Wrapper-Klasse erstellt wurde, den Wiederaufbau der H3DAPI Bibliothek. Tun Sie dies, indem Sie CMakeLists.txt in der gleichen Weise, in Schritt 2.1 durchgeführt wurde, nur unter dem Verzeichnis: H3DAPI/build.
6. Erstellen Sie den H3DAPI Bibliothek unter dem Verzeichnis H3DAPI/build

cmake.
sudo make
sudo make install

4. Finite State Machine

1. Jede gezielte Erreichen Programm erfordert die Schaffung eines endlichen Automaten, um die experimentelle Protokoll oder Praxis-Regime zu kontrollieren. Typische Zustandsmaschinen gehören: Start der Prüfung, Start, Ziel Kontakt, und Ende der Studie. Ein Beispiel für die Funktion eines jeden Staates, und Kriterien, die zwischen den Staaten zu übertragen ist unten aufgeführt.
2. Der Start der Testversion erfordert die Zuweisung von einem Ziel. Targets Standorten kann nach dem Zufallsprinzip für jeden Versuch eingestellt werden oder kann aus einer Datei gesetzt werden. Der Beginn der Studie beendet, sobald der Benutzer auf das Ziel vor Geschwindigkeit Schwelle, typischerweise 0,06 Metern pro Sekunde ins Leben gerufen.
3. The Launch Zustand tritt nach dem Start der Studie. Dieser Zustand endet entweder einmal Berührt der Benutzer das Ziel oder Aufenthalte im Inneren des Ziels für einen bestimmten Zeitraum. Sobald das Ziel berührt wird, ermöglicht dies das Ziel Kontakt Staat.
4. Ziel Kontakt tritt während des Starts Zustand. Es kann zu beenden, sobald das Ziel erreicht oder nach dem Subjekt befindet sich innerhalb des Ziel für einen bestimmten Zeitraum. Ist diese Zeit abgelaufen ist, wird das Ende der Studie Zustand aktiviert.
5. The End of Trial Staat Signal der Datenerfassungs-Software, die Daten Datei zu markieren, in welchem ​​die Analyse der Software-Entwickler verwendet wurde, um das Ende der einzelnen Studien zu begrenzen. Sofern die letzte Prüfung abgeschlossen ist, kann das Ende des End of Trial Zustand der Start der Testversion Zustand.

5. Anwendung: Sanierung der Schlaganfall-Patienten

1. Die Roboter-Schnittstelle wurde entwickelt, um Therapeuten Know-how beinhalten, während mit dem Roboter zu etwas, das sonst nicht getan werden kann. Die Technologie-fähige Anwendung (siehe weiter unten) der Fehler Vermehrung, die die Fehler durch den Patienten, die für mehrere namhafte Gründen erhöht die Umlernen Verfahren (Abb. 1) wahrgenommen vergrößert.
2. Eine dreidimensionale Haptik / Grafik-System namens Virtual Reality Robotic und Optical Operationen Machine (VRROOM). Dieses System stellte bisher ^6, kombiniert eine projizierte Stereo-, Kopf-verfolgt Rendering auf einem semi-Spiegels Overlay-Anzeige mit einem Roboter-System, das aufgezeichnet Handgelenk Position und erzeugt eine Kraft-Vektor (Abb. 2).
3. Ein Kino-Qualität diGITAL Projektor (Christie Mirage 3000 DLP) zeigten die Bilder, die eine fünf Meter breite 1280x1024 Pixel überspannt, was zu einem 110 ° großen Betrachtungswinkel. Infrarot-Strahler synchronisiert getrennte linke und rechte Auge Bilder durch Liquid Crystal Display (LCD) Shutter-Brille (Stereographics, Inc). Ascension Flock of Birds magnetischen Elemente aufgespürt Bewegung des Kopfes, so dass die optische Anzeige mit den entsprechenden Kopf-zentrierten Sicht erbracht wurde.
4. Nach der Qualifikation für die Studie wurde jeder Teilnehmer der Funktionsfähigkeit von einem blinden rater bei Start und Ziel jeder Behandlung Paradigma mit einer einwöchigen Follow-up nach jeder und eine insgesamt 45-Tage-Follow-up-Evaluation ausgewertet. Jede Bewertung besteht aus einer Reihe von Bewegung (ROM) Bewertung in der VRROOM sowie klinische Maßnahmen einschließlich durchgeführt: die Box und Blocks Assessment, Wolf Motor Function Test (WMFT), Arm Motor Sektion der Fugl-Meyer (AMFM) und Beurteilung von einfachen funktionellen Reach (ASFR).
5. Ein exotendon Handschuh mit Handgelenkschiene wurde verwendet, um in neutrale Handgelenk und Hand Ausrichtung zu unterstützen. Das Zentrum des Roboters Griff war mit dem Unterarm befestigt platziert wurde hinter der Radiokarpalgelenks so, dass seine Kräfte am Handgelenk gehandelt, sondern erlaubt Bewegung an der Hand.
6. Der Arm des Patienten Gewicht wurde verringert durch eine Feder-powered Wilmington Robotic Exoskelett (WREX) Schwerkraft-Orthese ausgeglichen. Der Patient ist angewiesen Ziel war es, jagen einen Cursor vor ihnen präsentiert bewegt über ein Tracking-Gerät in der Hand des Therapeuten (Therapeutin Teleoperation).
7. Die Patienten der Praxis drei Tage pro Woche für ca. 40-60 Minuten, mit dem Patienten, den Therapeuten, und der Roboter gemeinsam in einem Trio. Betreff und Therapeuten saßen Seite an Seite, und das Thema war, um den Roboter am Handgelenk verbunden.
8. Jede Sitzung begann mit fünf Minuten passive Bewegungsübungen (PROM) mit dem Therapeuten, um ca. 10 Minuten für die Situierung der Patient in der Maschine folgen. Das Thema dann abgeschlossen sechs Blöcke von Bewegungstraining fünfminütigen jeweils mit Zwei-Minuten-Pausen zwischen den einzelnen Blöcken.
9. Während des Trainings angezeigt Teilnehmer zwei Cursor auf die Stereo-Darstellung. Der behandelnde Therapeut manipuliert einen Cursor, während der Teilnehmer kontrolliert die anderen. Die Patienten wurden angewiesen, den genauen Pfad des Therapeuten Cursor folgen, wie es in der gesamten Arbeitsbereich bewegt.
10. Fehler Augmentation bereitgestellt wurde sowohl optisch als auch durch Kräfte, die durch den Roboter generiert. Als Teilnehmer aus Therapeuten Cursor abwich, war ein momentaner Fehler Vektor e als Differenz in der Position zwischen den Therapeuten Cursor und dem Teilnehmer die Hand etabliert. Fehler wurde visuell durch einen Faktor von 1,5 e (m) als Teil des Fehlers Augmentation vergrößert. Darüber hinaus wurde ein Fehler vermehren Kraft von 100 e (N / m) auch angewendet, die war so programmiert, dass bei maximal 4 N aus Sicherheitsgründen zu sättigen.
11. Jede andere Behandlung Block bestand aus speziellen, standardisierten Bewegungen, die das gleiche für jede Sitzung wurden. Die anderen Blöcke erlaubt dem Therapeuten, Ausbildung in bestimmten Bereichen der Schwäche Therapeuten Know-how und ihre Beobachtungen anzupassen. Das Behandlungsprotokoll dabei die Praxis der bestimmte Bewegungen für alle Beteiligten, einschließlich Vor-und Seiten zu erreichen, Schulter-Ellenbogen-Kopplung und diagonal quer über den Körper.
12. Während praktizieren, war Tag für Tag Median Fehler als ein Ergebnis der Praxis gemessen. Besonderes Augenmerk wurde auf Blöcke von standardisierten Bewegungen, die das gleiche für jede Sitzung gegeben wurden. Diese wurden zu den Vortagen verglichen, um festzustellen, ob eine schrittweise Verbesserung von Tag zu Tag, was für den Patienten, den Therapeuten und dem Pflegepersonal (Abb. 3) gemeldet werden können, beobachtet werden konnte.
13. Primäre Maßnahmen des Ergebnisses wurden wöchentlich, 1 Woche nach Ende der Behandlung gemessen, und 45 Tage nach der mit der Vorratsspeicherung von Nutzen zu bestimmen. Wesentliche Ergebnisse waren die Fugl-Meyer motorischen Fähigkeiten der Gäste und unsere maßgeschneiderten Armreichweite Test, gemessen Bewegungsumfang.

6. Repräsentative Ergebnisse:

Wenn das Protokoll korrekt ist, dann getan, wenn die <AnyDevice> Knoten in die H3DViewer oder H3DLoad geladen wird, sollte die WAM-Gerät erkannt und eingeleitet werden. Wenn die WAM mit einem anderen Roboter ersetzt, würde der Code selbst nicht geändert werden müssen.

Abbildung 1. Unterrichtsfach in der Haptik / Grafik Apparat sitzen.

Abbildung 2. Unterrichtsfach in der Haptik / Grafik Apparat mit Physiotherapeut sitzen.

Abbildung 3. Konfiguration für Rehabilitation of der Schlaganfall-Patienten. A) unterliegen und Therapeuten zusammenarbeiten, sitzend und mit dem großen Arbeitsbereich haptische / Grafik-Display, um die Bewegung der Praxis. Der Therapeut bietet eine Stichwort für das Thema, und kann individuell ausgestattet, um die Bedürfnisse des Patienten. Der Roboter bietet Kräfte, die das Bein weg vom Ziel schieben und das visuelle Feedback-System verbessert die Fehler des Cursors. B) Typische chronische Schlaganfall-Patienten verbessert sich von Tag zu Tag. Jeder Punkt repräsentiert die mittlere Fehler für eine 2-Minuten-Block von stereotypen funktionelle Bewegung gemessen. Während der Patient zeigt die Fortschritte in der 2-Wochen-Frist und insgesamt profitieren, hat diese Person nicht immer jeden Tag zu verbessern.

Discussion

Diese Methode der Wrapper-Klasse Implementierung ermöglicht für verschiedene Roboter eingesetzt werden, ohne den Quellcode ändern, wenn Sie die H3DAPI. Insbesondere hätten die Forscher, die ihre haptische / Grafik-Umgebung geschrieben haben in H3D und getestet ihr Experiment mit einer Phantom-Roboter in der Lage sein für die Durchführung der gleichen oder ähnlichen Experiment mit dem Barrett WAM, und umgekehrt. Diese Art von Gerät unabhängige Cross-Kommunikation führt Folgen für die internationale Rehabilitierung Robotik-Forschung. Solche Auswirkungen ermöglichen eine schnelle haptische / Grafik Entwicklung der internationalen Forschungszusammenarbeit und inter-Forschungslabor Kommunikation.

Rehabilitation Robotik ist noch die zahlreichen Parameter in motorischen Lernens beteiligt aufzudecken. Einer der zeitaufwendige Schritte bei der Haptik / Grafik Entwicklung beinhaltet Kompilierung. Mit zahlreichen Reha-Parameter, mit der Kompilierung für jedes Programm verschärft, steigt die Entwicklungs-Lebenszyklus, um alle möglichen Permutationen Gruppe Test schnell. H3D mit seiner Abwesenheit Zusammenstellung Anforderungen, ermöglicht die schnelle Entwicklung von zahlreichen Virtual-Reality-Szenen. Dies ist insofern ein Vorteil für jene Forscher Anwärter auf die Auswirkungen der verschiedenen Übungsszenarien Sonde.

Einschränkungen dieses "hart codiert" Wrapper-Klasse Integrationsansatz zählt die Tatsache, dass dieses Verfahren jedes Mal gibt es eine neue Verteilung der H3DAPI muss wiederholt werden. Mögliche Änderungen an der Integration der Wrapper-Klasse in Ihre aktuelle Verteilung der H3DAPI wäre, die Wrapper-Klasse separat erstellen aus dem H3DAPI. Sie würden dann Ihre Wrapper-Klasse in eine *. so Bibliothek-Datei. Dies würde die Klasse aus dem ursprünglichen H3DAPI Verteilung zu isolieren.

Materials

The Display called paris (personal augmented reality immersion system), can be found at www.evl.uic.edu The large gray robot is the Barrett WAM: www.barrett.com The smaller, skinnier black robot is the Phantom: www.sensable.com The arm mount is the T-WREX, developed at the RIC: http://www.ric.org/research/centers/mars2/Projects/development/d3.aspx The shutter glasses for 3d vision: www.vrlogic.com Head tracking software. www.mechdyne.com The H3DAPI itself: www.h3dapi.org