Haptic / Grafische Revalidatie: Het integreren van een robot in een virtuele omgeving bibliotheek en toe te passen Stroke Therapy

Summary

Onlangs hebben een grote hoeveelheid vooruitzichten beschikbaar komen voor de mens-robot interactieve systemen. In dit artikel schetsen we de integratie van een nieuwe robot toestel met open source software die snel kan maken mogelijk een bibliotheek van interactieve functionaliteit. Vervolgens hebben we schetsen een klinische toepassing voor een neurorevalidatie toepassing.

Abstract

Recent onderzoek dat interactieve apparaten voor langdurige therapie praktijk testen is gebleken dat nieuwe perspectieven voor de robotica in combinatie met grafische en andere vormen van biofeedback. Vorige mens-robot interactieve systemen hebben vereist verschillende software-commando's worden uitgevoerd voor elke robot leidt tot onnodige overhead ontwikkelingsstoornissen tijd elke keer een nieuw systeem beschikbaar komt. Bijvoorbeeld, wanneer een haptische / grafische virtual reality omgeving is gecodeerd voor een specifieke robot om haptische feedback te geven, zou dat specifieke robot niet kunnen worden verhandeld voor een andere robot, zonder het hercoderen van het programma. Echter, de recente inspanningen in de open source gemeenschap voorgesteld een wrapper class benadering die, ongeacht kan bijna identieke reacties uitlokken van de gebruikte robot. Het resultaat kan leiden onderzoekers over de hele wereld om soortgelijke experimenten met gedeelde code uit te voeren. Daarom is modulair "switching out" van een robot voor een ander zou geen invloed hebben op de ontwikkelingstijd. In dit artikel schetsen we de succesvolle ontwikkeling en invoering van een wrapper klasse voor een robot in de open-source H3DAPI, die integreert de software commando's het meest gebruikt door alle robots.

Protocol

Introductie

Er is een groeiende behoefte in alle mens-machine interactie (HMI) voor een intuïtieve en efficiënte interactieve omgevingen. Tal van industrieën nog steeds meer sterk afhankelijk HMI, zoals: revalidatie robotica, de auto-industrie, metaal industrie, verpakkingsmachines, farmacie, voedingsmiddelen, dranken, en nutsbedrijven. Gebruikte technologie in deze sectoren zijn onder andere: weergave terminals, personal computers, HMI en software. Deze technologieën kunnen samen worden gecombineerd om onbeperkt functies uit te voeren.

Robots kunnen worden gebruikt om de directe interactie met gebruikers, zoals die als een muziek-instructeur. Zo hebben onderzoekers aan de Waseda University creëerde een robot die de saxofoon om mensen te leren hoe te spelen en om de interactie tussen leerling en leraar ^een te begrijpen speelt. Andere robotica onderzoekers hebben een vision-based vliegende robot om te bepalen hoe de kunstmatige intelligentie kunnen ontwikkelen tot intelligente interacties met de omgeving ^2. De bijzondere concentratie van dit document bevindt zich binnen de revalidatie robotica.

Binnen het domein van onderzoek en industrie, de snelle tempo van de veranderingen voor nieuwe producten en eisen van de gebruikers blijft groeien. Deze eisen opleggen grotere uitdagingen in de schaalbaarheid. Daarom code ontwerp is een integraal in het voldoen aan de behoeften van deze entiteiten in een tijdige wijze. Daarom zou de kwaliteit van een sterke architecturale kandidaat zijn gemakkelijk uitwisselbaar grafisch-robot systemen die driver ondersteuning omvatten. De H3DAPI architectuur voldoet aan deze behoeften en dus een wrapper klasse is gemaakt. Bovendien is H3D ontworpen voor virtual reality omgevingen, zoals die nodig zijn in de revalidatie robotica.

Neurale revalidatie robotica wil robots te gebruiken voor het assisteren van revalidatie professionals. De hulp die deze robots te bieden komt in de vorm van een kracht-veld. Geslaagd motor commando onderzoekers zoals Shadmehr en Mussa-Ivaldi, gebruikte kracht-velden aan de motor aanpassing te bevorderen, en hebben gevonden 1) de aanpassing aan een extern uitgeoefende kracht veld staat met verschillende klassen van bewegingen met inbegrip van maar niet beperkt tot het bereiken van bewegingen, en 2) aanpassing generaliseert over verschillende bewegingen die dezelfde regio's van het externe veld ³ te bezoeken. Uit onderzoek van biomechanische ingenieurs in Performance-Based Progressive robot-geassisteerde therapie toont aan dat repetitieve, taak-specifieke, doelgerichte, robot-ondersteunde therapie is effectief in het verminderen van motorische stoornissen in de aangedane arm na een beroerte ^4, maar de exacte therapeutische effecten en parameters nog steeds een veld van onderzoek.

Sensorische feedback van invloed op het leren en aanpassing. Daarom is de volgende logische vraag zou zijn om vragen of niet kunstmatig verhogen van de omvang van deze feedback zou sneller of meer volledige leren / aanpassing te bevorderen. Sommige onderzoekers hebben ontdekt dat het toepassen van een grotere sensorische feedback krachten of visuele aanwijzingen om fouten te verbeteren kan een adequate neurologische impulsen geeft aan de hogere niveaus van aanpassing / leren ^5,6 bevorderen. Dit staat bekend als "error augmentatie". Dit fenomeen kan te wijten zijn aan het feit dat, zodra de resultaten van een motor aan te sturen actie afwijken van de ideale, onze interne model zelf aanpast aan de grootte van de fout. Bijgevolg, als onze interne model benadert de externe omgeving, fout in de uitvoering van een taak af.

Onderzoek blijft de ondersteuning van langdurige praktijk van functioneel relevante activiteiten voor het herstel van functie, hoewel veel van de huidige gezondheidszorg beleid beperken de hoeveelheid tijd die de patiënten de tijd kan doorbrengen met therapeuten. De dwingende vraag is of deze nieuwe toepassingen van technologie kan verder gaan dan alleen het geven van een hogere dosering van de huidige stand van de zorg. Mens-machine interactie studies hebben aangetoond nieuwe perspectieven op het gebied van motorisch leren, en kunnen in sommige gevallen bieden toegevoegde waarde aan het therapeutisch proces. Speciale robot apparaten in combinatie met computer-displays kunnen vergroten feedback van de fout in om te versnellen, verbeteren, of trigger motor herleren. Dit document zal een methodologie van het gebruik van een ontwikkeld systeem voor een klinische interventie als een voorbeeld van de toepassing van deze technologie.

1. Tot vaststelling van Hapi wrapper klasse voor een robot

1. Maak een wrapper voor Hapi de ergonomie bibliotheek door het creëren van je eigen. Cpp en header file. Zo zullen we gebruik maken van de naam HAPIWAM.cpp en HAPIWAM.h.
2. Plaats HAPIWAM.cpp in de source directory: Hapi / src
3. Plaats HAPIWAM.h in de header file directory: Hapi / include / Hapi
4. Op de top van HAPIWAM.h, omvatten de belangrijkste header file (s) van uw robot, in het geval van de Barrett WAM, dat zou zijn:

<em> extern "C" {
# Include <include/btwam.h>
}
# Include <HAPI/HAPIHapticsDevice.h>

Let op: extern "C" nodig is om compiler mangelen op te lossen, omdat de meegeleverde bibliotheek is geschreven in "C" en de H3DAPI is geschreven in C + +.

5. In HAPIWAM.h, maak je klas en omvatten de volgende vier functies

bool initHapticsDevice (int);
bool releaseHapticsDevice ();
leegte updateDeviceValues ​​(DeviceValues ​​& dv, HAPITime dt);
leegte sendOutput (HAPIHapticsDevice:: DeviceOutput & d, HAPITime t);

6. Zorg ervoor dat uw klasse erft publiekelijk uit de HAPIhapticsdevice klasse.
7. Maak een header bewaker voor uw klas.
8. Maak een statische DeviceOutput en statisch HapticsDeviceRegistration attributen onder de HAPIWAM klasse.
9. Maak uw statisch lid functies voor callbacks.
10. Definieer uw constructor en destructor in HAPIWAM.cpp.
11. Registreer uw apparaat in HAPIWAM.cpp.
12. Definieer uw 4 geërfd functies en callbacks in HAPIWAM.cpp.

2. Hapi opbouwen van een bibliotheek

1. Nu dat we de Hapi wrapper klasse gemaakt, moeten we uw wrapper te bouwen in de Hapi bibliotheek. De WAM is afhankelijk van een aantal bibliotheken die H3DAPI niet afhankelijk is van in zijn ruwe vorm, zal daarom deze bibliotheken moeten worden toegevoegd aan Hapi. Ga naar Hapi / Hapi / build, en bewerken CMakeLists.txt. Voeg de afhankelijke bibliotheken na de regel die zegt "SET (OptionalLibs) '.
2. Open een commando console en navigeer naar: Hapi / Hapi / bouwen en typ de volgende drie commando's in deze volgorde:

cmake.
sudo make
sudo make install

3. H3D wrapper klasse

1. Voor het maken van de wrapper klasse voor de H3D bibliotheek met uw HAPIWAM, maakt u eerst WAMDevice.cpp in de source directory: H3DAPI/src
2. Plaats WAMDevice.h in de header file directory: H3DAPI/include/H3D
3. WAMDevice.h bevat de standaard header-bestand voor alle H3DAPI apparaten, met de naam vervangen om wat je wilt.
4. WAMDevice.cpp bevat de standaard bron voor alle H3DAPI apparaten, met de naam vervangen om wat je wilt.
5. Nu de wrapper klasse is gemaakt, de wederopbouw van het H3DAPI bibliotheek. Doe dit door het bewerken van CMakeLists.txt op dezelfde manier, dat werd uitgevoerd in stap 2.1, alleen onder de directory: H3DAPI/build.
6. Herbouw de H3DAPI bibliotheek onder de directory H3DAPI/build

cmake.
sudo make
sudo make install

4. Finite state machine

1. Elke gerichte programma vereist het bereiken van de oprichting van een eindige staat machine om de experimentele protocol of de praktijk regime te controleren. Typische state machines zijn onder andere: Start van het proces, Start, Target Contact, en het Einde van de Trial. Een voorbeeld van de functie van elke staat, en de criteria om de overdracht tussen staten is hieronder vermeld.
2. De start van het onderzoek vereist dat de toewijzing van een doel. Doelen locaties kunnen willekeurig worden ingesteld voor elk onderzoek of kan worden ingesteld van een bestand. De start van de proef eindigt zodra de gebruiker heeft gelanceerd in de richting van het doel boven de drempel snelheid, meestal 0,06 meter per seconde.
3. The Launch staat optreedt na de start van de proef. Deze toestand eindigt of wanneer de gebruiker raakt het doel of blijft de binnenkant van de doelstelling voor een periode van tijd. Zodra het doel is geraakt, dit maakt de Target Contact staat.
4. Target contact optreedt tijdens de lancering staat. Dit kan geschieden zodra het einde als het doel wordt aangeraakt of na het onderwerp bevindt zich binnen de doelstelling voor een bepaalde periode van tijd. Zodra deze tijd is verstreken, is het einde van Trial staat ingeschakeld.
5. Het einde van de proef staat moet het signaal van de verzameling van gegevens software om de gegevens bestand te markeren, in welke ontleden van de software-ontwikkelaar heeft gebruikt, aan het einde van de elke poging af te bakenen. Tenzij de laatste proef is voltooid, het einde van het einde van Trial staat stelt de start van het onderzoek staat.

5. Toepassing: het herstel van de CVA-patiënt

1. De robot interface is ontworpen om therapeut expertise te betrekken bij het gebruik van de robot om iets dat niet anders gedaan zou kunnen worden mogelijk te maken. De technologie enabled applicatie (zoals beschreven in meer detail beschreven) van de fout augmentatie, waarin de fouten zijn waargenomen door de patiënt, die voor een aantal bekende redenen verbetert de opnieuw leren proces (figuur 1) vergroot.
2. Een drie-dimensionale haptiek / grafische systeem genaamd Virtual Reality Robotic en optische Operations Machine (VRROOM). Dit systeem, presenteerde eerder ^6, in combinatie een geprojecteerd stereo-installatie, head-tracked weergave op een semi-verzilverde spiegel overlay weer te geven met een robotsysteem dat opgenomen pols positie en genereerde een kracht vector (fig. 2).
3. Een bioscoop-kwaliteit digital projector (Christie Mirage 3000 DLP) de weergegeven beelden die een vijf meter brede 1280x1024 pixel display spanned, wat resulteert in een 110 ° kijkhoek. Infrarood-stralers gesynchroniseerd aparte linker-en rechteroog beelden door Liquid Crystal Display (LCD) bril (Stereographics, Inc). Hemelvaart Flock of Birds magnetische elementen gevolgd beweging van het hoofd, zodat de visuele weergave was gemaakt met de juiste kop-centered perspectief.
4. Bij de kwalificatie voor de studie, werd elke deelnemer functionele mogelijkheden geëvalueerd door een blinde beoordelaar bij de start en finish van elke behandeling paradigma met een een-week follow-up na elk en een algemene 45-dagen follow-up evaluatie. Elke evaluatie bestond uit een range of motion (ROM) beoordeling uitgevoerd in de VRROOM en klinische maatregelen waaronder: de doos en Blocks Assessment, Wolf Motor Function Test (WMFT), Arm Motor afdeling van het Fugl-Meyer (AMFM), en Beoordeling van de Simple Functional Reach (ASFR).
5. Een exotendon handschoen met pols spalk werd gebruikt om te helpen bij neutrale pols en hand uitlijning. Het centrum van de robot handvat was verbonden aan de onderarm was posterior geplaatst om de radiocarpale gewricht zodat de krachten gehandeld bij de pols, maar stond beweging aan de hand.
6. Arm van de patiënt gewicht werd verminderd met behulp van een veer aangedreven Wilmington Robotic Exoskeleton (Wrex) zwaartekracht in balans orthese. Van de patiënt geïnstrueerd doel was om op te jagen een cursor gepresenteerd in voor hen bewogen via een tracking-apparaat in de hand van de therapeut (therapeut teleoperation).
7. Patiënten praktijk drie dagen per week voor ongeveer 40-60 minuten, met de patiënt, de therapeut, en de robot samen te werken in een trio. Onderwerp en therapeut zat side-by-side, en het onderwerp was verbonden met de robot bij de pols.
8. Elke sessie begon met vijf minuten van de passieve range of motion oefeningen (PROM) met de therapeut, gevolgd door ongeveer tien minuten voor het situeren van de patiënt in de machine. Het onderwerp voltooide daarna zes blokken van de beweging training van vijf minuten met twee minuten rust perioden tussen elk blok.
9. Tijdens de training, de deelnemers zien twee cursors op de stereo weer te geven. De behandelend therapeut gemanipuleerde een cursor, terwijl de deelnemer beheerst de andere. De patiënten werden geïnstrueerd om het exacte pad van de cursor van de therapeut te volgen als het ging in de werkruimte.
10. Fout vergroting was die zowel visueel als door de krachten die ontstaan ​​door de robot. Wanneer de deelnemers afgeweken van cursor therapeut, was een onmiddellijke fout vector e opgericht als het verschil in positie tussen de cursor van de therapeut en de deelnemer de hand. Fout werd visueel versterkt door een factor van 1,5 e (m) als onderdeel van de fout augmentatie. Daarnaast werd een fout verhogen van kracht van 100 e (N / m) ook van toepassing, die werd geprogrammeerd om op een maximum van 4 N verzadigen om veiligheidsredenen.
11. Elke andere behandeling blok bestond uit specifieke, gestandaardiseerde bewegingen die hetzelfde waren voor elke sessie. De andere blokken mag de therapeut de opleiding aan te passen op specifieke gebieden van de zwakte op basis van therapeut expertise en hun opmerkingen. De behandeling protocol omvatte de praktijk van specifieke bewegingen voor alle deelnemers, met inbegrip van voren en aan de zijkant te bereiken, schouder-elleboog-koppeling, en diagonaal te bereiken over het hele lichaam.
12. Tijdens het oefenen was van dag tot dag mediaan fout gemeten als een resultaat van de praktijk. Speciale aandacht werd besteed aan blokken van gestandaardiseerde bewegingen die hetzelfde waren voor elke sessie. Deze werden vergeleken met de vorige dag om te bepalen of een incrementele verbetering kon worden waargenomen op een dag-tot-dag basis, die kan worden gerapporteerd aan de patiënt, de therapeut, en de verzorgers (fig 3).
13. Primaire maatregelen van de uitkomst werden wekelijks gemeten, 1 week na het einde van de behandeling, en 45 dagen na de aan het behoud van prestaties vast te stellen. Belangrijkste uitkomsten waren de Fugl-Meyer motoriek score en onze op maat gemaakte arm bereiken test die gemeten bereik van de beweging.

6. Representatieve resultaten:

Wanneer het protocol correct is gedaan, dan nadat de <AnyDevice> knoop is geladen in de H3DViewer of H3DLoad, moet de WAM-apparaat worden erkend en gestart. Als de WAM werden vervangen door een andere robot, zou de code zelf niet te worden gewijzigd.

Figuur 1. Subject zit aan de haptische / grafische apparatuur.

Figuur 2. Onderwerp zit aan de haptische / grafische apparatuur met een fysiotherapeut.

Figuur 3. Configuratie voor revalidatie of de CVA-patiënt. A) het onderwerp en therapeut samen te werken, zitten en met behulp van de grote werkruimte haptische / grafische display om beweging te oefenen. De therapeut biedt een cue voor het onderwerp, en kan op maat conditioneren op de behoeften van de patiënt. De robot geeft krachten die de tak weg te duwen van het doel en de visuele feedback-systeem versterkt de fout van de cursor. B) Typische chronische CVA-patiënt verbetering van dag tot dag. Elke stip staat voor de gemiddelde fout gemeten voor een twee-minuten blok van stereotype functionele beweging. Terwijl de patiënt toont vooruitgang in de periode van 2 weken en de algemene uitkering, heeft deze persoon niet altijd te verbeteren elke dag.

Discussion

Deze methode van wrapper class-implementatie zorgt voor robots te gebruiken, zonder de broncode, bij gebruik van de H3DAPI. Concreet zouden onderzoekers die hun haptische / grafische omgeving geschreven in H3D en getest hun experiment met een fantoom robot in staat zijn uit te voeren dezelfde of soortgelijke experiment met behulp van de Barrett WAM, en vice versa. Dit type apparaat onafhankelijke cross-communicatie draagt ​​gevolgen voor de internationale revalidatie robotica-onderzoek. Dergelijke implicaties te vergemakkelijken een snelle haptische / grafische ontwikkeling, internationale samenwerking op onderzoeksgebied, en inter-onderzoekslaboratorium communicatie.

Revalidatie robotica moet nog ontdekken de vele parameters betrokken bij motorische leren. Een van de tijdrovende stappen tijdens haptische / grafische ontwikkeling omvat compilatie tijd. Met tal van revalidatie parameters, in combinatie met de compilatie tijd voor elk programma, de ontwikkeling levenscyclus om alle mogelijke groep permutaties testen stijgt snel. H3D, met de afwezigheid van de compilatie eisen, maakt een snelle ontwikkeling van tal van virtual reality scènes. Dit komt als een voordeel voor de onderzoekers streven naar de effecten van verschillende scenario's training sonde.

Beperkingen van deze 'hard-coded' wrapper class benadering van integratie is het feit dat deze procedure moet elke keer is er een nieuwe verdeling van de H3DAPI worden herhaald. Mogelijke wijzigingen van de integratie van de wrapper klasse in je laatste verdeling van de H3DAPI zou zijn om de wrapper klasse apart maken op basis van de H3DAPI. Je zou je wrapper klasse zet dan in een *. so library file. Dit zou isoleren je klas van de oorspronkelijke H3DAPI distributie.

Materials

The Display called paris (personal augmented reality immersion system), can be found at www.evl.uic.edu The large gray robot is the Barrett WAM: www.barrett.com The smaller, skinnier black robot is the Phantom: www.sensable.com The arm mount is the T-WREX, developed at the RIC: http://www.ric.org/research/centers/mars2/Projects/development/d3.aspx The shutter glasses for 3d vision: www.vrlogic.com Head tracking software. www.mechdyne.com The H3DAPI itself: www.h3dapi.org