Haptisk / Grafisk Rehabilitering: Att integrera en robot i en virtuell miljö Bibliotek och tillämpa den på Stroke Terapi

Summary

Nyligen har en stor mängd möjligheter kommer tillgängliga för människa-robot interaktiva system. I denna uppsats redogör vi för integration av en ny robot enhet med öppen källkod som snabbt kan möjliggöra ett bibliotek med interaktiva funktioner. Redogör vi sedan en klinisk applikation för en Neurorehabilitation ansökan.

Abstract

Ny forskning som testar interaktiva produkter för långvarig behandling praktiken visat nya framtidsutsikter för robotik i kombination med grafiska och andra former av biofeedback. Tidigare människa-robot interaktiva system krävt olika programvaror kommandon som ska genomföras för varje robot som leder till onödiga utvecklings overhead tid varje gång ett nytt system blir tillgänglig. Till exempel, när en haptisk / grafisk virtuell verklighet miljön har kodat för en specifik robot för att ge haptisk återkoppling, det skulle visst roboten inte att kunna bytas mot en annan robot utan omkodning programmet. Dock har de senaste insatser i öppen källkod föreslagit en strategi wrapper klass som kan framkalla nästan identiska svar oberoende av använda roboten. Resultatet kan leda forskare över hela världen för att utföra liknande experiment med gemensam kod. Därför modulär "byta ut" av en robot för en annan skulle inte påverka utvecklingstiden. I detta papper, disposition vi det framgångsrika skapandet och genomförandet av en wrapper klass för en robot i öppen källkod H3DAPI, som integrerar programvara kommandon som oftast används av alla robotar.

Protocol

Inledning

Det finns ett växande behov i alla människa-maskin-interaktion (HMI) för intuitiv och effektiv interaktiva miljöer. Många industrier fortsätter att bero mer tungt på HMI, såsom rehabilitering robotik, bilindustrin, metall tillverkning, förpackning maskiner, läkemedel, livsmedel, dryck, och verktyg. Metoder som används inom dessa branscher är: visning terminaler, persondatorer, och HMI mjukvara. Dessa tekniker kan kombineras samman för att utföra obegränsat funktioner.

Robotar kan användas för att underlätta direkt interaktion med användare, som fungerar som en musik instruktör. Till exempel har forskare vid Waseda University har skapat en robot som spelar saxofon att lära människor hur man spelar och att förstå samspelet mellan student och lärare ^1. Andra Robotics forskare har gjort en vision baserad flygande robot för att avgöra hur artificiell intelligens kan utvecklas till intelligent interaktion med miljön ^2. Den särskild koncentration av detta papper är bosatt inom rehabilitering robotik.

Inom området för forskning och industri, fortsätter den snabba förändringstakten för nya produkter och användarkrav att växa. Dessa krav innebär större utmaningar i skalbarhet. Därför kod design har blivit integrerad i att tillgodose behoven av dessa enheter i tid. Därför skulle kvaliteten på en stark arkitektonisk kandidat inkluderar lätt utbytbara grafisk-robotsystem som inkluderar förarstöd. Den H3DAPI arkitektur möter dessa behov och därmed en wrapper klass har skapats. Dessutom är H3D utformad för virtual reality-miljöer, t.ex. de som behövs i rehabiliteringen robotik.

Neural rehabilitering Robotics försöker använda robotar för att hjälpa rehabilitering proffs. Den hjälp som dessa robotar ger kommer i form av en kraft-fält. Godkänd motor kommandot forskare som Shadmehr och Mussa-Ivaldi, används kraftfält för att främja motorisk anpassning, och har hittat 1) anpassning till ett externt tillämpad kraftfält uppstår med olika typer av rörelser inklusive men inte begränsat till att nå rörelser, och 2) anpassning generaliserar över olika rörelser som besöker samma områden i det yttre fältet ^3. Forskning från biomekaniska ingenjörer inom prestationsbaserad Progressiv Robot-Assisted terapi visar att upprepade, uppgiftsspecifika, målinriktad, är robot-assisterad terapi effektivt för att minska Rörelsehinder i den drabbade armen efter stroke ^4, men den exakta terapeutiska effekter och parametrar fortsätta att vara ett forskningsområde.

Sensorisk återkoppling påverkar inlärning och anpassning. Därför är nästa logiska fråga skulle vara att fråga även artificiellt öka storleken på en sådan respons skulle främja snabbare eller mer fullständigt lärande / anpassning. Vissa forskare har funnit att tillämpa större sensorisk återkoppling styrkor eller visuella referenser för att öka misstag kan ge en adekvat neurologisk stimulans för att främja högre nivåer av anpassning / lärande ^5,6. Detta kallas "fel augmentation". Detta fenomen kan bero på det faktum att när resultaten av en motorisk kontroll åtgärd avvika från den ideala, våra interna modell själv justeras beroende på omfattningen av felet. Såsom våra interna modellansatser den yttre miljön, fel i utförandet av en uppgift minskar.

Forskning fortsätter att stödja långvarig praxis funktionellt relevant verksamhet för restaurering av funktion, även om många aktuella vården politik begränsar den tid patienten kan spendera tid med terapeuter. Den spännande frågan är om dessa nya tillämpningar av teknik kan gå längre än att bara ge en högre dos av det aktuella läget i vården. Människa-maskin-interaktion studier har avslöjat nya möjligheter inom motorisk inlärning, och kan i vissa fall erbjuda ett mervärde till den terapeutiska processen. Specialiserade robotutrustning kombination med dator-skärmar kan öka återkoppling av fel i syfte att påskynda, förbättra, eller utlösa motor Återinlärning. Denna uppsats kommer att presentera en metod för att använda ett utvecklat system för en klinisk åtgärd som ett sådant exempel på tillämpningen av denna teknik.

1. Etablera Hapi wrapper klass för en robot

1. Skapa en wrapper för Hapi de haptik biblioteket genom att skapa egna. CPP och header-fil. Till exempel kommer vi att använda namnet HAPIWAM.cpp och HAPIWAM.h.
2. Placera HAPIWAM.cpp i källkatalogen: Hapi / src
3. Placera HAPIWAM.h i sidhuvudet filkatalog: Hapi / include / Hapi
4. På toppen av HAPIWAM.h, innehålla de viktigaste header fil (er) i din robot, i fallet med Barrett WAM, det skulle vara:

<em> extern "C" {
# Include <include/btwam.h>
}
# Include <HAPI/HAPIHapticsDevice.h>

Obs: extern "C" är krävs för att lösa kompilator mangling, eftersom det medföljande biblioteket är skrivet i "C" och H3DAPI är skrivet i C + +.

5. I HAPIWAM.h, skapa din klass och innehålla följande 4 funktioner

BOOL initHapticsDevice (int);
bool releaseHapticsDevice ();
void updateDeviceValues ​​(DeviceValues ​​& DV, HAPITime DT);
void sendOutput (HAPIHapticsDevice:: DeviceOutput & D, HAPITime t);

6. Se till att din klass ärver offentligt från HAPIhapticsdevice klassen.
7. Skapa en rubrik vakt för din klass.
8. Skapa statiska DeviceOutput och statiska attribut HapticsDeviceRegistration under HAPIWAM klassen.
9. Skapa din statisk medlem funktioner för återuppringning.
10. Definiera din konstruktören och destructor i HAPIWAM.cpp.
11. Registrera din enhet i HAPIWAM.cpp.
12. Definiera 4 nedärvda funktioner och callbacks i HAPIWAM.cpp.

2. Hapi biblioteket skapande

1. Nu när vi har skapat Hapi wrapper klass, måste vi bygga ditt omslag i Hapi biblioteket. I WAM beror på vissa bibliotek som H3DAPI inte är beroende av i sin råa form, kommer därför att dessa bibliotek måste läggas till Hapi. Gå till Hapi / Hapi / bygga och redigera CMakeLists.txt. Lägg till beroende biblioteken efter raden där det står "SET (OptionalLibs)".
2. Öppna ett kommando konsol och navigera till: Hapi / Hapi / bygga och skriv följande tre kommandon i denna ordning:

cmake.
sudo make
sudo make install

3. H3D wrapper klass

1. För att skapa wrapper klass för H3D-biblioteket med din HAPIWAM, först skapa WAMDevice.cpp i källkatalogen: H3DAPI/src
2. Placera WAMDevice.h i sidhuvudet filkatalog: H3DAPI/include/H3D
3. WAMDevice.h bör innehålla standard header-fil för alla H3DAPI enheter, med namnet ersättas till vad du vill.
4. WAMDevice.cpp ska innehålla standardljuskälla för alla H3DAPI enheter, med namnet ersättas till vad du vill.
5. Nu när wrapper klass har skapats, bygga om H3DAPI bibliotek. Gör detta genom att redigera CMakeLists.txt på samma sätt som i steg 2,1, bara under katalogen: H3DAPI/build.
6. Bygga om H3DAPI biblioteket under katalogen H3DAPI/build

cmake.
sudo make
sudo make install

4. Finite State Machine

1. Varje riktade omfattande program kräver skapandet av en Finite State Machine för att kontrollera de experimentella protokoll eller praxis regim. Typiska tillståndsmaskiner är: Start av rättegång, Launch, Target Contact, och i slutet av Trial. Ett exempel på funktionen för varje stat, och kriterier för att överföra mellan stater är listade nedan.
2. Start av studie kräver att tilldelningen av ett mål. Mål platser kan ställas in slumpmässigt för varje prövning eller kan ställas in från en fil. Starten på rättegången avslutas när användaren har lanserat mot målet ovan hastighet tröskeln, vanligen 0,06 meter per sekund.
3. Den Launch staten sker efter starten av rättegången. Detta tillstånd upphör antingen när användaren rör vid målet eller vistas inne i målet för en tid. När målet är rörd, innebär det att staten Target Kontakt.
4. Mål Kontakta sker under Launch staten. Det kan sluta så snart målet är rörd eller efter motivet befinner sig inom målet för en viss tidsperiod. När denna tid har förflutit, är slutet på rättegångsstaten aktiverat.
5. The End of Trial staten bör signal programvara för datainsamling för att markera datafilen, oavsett parsning programutvecklaren har använt, att avgränsa i slutet av varje prövning. Såvida inte den slutliga prövningen har slutförts, gör slut the End of Trial tillstånd i början av rättegångsstaten.

5. Ansökan: rehabilitering av strokepatienter

1. Den robotiserade gränssnittet var utformat för att involvera terapeut expertis när du använder roboten så att något som annars inte skulle göras. Tekniken aktiverat program (beskrivs mer i detalj nedan) av fel augmentation som förstoras felen uppfattas av patienten, som under flera kända orsaker förbättrar Återinlärning processen (figur 1).
2. En tredimensionell haptik / grafik system som kallas Virtual Reality Robotic och optisk Operations Machine (VRROOM). Detta system, som lades fram tidigare ^6, kombinerat en projekterad stereo, huvud-spårade rendering på en semi-silverfärgat spegel overlay-skärm med ett robotsystem som registrerats handledsställning och genererade en kraft vektor (fig 2).
3. En biokvalitet digital projektorn (Christie Mirage 3000 DLP) visas de bilder som sträckte sig över en fem fot bred 1280x1024 pixlar, vilket resulterar i en 110 ° bred betraktningsvinkel. Infraröd sändare synkroniserade separat vänster och höger öga bilder genom Liquid Crystal Display (LCD) shutter glasögon (Stereographics, Inc). Ascension flock fåglar magnetiska element spåras rörelse av huvudet så att den visuella displayen framfördes med rätt huvud-centrerade perspektiv.
4. Vid kvalificerade för studien var varje deltagares funktionsförmåga utvärderas av en blind bedömare i början och slutet av varje behandling paradigm med en veckas uppföljning efter varje och en övergripande 45-dagars uppföljning utvärdering. Varje utvärdering bestod av ett rörelseomfång (ROM) bedömning utförs på VRROOM samt kliniska åtgärder, bland annat: The Box och Blocks bedömning, Wolf Motor Function Test (WMFT), Arm Motor avsnitt av Fugl-Meyer (AMFM), och Bedömning av enklare funktionskontroller Reach (ASFR).
5. En exotendon handske med handleden bettskena användes för att hjälpa till neutral handled och hand justering. I mitten av roboten handtaget fästes till underarmen var placerad posteriort om carpi gemensamt så att dess styrkor agerat vid handleden men tillät rörelse i handen.
6. Patientens arm vägde minskat med en fjäder-driven Wilmington Robotic Exoskeleton (WREX) gravitation balanserad ortos. Patientens instrueras mål var att jaga en markör som presenteras framför dem flyttade via en tracking enhet i händerna på terapeuten (terapeuten teleoperation).
7. Patienter praktik tre dagar i veckan i cirka 40-60 minuter, med patienten, terapeuten, och roboten arbetar tillsammans i en trio. Ämne och terapeut satt sida vid sida, och ämnet var ansluten till roboten vid handleden.
8. Varje session inleddes med fem minuter av passiva rörelseomfång övningar (PROM) med terapeuten, följt av cirka tio minuter för att placera patienten i maskinen. Ämnet fullbordade sedan sex kvarter av rörelseträning på fem minuter vardera med två minuters vila mellan varje block.
9. Under utbildningen visade deltagarna två markörer på stereon displayen. Den behandlande terapeuten manipulerade en markör medan deltagaren kontrollerade den andra. Patienterna instrueras att följa den exakta sökvägen till den terapeutens markören som flyttade hela arbetsytan.
10. Fel augmentation lämnades både visuellt och med krafter som genereras av roboten. När deltagarna avvek från terapeutens markör blev en ögonblicklig fel vektor e etablerad som skillnaden i position mellan terapeutens markören och deltagarens hand. Fel blev visuellt förstoras med en faktor 1,5 e (m) som en del av felet augmentation. Dessutom uppstod ett fel utöka kraft på 100 e (N / m) tillämpas även, som var programmerad att mätta till högst 4 N av säkerhetsskäl.
11. Varje annan behandling blocket bestod av specifika, standardiserade motioner som var samma för varje session. De andra blocken får terapeuten att skräddarsy utbildning på specifika områden av svaghet bygger på terapeutens kompetens och sina observationer. Behandlingen protokollet ingick bruket av specifika rörelser för alla deltagare, inklusive framåt och sidan når, axel-armbåge koppling, och diagonala når över hela kroppen.
12. Även öva var dag till dag median fel mätt som ett resultat av praxis. Särskild uppmärksamhet riktades mot block av standardiserade motioner som var samma för varje session. Dessa jämfördes med tidigare dagar för att avgöra om någon stegvis förbättring kunde observeras på en dag till dag, som kan rapporteras till patienten, terapeuten och vårdgivare (fig 3).
13. Primära åtgärder av utfall mättes varje vecka, en vecka efter avslutad behandling, och 45 dagar efter att bestämma lagring av fördelarna. Viktigaste resultaten var Fugl-Meyer motorisk förmåga poäng och våra skräddarsydda arm når test som mätt rörelseomfång.

6. Representativa resultat:

När protokollet är gjort på rätt sätt, då när <AnyDevice> noden laddas i H3DViewer eller H3DLoad ska WAM-enheten ska erkännas och initieras. Om WAM ersattes med en annan robot, skulle själva koden behöver inte ändras.

Figur 1. Ämne sitter vid haptiska / grafisk utrustning.

Figur 2. Ämne sitter vid haptiska / grafik apparater med sjukgymnast.

Figur 3. Konfiguration för rehabilitering of stroke patienten. A) ämne och terapeut arbetar tillsammans, sittande och med stor arbetsyta haptiska / grafik att öva rörelsen. Terapeuten ger en kö för ämnet, och kan skräddarsy konditionering till patientens behov. Roboten ger krafter som trycker på lem bort från målet och visuell feedback system stärker fel markören. B) Typiska kronisk strokepatient förbättring från dag till dag. Varje prick representerar medianen felet mäts för en 2-minuters block av stereotypa funktionella rörelser. Medan patienten visar framsteg inom 2-veckors period och allmän positiv effekt, gjorde denna person inte alltid bättre varje dag.

Discussion

Denna metod för wrapper klass genomförande möjliggör olika robotar som ska användas, utan att ändra källkoden, när du använder H3DAPI. Konkret skulle forskare som har skrivit sin haptiska / grafisk miljö i H3D och testade deras experiment med en fantom robot ska kunna utföra samma eller liknande experiment med Barrett WAM, och vice versa. Denna typ av enhet oberoende gränsöverskridande kommunikation bär konsekvenser för internationell rehabilitering Robotics forskning. Sådana konsekvenser underlätta snabb haptiska / grafisk utveckling, internationellt forskningssamarbete och internationell forskning lab kommunikation.

Rehabilitering Robotics har ännu inte avslöja de många parametrar inblandade i motorisk inlärning. En av de tidskrävande stegen under haptiska / grafik utveckling inkluderar sammanställning tid. Med många rehabilitering parametrar, blandad med sammanställningen tiden för varje program stiger livscykel för att testa alla möjliga grupp permutationer snabbt. H3D, med dess avsaknad av sammanställning krav, möjliggör en snabb utveckling av ett flertal virtuell verklighet scener. Detta kommer som en fördel för de forskare som strävar efter att söka av effekterna av olika utbildning scenarier.

Begränsningar av denna "hårdkodade" wrapper klass integrationssträvandena inkluderar det faktum att denna procedur måste upprepas varje gång det finns en ny fördelning av H3DAPI. Möjliga ändringar integrera wrapper klassen i din senaste fördelning av H3DAPI skulle vara att skapa wrapper klass separat från H3DAPI. Du skulle sedan lägga din wrapper klass i en *. så biblioteksfil. Detta skulle isolera din klass från den ursprungliga H3DAPI distribution.

Materials

The Display called paris (personal augmented reality immersion system), can be found at www.evl.uic.edu The large gray robot is the Barrett WAM: www.barrett.com The smaller, skinnier black robot is the Phantom: www.sensable.com The arm mount is the T-WREX, developed at the RIC: http://www.ric.org/research/centers/mars2/Projects/development/d3.aspx The shutter glasses for 3d vision: www.vrlogic.com Head tracking software. www.mechdyne.com The H3DAPI itself: www.h3dapi.org