Summary
Här presenterar vi ett protokoll som kännetecknar avkänningen av byrån som utvecklats under kontroll av sensate virtuella eller robotic protetiska händer. Psykofysisk enkäter är anställda att fånga explicit upplevelsen av byrån, och intervallet uppskattning (avsiktlig bindande) är anställda att implicit mäta avkänningen av byrån.
Abstract
Detta arbete beskriver en metodologisk ram som kan användas för att uttryckligen och underförstått karakterisera avkänningen av byrån utvecklats över neurala-maskin-gränssnitt (NMI) kontrollen av sensate virtuella eller robotic protetiska händer. Bildandet av byrån är grundläggande för att skilja de åtgärder som vi utför med våra lemmar som våra egna. Sträva efter att införliva dessa samma perceptuella mekanismerna avancerade övre-lem proteser, kan vi börja att integrera en konstgjord lem närmare i användarens befintliga kognitiv ram för lem kontroll. Detta har stor betydelse för att främja användarnas acceptans, användning och effektiv kontroll av avancerade övre-lem proteser. I detta protokoll, deltagarna styra en virtuell proteshand och får kinestetiska sensoriska feedback via deras befintliga NMIs. En rad virtuella gripande uppgifter utförs och störningar har systematiskt införts till kinesthetic feedback och virtuella handrörelser. Två separata åtgärder för byrån är anställda: etablerade psykofysisk frågeformulär (att fånga explicit upplevelsen av byrån) och ett tidsintervall uppskatta aktiviteten för att fånga den implicita känslan av byrån (avsiktlig bindande). Resultaten av detta protokoll (frågeformulär noter och tidsintervall uppskattar) kan analyseras för att kvantifiera omfattningen av byrån bildandet.
Introduction
När robotprotester blir alltmer avancerad, kommer att vikten av relevanta sensoriska feedback fortsätta att växa. Sensoriska feedback påverkar hur människor uppfattar, interagera med och även integrera maskiner i sin kropp-schemat. Senaste NMI tekniker kan nu ge protetiska lem användare intuitiv kontroll och uppnå förnimmelser som är associerad med touch1,2,3,4,5,6 , 7 och kinesthesia (rörelse känsla)8,9 i saknade lemmar. När denna sensorisk information är ihopparad med den visuella informationen genom att titta på den konstgjorda extremiteten under drift, vi har tillgång till viktiga delar som informera skillnaden av själv -kontra-andra. Att utnyttja denna tillgång kan bidra till protetiska lem användare ett steg närmare till löpande en konstgjord lem som en del av sin kropp, snarare än bara ett verktyg.
Kroppsmedvetenhet och känslan av att vara förkroppsligade uppstår från inrättandet av byrån (upplevelsen av författarskap över en lem åtgärder) och ägande (känslan av att en lem är en del av kroppen)10,11. Ägande medieras främst genom integrering av touch och visuell information12. Byrå framträder från integrationen av uppsåt, rörelse sensation (kinesthesia), visuell information och förutsägande kognitiva modeller11. Under utförandet av en frivillig åtgärd bildas byrå när sensoriska konsekvenserna av att åtgärder anpassa modellens uppsåt och förutsägelser från utövarens inre modeller13. Byrån är separat och distinkt från ägande. Begreppet lem ägande har studerats ofta i protesen litteratur14. En känsla av lem ägande former i NMI deltagare när touch feedback är rumsligt och tidsmässigt lämpligt, som uppmätt uttryckligen via enkäter eller implicit via kvarstående lem temperaturförändringar, eller temporal beställer domar15. Men har färre möjligheter funnits för att utforska byrån i samband med NMI16. Senaste arbete med NMI deltagare har visat att byrån kan främjas målmedvetet och är separat från upplevelsen av ägande8.
Byrån är särskilt betydande i driften av robotprotester eftersom det är en kognitiv länk till kontroll av konstgjorda extremitetens fysiska handlingar genom upplevelser av kausalitet, känslan av kontroll av konstgjorda extremiteten eller orsakar något att hända17. Robotprotester är avancerade datoriserade maskiner som användaren måste samarbeta med att effektivt utföra uppgifter. Vissa protetiska lemmar har införlivat autonoma funktioner, såsom grepp-slip identifiering och korrigering; ändå har dessa system sett begränsad antagandet som funktionalitet kör utanför användarens kontroll kan ses som frustrerande om inte korrekt genomfört8,18. Detta utgör en grundläggande utmaning som är ekade i tillämpningar av mänskligt samarbete med autonoma maskiner. D.v.s. människor litar ofta sina egna handlingar över de som härrör från ett samarbete med datorer eller datorer, och detta förtroende påverkar direkt en operatörs sannolikheten att använda de autonoma funktioner19,20. Som människor är lita vi medfödd på oss själva och våra kroppar som utför de åtgärder som vi avser; När detta uppnås, upprättar vi en inneboende känsla av byrån. Intressant, påverkas bildandet av byrån i människa-dator samarbetsåtgärder. Under människa-människa kooperativa uppgifter, kan en gemensam känsla av byrån bildas över rörelsen21; men tyder litteraturen det dela byrån är pantsatta under människa-dator samarbete22,23. Dessa utmaningar återspeglas i protetiska övre-lem användning och avvisande andelen robotic enheter förblir höga, med 23% - 39% av användare avbryta sin användning24. I själva verket föredrar många protes användare fortfarande kroppen-powered system25. Dessa system bort datoriserade maskinen från det kontrollerar kretsloppet och mer par intimt användarens kroppsrörelse till protesen rörelse via wire kablar. Detta förstärker ytterligare vikten av kognitiva integration i användningen av avancerade protetiska enheter. Vi föreslår att NMI system kan ge ett antal nödvändiga sensoriska och motoriska bitar att hjälpa flytta proteser närmare till att fastställa en kooperativa känsla av byrån, och detta kommer att bidra till att främja acceptans och en verklig integration av dessa datoriserade maskiner med sina användare.
Byrån kan mätas i ett antal sätt. De enklaste åtgärderna använda psykofysisk frågeformulär eller skalor som uttryckligen ber deltagarna till vem eller vad de tillskriver en händelse17,26,27. Detta bygger på individens befintliga föreställningen av ”jaget” genom att kräva deltagarna att göra inferential bedömningar av själv attribution (dvs.att uttryckligen avgöra om ”jag” eller en annan person var ansvariga för en handling eller händelse). Implicita mått ge inblick i bakgrunden kognitiva processer som inträffar under motor action och sensoriska händelser. Denna syn på byrån försöker mäta det som inte uttryckligen upplevs av en individ. Normalt uppnås detta genom att ha deltagare som kännetecknar en upplevd skillnad i själv - och externt-genererade åtgärder, till exempel med deltagare rapportera hur länge de uppfattas som uppstår mellan en själv och externt-genererade händelse 17 , 28. vid fullgörandet av egenproducerad åtgärder, byrån implicit yttrar sig som en perceptuell kompression i tid mellan åtgärder och deras sensoriska konsekvenser, känd som avsiktlig bindande28. När individer rapporterar att de uppfattas som uppstår mellan en åtgärd och dess resultat, motsvarar upplevda kortare tid en starkare bildade känsla av byrån29,30. Intressant, har det visats att explicita och implicita åtgärder inte kan direkt korrelerar som de sannolikt karakterisera olika perceptuella mekanismerna17 som tillsammans informera avkänningen av byrån. Som sådan, kommer att om inrättande av en mer omfattande förståelse av byrån bildas under protesen användning sannolikt kräva experimentella protokoll sysselsätter både explicita och implicita åtgärder.
Detta arbete beskriver en metodologisk ram som kan användas för att uttryckligen och underförstått karakterisera avkänningen av byrån utvecklat om NMI kontrollen över sensate virtuella eller robotic protetiska händer. Två tekniker för att mäta byrån vid fullgörandet av en sensomotorisk objekt-gripa uppgift markeras. Etablerade psykofysisk enkäter är anställd att fånga explicit upplevelsen av byrån, medan intervallet uppskattning (avsiktlig bindande) är anställd att implicit mäta avkänningen av byrån.
Omfattningen av detta protokoll är att utvärdera avkänningen av byrån i samband med ett NMI som ger fysiologiskt relevanta aktiva motorstyrning och kinesthetic feedback. Dessa tekniker är generaliserbart till virtuella eller fysiska protetiska NMI-system. I området i närheten finns det minimala begränsningar på de populationer som kan anställas för att utföra detta protokoll. Exempelvis rörlighet för deltagarens armar bilateralt påverkas inte (de måste ha en sund lem), och de måste ha kognitiv förmåga till göra tidsbaserade domar och artikulera erfarna förnimmelser.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Detta protokoll har godkänts tidigare och följer riktlinjerna i Cleveland Clinics mänskliga forskningsetisk kommitté.
1. hårdvara och mjukvara för NMI
- Fastställa varje enskild deltagares NMI kontroll och feedback så att när de försöker utföra en rörelse kan de se och känna en virtuell protes slutföra det rörelsen.
- Generera en hand kinestetiska percept genom deltagarens NMI och fånga kinematik upplevda rörelse genom att deltagaren visar vad de känner med handen intakt.
Obs: Tekniker för att karakterisera kinestetiska percept kinematik illustrerats i andra verk8 och kan uppnås med hjälp av en data handske eller en optisk motion capture system. - Använda en virtuell hand/protetiska simulering för att reproducera den rörelse percept kinematik.
- Ställa in maskinvaran att fånga avsiktliga hand rörelse styrsignaler från deltagarens NMI.
- Mappa denna styrsignal till aktiviteten av virtuella protesen.
- Skapa en översiktskontroll program som samordnar förvärvet av NMI styrsignal, förflyttning av virtuella protesen och generering av kinestetiska NMI feedback i realtid.
- Generera en hand kinestetiska percept genom deltagarens NMI och fånga kinematik upplevda rörelse genom att deltagaren visar vad de känner med handen intakt.
2. experimentellt ställa in
- Deltagaren på plats och placera en bildskärm vågrätt (dvs.på dess baksida, uppåt) på ett bord framför dem.
- Visa virtuella protesen på bildskärmen och justera dess storlek och läge så att den är placerad congruently med platsen av sin saknade kroppsdel.
- Återge objekt (t.ex., flytande bollar) i den virtuella miljön att fungera som stopp Poäng för handen (slutpunkter rörlighet) nära och öppna positioner.
- Konfigurera programmet översiktskontrollen så att när de virtuella siffrorna gör kontakt med de virtuella stop punkterna, en auditiv ton spelas efter en inställbar tid försening (300, 500, 700 eller 1000 ms).
3. experimentella förhållanden
- Bygga en indatafil för översiktskontrollen program som anger inställningarna för varje prövning, inklusive auditiv tonen förseningen, om NMI feedback slås på/av, hastighet och riktning av den virtuella hand-rörelsen, och fördröjningen mellan kommandot och virtuella handrörelse.
- Skapa två villkor för kontroll, en originalplan och ett passivt tillstånd.
- För det ursprungliga tillståndet, konfigurera kinematik och kontroll av virtuella handen att matcha den NMI kinestetiska percept.
Notera: Det ursprungliga tillståndet representerar den idealiska congruency motor uppsåt, rörelse kinematik och kinesthetic feedback. - Programmera det passiva tillståndet att utföra en virtuell handrörelse när utlöses av prövaren (ta bort kontrollen från användaren) samtidigt som det ger deltagaren med den NMI kinestetiska percept.
Obs: Passiv villkoret fångar de teoretiska sämsta byrå villkor (dvs, rörelse i avsaknad av kontroll [utan uppsåt], liknar en kropp som passivt flyttas).
- För det ursprungliga tillståndet, konfigurera kinematik och kontroll av virtuella handen att matcha den NMI kinestetiska percept.
- Programmet ytterligare villkor för att tolka ut bidrag till byrån motor uppsåt, kinestetisk förnimmelse och temporal obalans med virtuella protesen visas kinematik. Överväg att använda följande fem villkor.
- Mittemot rörelse: NMI kinesthetic feedback visar att handen stänger medan hand visualiseringen öppnar.
- Alltför snabb: hand visualiseringen stänger snabbare än indikeras av NMI kinesthetic feedback.
- För långsam: hand visualiseringen stängs långsammare än indikeras av NMI kinesthetic feedback.
- Uppkomsten försening: den hand visualisering stänger 1 s senare än vad som anges av NMI kinesthetic feedback.
- Ingen feedback: hand visualiseringen stänger utan någon NMI kinesthetic feedback.
- Skapa två villkor för kontroll, en originalplan och ett passivt tillstånd.
4. utförandet av experimentet
- Instruera deltagarna att köra handen från öppet till stängt läge utan att stanna och att rapportera sin uppskattning av tidsfördröjningen från när de virtuella siffrorna kontaktade virtuella stop punkter när de hörde den auditiva tonen.
Obs: Deltagarna får använda någon representation av tid mellan 0 och 1 s som är bäst för dem. (t.ex., millisekunder, bråkdelar av sekunder, 0 - 10 skala). - Inleda varje prövning genom att trycka på en startknapp på översiktskontrollen programmet, som flyttar den virtuella handen till startposition, signalering i början av rättegången. Detta cues deltagaren att köra virtuella handen till de virtuella stop punkterna, som orsakar en auditiv ton att spela efter en slumpmässig fördröjning (300, 500 eller 700 ms).
- Registrera deltagarens verbalt rapporterade uppskattning av dröjsmål tidsintervallet.
- Organisera prövningar i experimentell block.
- Börja med två träningar och utesluta dem från den slutliga analysen.
- I den första övningssessionen, har deltagare enheten handen till slutpunkten rörelse och spela auditiv tonen 1000 ms efter de virtuella siffrorna kan ta de virtuella stop för 10 försök.
- Deltagarna behöver inte rapportera de uppskatta intervallerna för övningen.
Obs: Detta steg är nödvändigt att orientera deltagare att hur länge en enda andra känns.
- Deltagarna behöver inte rapportera de uppskatta intervallerna för övningen.
- I den andra övningen igen, har deltagare enheten handen till slutpunkten rörelse. Randomize auditiv toner så att de 300, 500 och 700 ms fördröjningsintervall presenteras minst 5 x varje.
- Be deltagarna att rapportera de uppskattade fördröjningsintervall.
- Inte informera deltagaren av hur nära deras uppskattningar dröjsmål intervaller är att den faktiska förseningen under dessa praxis prövningar eller efterföljande prövningar i experimentell blocket.
Obs: Detta steg är viktigt eftersom deltagarna kommer sannolikt att vara oerfaren att göra tid domar på en skala från bråkdelar av en sekund, och testförfarandet inte är intuitivt att unpracticed test deltagaren.
- I den första övningssessionen, har deltagare enheten handen till slutpunkten rörelse och spela auditiv tonen 1000 ms efter de virtuella siffrorna kan ta de virtuella stop för 10 försök.
- Flytta till experimentella uppsättningar av 15 studier för varje villkor. Presentera förutsättningarna i en randomiserad ordning och administrera en enkät i slutet av varje villkor.
- Instruera deltagarna att reflektera över de senaste uppsättning prövningar och fylla i åtta-uttalande byrån enkäten (innehåller fyra frågor till kvantifiera explicit upplevelsen av byrån och fyra kontroll frågor [exempel som ges i Kompletterande fil])8,26.
- Randomize frågeformulär uttalanden för att ge minst fem unika fråga order att presenteras slumpmässigt för deltagarna.
- Instruera deltagarna att reflektera över de senaste uppsättning prövningar och fylla i åtta-uttalande byrån enkäten (innehåller fyra frågor till kvantifiera explicit upplevelsen av byrån och fyra kontroll frågor [exempel som ges i Kompletterande fil])8,26.
- Slut på experimentell blocket med en uppsättning 15 studier för passiva tillstånd och administrera en enkät när du har slutfört dessa prövningar.
Obs: Administrera de passiva prövningarna i slutet av varje experimentella block att undvika störningar med en etablerad känsla av byrån.
- Börja med två träningar och utesluta dem från den slutliga analysen.
- Slutföra fyra experimentella block med olika randomiserade order experimentella betingelser.
- Ge flera möjligheter över varaktigheten av testning för deltagarna att ta en paus. Det finns ingen minsta tid eller tidsfristen för dessa pauser, men säkerställa deltagaren inte är fysiskt eller mentalt trött före fortsatt testning.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Det experimentellt protokollet utfördes med tre amputee deltagare verkar en sensate virtuella protes via deras NMI8 (figur 1). Inställningen används en deltagare-kontrollerbara virtuella hand rör sig genom förprogrammerade kinematisk profiler som använder den MuJoCo HAPTIX fysik motor31. Den virtuella handen visades på en horisontell skärm framför deltagarna på en plats som rumsligt kongruent med deras saknas lem. NMI deltagarna hade tidigare genomgått neurala rewiring kirurgiskt (riktade reinnervation), som var förenat med standard protetiska lem myoelektriska (EMG) kontrollstrategier att ge intuitiv kontroll av den virtuella hand32; Således kunde deltagarna köra virtuella handen genom att 'tänka' om öppna och stänga handen saknas. Strategiska vibrationer av deltagarnas kirurgiskt rewired muskler inducerad illusoriska föreställningar om handrörelse, skaffande en plattform för kinestetiska sensoriska feedback8. Genom anpassad programvara integrerades EMG hand styrsignaler och virtuella protes renderingar med produktionen av en vibration feedback enhet. När deltagaren påbörjas en rörelse av visas virtuella handen, skulle vibrationer framkalla en motsvarande matchade känsla av en komplex grepp rörelse i saknas handen.
Figur 1: en exempel-installation som uppfyller kraven att karakterisera byrån. Denna inställning ger användaren intuitiv kontroll och kinesthetic feedback av en visas virtuella hand. Virtuell hand control och feedback uppnås genom den neurala-maskin-gränssnitt med myoelektriska kontroll och vibrationer stimulering (framkalla illusorisk rörelse percepts av den saknade delen) av de amputerade reinnervated muskulatur. Kontroll och feedback samordnas genom ett system för datainsamling och dator med anpassad programvara. Virtuell hand kinematik visas för användaren på en horisontell skärm. Klicka här för att se en större version av denna siffra.
Figur 2A tillhandahålls för jämförelse av explicita mått av byrån enligt feedback villkor. Här, är den genomsnittliga poängen för de fyra byrå frågorna (och fyra kontroll frågor) ritade för varje deltagare och av varje feedback villkor. I figur 2B, är dessa enskilda deltagare poäng i genomsnitt och plottas för varje feedback villkor, med felstaplar som representerar den genomsnittliga standardavvikelsen. En genomsnittlig rating större än 1 anger ett avtal med ett visst uttalande och 0 anger neutralitet av avtalet26. Vitsordmenen avtal (≥ 1) för frågorna som byrån anger en större upplevelse av byrån. Svaren på frågorna som kontroll bör vara negativ eller neutral (≤ 0) och en poäng mellan 0 och 1 är tagen så osäkert. Den 'baslinje', 'alltför snabb' och 'ingen feedback' skick visat lägsta genomsnittliga intervallet uppskattningar som visar den starkaste känslan av byrån bildas, medan 'passiv' och 'motsatt rörelse' förhållanden visat svagaste avkänningen av byrån.
Figur 2: explicita mått av byrån under varje feedback villkor. (A) Genomsnittligt Poäng för fyra byrån och fyra kontroll frågor till varje deltagare under varje feedback villkor. (B) Genomsnittligt poäng över deltagare varje feedback villkor. Felstaplar representera standardavvikelsen. I båda tomter, genomsnitt betyg högre än + 1 indikerar avtal och för byrån frågorna, bildandet av byrån, medan 0 anger neutralitet. Denna siffra har ändrats från Marasco o.a. 8. vänligen klicka här för att visa en större version av denna siffra.
För en jämförelse av avsiktlig bindande i varje feedback skick, figur 3A visar tidsintervallet uppskattningar för varje deltagare i genomsnitt enligt feedback skick. Skillnaderna mellan den faktiska och upplevda tid intervallerna var då i genomsnitt över de tre deltagarna och presenteras i figur 3B i förhållande till baslinjen feedback villkoret. Felstaplar beteckna genomsnittliga standardavvikelsen. Lägre tidsintervall beräknar (figur 3A) och större negativa skillnader (figur 3B) är en indikation på en starkare implicita känsla av byrån. Villkoret ”för fort” följt av det ursprungliga tillståndet visade lägst Genomsnittligt intervall uppskattningarna, som visar den starkaste känslan av byrån bildades, villkoret 'motsatt rörelse' visat svagaste avkänningen av byrån.
Figur 3: Implicita mått av byrån via tid intervall uppskattningar under varje feedback villkor. (A) den genomsnittliga intervallen uppskattar för dröjsmål intervallet mellan slutförandet av virtuella handen nära och auditiv tonen plottas för varje deltagare över varje slumpmässigt presenteras faktiska intervallet. Resultaten är ritade för varje feedback villkor och en lägre tid uppskattning indikerar en starkare känsla av byrån. Dessa paneler har ändrats från Marasco o.a. 8. (B) Genomsnittligt skillnaden (över deltagare och fördröjningsintervall) mellan den faktiska förseningen och deltagarens Beräknad tidsintervall i förhållande till baslinjen feedback villkoret. Resultaten är ritade för båda. Här ett mer negativt värde innebär en starkare genomsnittliga känsla av byrån, och CI betecknar 95% konfidensintervall (CI). Klicka här för att se en större version av denna siffra.
Figur 4 möjliggör en jämförelse av explicita och implicita byrån åtgärder. Den genomsnittliga skillnaden mellan upplevd och faktisk tid intervallerna ritas i förhållande till resultaten av villkoret baslinjen feedback och med avseende på de i genomsnittliga byrån frågeformulär poängen för varje feedback villkor. I denna presentation av data, flytta från vänster till höger på x-axeln visar en minskning av den explicita erfarenheten av byrån och flyttar från botten till toppen på y-axeln anger en minskning av den implicita känslan av byrån. Som i figur 2 och figur 3visat villkoret 'alltför snabb' det starkaste bildandet av byrån, både uttryckligen och underförstått.
Figur 4: genomsnittlig explicita och implicita åtgärder för byrån för varje feedback villkor, att kombinera de resultat som presenteras i figur 2B och figur 3B. Genomsnittliga explicit byrån resultaten ritas på x-axeln och genomsnittligt intervall uppskattningarna ritas på y-axeln. Felstaplar beteckna standardavvikelse. Från vänster till höger på x-axeln visar en minskning av den explicita erfarenheten av byrån och flyttar från botten till toppen på y-axeln anger en minskning av den implicita känslan av byrån. Denna siffra har ändrats från Marasco o.a. 8. vänligen klicka här för att visa en större version av denna siffra.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Här presenteras en metodram för att karakterisera upplevelsen av byrån bildades ändandet sensate proteser via NMIs. I detta sammanhang är byrån särskilt relevant eftersom det överbryggar fysiska åtgärder för att de kognitiva bakgrundsprocesser som formar uppfattningen. Genom en deltagares protes och NMI, har vi direkt tillgång till ett antal nyckelfaktorer som skapar känslan av byrån: avsikten, motoreffekt och rörelse sensation. Av betydelse till avancerade protetiska lem kontroll, verktygen i detta arbete utnyttja detta direkt tillgång för att låsa upp en förståelse för hur dessa element kan främja användarens känsla av kontroll över, och kognitiv integration av, åtgärder av deras protesen.
De tekniker som belyste är flexibel i att de kan användas med någon NMI forskning och kliniska protetiska system så länge de uppfyller kriterierna för realtid perceptuellt relevanta kontroll och kinesthetic feedback. Fördelen inneboende till många NMIs är potentialen för intuitiv kontroll uppnås genom att utnyttja de nervbanor som förblir postamputation. Detta möjliggör mätning av kvarvarande fysiologiska verksamhet att när åtföljs intakt lem rörelse, som kan, i sin tur avkodas och mappas till lämplig virtuell eller protetiska lem rörelsen. Därför, flesta NMI tekniker bör uppfylla kravet på perceptuellt relevanta kontroll, förutsatt att den inspelade neural aktiviteten och det medföljande digitala gränssnittet kan producera tillförlitlig utsignaler som kan mappas på rätt sätt till den virtuell hand. Den experimentella setup kräver också ett system som ger utredarna möjlighet att aktivt inleda kinestetiska förnimmelser i realtid med visas virtuella hand kinematik. Detta är ett avgörande krav som en känsla av byrån över rörelser upprättas när vi delta i en åtgärd och lämplig sensoriska feedback returneras under slutförandet av denna åtgärd13. Igen, så länge detta kriterium är uppfyllt, kommer de flesta någon NMI kinesthetic feedback-systemet vara lämpligt.
De tekniker som presenteras här har fördelen av att utvärdera både explicita och implicita kognitiv-perceptuella mått på byrån. Det finns bevis som tyder på att varje är ett resultat av separata kognitiva mekanismer som tillsammans utgör en komplett känsla av byrån17; dock finns det fortfarande inte en fullständig förståelse av denna relation. Resultaten från dessa åtgärder är kvantitativa och lättolkad. Minskar i tid intervall uppskattningar tyder på att en starkare implicita känsla av byrån bildades. På samma sätt ange högre frågeformulär poäng på byrån uttalanden en starkare explicit erfarenhet av byrån. Det föreslås att dessa kvantitativa värden kan ge en grund för att utvärdera och stämma NMI kontroll och sensoriska feedback. Exempelvis i ett tidigare arbete8 som rapporteras här i figur 4, deltagarna ofta rapporterade mindre upplevda tidsintervall och uttryckligen rapporteras starkare upplevda byrån när en virtuell hand visades som stängde något snabbare än den kinestetiska känslan som de upplevt. Detta indikerar att användaren kände en starkare känsla av kontroll över åtgärderna i handen, som rapporterats uttryckligen, men föreslår också att de kognitiva processer som skapar denna känsla av kontroll mer starkt förknippar med denna snabbare kinematisk display. Som sådan, kan en justering av NMI kontrollsystem för en klinisk protes att rymma snabbare hand utgående hjälpa förbättra användarens uppfattning av kontroll över sin fysiska enheten och uppmuntra användaren att identifiera enhetens åtgärder som självgenererade.
De tekniker som presenteras kan också användas för att bilda en mer fullständig förståelse av hur flera sensoriska modaliteter kan påverka synen på ägande över proteser. Till exempel kan touch sensoriska feedback (eller andra sensoriska modaliteter) införlivas i det paradigm som presenteras här för att utvärdera deras möjliga individuella roller i potentierande avkänningen av byrån. De tekniker som presenteras här kan dessutom kopplas ihop med åtgärder av äganderätten till mer omfattande karakterisera inbördes relationerna mellan byrån och förkroppsligande enskilda sensoriska modaliteter. Metoderna kan också ha bredare tillämpligheten bortom NMI-kontrollerade enheter. Liknande experimentella uppgifter kunde genomföras med komplexa styrsystem (såsom myoelektriska mönsterigenkänning), traditionella myoelektriska proteser, och kroppen-powered system, samt system utan NMI sensoriska feedback. Detta kan ge för ett unikt perspektiv förstå hur kognitiva processer svara på mindre 'naturlig' kontroll och feedback paradigm och ge insikter i hur byrån och uppfattningar om kontroll kan agera under driften av mer traditionell forskning eller kliniska protetiska system.
När robotprotester växer alltmer sofistikerade, så alltför ökar behovet av effektiv kontroll och kognitiva integration av dessa enheter. Sensation är en väg till att ta itu med ett antal kritiska hinder, och att kunna bedöma de underbyggnad mekanismer som bearbeta rörelse sensation och information är en viktig pusselbit. De verktyg som finns här kan hjälpa till att underlätta integrationen av enheter med användare genom att karaktärisera explicita och implicita bildandet av byrån. Dessa tekniker hjälper kvantifiera fördelarna med medfödd tillgång till intuitiva motorisk kontroll och känsla att NMIs föreskriva och kan erbjuda en plattform för bedömning och tuning, för att i slutändan förbättra användarens uppfattning av att ha kontroll över sin konstgjorda lem.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har något att avslöja.
Acknowledgments
Författarna vill tacka Madeline Newcomb för hennes bidrag till figur generation. Detta arbete finansierades av de amerikanska skattebetalarna genom en NIH, kontoret av direktören, gemensam fond, omvälvande R01 Research Award (grant nr 1R01NS081710-01) och den Defense Advanced Research Projects Agency (avtalsnummer N66001-15-C-4015 under överinseende av Biologi teknik programmet kontorschef D. Weber).
Materials
| Name | Company | Catalog Number | Comments |
| LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit | National Instruments, Austin, TX, USA | Full or Pro Version | We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data. |
| 8-Slot, USB CompactDAQ Chassis | National Instruments, Austin, TX, USA | cDAQ-9178 | |
| ±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module | National Instruments, Austin, TX, USA | NI-9221 | |
| 100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module | National Instruments, Austin, TX, USA | NI-9263 | |
| Custom Wearable Kinesthetic Tactor | HDT Global, Solon, OH, USA | N/A | This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand. |
| MuJoCo Physics Engine, HAPTIX Version | Roboti LLC, Redmond, WA, USA | mjhaptix150 | Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model. |
| Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle | Ottobock, Duderstadt, Germany | electrodes: 13E200=60 battery: 757B21 battery receptacle: 757Z191=2 |
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used. |
References
- Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
- Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
- Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
- Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
- Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
- Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
- Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
- Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
- Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
- Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
- Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
- Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
- Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
- Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
- Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
- Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
- Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
- Edwards, A. L. Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , University of Alberta. Master's thesis (2016).
- Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems - Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
- Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
- Moore, J. W. What is the sense of agency and why does it matter? Frontiers in Psychology. 7 (AUG), 1-9 (2016).
- Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
- Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency? 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , Lisbon, Portugal. August 28 - September 1, 2017 (2017).
- Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
- Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
- Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
- Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
- Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
- Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
- Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
- Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , Seoul, South Korea. November 3 - 5, 2015 (2015).
- Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
