Summary
Her præsenterer vi en protokol, der præger følelsen af agenturet udviklet kontrol over sensate virtuelle eller robot proteser hænder. Psykofysiske spørgeskemaer er ansat til at fange den eksplicitte oplevelse af agenturet, og interval estimater (forsætlig bindende) er ansat til implicit måle følelsen af agenturet.
Abstract
Dette arbejde beskriver en metodisk ramme, som kan bruges til eksplicit og implicit karakterisere følelse af agenturet udviklet neurale-maskine-interface (NMI) kontrol over sensate virtuelle eller robot proteser hænder. Dannelsen af agenturet er grundlæggende skelne de handlinger, vi udfører med vores lemmer som værende vores egne. Ved at stræbe at indarbejde avancerede øvre lemmer proteser i disse samme perceptuelle mekanismer, kan vi begynde at integrere en kunstige lemmer tættere i brugerens eksisterende kognitive rammer for lemmer kontrol. Dette har stor betydning for at fremme brugernes accept, anvendelse og effektiv kontrol af avancerede øvre lemmer proteser. I denne protokol, deltagerne styre en virtuel proteser hånd og modtage kinæstetisk sensoriske feedback gennem deres allerede eksisterende NMIs. En række virtuelle grasping opgaver udføres og perturbationer introduceres systematisk kinæstetisk feedback og virtuelle håndbevægelser. To separate foranstaltninger i agenturet er ansat: etableret psykofysiske spørgeskemaer (til at fange den eksplicitte oplevelse af agenturet) og en gang interval beregne opgave for at fange den implicitte følelse af agenturet (forsætlig bindende). Resultaterne af denne protokol (spørgeskema scores og tidsinterval anslår) kan analyseres for at opgøre omfanget af agenturet dannelse.
Introduction
Som robot proteser bliver stadig mere avanceret, vil betydningen af relevante sensoriske feedback fortsætte med at vokse. Sensorisk feedback påvirker hvordan mennesker opfatter, interagere med og endda integrere maskiner til deres krop skema. Seneste NMI teknikker kan nu levere protese lemmer brugere med intuitiv kontrol og opnå fornemmelser knyttet touch1,2,3,4,5,6 , 7 og kinesthesia (bevægelse forstand)8,9 i manglende lemmer. Når disse sensoriske oplysninger er parret med visuelle oplysninger ved at se de kunstige lemmer under drift, vi har adgang til centrale elementer, der underretter skelnen af self -versus-andre. Udnytte denne adgang kan hjælpe med at bringe protese lemmer brugere et skridt tættere på at operere en kunstige lemmer som en del af deres krop, snarere end blot et værktøj.
Kropsbevidsthed og følelsen af at være inkarneret skyldes oprettelsen af agenturet (oplevelse af forfatterskab over en legemsdel handlinger) og ejerskab (følelsen af, at en legemsdel er en del af kroppen)10,11. Ejerskab er primært medieres gennem integration af touch og visuel information12. Agenturet fremgår af integrationen af hensigtserklæringer, bevægelse sensation (kinesthesia), visuel information og kognitive prognosemodeller11. Under udførelsen af en frivillig indsats, er agenturet dannet når de sensoriske konsekvenser af handlingen justere med kunstnerens hensigt og forudsigelser fra kunstnerens interne modeller13. Agenturet er adskilte og forskellige fra ejerskab. Begrebet lemmer ejerskab er blevet undersøgt ofte i protesen litteratur14. En følelse af lemmer ejerformer i NMI deltagerne når touch feedback er rumligt og tidsligt passende som målte udtrykkeligt via spørgeskemaer eller implicit resterende lemmer temperaturforandringer, eller tidsmæssige rækkefølge domme15. Imidlertid har færre muligheder eksisteret for at udforske agenturet i forbindelse med NMI16. Seneste arbejde med NMI deltagere har vist, at agenturet kan fremmes målrettet og er adskilt fra oplevelsen af ejerskab8.
Agenturet er særligt vigtige efter operation af robot proteser, da det er en kognitiv link til kontrol af den kunstige lemmer fysiske handlinger gennem oplevelser af kausalitet, følelsen af kontrollere de kunstige lemmer eller forårsager noget at ske17. Robot proteser er avancerede edb maskiner, som brugeren skal samarbejde med til effektivt udføre opgaver. Nogle protese lemmer har indarbejdet autonome funktioner, såsom greb-slip afsløring og korrektion; men disse systemer har set begrænset vedtagelse som funktionerne kører brugerens kontrol kan ses så frustrerende hvis ikke korrekt gennemført8,18. Dette er en grundlæggende udfordring, der går igen i hele anvendelser af menneskelige samarbejde med autonome maskiner. Det vil sige mennesker har ofte tillid til deres egne handlinger over dem som følge af et samarbejde med computere eller maskiner, og denne tillid påvirker direkte luftfartsforetagendets sandsynligheden for at bruge de autonome funktioner19,20. Som mennesker stole vi medfødt på os selv og vores kroppe for at udføre de handlinger, vi har til hensigt; Når dette er opnået, opretter vi en iboende følelse af agenturet. Interessant, er dannelsen af agenturet påvirket i menneske-computer samarbejdsaktioner. Under menneske-menneske kooperative opgaver, kan en fælles følelse af agenturet dannes over bevægelse21; endnu, litteraturen tyder på, at delte agentur er belastet under menneske-computer samarbejde22,23. Disse udfordringer er afspejlet i proteser øvre lemmer brug, og afvisning satser for robotic enheder forbliver høje, med 23% - 39% af brugerne ophørende deres brug24. I virkeligheden, foretrækker mange protesen brugere stadig kroppen-drevne systemer25. Disse systemer fjerne edb maskinen fra kontrol loop og mere par intimt brugerens krop bevægelse til protesen bevægelse via wire kabler. Dette forstærker yderligere vigtigheden af kognitive integration i brugen af avanceret prosthetic enheder. Vi foreslår at NMI systemer kan give et antal af de nødvendige sensoriske og motoriske stykker til at hjælpe med at flytte kunstige lemmer tættere til oprettelse af et kooperativt følelse af agenturet, og dette vil være medvirkende til at fremme accept og den ægte integration af disse edb maskiner med deres brugere.
Agenturet kan måles i en række forskellige måder. De enkleste foranstaltninger anvendes psykofysiske spørgeskemaer eller skalaer der udtrykkeligt spørge deltagerne til hvem eller hvad de tilskriver en begivenhed17,26,27. Dette beror på en persons eksisterende opfattelse af "selv" ved at kræve deltagere at gøre inferential domme af selvstændig attribution (dvs., at udtrykkeligt bedømme, om "I" eller en anden enhed var ansvarlig for en handling eller en begivenhed). Implicitte foranstaltninger giver indblik i baggrunden kognitive processer, der opstår under motor action og sensoriske begivenheder. Denne opfattelse af agenturet forsøger at måle det, der ikke opfattes udtrykkeligt af en individuel. Dette opnås typisk ved at have deltagere karakterisere opfattede forskel i self - og eksternt-genererede handlinger, for eksempel at have deltagerne rapport varighed af de opfattes som opstår mellem en self - og eksternt-genereret begivenhed 17 , 28. under udførelsen af selvstændige genereret handlinger, agenturet implicit manifesterer sig som en sanselig kompression i tid mellem handlinger og konsekvenserne heraf sensoriske, kendt som forsætlig bindende28. Når individer rapporterer tid de opfattes som opstår mellem en handling og dens resultat, svarer en kortere opfattede varighed til en kraftigere dannede følelse af agenturet29,30. Interessant, er det blevet påvist, at eksplicitte og implicitte foranstaltninger direkte ikke kan korrelere som de sandsynligvis karakterisere forskellige perceptuelle mekanismer17 , sammen informere følelse af agenturet. Som sådan, vil om oprettelse af en mere omfattende forståelse af agenturet dannelse under protesen brug sandsynligvis kræve eksperimentelle protokoller beskæftiger både eksplicitte og implicitte foranstaltninger.
Dette arbejde beskriver en metodisk ramme, som kan bruges til eksplicit og implicit karakterisere følelse af agenturet udviklet NMI kontrol over sensate virtuelle eller robot proteser hænder. To teknikker til at måle agenturet under udførelsen af en sensorimotor objekt-fatte opgave er fremhævet. Etablerede psykofysiske spørgeskemaer er ansat til at fange den eksplicitte oplevelse af agenturet, mens intervallet estimater (forsætlig bindende) er ansat til implicit måle følelsen af agenturet.
Anvendelsesområdet for denne protokol er at vurdere følelsen af agenturet i forbindelse med en NMI, der giver fysiologisk relevante aktive motorisk kontrol og kinæstetisk feedback. Disse teknikker er generaliserbart til virtuelle eller fysiske proteser NMI systemer. Der er minimal restriktioner på de befolkninger, der kan ansættes til at udføre denne protokol. For eksempel mobilitet af deltagerens øvre lemmer kan ikke være bilateralt påvirket (de skal have en forsvarlig lemmer), og de skal besidde den kognitive evne til at gøre tidsbaserede domme og formulere erfarne fornemmelser.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Denne protokol har tidligere godkendt og følger retningslinjerne i Cleveland Clinic menneskelige videnskabsetisk Komité.
1. hardware og Software af NMI
- Etablere enkelte individuelle deltageres NMI kontrol og feedback, så at når de forsøger at udføre en bevægelse, de ser og føler en virtuel protesen fuldføre denne bevægelse.
- Generere en hånd kinæstetisk percept gennem deltagerens NMI og fange kinematik opfattede forslaget ved at have deltageren dokumentere, hvad de føler ved hjælp af deres intakt hånd.
Bemærk: Teknikker til at karakterisere kinæstetisk percept kinematik har været illustreret i andre værker8 og kan opnås ved hjælp af en data-handske eller en optisk motion capture system. - Bruge en virtuel hånd/proteser simulation til at gengive kinematik af bevægelse percept.
- Konfigurere hardware til at fange de forsætlige hånd bevægelse kontrolsignaler fra deltagerens NMI.
- Knytte denne kontrolsignal til aktiviteten af virtuelle protesen.
- Oprette en master control program, der koordinerer erhvervelse af NMI kontrolsignal, bevægelse af protesen, virtuelle, og generation af kinæstetisk NMI feedback i realtid.
- Generere en hånd kinæstetisk percept gennem deltagerens NMI og fange kinematik opfattede forslaget ved at have deltageren dokumentere, hvad de føler ved hjælp af deres intakt hånd.
2. eksperimentel opsætning
- Plads til deltageren og placere en skærm vandret (dvs, på ryggen, opad) på et bord foran dem.
- Få vist virtuelle protesen på skærmen og justere dets størrelse og placering, så det er placeret coach med placeringen af deres manglende lemmer.
- Render objekter (f.eks.flydende kugler) i det virtuelle miljø til at tjene som stop punkter for de tætte og åbne positioner, hånd (slutpunkter bevægelighed).
- Konfigurere programmet master kontrol, så hvornår de virtuelle cifre gøre kontakt med de virtuelle stop punkter, en auditiv tone spilles efter en justerbar tid forsinkelse (300, 500, 700 eller 1000 ms).
3. forsøgsbetingelser
- Opbygge en inputfil for det overordnede kontrolelement program, der angiver indstillingerne for hvert forsøg, herunder den auditive tone forsinkelse, uanset om NMI feedback er slået til/fra, hastigheden og retningen af den virtuelle hånd bevægelse og forsinkelse mellem kommandoen og den virtuelle hånd bevægelse.
- Opret to kontrol betingelser, en baseline og en passiv tilstand.
- For den hidtidige tilstand, konfigurere kinematik og kontrol af den virtuelle side til at matche NMI kinæstetisk percept.
Bemærk: Den hidtidige tilstand repræsenterer den ideelle congruency motor hensigtserklæringer, bevægelse kinematik og kinæstetisk feedback. - Programmere den passive tilstand til at udføre en bevægelse med virtuelle hånd når udløst af investigator (fjerner objektet fra brugeren) samtidig med, at deltageren med NMI kinæstetisk percept.
Bemærk: Den passive tilstand indfanger de teoretiske worst-case agentur betingelser (dvs., bevægelse i fravær af kontrol [uden hensigt], svarende til ens krop flyttes passivt).
- For den hidtidige tilstand, konfigurere kinematik og kontrol af den virtuelle side til at matche NMI kinæstetisk percept.
- Programmet yderligere betingelser designet til at parse ud bidrag til agenturet motor hensigtserklæringer, kinæstetisk sensation og tidsmæssige uoverensstemmelse med den viste kinematik virtuelle protesen. Overvej at bruge følgende fem betingelser.
- Overfor bevægelse: NMI kinæstetisk feedback viser, at hånd lukker mens hånd visualisering åbner.
- For hurtigt: hånd visualisering lukker hurtigere end indikeret af NMI kinæstetisk feedback.
- For langsom: hånd visualisering lukker langsommere end anført af NMI kinæstetisk feedback.
- Indsættende forsinkelse: hånd visualisering lukker 1 s senere end indikeret af NMI kinæstetisk feedback.
- Ingen feedback: hånd visualisering lukker uden nogen NMI kinæstetisk feedback.
- Opret to kontrol betingelser, en baseline og en passiv tilstand.
4. udførelsen af forsøget
- Pålægge deltagerne at køre hånden fra åben til lukket stilling uden at stoppe og at rapportere deres vurdering af forsinkelse fra hvornår de virtuelle cifre kontaktet de virtuelle stop punkter at når de hørte den auditive tone.
Bemærk: Deltagerne kan bruge enhver form for gengivelse af tid mellem 0 og 1 s, der giver mest mening for dem (f.eks., millisekunder, brøkdele af sekunder, 0 - 10 skalaen). - Indlede hvert forsøg ved at trykke på en startknap på master control-programmet, som flytter den virtuelle side til startpositionen, signalerer begyndelsen af retssagen. Dette stikord deltager for at køre den virtuelle side til virtuelle stop punkter, som forårsager en auditiv tone at spille efter et randomiseret forsinkelse (300, 500 eller 700 ms).
- Optage deltagerens verbalt rapporterede estimering af forsinkelse tidsinterval.
- Organisere forsøg i eksperimentel blokke.
- Begynde med to øvelsessessioner og udelukke dem fra den endelige analyse.
- I den første øvelse, har deltager drevet hånden til bevægelse slutpunktet og spille den auditive tone 1.000 ms efter de virtuelle cifre nå de virtuelle stop punkter for 10 forsøg.
- Deltagerne skal ikke indberette den anslåede hyppighed til denne øvelse.
Bemærk: Dette trin er nødvendigt at orientere deltagerne til hvor lang tid en enkelt andet føles.
- Deltagerne skal ikke indberette den anslåede hyppighed til denne øvelse.
- I den anden øvelse, igen, har deltager drevet hånd bevægelse slutpunkt. Randomisere de auditive toner, således at de 300, 500 og 700 ms forsinkelse intervaller er præsenteret mindst 5 x hver.
- Spørge deltagerne til at rapportere de anslåede forsinkelse intervaller.
- Informere ikke deltager af hvor tæt deres skøn over forsinkelsen intervaller er at den faktiske forsinkelse under disse praksis forsøg eller efterfølgende forsøg i den eksperimentelle blok.
Bemærk: Dette trin er vigtigt, da deltagerne vil sandsynligvis være uerfarne i at gøre tid domme på en skala fra brøkdele af et sekund, og testproceduren kan ikke være intuitiv unpracticed test-deltager.
- I den første øvelse, har deltager drevet hånden til bevægelse slutpunktet og spille den auditive tone 1.000 ms efter de virtuelle cifre nå de virtuelle stop punkter for 10 forsøg.
- Flytte til eksperimentelle sæt af 15 forsøg for hver betingelse. Præsentere betingelserne i en randomiseret rækkefølge og administrere et spørgeskema i slutningen af hver tilstand.
- Pålægge deltagerne til at reflektere over de seneste sæt af forsøg og udfylde otte-erklæring agenturet spørgeskemaet (omfatter fire spørgsmål til at kvantificere de eksplicitte oplevelse af agenturet og fire control spørgsmål [eksempel i Supplerende fil])8,26.
- Randomisere spørgeskema-sætninger for at give mindst fem unikke spørgsmål ordrer skal forelægges tilfældigt for deltagerne.
- Pålægge deltagerne til at reflektere over de seneste sæt af forsøg og udfylde otte-erklæring agenturet spørgeskemaet (omfatter fire spørgsmål til at kvantificere de eksplicitte oplevelse af agenturet og fire control spørgsmål [eksempel i Supplerende fil])8,26.
- Ende den eksperimentelle blok med et sæt af 15 forsøg for den passive tilstand og udføre et spørgeskema efter endt disse forsøg.
Bemærk: Administrere de passive forsøg i slutningen af hver eksperimentelle blok til at undgå at blande sig med en etableret følelse af agenturet.
- Begynde med to øvelsessessioner og udelukke dem fra den endelige analyse.
- Komplet fire eksperimentelle blokke med forskellige randomiseret ordrer af forsøgsbetingelser.
- Give flere muligheder over varigheden af test for deltagerne til at tage en pause. Der er ingen minimumstid eller fristen for disse pauser, men sikre, at deltageren ikke er fysisk eller mentalt træt før fortsat afprøvning.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
En eksperimentel protokol blev udført med tre amputeret deltagere opererer en sensate virtuelle protesen via deres NMI8 (figur 1). Opsætningen brugt en deltager-styrbar virtuelle hånd bevæger sig gennem forprogrammerede kinematiske profiler ved hjælp af MuJoCo HAPTIX fysik motor31. Den virtuelle side blev vist på en vandret skærm foran deltagere på en placering rumligt kongruent med deres manglende lemmer. NMI deltagerne havde tidligere gennemgået en kirurgisk neurale rewiring procedure (målrettet reinnervation), som blev kombineret med standard protese lemmer myoelectric (EMG) bekæmpelsesstrategier til giver intuitiv kontrol af den virtuelle side32; således kunne deltagerne køre den virtuelle side af 'tænkning' om at åbne og lukke deres manglende hånd. Strategisk vibrationer af deltagernes kirurgisk rewired muskler induceret illusorisk opfattelser af hånd bevægelse, at skabe en platform for kinæstetisk sensoriske feedback8. Gennem brugerdefineret software, blev EMG hånd kontrolsignaler og virtuelle protesen puds integreret med outputtet af et vibration feedback enhed. Når deltageren indledt en bevægelse af de viste virtuelle hånd, ville vibrationer fremkalde et tilsvarende matchede fornemmelse af en kompleks greb bevægelse i den manglende hånd.
Figur 1: et eksempel setup, som opfylder kravene til at karakterisere agenturet. Denne konfiguration giver brugeren intuitiv kontrol og kinæstetisk feedback en vises virtuelle hånd. Virtuelle håndbetjening og feedback er opnået gennem de neurale-maskine-interface ved hjælp af myoelectric kontrol og vibrationer stimulation (fremkalde illusorisk bevægelse percepts af manglende lemmer) af de amputationspatienter reinnervated muskulatur. Kontrol og feedback er koordineret gennem en dataoptegningssystem og computer, der kører brugerdefinerede software. Virtuelle hånd kinematik vises til brugeren på en vandret skærm. Venligst klik her for at se en større version af dette tal.
Figur 2A er fastsat til sammenligning af eksplicitte foranstaltninger af agenturet i henhold til hver af betingelserne, feedback. Her, er den gennemsnitlige score for de fire agentur spørgsmål (og fire control spørgsmål) afbildet for hver deltager og ved hver feedback betingelse. I figur 2B, er disse individuelle deltager scores i gennemsnit og afbildet for hver feedback betingelse, med de fejllinjer, der repræsenterer den gennemsnitlige standardafvigelse. Gennemsnitlig rating større end 1 angiver en aftale med en given udgiftsanmeldelse og 0 angiver neutralitet af aftalen26. Højere aftale ratings (≥ 1) for agenturet spørgsmål indikerer en større oplevelse af agenturet. Svar på spørgsmålene, kontrol bør være negativ eller neutral (≤ 0) og en score på mellem 0 og 1 er taget så usikkert. Den 'oprindelige', 'for hurtigt' og 'ingen feedback' betingelse demonstreret den laveste gennemsnitlige interval anslår med angivelse af de stærkeste følelse af agenturet dannet, mens 'passive' og 'overfor bevægelse' udvist betingelser den svageste af agenturet.
Figur 2: eksplicitte foranstaltninger af agenturet i henhold til hver feedback tilstand. (A) gennemsnitlige score for fire agenturet og de fire kontrol spørgsmål til hver deltager under hver feedback betingelse. (B) gennemsnitlige scores på tværs af deltagerne under hver feedback betingelse. Fejllinjer udgør standardafvigelsen. I begge parceller, Gennemsnitlig rating end + 1 angiver aftalen og for agenturets spørgsmål, dannelsen af agenturet, mens 0 angiver neutralitet. Dette tal er blevet ændret fra Marasco et al. 8. venligst klik her for at se en større version af dette tal.
For en sammenligning af tidsintervallet skøn for hver deltager, forsætlig bindende i hver feedback betingelse, figur 3A viser gennemsnit efter feedback tilstand. Forskelle mellem de faktiske og opfattede tidsintervaller blev derefter et gennemsnit på tværs af de tre deltagere og er præsenteret i figur 3B i forhold til den hidtidige feedback tilstand. Fejllinjer betegne den gennemsnitlige standardafvigelse. Lavere tidsinterval skøn (figur 3A) og større negative forskelle (figur 3B) er en indikation af en stærkere implicit fornemmelse af agenturet. Betingelsen for hurtigt efterfulgt af den hidtidige tilstand demonstreret de laveste gennemsnitlige interval skøn, der angiver den stærkeste følelse af agenturet dannet, mens betingelsen 'overfor bevægelse' udvist den svageste af agenturet.
Figur 3: Implicit foranstaltninger af agenturet via gang interval skøn under hver feedback tilstand. (A) den gennemsnitlige interval skøn for forsinkelse intervallet mellem afslutningen af den virtuelle side tæt og auditive tonen afbildet for hver deltager på tværs af hver tilfældigt præsenteret faktiske interval. Resultaterne er afbildet for hver feedback betingelse, og en lavere Tidsestimat indikerer en stærkere følelse af agenturet. Disse paneler er blevet ændret fra Marasco et al. 8. (B) gennemsnitlige forskel (på tværs af deltagerne og forsinkelse intervaller) mellem den faktiske forsinkelse og deltagerens anslået tidsinterval i forhold til den hidtidige feedback tilstand. Resultaterne er afbildet for begge. Her en mere negativ værdi angiver en stærkere gennemsnitlige følelse af agenturet, og CI betegner 95% konfidensinterval (CI). Venligst klik her for at se en større version af dette tal.
Figur 4 giver mulighed for en sammenligning af eksplicitte og implicitte agenturet foranstaltninger. Den gennemsnitlige forskel mellem faktiske og opfattede tidsintervaller er afbildet i forhold til resultaterne af den hidtidige feedback tilstand og for så vidt angår gennemsnit agenturet spørgeskema noder for hver feedback betingelse. I denne præsentation af data, flytte fra venstre mod højre på x-aksen angiver et fald i den eksplicitte oplevelse af agenturet og flytter fra bund til top på y-aksen angiver et fald i den implicitte følelse af agenturet. Som i figur 2 og figur 3viste de for hurtigt tilstand stærkeste dannelsen af agenturet, både eksplicit og implicit.
Figur 4: gennemsnitlig eksplicitte og implicitte foranstaltninger af agenturet for hver feedback betingelse, kombinere resultaterne præsenteres i figur 2B og figur 3B. De gennemsnitlige eksplicit agenturets resultater der afbildes på x-aksen og de gennemsnitlige interval skøn afbildes på y-aksen. Fejllinjer betegne standardafvigelse. Bevæger sig fra venstre til højre på x-aksen angiver et fald i den eksplicitte oplevelse af agenturet, og flytter fra bund til top på y-aksen angiver et fald i den implicitte følelse af agenturet. Dette tal er blevet ændret fra Marasco et al. 8. venligst klik her for at se en større version af dette tal.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Her præsenteres en metodisk ramme for at karakterisere oplevelsen af agenturet dannede samtidig opererer sensate proteser via NMIs. I forbindelse er agenturet især relevant som det broer fysisk handling til de kognitive baggrundsprocesser at forme opfattelsen. Gennem en deltagers protesen og NMI, vi har direkte adgang til en række centrale elementer, der etablerer følelsen af agenturet: hensigtserklæringer, motor output og bevægelse sensation. Af betydning for avancerede protese lemmer kontrol, de værktøjer, i dette arbejde udnytte denne direkte adgang til at medvirke til at frigøre en forståelse af, hvordan disse elementer kan fremme brugerens følelse af kontrol over, og den kognitive integration af, handlinger af deres protesen.
Teknikker fremhævet er fleksibel, idet de kan være ansat med enhver NMI forskning og kliniske proteser system, så længe de opfylder kriterierne for real-time perceptually relevante kontrol- og kinæstetisk feedback. Fordel forbundet med mange NMIs er potentialet for intuitiv kontrol opnås ved at udnytte de nervebaner, der forbliver postamputation. Dette giver mulighed for måling af resterende fysiologiske aktivitet, at når ledsaget intakt bevægeapparatet, der kan til gengæld afkodes og knyttet til den relevante virtuelle eller proteser bevægeapparatet. Derfor, de fleste NMI teknikker skal opfylde kravet om perceptually relevante kontrol, forudsat at den registrerede neurale aktivitet og den ledsagende digital interface kan producere pålidelige udgangssignaler, der passende kan knyttes til de virtuelle hånd. Opsætningen af eksperimenterende også kræver et system, der giver efterforskerne med evnen til at aktivt indlede kinæstetisk fornemmelser i realtid med viste virtuelle hånd kinematik. Dette er et afgørende krav, som en følelse af agenturet over bevægelser er etableret når vi deltage i en aktion og passende sensoriske feedback der returneres under gennemførelsen af denne aktion13. Igen, så længe dette kriterium er opfyldt, de fleste enhver NMI kinæstetisk feedbacksystem vil være hensigtsmæssigt.
De teknikker præsenteret her har fordelen, at evaluere både eksplicitte og implicitte kognitive perceptuelle foranstaltninger af agenturet. Der er beviser for, at hver enkelt kan være et resultat af separate kognitive mekanismer, der udgør tilsammen en komplet følelse af agenturet17; der er imidlertid stadig ikke en fuldstændig forståelse af dette forhold. Resultaterne fra disse foranstaltninger er kvantitative og let fortolket. Falder i gang interval skøn tyder på, at en stærkere implicit fornemmelse af agenturet blev dannet. Tilsvarende angive højere spørgeskema score på agenturets udtalelser en stærkere eksplicit oplevelse af agenturet. Det foreslås, at disse kvantitative værdier kan danne grundlag for at evaluere og tune NMI kontrol og sensorisk feedback. For eksempel, i en tidligere arbejdet8 , der er rapporteret her i figur 4, deltagerne ofte rapporteret mindre opfattede tidsintervaller og udtrykkeligt rapporteret stærkere opfattede agentur, når en virtuel hånd blev vist lukket lidt hurtigere end den kinæstetiske sensation oplevede de. Dette angiver, at brugeren følte en stærkere følelse af kontrol over handlinger af hånden, som rapporteret eksplicit, men også tyder på, at de kognitive processer, at skabe denne følelse af kontrol mere kraftigt forbinder med denne hurtigere kinematiske display. Som sådan, kan en justering til NMI kontrol-ordningen på et klinisk protesen til at rumme hurtigere hånd lukker hjælpe forbedre brugerens opfattelse af kontrol over deres fysiske enhed og opfordrer brugeren til at identificere deres enhed handlinger som selvstændige genereret.
De teknikker præsenteret kan også anvendes til at danne en mere komplet forståelse af hvordan flere sensoriske modaliteter kan påvirke opfattelser af ejerskab over kunstige lemmer. For eksempel, kan touch sensoriske feedback (eller andre sensoriske modaliteter) indbygges i paradigme præsenteres her for at evaluere deres mulige individuelle roller i forstærkende følelse af agenturet. Derudover kan de teknikker præsenteret her kombineres med foranstaltninger af ejerskab til mere omfattende karakterisere indbyrdes forhold mellem agenturet og legemliggørelse og individuelle sensoriske modaliteter. De metoder kan også have bredere anvendelse uden for NMI-kontrollerede enheder. Lignende eksperimentelle opgaver kunne gennemføres med komplekse systemer (såsom myoelectric mønstergenkendelse), traditionel myoelectric proteser, og krop-drevne systemer samt systemer uden NMI sensorisk feedback. Dette kan give mulighed for et unikt perspektiv i at forstå hvordan kognitive processer reagerer på mindre 'naturlige' kontrol og feedback paradigmer og give indsigt i hvordan agenturet og opfattelser af kontrol kan optræde under driften af mere traditionelle forskning eller kliniske proteser systemer.
Som robot proteser vokse mere og mere sofistikerede, så også gør behovet for effektiv kontrol og kognitiv integrationen af disse enheder. Sensation er en vej til at løse en række kritiske barrierer, og at kunne vurdere de understøttelse mekanismer, der behandler bevægelsen sensation og oplysninger er en vigtig brik. De værktøjer, her kan bidrage til at lette integrationen af enheder med brugere af kendetegner de eksplicitte og implicitte dannelsen af agenturet. Disse teknikker bidrage til at kvantificere fordelene ved den medfødte adgang til intuitiv motorisk kontrol og sensation at NMIs kan give og kan tilbyde en platform for vurderings- og tuning, i sidste ende forbedre brugerens opfattelse af at være i kontrol med deres kunstige lemmer.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ikke noget at oplyse.
Acknowledgments
Forfatterne vil gerne takke Madeline Newcomb for hendes bidrag til figur generation. Dette arbejde blev finansieret af amerikanske skatteydere gennem en NIH, for direktøren, fælles fond, Transformative R01 Research Award (grant #1R01NS081710-01) og Defense Advanced Research Projects Agency (kontrakt antal N66001-15-C-4015 regi Biologi teknologi Office program manager D. Weber).
Materials
| Name | Company | Catalog Number | Comments |
| LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit | National Instruments, Austin, TX, USA | Full or Pro Version | We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data. |
| 8-Slot, USB CompactDAQ Chassis | National Instruments, Austin, TX, USA | cDAQ-9178 | |
| ±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module | National Instruments, Austin, TX, USA | NI-9221 | |
| 100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module | National Instruments, Austin, TX, USA | NI-9263 | |
| Custom Wearable Kinesthetic Tactor | HDT Global, Solon, OH, USA | N/A | This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand. |
| MuJoCo Physics Engine, HAPTIX Version | Roboti LLC, Redmond, WA, USA | mjhaptix150 | Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model. |
| Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle | Ottobock, Duderstadt, Germany | electrodes: 13E200=60 battery: 757B21 battery receptacle: 757Z191=2 |
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used. |
References
- Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
- Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
- Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
- Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
- Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
- Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
- Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
- Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
- Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
- Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
- Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
- Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
- Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
- Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
- Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
- Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
- Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
- Edwards, A. L. Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , University of Alberta. Master's thesis (2016).
- Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems - Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
- Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
- Moore, J. W. What is the sense of agency and why does it matter? Frontiers in Psychology. 7 (AUG), 1-9 (2016).
- Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
- Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency? 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , Lisbon, Portugal. August 28 - September 1, 2017 (2017).
- Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
- Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
- Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
- Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
- Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
- Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
- Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
- Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , Seoul, South Korea. November 3 - 5, 2015 (2015).
- Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
