Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Proxykontroll i realtid av omparameteriserade kringutrustningssignaler med hjälp av ett close-loop-gränssnitt

doi: 10.3791/61943 Published: May 8, 2021

Summary

Vi presenterar protokoll och analysmetoder för att bygga co-adaptiva gränssnitt som strömmar, parametriserar, analyserar och modifierar mänskliga kropps- och hjärtsignaler i nära slinga. Denna inställning gränssnitt signaler härrör från perifera och centrala nervsystemet hos personen med externa sensoriska ingångar för att spåra biofysiska förändringar.

Abstract

De områden som utvecklar metoder för sensorisk substitution och sensorisk förstärkning har syftat till att kontrollera externa mål med hjälp av signaler från centrala nervsystemet (CNS). Mindre frekventa är dock protokoll som uppdaterar externa signaler som genereras av interaktiva organ i rörelse. Det finns en brist på metoder som kombinerar kropps-hjärta-hjärnan biorytm av ett rörligt medel för att styra de av ett annat rörligt medel under dyadisk utbyte. En del av utmaningen att uppnå en sådan bedrift har varit komplexiteten i installationen med hjälp av multimodala biosignaler med olika fysiska enheter, olika tidsskalor och variabla samplingsfrekvenser.

Under de senaste åren har tillkomsten av bärbara biosensorer som icke-invasivt kan utnyttja flera signaler i tandem öppnat möjligheten att återparameterisera och uppdatera perifera signaler från interagerande dyader, förutom att förbättra gränssnitt mellan hjärna och/eller kroppsmaskiner. Här presenterar vi ett co-adaptive gränssnitt som uppdaterar efferent somatisk-motorisk utgång (inklusive kinematik och puls) med hjälp av biosensorer; parameteriserar de stokastiska biosignalerna, sonifierar denna utgång och matar tillbaka den i reparameteriserad form som visuo/audio-kinesthetic reafferent input. Vi illustrerar metoderna med hjälp av två typer av interaktioner, en som involverar två människor och en annan som involverar en människa och dess avatar som interagerar i nära realtid. Vi diskuterar de nya metoderna i samband med möjliga nya sätt att mäta påverkan av extern input på intern somatisk-sensorisk-motorisk styrning.

Introduction

Den naturliga close-loop-styrenheten
Sensorisk-motorisk information flödar kontinuerligt mellan hjärnan och kroppen för att producera välorganiserade, samordnade beteenden. Sådana beteenden kan studeras samtidigt som man fokuserar på personens handlingar ensam, som i en monologstil (Figur 1A), eller under komplexa dynamiska handlingar som delas mellan två agenter i en dyad, som i en dialogstil (Figur 1B). Ett tredje alternativ är dock att bedöma sådana komplexa interaktioner genom en proxykontrollant, inom ramen för ett gränsgränssnitt mellan människa och dator (figur 1C). Ett sådant gränssnitt kan spåra rörelserna från ögonblick till ögonblick som varje medel bidrar med i dyaden, och av den typ av sammanhållenhet som själv uppstår från deras synkrona interaktioner, vilket hjälper till att styra dyadens rytmer på önskvärda sätt.

Figure 1
Figur 1: Olika former av kontroll. (A) Själv hjärnstyrda gränssnitt förlitar sig på närslingarelationerna mellan personens hjärna och personens egen kropp, som kan självreglera och själv interagera i "monolog" -stil. I det här läget försöker du kontrollera självgenererade rörelser, eller så kan det också syfta till att styra externa enheter. (B) "Dialog" stilkontroll införs för två dansare som interagerar med varandra och genom fysisk intränning och turn-taking för att uppnå kontroll över varandras rörelser. C)"Tredje parts" dialogkontroll av dyaden införs som medierad av ett datorgränssnitt som tillsammans utnyttjar biosignalerna från båda dansarna, parametriserar den och matar tillbaka den till dansarna i omparameteriserad form med hjälp av ljud och/eller syn som former av sensorisk vägledning. Re-parameterizationen i exemplen som presenteras här uppnåddes med hjälp av ljud- eller visuell feedback, förstärkt av realtid kinesthetic motorisk utgång av en av dansarna för att påverka den andra; eller av båda dansarna, turas om i något alternerande mönster. Klicka här om du vill visa en större version av den här figuren.

Det övergripande målet med denna metod är att visa att det är möjligt att utnyttja, parametrisera och omparameterisera fluktuationerna i biorytmiska aktiviteter hos kroppar i rörelse, eftersom två agenter deltar i dyadisk utbyte som kan involvera två människor, eller en människa och hans / hennes självrörande avatar.

Undersökningar om hur hjärnan kan kontrollera åtgärder och förutsäga deras sensoriska konsekvenser har genererat många rader av teoretiska förfrågningar underde senaste 1,2,3 och producerat olika modeller av neuromotorisk kontroll4,5,6,7,8. En rad forskning inom detta tvärvetenskapliga område har involverat utvecklingen av nära hjärnmaskin eller hjärndatorgränssnitt. Dessa typer av inställningar erbjuder sätt att utnyttja och anpassa CNS-signalerna för att styra en extern enhet, till exempel en robotarm9,10,11, ett exoskelett12, en markör på en datorskärm13 (bland andra). Alla dessa externa enheter delar fastigheten att de inte har egen intelligens. Istället har hjärnan som försöker kontrollera dem, och en del av problemet som hjärnan står inför är att lära sig att förutsäga konsekvenserna av de rörelser som den genererar i dessa enheter (t.ex. markörens rörelser, robotarmens rörelser etc.) samtidigt som den genererar andra stödjande rörelser som bidrar till den övergripande sensoriska motoråterkopplingen i form av kinestetisk återafluens. Ofta har det övergripande syftet med dessa gränssnitt varit att hjälpa personen bakom den hjärnan att kringgå en skada eller störning, för att återfå omvandlingen av sina avsiktliga tankar till avsiktligt kontrollerade fysiska handlingar av den externa enheten. Mindre vanligt har dock varit utvecklingen av gränssnitt som försöker styra rörelserna hos kroppar i rörelse.

Mycket av den ursprungliga forskningen om hjärnmaskingränssnitt fokuserar på kontrollen av centrala nervsystemet (CNS) över kroppsdelar som kan utföra målstyrda åtgärder9,14,15,16,17. Det finns dock andra situationer där användningen av signaler som härrör från aktiviteter i de perifera nervsystemet (PNS), inklusive de autonoma nervsystemet (ANS), är informativ nog att påverka och styra signaler från yttre medel, inklusive en annan människa eller avatar, eller till och med interagerande människor (som i figur 1C). Till skillnad från med en robotarm eller markör har den andra agenten i detta fall intelligens driven av en hjärna (i fallet med avataren som har utrustats med personens rörelser eller av en annan agent, i händelse av en interagerande mänsklig dyad).

En inställning som skapar en miljö av ett co-adaptive close-loop gränssnitt med dyadisk utbyte kan vara till nytta för att ingripa i störningar i nervsystemet där hjärnan inte kan viljemässigt kontrollera sin egen kropp i rörelse efter bevilja, trots att man inte fysiskt har brutit bron mellan CNS och PNS. Detta kan vara fallet på grund av bullriga perifera signaler där återkopplingsöglor för att hjälpa hjärnan kontinuerligt övervaka och justera sina egna egengenererade biorytm kan ha störts. Detta scenario uppstår hos patienter med Parkinsons sjukdom18,19,eller hos deltagare med autismspektrumstörningar med överskott av buller i sin motoriska produktion. I båda fallen har vi kvantifierat höga nivåer av buller-till-signalförhållande i de återvändande kinestetiska signalerna som härrör från hastigheten på deras avseddarörelser 20,21,22 och från hjärtat23. I sådana fall, försöker behärska hjärnan-kontroll av externa signaler, samtidigt som man försöker kontrollera kroppen i rörelse, kan resultera i en självreaktiv signal från återinvandrarströmmen (återupptittning) av information som hjärnan får från den kontinuerliga (efferent) motorströmmen i periferin. De ögonblicksförstärkta fluktuationer som förekommer i en sådan självgenererad efferent motorström innehåller viktig information som är användbar för att underlätta förutsägelsen av de sensoriska konsekvenserna av målmedvetna åtgärder24. När denna feedback skadas av brus blir det svårt att förutsägbart uppdatera styrsignalerna och överbrygga avsiktliga planer med fysiska handlingar.

Om vi skulle utöka en sådan feedbackloop till en annan agent och kontrollera personens och agentens interaktioner genom en tredje part (figur 1C), kan vi ha en chans att styra varandras prestationer i nära realtid. Detta skulle ge oss bevis på koncept att vi skulle behöva utvidga begreppet co-adaptive hjärnan-kropp eller hjärnmaskin gränssnitt för att behandla störningar i nervsystemet som resulterar i dålig insikt om fysisk vilja från mental avsikt.

Målmedvetna handlingar har konsekvenser, som exakt kännetecknas av motoriska stokastiska signaturer som är kontextberoende och möjliggör slutsatser av nivåer av mental avsikt med högsäkerhet 25,26. Således är en fördel med en ny metod som utnyttjar dyadisk utbyte över tidigare personcentrerade metoder för hjärnmaskinen eller hjärnans datorgränssnitt, att vi kan utöka kontrollsignalerna för att inkludera de kroppsliga och hjärtbiorytmer som till stor del rör sig under personens medvetenhet, under olika avsiktsnivåer. På detta sätt dämpar vi reaktiv interferens som medveten kontroll tenderar att framkalla i processen att anpassa hjärnpekarens kontroll17. Vi kan öka säkerheten i den prediktiva processen genom att parametrisera de olika signaler som vi kan komma åt. Längs dessa linjer finns tidigare arbete med hjälp av hjärn- och kroppssignaler i tandem27,28,29; men arbete med dyadisk interaktion fångad av hjärnkroppssignaler är fortfarande knappa. Vidare har den befintliga litteraturen ännu inte avgränsat skillnaden mellan avsiktliga segment av handlingen som utförs under full medvetenhet och övergångsmotioner som spontant uppstår som en följd av deavsiktliga 30,31. Här gör vi den distinktionen i samband med dyadisk utbyte och erbjuder nya sätt att studera denna dikotomi32, samtidigt som vi ger exempel på koreograferade (avsiktliga) kontra improviserade (spontana) rörelser i dansrummet.

På grund av omlednings- och överföringsfördröjningarna i sensorisk-motorisk integrations- och omvandlingsprocesser33är det nödvändigt att ha en sådan prediktiv kod på plats, för att lära sig att förutse kommande sensoriska ingångar med hög säkerhet. Därför är det viktigt att kunna karakterisera utvecklingen av förhållandet mellan buller och signaler som härrör från signaler i den ständigt uppdaterande kinestetiska reafferentströmmen. Vi behöver sedan protokoll för att systematiskt mäta förändringar i motorvariationen. Variabilitet förekommer i sig i fluktuationerna från den utgående efferentmotorströmmen34. Eftersom dessa signaler inte är stationära och känsliga för kontextuellavariationer 35,36, är det möjligt att parametrisera förändringar som sker med ändringar av uppgifternas sammanhang. För att minimera störningar från reaktiva signaler som kommer från medveten CNS-kontroll, och för att framkalla kvantifierbara förändringar i den efferenta PNS-motorströmmen, introducerar vi här ett proxy close-loop-gränssnitt som indirekt förändrar den sensoriska återkopplingen, genom att rekrytera den perifera signalen som förändras till stor del under personens självmedvetenhet. Vi visar sedan sätt att systematiskt mäta den förändring som följer de sensoriska manipuleringarna, med hjälp av stokastiska analyser som är mottagliga för att visualisera den process som proxy close-loop-gränssnittet indirekt framkallar i båda agenterna.

Introduktion till en proxy-close-loop-styrenhet
Den sensoriska-motoriska variationen som finns i de perifera signalerna utgör en rik informationskälla för att styra nervsystemets prestanda medan lärande, anpassning och generalisering sker i olikasammanhang 37. Dessa signaler framträder delvis som en biprodukt av CNS som försöker kontrollera åtgärder på ett viljemässigt sätt men är inte den registeransvariges direkta mål. Eftersom personen naturligt interagerar med andra kan de perifera signalerna utnyttjas, standardiseras och omparametriseras; vilket innebär att deras variationer kan parametriseras och systematiskt flyttas, eftersom man ändrar den efferenta motorströmmen som kontinuerligt återin kommer in i systemet som kinestetisk återatur. I sådana inställningar kan vi visualisera de stokastiska skiften och fånga med hög precision en rik signal som annars går förlorad till de typer av storslagna medelvärde som mer traditionella tekniker utför.

För att uppnå karakterisering av förändring under den nya statistiska plattformen introducerar vi här protokoll, standardiserade datatyper och analyser som möjliggör integrering av extern sensorisk ingång (auditiv och visuell) med internt självgenererade motorsignaler, medan personen naturligt interagerar med en annan person eller med en avatarversion av personen. I den meningen, eftersom vi syftar till att kontrollera de perifera signalerna (snarare än att ändra CNS-signalerna för att direkt styra den externa enheten eller mediet), myntar vi detta ett proxy close-loop-gränssnitt (Figur 2). Vi strävar efter att karakterisera förändringarna i PNS stokastiska signaler, eftersom de påverkar dem i CNS.

Figure 2
Figur 2:Proxykontroll av en dyadisk interaktion med hjälp avett multimodalt gränssnitt med nära slinga. (A) Indirekt kontroll av två dansare (dansande salsa) via ett datorsamanpassat gränssnitt jämfört med (B) en interaktiv artificiell person-avatar-dyad som styrs genom att utnyttja de perifera nervsystemets signaler och omparameterisera det som ljud och/eller som visuell ingång. C)Begreppet sonifiering med hjälp av en ny standardiserad datatyp (mikrorörelsetopparna, MMS) som härrör från fluktuationer i biorytmiska signaler per ögonblick omvandlas till vibrationer och sedan till ljud. Från fysiken lånar vi begreppen kompressioner och rarefactions som produceras av en trimma gaffel som matar ut ljudvåg som mätbara vibrationer. Schemat för ljudvågor representerade som tryckmodulerade över tiden parallellt med spikkoncentrationer för sonifiering. Exempel på en fysisk signal som ska genomgå den föreslagna rörledningen från MMS till vibrationer och sonifiering. Vi använder pulssignalen som ingång till gränssnittet. Detta tar fluktuationer i signalens amplitud i linje med rörelseinställningen var 4: e sekund av rörelse och bygger MMS-tåg som representerar vibrationerna. Spiktågen från MMS är standardiserade från [0,1]. Färgen på spikarna enligt färgfältet representerar signalens intensitet. Vi sonifierar sedan dessa vibrationer med Max. Denna sonifierade signal kan användas för att spela upp i A, eller för att ändra i B interaktionerna med avataren. I B är det dessutom möjligt att bädda in ljudet i miljön och använda kroppspositionen för att spela upp ljudet i en intresseregion (RoI) eller att modulera ljudfunktionerna som en funktion av avståndet till roi, hastighet eller acceleration av en kroppsdel som är förankrad i en annan kroppsdel, när den passerar RoI. Klicka här om du vill visa en större version av den här figuren.

PNS-signalerna kan utnyttjas icke-invasivt med bärbar avkänningsteknik som samregistrerar multimodala efferentströmmar från olika funktionella lager av nervsystemet, allt från autonoma till frivilliga32. Vi kan sedan mäta förändringarna i sådana strömmar i nära realtid och välja de vars förändringar förbättrar signal-till-brusförhållandet. Denna efferent motorsignal kan sedan förstärkas med andra former av sensorisk vägledning (t.ex. hörsel, visuell etc.) Eftersom PNS signalerar syndabock full medvetenhet är de lättare att manipulera utan mycket motstånd 38. Som sådan använder vi dem för att styra personens prestation på sätt som kan vara mindre stressande för det mänskliga systemet.

Bygga gränssnittet
Vi presenterar utformningen av proxykontrollen förmedlad av ett nära adaptivt multimodalt gränssnitt. Det här gränssnittet styr feedbacken från multisensoriska realtidar. Bild 3 visar den allmänna designen.

Close-loop-gränssnittet kännetecknas av 5 huvudsteg. Det första steget är den multimodala datainsamlingen från flera bärbara instrument. Det andra steget är synkroniseringen av multimodala strömmar via plattformen labstreaminglayer (LSL, https://github.com/sccn/labstreaminglayer) utvecklad av MoBI-gruppen 39. Det tredje steget är strömningen av LSL-datastrukturen till en Python, MATLAB eller annat programmeringsspråkgränssnitt för att integrera signalerna och empiriskt parametrisera fysiologiska funktioner (relevanta för vår experimentella installation) i realtid. Det fjärde steget är att återparameterisera de valda funktionerna som extraheras från den kontinuerliga strömmen av den kroppssignal som studeras och förstärka den med hjälp av en sensorisk modalitet (t.ex. visuell, auditiv, kinestetisk etc.) för att spela upp den i form av ljud eller grafik, för att förstärka, ersätta eller förbättra den sensoriska modalitet som är problematisk i personens nervsystem. Slutligen är det femte steget att omvärdera de stokastiska signaturerna hos de signaler som genereras av systemet i realtid, för att välja vilken sensorisk modalitet som ger de stokastiska förskjutningarna av kroppsfluktuationerna till en regim med hög säkerhet (bullerminimering) i förutsägelsen av de sensoriska konsekvenserna av den förestående åtgärden. Denna slinga spelas kontinuerligt under hela experimentets varaktighet med fokus på den valda signalen, samtidigt som den lagrar full prestanda för efterföljande analyser (som visas i schemat i figur 3 ochse 40,41,42,43,44,45,46,47 för ett exempel på en posteriorianalys).

Figure 3
Figur 3: Arkitekturen för det multimodala perifert drivna närslingagränssnittskonceptet. Olika kroppsliga signaler samlas in - kinematiska data, hjärt- och hjärnaktivitet (steg 1). LSL används för att synkronisera och strömma data som kommer från olika utrustning till gränssnittet (steg 2). Python/MATLAB/C#-kod används för att kontinuerligt parametrisera fluktuationerna i signalerna med hjälp av en standardiserad datatyp och gemensam skala som gör det möjligt att välja den sensoriska vägledning som är mest adekvat för att dämpa systemets osäkerhet (steg 3). Denna realtidsförbättring av signalöverföringen via utvalda kanaler gör det sedan möjligt att återparameterisering av den sensoriska signalen för återinställning integreras i den kontinuerliga motorströmmen och förbättra den förlorade eller skadade ingångsströmmen (sensoriskt ersättningssteg 4). Kontinuerlig omprövning stänger slingan (steg 5) och vi sparar all data för ytterligare framtida analyser. Klicka här om du vill visa en större version av den här figuren.

I följande avsnitt presenteras det generiska protokollet för hur man bygger ett nära gränssnitt (enligt beskrivningen i figur 3) och beskriver representativa resultat av två experimentella gränssnitt (noggrant presenterade i kompletterande material) som involverar fysisk dyadisk interaktion mellan två dansare (verkligt närslingsystem) och virtuell dyadisk interaktion mellan en person och en avatar (artificiellt närslingsystem).

Protocol

Studien godkändes av Rutgers institutional study board (IRB) i enlighet med Helsingforsdeklarationen.

1. Deltagare

  1. Definiera den befolkning som ska studeras och bjud in dem att delta i studien. Det nuvarande gränssnittet kan användas i olika populationer. Detta protokoll och de exempel som används här för att tillhandahålla konceptbevis är inte begränsade till en viss grupp.
  2. Få skriftligt informerat samtycke från IRB:s godkända protokoll i enlighet med Helsingforsdeklarationen.
  3. Be deltagaren eller vårdnadshavaren att underteckna formuläret innan experimentet börjar.

2. Installation av close-loop-gränssnittet

  1. Installation av kinematisk utrustning-PNS
    1. Hjälp deltagaren att försiktigt bära den LED-baserade rörelsefångstdräkten (kropp och huvud, som visas i figur 3, steg 1 och 5) som åtföljer det rörelsefångssystem som används. Dräktens LED-markörer kommer att spåras av systemets kameror för att uppskatta platsen för den rörliga kroppen i rymden.
    2. Anslut den trådlösa LED-styrenheten (även känd som LED-drivrutinsenhet) i systemet med dräktens LED-kablar genom att ansluta den till rätt port. Slå på enheten och ställ in den i direktuppspelningsläget.
    3. Aktivera servern i rörelsefångssystemet.
    4. Öppna en webbläsare, besök serveradressen och logga in (inloggningsinformation måste tillhandahållas av företaget vid köp av produkten).
    5. Kalibrera systemet efter behov (kalibrera till exempel systemet om det är första gången utrustningen används, annars går du vidare till steg 2.1.17).
    6. Öppna kalibreringsverktyget för rörelsefångssystemet och välj Kalibreringsguiden.
    7. Kontrollera att posten för servernumret i textfältet till vänster i gränssnittet är korrekt och klicka på Fortsätt.
    8. Anslut trollstaven till LED-styrenhetens första port och slå på styrenheten och klicka på Fortsätt. När trollstaven är ansluten aktiveras dess LED-markörer och visas på displayen i kameravyerna.
    9. Placera trollstaven i mitten av kameravyfältet, bekräfta att den kan spelas in av kamerorna och klicka på Fortsätt.
    10. Flytta trollstaven genom hela utrymmet genom att hålla den vertikal och rita cylindrar. Se till att rörelsen fångas av minst 3 kameror varje gång och registreras på visningsfältet för varje kamera vilket gör den grön. Gör det här för alla kameror.
    11. När visningsfältet för varje kamera har registrerats fullt ut (allt är grönt) klickar du på Fortsätt och väntar på att kalibreringsutt beräkningar ska köras.
      OBS: När kalibreringen är klar kommer kamerans placering tillsammans med LED-markörerna att ses på displayen, eftersom de är fysiskt placerade i rummet. Vid denna tidpunkt kan användaren återuppta kalibreringen eftersom den är klar eller fortsätta att justera systemet.
    12. Håll staven vertikalt och placera sidan med lysdioden närmare änden av trollstaven på marken, där 3D-utrymmets ursprung måste ställas in (punkt (0,0,0)).
    13. Håll trollstaven stabil tills den är registrerad. När skärmen är registrerad blinkar den grön. En punkt som anger referensramens ursprung på utrymmet visas i gränssnittet och nästa justeringsaxel, x-axeln, markeras som grön.
    14. Flytta trollstaven, håll samma orientering (lodrätt) vid x-axelns punkt och håll den stabil tills den är registrerad.
    15. Upprepa för z-axeln. När z-axelns punkt har registrerats är kalibreringen klar.
    16. Klicka på Slutför för att avsluta kalibreringen.
    17. Öppna gränssnittet för rörelsefångssystemet och klicka på Anslut för att börja strömma data från LED-markörerna. När anslutningen har upprättats visas markörens position i gränssnittets virtuella värld.
    18. Skapa det virtuella skelettet (uppskatta automatiskt kroppens benpositioner från de positionsdata som samlats in från dräktens LED-markörer, som visas figur 8 steg2).
    19. Högerklicka på Skelett på höger sida av fönstret och välj Nytt skelett.
    20. Välj Markörmappning och välj sedan rätt fil (tillhandahålls av företaget baserat på gränssnittsversionen som används). Klicka sedan på OK.
    21. Be deltagaren att hålla sig stabil på T-posen (rakt upp hållning med armarna öppna på sidorna).
    22. Högerklicka på skelettet och välj Generera skelett utan träning.
    23. Om alla steg utförs korrekt genereras skelettet. Be deltagaren att flytta och kontrollera hur exakt det virtuella skelettet följer deltagarens rörelser.
    24. Om du vill strömma skelettdata till LSL väljer du Inställningar och alternativ på huvudmenyn.
    25. Öppna Owl emulator och klicka på "starta" Live streaming.
  2. Installation av EEG-utrustning - CNS
    1. Hjälp samma deltagare att bära EEG-huvudlocket.
    2. Placera gelelektroderna (de traditionella gelbaserade elektroderna som används med EEG-huvudlocket) på huvudlocket och 2 klibbiga elektroder (elektroder som fungerar som klistermärken) på baksidan av höger öra för CMS- och DRL-sensorerna.
    3. Fyll elektroder med hög ledande gel vid behov för att förbättra konduktiviteten mellan sensorn och hårbotten.
    4. Anslut elektrodkablar på gel-troderna och de två klibbiga elektroderna.
    5. Stick fast den trådlösa bildskärmen på baksidan av huvudskyddet och anslut elektrodkablarna.
    6. Slå på bildskärmen.
    7. Öppna EEG-systemets gränssnitt.
    8. Välj Använd Wi-Fi-enhet och klicka på Sök efter enheter.
    9. Välj NE Wi-Fi och Använd den här enheten.
    10. Klicka på huvudikonen, välj ett protokoll som gör det möjligt att spela in alla 32 sensorer och klicka på Ladda.
    11. Kontrollera att strömmade data för varje kanal visas i gränssnittet.
  3. Installation av EKG-utrustning - ANS
    1. Följ de exakta stegen i 2.2 men använd kanal O1 för att ansluta på pulsförlängningen (HR).
    2. Använd en klibbig elektrod för att sticka den andra änden av förlängningen precis under vänster bröstkorg.
  4. Förberedelse av LSL för synkroniserad inspelning och strömning av kinematiska data.
    1. Kör LSL-programmet för motion capture-systemet genom att dubbelklicka på motsvarande ikon. Leta reda på programmet på följande sökväg till LSL-mappen LSL\labstreaminglayer-master\Apps\PhaseSpace.
    2. Ange rätt serveradress i gränssnittet.
    3. Välj sedan Fil- och inläsningskonfiguration.
    4. Välj rätt konfigurationsfil (den måste tillhandahållas av företaget baserat på den produktversion som används)
    5. Klicka på Länk. Om inga misstag görs visas inget felmeddelande.
  5. Förbered LSL för synkroniserad inspelning och strömning av EEG- och EKG-data. Inga extra steg krävs för denna utrustning.
  6. Inställningar för LSL
    1. Kör LabRecorder-programmet genom att dubbelklicka på filen som finns i LSL\labstreaminglayer-master\Apps\LabRecorder-sökvägen till LSL-mappen.
    2. Klicka på Uppdatera. Om alla instruktioner körs korrekt visas alla datatyper av rörelsefångst- och EEG-systemet på panelen Spela in för strömmar.
    3. Välj katalog och namn för data på panelen Lagringsplats.
    4. Klicka på Start. Datainsamlingen av systemet för insamling av rörelser och EEG börjar synkront.
    5. Klicka på Stoppa i slutet av inspelningen. Om inspelningen lyckades kommer data att finnas i den katalog som tidigare valts. Öppna filerna för att bekräfta att de innehåller den inspelade informationen.
  7. Realtidsanalyser och övervakning av det mänskliga systemet.
    1. Kör MATLAB, Python eller annan kod som tar emot, bearbetar och utökar strömmade data. Exempelkoder som motsvarar de representativa exempel som beskrivs i följande avsnitt finns här: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. Generering av förstärkt sensorisk feedback
    1. Producera den sensoriska utgången med rätt enhet (t.ex. högtalare, bildskärm, bland andra).

3. Experimentellt förfarande

  1. Följ den experimentella procedur som definieras av inställningen, om någon.
    OBS: De nära gränssnitten är utformade för att intuitivt utforskas och läras. Således behövs för det mesta inga instruktioner.

Representative Results

Det finns olika gränssnitt som kan byggas baserat på protokollet som presenteras i föregående avsnitt och kan tillämpas på olika populationer för många ändamål. Vissa möjliga variationer beskrivs i avsnitt "Variationer av det presenterade close-loop-gränssnittet" av kompletterande material.

I det här avsnittet visar vi representativa resultat av 2 exempel på close-loop-gränssnitt som följer protokollet som beskrivs i föregående avsnitt. Installationen, det experimentella förfarandet och deltagarna i dessa studier förklaras på djupet i avsnitten "Exempel 1: Audio Close-loop Interface of a Real Dyadic Interaction" och " Exempel2: Audio-visual Close-loop Interface of an Artificial Dyadic Interaction" of the Supplementary File.

Resultat av audio close-loop gränssnitt av en verklig dyadisk interaktion
I studien av "Audio close-loop interface of a real dyadic interaction" (som beskrivs i avsnitt1: Audio Close-loop Interface of a Real Dyadic Interaction" of Supplementary Material) använde vi ett proxykontrollgränssnitt, illustrerat i figur 4, som använder den kvinnliga dansarens hjärtsignal för att ändra musiken som dansades. I realtid utförde vi signalbehandling för att extrahera hjärtslagens tid och strömmade denna information till Max-systemet för att ändra hastigheten på den framförda låten. På så sätt spelade vi tillbaka låten, förändrad av de biofysiska signalerna. Denna process ledde till ytterligare förändringar av rörelser och hjärtslagssignaler.

Figure 4
Bild 4: Det ljudbaserade close-loop-gränssnittet. 1. En bärbar EKG-HR-anordning övervakar en salsadansös aktivitet under utförandet av hennes rutiner och matar signalerna till gränssnittet vid 500 Hz. Vårt gränssnitt analyserar EKG-data i realtid. I varje bildruta filtrerar den rådata, extraherar R-topparna i QRS-komplexet; och strömmar toppdetektering till MAX. 3. Ett tredjepartsgränssnitt blandar ljudets hastighet med hjärtfrekvensens hastighet. 4. Den ändrade låten spelas upp för dansarna. Klicka här om du vill visa en större version av den här figuren.

Två salsadansare interagerade med gränssnittet och utförde en välrepeterad rutin som iscensatte en koreografi och en spontant improviserad dans. Dansarna var tvungna att framföra den ursprungliga versionen av låten en gång och en version blandade låtens ursprungliga tempo med hjärtslagsströmmen i realtid. Vi hänvisar till den senare versionen som framfördes dubbelt så mycket som ändring 1 och 2 av låten.

I analysen nedan använde vi hjärt- och ljudsignalen inspelad. Topparna för de två signaler som extraheras för att uppskatta MMS-tåg (se avsnittet "Micro-movements Spikes" i kompletterande fil), som bevarar högfrekventa fluktuationer enligt figur 5.

Figure 5
Figur 5:Uppskattning av MMS-tåg i ljudsystemet. EKG-tidsserier används för att extrahera RR-topparna och amplitudavvikelserna från den totala (uppskattade) genomsnittliga amplituden för de erhållna R-topparna (medelförskjutna data). Därefter normaliseras av ekvation 1 (se Kompletterande fil, avsnitt "Micro-Movement Spikes") används för att erhålla MMS-tågen. Liknande metoder används för att hantera ljudvågformerna och spela upp låten enligt personens realtidsprestation. Klicka här om du vill visa en större version av den här figuren.

MMS-tågen var väl karakteriserade som en kontinuerlig slumpmässig process, väl representerad avv den kontinuerliga Gamma-familjen av sannolikhetsfördelningar. MLE ansåg att denna kontinuerliga distributionsfamilj passade bäst för båda datamängderna (se förklaringen i avsnitt "Gammadistribution" av kompletterande material och kompletterande figur 2). Denna typ av slumpmässig process användes för att spåra förskjutningar i stokastiska signaturer av biorytmerna som genereras av biosignaler från de mänskliga nervsystemet.

Från de empiriskt uppskattade gammaparametrarna får vi Gamma-ögonblicken, medelvärdet, variansen, skevheten och kurtosen (se detaljer om analysen i avsnittet "Stokastisk analys" av kompletterande material). Vi ritar sedan den uppskattade PDF-filen. Figur 6 fokuserar endast på hjärtsignalen och musiken, men metoderna gäller på samma sätt som de andra biorytmerna som genereras av kinematiksignalerna som presenteras i 41.

Hjärt- och musiksignalens PDF visas i figur 6A-B, där vi belyser skillnaderna mellan datamängderna för de två villkoren, avsiktlig rutin och spontan improvisation. För varje villkor understryker vi förskjutningarna i stokastiska signaturer som framkallas av sångens temporala förändringar. Inledningsvis dansar de till originallåten. Sedan, när hjärtslagen ändrar rytmer i realtid, leder de sonifierade fluktuationerna i denna signal dansarna att följa sångens temporala förändringar.

Dessa betecknas ändring 1 och ändring 2. Dessa systematiska skift beskrivs av Gammaparametrarna. Sedan, med hjälp av de empiriskt uppskattade form- och skalparametrarna, fick vi de fyra motsvarande Gamma-ögonblicken för hjärtslagen och låtarna. Dessa visas i figur 6C för hjärtat (överst) och sångsignalerna (nederkant).

Figure 6
Figur 6:Inducera systematiska förändringar i de empiriskt uppskattade Gamma PDF-filerna och deras stokastiska banor i de fyra gammaögonblicken från prestandan under proxykontrollen med hjälp av audio close-loop-systemet. A)PDF-filerfrån MMS-tågen av var och en av datatypen (EKG-topp och ljudfil längst ner) för vart och ett av danssammanhangen, spontan improvisation och avsiktlig rutin. Förklaringar är Imp Eller (improvisation original) som betecknar baslinje villkoret i början av sessionen; Imp Alt1 betecknar improvisationen under ändring 1. Imp Alt2 betecknar improvisation under ändring 2. B)För den avsiktliga inövade rutinen avses med Rout Or rutinmässig original. Rout Alt1 betyder rutinändring 1; Rout Alt2 betyder rutinändring 2. Panelerna i (C) visar de systematiska förskjutningarna i Gamma-ögonblicken eftersom både ljudsignalerna från låtarna och de från hjärtat skiftar i tandem och i realtid. Klicka här om du vill visa en större version av den här figuren.

Förskjutningen av signaturerna kan uppskattas i dessa paneler (PDF- och Gamma-ögonblicksgrafer), vilket visar att de presenterade metoderna kan fånga anpassningen av hjärtat till ändringarna av låten som proxykontrollanten producerar i realtid. När låtarna skiftar rytmer, så gör också hjärtats stokastiska signaturer och övergången av de stokastiska signaturerna är konsekvent i riktning (vilket också är ett fynd i 41 där vi studerade form- och skalparametrarna). På samma sätt, när hjärtats underskrifter skiftar, så gör låtens signaturer det också. Denna speglingseffekter - den ena påverkar den andra och när den ena skiftar konsekvent mot en riktning så följer den andra - den nära loop-karaktären hos detta proxystyrenhetsgränssnitt. Resultaten understryker nyttan av denna inställning och ger bevis på konceptet att vi systematiskt kan flytta personens autonoma biorytm inom ramen för dyadisk utbyte.

Parallella förskjutningar på de stokastiska signaturerna av både sångerna och kroppssignalerna, visar att samanpassningen av hela systemet (deltagare och gränssnitt) är möjlig med hjälp av perifera signaler. Denna process visar sig smidigt under personens medvetenhet och erbjuder konceptbevis för idéerna att på distans och systematiskt flytta personens biosignaler i korrespondens med den externa sensoriska feedback som du väljer. Sammanfattningsvis kan vi vägleda växlingen av de stokastiska signaturerna i denna kontinuerliga slumpmässiga process. Metoderna gör det möjligt att fånga förändring och deras hastighet längs de stokastiska banor som vi kunde bygga i nära realtid.

För att fastställa statistisk signifikans i skiften använder vi det icke-parametriska ANOVA-testet Kruskal-Wallis följt av flera jämförelser efter hoc-testet. Vi jämför signaturerna för MMS av hjärtdata bland de sex villkoren. Figur 7 visar multijämförelsen av MMS-hjärtdata och motsvarande Kruskal-Wallis-tabell. Multijämförelsediagramt indikerar att det finns en betydande skillnad mellan baslinjen för den ursprungliga rutindansen (Rout. Eller) och baslinjen för den ursprungliga improviserade dansen (Imp. Or). Det är också viktigt att märka att de första ändringarna, Rout. Alt1 och Imp. Alt1, skifta till fördelningar som har jämförbara medel och detsamma gäller för de andra ändringarna, medan variansen, skevheten och kurtosen skiftar på Gamma-momentutrymmet (figur 6C).

Figure 7
Figur 7: Resultat från icke-parametriska Kruskal-Wallis och flera jämförelser efter hoc-tester. Resultaten av den icke-parametriska ANOVA (Kruskal-Wallis-testet) tillämpades på MMS av hjärtdata för att jämföra de sex villkoren. Tomten visar multijämförelsen av de 6 fallen, vilket indikerar den betydande skillnaden mellan "Rout. Eller" och "Imp. Or" villkor. Tabellen visar resultaten av Kruskal Wallis-testet. Klicka här om du vill visa en större version av den här figuren.

Resultat av audiovisuellt close-loop-gränssnitt för en artificiell dyadisk interaktion
I studien av "Audio-visual close-loop interface of an artificial dyadic interaction" (noggrant presenterad i avsnitt "Exempel 2: Audiovisuellt close-loop Interface of a artificial dyadic interaction" of Supplementary Material) interagerade 6 deltagare med gränssnittet, illustrerat i figur 8, vilket skapar deras speglade avatar som återger personens egna rörelser. Gränssnittet bäddar in positionsberoende ljud inom regionen som omger personen under interaktionen. Deltagarna var naiva när det gäller syftet med studien. De var tvungna att gå runt i rummet och räkna ut hur man kontrollerar ljudet som överraskande skulle dyka upp när de passerade en RoI (regioner av intresse) som proxykontrollanten definierade.

Figure 8
Bild 8: Den visuella representationen av det audiovisuella gränssnittet. 1. Ett rörelsefångssystem används för förvärv av perifera kinematiska data. 2. Systemet samlar in sensorernas positioner (i våra exempel lysdioder) för att uppskatta skelettet - position på benen. 3. Benpositionerna justeras sedan i vårt MATLAB-utvecklade gränssnitt med hjälp av vår egen framåt-kinematikmodell. 4. De justerade positionerna används för att mappa skelettinformationen till vår 3D-renderade avatar. 5. Kartläggningen av strömmade data till avataren är i realtid vilket skapar känslan av att titta på personens speglade bild. Klicka här om du vill visa en större version av den här figuren.

Figur 9 visar resultaten av det audiovisuella gränssnittet för tillstånd 1 (se Kompletterande fil för fler förhållanden), där höftplatsen aktiverar låten när den förstnämnda befinner sig i RoI. Denna siffra visar PDF- och Gammasignaturerna (se avsnittet "Datatyper och analyser" av kompletterande material) i höfthastighetsdata för 6 olika kontrolldeltagare (C1 till C6), när de var inuti och utanför RoI-volymen. Resultaten som presenteras här belyser de personliga skillnaderna på de enskilda deltagarnas anpassningsgrad. Dessa indikeras av förskjutningarna av de stokastiska signaturerna och de enskilda resultaten som dyker upp inuti eller utanför RoI-volymen. Till exempel kan vi märka att PDF passar till frekvens histogrammen i MMS som härrör från hastighetsamlituden hos höfterna I C3 och C4, var mer symmetrisk (högre formvärde) och mindre bullrig (lägre skalvärde) när den var inne i volymen. Däremot visar resten av deltagarna ett motsatt mönster.

Empiriskt har vi funnit att signaturer till det nedre högra hörnet är de av idrottare och dansare som utför mycket skickliga rörelser. Signaturer ligger på övre vänstra regionen, kommer från datamängder av nervsystemet med patologier, såsom de med diagnos av autismspektrumstörningar ADHD22,32 och de hos en deafferented deltagare21. Inom ramen för skiftande mönster längs en stokastisk bana erhåller vi medianvärdena för formen och skalan för att definiera den högra nedre kvadranten (RLQ) och den vänstra övre kvadranten (LUQ) där vi spårar den övergripande kvaliteten på signal-till-brusförhållandet genom att ackumulera denna information över tiden. Detta innebär att uppdateringen av medianvärdena dynamiskt definierar dessa kvadranter som den person som medanpassar sina internt genererade biorytmer till de som externt kontrolleras av fullmakten men som är beroende av personens interna.

Figure 9
Figur 9:Empiriskt uppskattade Gamma PDF-filer och gammasignaturer av kroppsbiorytmeterna under interaktioner med hjälp av audiovisuellt close-loop-system. Med hjälp av MMS-tågen som härrör från hastigheten på höfterna hos varje deltagare (C1 - C6) använde vi MLE för att passa den bästa PDF-filen med 95% konfidensintervall. Varje deltagare representeras av en annan symbol medan villkoren representeras av olika färger. En familj gamma-PDF-filer när volymen (in) skiljer sig från den utanför volymen (ut). Förutom gamma empiriskt uppskattade PDF-filer visas även de uppskattade gammaform- och skalningsparametrarna för varje person på gammaparameterplanet. Klicka här om du vill visa en större version av den här figuren.

Tabell 1 visar p-värden som erhållits från rådata (hastighet) och MMS-data som jämför resultatet mellan förhållanden när personens kroppsdel är inuti RoI vs. utanför RoI. Resultaten som visas på bordet har uppskattats med hjälp av det icke-parametriska ANOVA Kruskal-Wallis-testet.

Kruskal Wallis Test Hastighetsdata Mms
C1 (på 1) 0 1.34 e-05
C2 (på andra) 0 4.72E-15
C3 (på 199 0 8.59E-34
C4 (på andra) 2.70E-21 3.16E-04
C5 (på))c5 0 1.11E-09
C6 (på 199 0 5.95E-05

Tabell 1: Uteffekt av det icke-parametriska ANOAVA-Kruskal-Wallis-testet. Resultaten av Kruskal Wallis-testet som jämför inspelningarna av inuti kontra utanför Rol för MMS och hastighetsdata. Vi tillämpar testet på varje deltagares data (C1 - C6) separat.

Kompletterande filer. Klicka här för att ladda ner dessa filer.

Discussion

Detta dokument introducerar begreppet proxykontroll via nära slinga co-adaptive, interaktiva, multimodala gränssnitt som utnyttjar, parametriserar och omparameteriserar personens perifera signal i samband med dyadisk utbyte. Vi syftade till att karakterisera stokastiska förändringar i fluktuationerna i personens biorytm och parametrisera förändringen. Vidare syftade vi till att systematiskt styra de stokastiska signaturerna av deras biorytm mot riktade nivåer av buller-till-signal-regimer i nära realtid.

Vi presenterade ett generiskt protokoll för att bygga ett nära gränssnitt som tillfredsställde 5 kärnelement: 1) insamling av flera kroppsdata som kommer från CNS, PNS och ANS med hjälp av olika instrument och tekniker; 2) Synkroniserad registrering och strömning av uppgifterna. 3) Realtidsanalys av de valda signalerna. 4) skapande av sensorisk förstärkning (ljud, visuellt osv.) med hjälp av fysiologiska egenskaper som extraheras för kroppssignalerna. och 5) kontinuerlig spårning av det mänskliga systemet och parallell sensorisk förstärkning stänger slingan av interaktionen mellan människan och systemet.

Det allmänna protokollet tillämpades på två exempelgränssnitt. Den första undersöker det dyadiska utbytet mellan två mänskliga agenter och den andra mellan en människa och en avataragent. De två typerna av dyader användes för att ge bevis på konceptet att den perifera signalen systematiskt kan ändras i realtid och att dessa stokastiska förändringar kan spåras exakt. En dyad bestod av två deltagare som fysiskt interagerade, medan den andra involverade en deltagare som interagerade med en virtuell agent i form av en 3D-renderad avatar utrustad med personens rörelser och med förändrade varianter av dessa realtidsrörelser. Sådana ändringar framkallades av interaktiva manipulationer drivs av auditiva och/eller visuella sensoriska ingångar i en inställning av förstärkta sensationer. I både den verkliga dyaden och den konstgjorda dyaden visade vi möjligheten att fjärrförändrande de perifera signalerna, inklusive kroppsbiorytmer och autonoma signaler från hjärtslagen.

Vi presenterade nya experimentella protokoll för att undersöka sådana förändringar i efferent motor variabilitet som kinesthetic signal strömmar manipuleras och omparameteriseras i nära realtid. Denna information om återinkomst (kinesthetic reafference48) visade sig vara värdefull för att ändra systemprestandan i realtid. De bär information om åtgärdens sensoriska konsekvenser, som vi kan spåras exakt med hjälp av de metoder som vi presenterade här.

Vi visade också datatyper och statistiska metoder som kan standardisera våra analyser. Vi tillhandahöll flera visualiseringsverktyg för att demonstrera realtidsförändringar i fysiologiska aktiviteter som naturligt utvecklas i olika sammanhang, med empiriskt guidad statistisk inferens som lämpar sig för tolkning av de självgenererade och självkontrollerade nervsystemet signaler. Det är viktigt att de förändringar som proxykontrollanten framkallade var smidiga och ändå kvantifierbara, vilket gav stöd till uppfattningen att perifer verksamhet är användbar på mer än ett sätt. Även om vi kan implementera dessa metoder med hjälp av kommersiellt tillgängliga trådlösa bärbara sensorer, kan vi systematiskt inducera prestandaförändringar som kan fångas i de biofysiska rytmerna utan att stressa systemet. Det är viktigt att översätta våra metoder till den kliniska arenan och använda dem som testbädd för att utveckla nya interventionsmodeller (t.ex. som vid användning av förstärkt verklighet vid autism 49). I sådana modeller kommer vi att kunna spåra och kvantifiera de sensoriska konsekvenserna av personens naturalistiska handlingar, eftersom de sensoriska ingångarna är exakt manipulerade och utgången parametriseras och omparametriseras i nära realtid.

Vi erbjuder detta protokoll som en allmän modell för att använda olika biorytmiska aktiviteter som genereras av de mänskliga nervsystemet och utnyttjas icke-invasivt med trådlösa bärbara. Även om vi använde en uppsättning biosensorer för att registrera EEG, EKG och kinematik i detta dokument, är metoderna för att registrera, synkronisera och analysera signalerna allmänna. Gränssnittet kan därmed innehålla annan teknik. Dessutom kan protokollen ändras så att de omfattar andra naturalistiska åtgärder och sammanhang som sträcker sig till det medicinska området. Eftersom vi har siktat på naturliga beteenden kan den inställning som vi har utvecklat användas i lekfulla miljöer (t.ex. involvera barn och föräldrar.)

Flera störningar i nervsystemet kan dra nytta av sådana lekfulla metoder för kontrollproblemet. I båda typerna av dyadiska interaktioner som vi visade här kunde deltagarna sträva efter att medvetet kontrollera musiken, medan proxykontrollanten använder den perifera utgången för att omedvetet manipulera och systematiskt flytta sina signaturer. Eftersom forskare har tillbringat år empiriskt kartlägga Gamma parameterplan och motsvarande Gamma ögonblick utrymme över olika åldersgrupper (nyfödda till 78 år)19,50,51,52,53 och villkor (autism, Parkinsons sjukdom, stroke, komatillstånd och deafferentation), för olika kontrollnivåer (frivilliga, automatiska, spontana, ofrivilliga och autonoma)25,47,54, de har empiriskt uppmätta kriterier som betecknar var på Gamma-utrymmena de stokastiska signaturerna ska vara för en bra prediktiv kontroll. Tidigare forskning har också visat att vi vet var parametrarna är i närvaro av spontant slumpmässigt brus som kommer från de självgenererade rytmerna i de mänskliga nervsystemet7,19,55,56. Inom ett optimeringsschema som minimerar biorytmiskt motoriskt brus kan vi därför sträva efter att driva signalerna på ett sådant sätt att de uppnår de riktade områdena i Gamma-utrymmena där formen och spridningssignaturerna för varje persons familj bidrar till hög signal till brusförhållande och prediktiva värden. I det avseendet förlorar vi inte bruttodata och använder dem effektivt för att driva systemet mot önskvärda bullernivåer i en viss situation.

Dyadiska interaktioner är allestädes närvarande i kliniska inställningar eller träningsmiljöer. De kan förekomma mellan tränaren och praktikanten. läkaren och patienten; den kliniska terapeuten och patienten; och de kan också förekomma i forskningsmiljöer som involverar translationell vetenskap och engagerar forskaren och deltagaren. En av fördelarna med de nuvarande protokollen är att medan de är utformade för dyader, är de också personliga. Som sådan är det möjligt att skräddarsy de medanpassade interaktionerna efter personens bästa förmåga och predispositioner, enligt deras rörelseintervall, deras intervall av sensoriska bearbetningstider och samtidigt överväga intervallen i signalens amplitud över den funktionella hierarkin i personens nervsystem. När den stokastiska banan dyker upp och utvecklas i tid är det också möjligt att fastställa antalet chanser för signaturerna och använda den tidsserien för att förutsäga flera förestående händelser tillsammans med möjliga sensoriska konsekvenser.

Slutligen kan nära slinggränssnitt till och med användas i konstvärlden. De skulle kunna erbjuda utövande konstnärer nya vägar för att generera beräkningsdrivna former av moderna danser, teknikdanser och nya former av visualisering och sonifiering av kroppsliga uttryck. I sådana sammanhang kan dansarens kropp förvandlas till ett sensoriskt drivet instrument för att flexibelt utforska olika sensoriska modaliteter genom sonifiering och visualisering av de självgenererade biorytmiska aktiviteterna, vilket framgår av tidigare arbete inom detta område40,41,43,46. En sådan föreställning skulle kunna förstärka en dansares roll på scenen och låta publiken uppleva subtila kroppsliga signaler bortom synlig rörelse.

Flera aspekter av denna teknik kräver vidareutveckling och testning för att optimera deras användning i realtidsinställningar. Den synkrona streamingen kräver höghastighets CPU / GPU-kraft och minneskapacitet för att verkligen utnyttja tanken på att vinna tid och vara ett steg framåt när man förutsäger de sensoriska konsekvenserna av de pågående motorkommandona. Utrustningens provtagningshastigheter bör vara jämförbara för att verkligen kunna justera signalerna, utföra korrekt sensorisk fusion och utforska överföringen av information genom nervsystemets olika kanaler. Detta är några av begränsningarna i detta nya gränssnitt.

Allt som allt erbjuder detta arbete ett nytt koncept för att förbättra kontrollen av vårt kroppsliga system samtidigt som det använder subliminala medel som ändå möjliggör systematiska standardiserade utfallsmätningar av stokastisk förändring.

Disclosures

Metoder som omfattas av

•US20190333629A1 "Metoder för diagnos och behandling av neurologiska sjukdomar"

•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement relevant"

•US20190261909A1 "System och metod för att bestämma mängden viljestyrka i ett ämne"

• •• US202110989122 "System och metod för mätning av fysiologiskt relevant rörelse"

Acknowledgments

Vi tackar de studenter som frivilligt erbjöd sin tid för att hjälpa till att utföra denna forskning; Kan Anant och PhaseSpace Inc. för att förse oss med bilder och videor som är nödvändiga för att beskriva konfigurationen; och Neuroelektronik för att låta oss använda material från kanalen www.youtube.com/c/neuroelectrics/ och deras manualer. Slutligen tackar vi prof. Thomas Papathomas från Rutgers Center for Cognitive Science för professionellt stöd under inlämningsstadierna för detta manuskript, Nancy Lurie Marks Family Foundation Career Development Award till EBT och Gerondelis Foundation Award till VK.

Bidrag
Konceptualisering, VK och EBT; metodik, EBT. programvara, VK, EBT, SK.; validering, VK och SK; formell analys, VK; VK, EBT, SK; resurser, EBT. data curation, VK; skrift – originalutkast, EBT; skrivning – granskning och redigering, VK, SK.; visualisering, VK och EBT.; övervakning, EBT.; Projektadministration, EBT.; finansiering förvärv, EBT Alla författare har läst och samtyckt till den publicerade versionen av manuskriptet.

Materials

Name Company Catalog Number Comments
Enobio 32 Enobio Hardware for EEG data collection
Enobio ECG Extention Enobio Hardware for ECG data collection
LabStreamingLayer (LSL) Synchronization and streaming of data
Matlab Mathwork Analysis and processing of data
Max Cycling'74 Sonification of bodily information
NIC.2 Enobio Software for EEG and ECG data collection
PhaseSpace Impulse PhaseSpace Hardware for collection of the kinematic data (position, speed, acceleration)
Python3 Python Analysis and processing of data
Recap PhaseSpace Software for collection of the kinematic data (position, speed, acceleration)

DOWNLOAD MATERIALS LIST

References

  1. Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11, (7-8), 1317-1329 (1998).
  3. Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2, (9), 338-347 (1998).
  4. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5, (11), 1226-1235 (2002).
  5. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7, (9), 907-915 (2004).
  6. Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. University of California, San Diego. (2001).
  7. Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394, (20), 780-784 (1998).
  8. Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1, (2), 42 (2003).
  10. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24, (18), 885-897 (2014).
  12. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13, (3), 031001 (2016).
  13. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112, (1), 61-80 (2014).
  14. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24, (18), 885-897 (2014).
  16. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13, (3), 031001 (2016).
  17. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112, (1), 61-80 (2014).
  18. Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8, (7), 66757 (2013).
  19. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  20. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
  21. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  22. Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
  23. Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. ACM. 1-8 (2017).
  24. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  25. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215, (3-4), 269-283 (2011).
  26. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  27. Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22, (6), 593-608 (2011).
  28. Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73, (2), 95-100 (2009).
  29. Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
  30. Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. IEEE Xplore. ed IEEE (2019).
  31. Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. IEEE Xplore. (2018).
  32. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215, (3-4), 269-283 (2011).
  33. Purves, D. Neuroscience. Sixth edition. Oxford University Press. (2018).
  34. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  35. Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
  36. Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18, (4), (2018).
  37. Torres, E. B. Progress in Motor Control. Springer. 229-254 (2016).
  38. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  39. Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
  40. Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. (2019).
  41. Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. Article 2 (2020).
  42. Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. Rutgers University-School of Graduate Studies. (2018).
  43. Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. (2018).
  44. Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18, (9), (2018).
  46. Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. (2019).
  47. Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. 9 (2016).
  48. Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. Appleton-Century-Crofts. 41-72 (1950).
  49. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  50. Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. Academmic Press, Elsevier. (2018).
  51. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
  52. Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. (2017).
  53. Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
  54. Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. (2018).
  55. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  56. Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).
Proxykontroll i realtid av omparameteriserade kringutrustningssignaler med hjälp av ett close-loop-gränssnitt
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).More

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
simple hit counter