Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Proxykontrol i realtid af eksterne signaler med parametre igen ved hjælp af en nærløkkegrænseflade

Published: May 8, 2021 doi: 10.3791/61943

Summary

Vi præsenterer protokoller og analysemetoder til opbygning af samtilpasningsgrænseflader, der streamer, parameteriserer, analyserer og ændrer menneskelige krops- og hjertesignaler i nært kredsløb. Denne opsætning grænseflader signaler stammer fra perifere og centrale nervesystemer af den person med eksterne sensoriske input til at hjælpe med at spore biofysiske forandringer.

Abstract

De felter, der udvikler metoder til sensorisk substitution og sensorisk augmentation har haft til formål at kontrollere eksterne mål ved hjælp af signaler fra centralnervesystemet (CNS). Mindre hyppige er dog protokoller, der opdaterer eksterne signaler selvgenereret af interaktive organer i bevægelse. Der er en mangel på metoder, der kombinerer kroppen-hjerte-hjerne biorytmer af en bevægelse agent til at styre dem af en anden bevægelse agent under dyadic udveksling. En del af udfordringen med at udføre en sådan bedrift har været kompleksiteten af opsætningen ved hjælp af multimodale biosignaler med forskellige fysiske enheder, forskellige tidsskalaer og variable prøvetagningsfrekvenser.

I de senere år har fremkomsten af bærbare biosensorer, der ikke-invasivt kan udnytte flere signaler i tandem, åbnet mulighed for at re-parameterisere og opdatere de perifere signaler fra interagerende dyader, ud over at forbedre hjerne- og / eller kropsmaskinegrænseflader. Her præsenterer vi en co-adaptiv grænseflade, der opdaterer sprudlende somatisk-motorisk output (herunder kinematik og puls) ved hjælp af biosensorer; parameteriserer de stokastiske biosignaler, giver dette output en sonifies og sender det tilbage i reparameteriseret form som visuo/audio-kinesthetic reafferent input. Vi illustrerer metoderne ved hjælp af to typer interaktioner, en, der involverer to mennesker og en anden, der involverer et menneske og dets avatar, der interagerer i næsten realtid. Vi diskuterer de nye metoder i forbindelse med mulige nye måder at måle indflydelsen af eksternt input på intern somatisk-sensorisk-motorisk styring.

Introduction

Den naturlige nærløkkecontroller
Sensorisk-motoriske oplysninger flyder kontinuerligt mellem hjernen og kroppen til at producere velorganiseret, koordineret adfærd. En sådan adfærd kan studeres, mens der fokuseres på personens handlinger alene, som i en monologstil (Figur 1A) eller under komplekse dynamiske handlinger, der deles mellem to agenter i en dyad, som i en dialogstil (Figur 1B). En tredje mulighed er imidlertid at vurdere sådanne komplekse interaktioner gennem en proxycontroller inden for rammerne af en nærløkkegrænseflade mellem menneske og computer (Figur 1C). En sådan grænseflade kan spore de øjeblik-for-øjeblik bevægelsers udsving bidraget med hver agent i dyaden, og af den type sammenhængsevne, der selv fremgår af deres synkrone interaktioner, hjælper styre dyad rytmer i ønskelige måder.

Figure 1
Figur 1: Forskellige former for kontrol. (A) Selvhjernestyrede grænseflader er afhængige af nærløkkets relationer mellem personens hjerne og personens egen krop, som kan selvregulere og selv interagere i "monolog" stil. Denne tilstand forsøger at kontrollere selvgenererede bevægelser, eller den kan også sigte mod at kontrollere eksterne enheder. (B) "Dialog" stil kontrol er indført for to dansere, der interagerer med hinanden og gennem fysisk træning og turn-tager for at opnå kontrol over hinandens bevægelser. (C) "Tredjeparts" dialog kontrol af dyad er indført som medieret af en computer interface, der udnytter i tandem bio-signaler fra begge dansere, parameteriserer det og feeds det tilbage til dansere i re-parameteriseret form ved hjælp af lyd og / eller vision som former for sensorisk vejledning. Reparameteriseringen i de eksempler, der præsenteres her, blev opnået ved hjælp af lyd eller visuel feedback, forstærket af den realtids kinæstetiske motoriske udgang fra en af danserne for at påvirke den anden; eller af begge dansere, skiftes til at skiftes i nogle skiftevis mønster. Klik her for at se en større version af dette tal.

Det overordnede mål med denne metode er at vise, at det er muligt at udnytte, parameterisere og re-parameterisere moment-by-moment udsving i biorytmiske aktiviteter organer i bevægelse, som to agenter engagere sig i dyadic udveksling, der kan involvere to mennesker, eller et menneske og hans / hendes selvhævdende avatar.

Undersøgelser af, hvordan hjernen kan kontrollere handlinger og forudsige deres sensoriske konsekvenser, har genereret mange linjer af teoretiske forespørgsler i de sidste1,2,3 og produceret forskellige modeller af neuromotorisk kontrol4,5,6,7,8. En forskningslinje på dette tværfaglige område har involveret udvikling af hjerne-maskine- eller hjernecomputergrænseflader med nær løkker. Disse typer opsætninger tilbyder måder at udnytte og tilpasse CNS-signalerne til at styre en ekstern enhed, såsom en robotarm9,10,11, et exoskelet12, en markør på en computerskærm13 (blandt andre). Alle disse eksterne enheder deler den egenskab, at de ikke har egen intelligens. I stedet hjernen forsøger at kontrollere dem har, og en del af det problem, at hjernen ansigter er at lære at forudsige konsekvenserne af de bevægelser, den genererer i disse enheder (f.eks markørens bevægelser, robotarmens bevægelser, osv.), mens generere andre støttende bevægelser, der bidrager til den samlede sensoriske motor feedback i form af kinesthetic reafference. Ofte har det overordnede formål med disse grænseflader været at hjælpe personen bag denne hjerne omgå en skade eller lidelse, for at genvinde omdannelsen af hans / hendes forsætlige tanker i viljesbestemt kontrollerede fysiske handlinger af den eksterne enhed. Mindre udbredt har dog været udviklingen af grænseflader, der forsøger at styre bevægelser af organer i bevægelse.

Meget af den oprindelige forskning på hjerne-maskine grænseflader fokus på kontrol af centralnervesystemet (CNS) over kropsdele, der kan udføre mål-rettet aktioner9,14,15,16,17. Der er imidlertid andre situationer, hvor brugen af signaler fra aktiviteter i de perifere nervesystemer (PNS), herunder de autonome nervesystemer (ANS), er informativ nok til at påvirke og styre signalerne fra eksterne agenter, inklusive et andet menneske eller avatar, eller endda interagerende mennesker (som i figur 1C). I modsætning til med en robotarm eller markør har den anden agent i dette tilfælde intelligens drevet af en hjerne (i tilfælde af avataren, der er udstyret med personens bevægelser eller af en anden agent, i tilfælde af en interagerende menneskelig dyad).

Et setup, der skaber et miljø af en co-adaptiv close-loop interface med dyadic udveksling kan være til nytte for at gribe ind i lidelser i nervesystemet, hvorved hjernen ikke kan viljesbestemt styre sin egen krop i bevægelse efter befindende, på trods af ikke at have fysisk afskåret broen mellem CNS og PNS. Dette kan være tilfældet på grund af støjende perifere signaler, hvor feedback-sløjferne for at hjælpe hjernen kontinuerligt overvåger og justerer sine egne selvgenererede biorytmer, kan være blevet forstyrret. Dette scenario opstår hos patienter med Parkinsons sygdom18,19, eller hos deltagere med autismespektrumforstyrrelser med overskydende støj i deres motoriske produktion. Faktisk har vi i begge tilfælde kvantificeret høje niveauer af støj-til-signal-forhold i de tilbagevendende kinesetiske signaler afledt af hastigheden af deres tilsigtede bevægelser20,21,22 og fra hjertet23. I sådanne tilfælde kan forsøg på at mestre hjernekontrollen af eksterne signaler, samtidig med at man forsøger at kontrollere kroppen i bevægelse, resultere i et selvreaktivt signal fra den re-deltager (genudnævnte) strøm af information, som hjernen modtager fra den kontinuerlige (brusende) motorstrøm i periferien. De øjeblikkelige udsving i en sådan selvskabt efferentmotorstrøm indeholder faktisk vigtige oplysninger, der er nyttige for at hjælpe med at forudsigelsen af de sensoriske konsekvenser af målrettede handlinger24. Når denne feedback er beskadiget af støj, bliver det vanskeligt at forudsigeligt opdatere kontrolsignalerne og bygge bro over forsætlige planer med fysiske handlinger.

Hvis vi skulle udvide en sådan feedback loop til en anden agent og kontrollere person og agent interaktioner gennem en tredjepart(Figur 1C),kan vi have en chance for at styre hinandens præstationer i nær realtid. Dette ville give os et proof of concept, at vi ville være nødt til at udvide begrebet co-adaptive hjerne-krop eller hjerne-maskine grænseflader til behandling af lidelser i nervesystemet, der resulterer i dårlig realisering af fysisk vilje fra mental hensigt.

Målrettede handlinger har konsekvenser, som netop er karakteriseret ved motoriske stokastiske signaturer, der er kontekstafhængige og muliggør inferens af niveauer af mental hensigt med høj sikkerhed25,26. Således er en fordel ved en ny metode, der udnytter dyadic udveksling over tidligere person-centreret tilgange til hjernen maskinen eller hjernen computer grænseflader, er, at vi kan øge kontrolsignaler til at omfatte kropslige og hjerte biorytmer, der viser sig stort set under personens bevidsthed, under forskellige niveauer af hensigt. På denne måde dæmper vi reaktiv interferens, som bevidst kontrol har tendens til at fremkalde i processen med at tilpasse hjernemarkørkontrol17. Vi kan tilføje mere sikkerhed til den prædiktive proces ved at parameterisere de forskellige signaler, som vi kan få adgang til. I den retning findes der tidligere arbejde med hjerne- og kropssignaler i tandem27,28,29; men arbejde, der involverer dyadisk interaktion fanget af hjerne-kropslige signaler er stadig knappe. Endvidere har den løbende litteratur endnu ikke afgrænset sondringen mellem bevidste segmenter af handlingen udført under fuld bevidsthed og overgangsforslag , der spontant opstår som følge af de bevidste30,31. Her gør vi denne skelnen i forbindelse med dyadisk udveksling, og tilbyder nye måder at studere denne dikotomi32, samtidig med at eksempler på koreograferet (bevidst) vs improviserede (spontane) bevægelser i danserummet.

På grund af transduktions- og transmissionsforsinkelserne i sensorisk-motoriske integrations- og transformationsprocesser33er det nødvendigt at have en sådan forudsigende kode på plads for at lære at forudse kommende sensorisk input med høj sikkerhed. Med henblik herpå er det vigtigt at være i stand til at karakterisere udviklingen i støj-til-signal-forholdet afledt af signaler i den kontinuerligt opdaterede kinesthetiske reafferent-strøm. Så har vi brug for protokoller for systematisk at måle ændringer i motorisk variation. Variabilitet er i sagens natur til stede i de øjeblikkelige udsving i den udgående udgående udstrømningsmotorstrøm34. Da disse signaler ikke er stationære og følsomme over for kontekstafsvingninger35,36, er det muligt at parameterisere ændringer, der opstår med ændringer af opgavernes kontekst. For at minimere interferens fra reaktive signaler, der kommer ud af bevidst CNS-kontrol, og for at fremkalde kvantificerbare ændringer i den brusende PNS-motorstrøm introducerer vi her en proxy close-loop-grænseflade, der indirekte ændrer den sensoriske feedback ved at rekruttere det perifere signal, der ændrer sig stort set under personens selvbevidsthed. Vi viser derefter måder til systematisk at måle den ændring, der følger de sensoriske manipulationer, ved hjælp af stokastiske analyser, der er modtagelige for at visualisere den proces, som proxy close-loop-grænsefladen indirekte fremkalder i begge agenter.

Introduktion til en proxy-close-loop-controller
Den sensoriske-motoriske variation, der findes i de perifere signaler, udgør en rig informationskilde til at styre nervesystemernes ydeevne, mens læring, tilpasning og generalisering finder sted på tværs af forskellige sammenhænge37. Disse signaler viser sig til dels som et biprodukt af CNS, der forsøger at kontrollere handlinger, men er ikke den registeransvarliges direkte mål. Da personen naturligt interagerer med andre, kan de perifere signaler udnyttes, standardiseres og reparameteriseres; hvilket betyder, at deres variationer kan parameteriseres og systematisk flyttes, da man ændrer den sprudlende motorstrøm, der kontinuerligt kommer ind i systemet som kinesthetic reafference. I sådanne indstillinger kan vi visualisere de stokastiske skift og med høj præcision opfange et rigt signal, der ellers går tabt for de typer grand gennemsnit, som mere traditionelle teknikker udfører.

For at opnå karakterisering af forandring under den nye statistiske platform introducerer vi her protokoller, standardiserede datatyper og analyser, der tillader integration af eksternt sensorisk input (auditivt og visuelt) med internt selvgenererede motorsignaler, mens personen naturligt interagerer med en anden person eller med en avatarversion af personen. I denne forstand, fordi vi sigter mod at kontrollere de perifere signaler (i stedet for at ændre CNS-signalerne til direkte at styre den eksterne enhed eller medier), mønter vi dette en proxy close-loop interface (Figur 2). Vi sigter mod at karakterisere ændringerne i PNS's stokastiske signaler, da de påvirker dem i CNS.

Figure 2
Figur 2: Proxy kontrol af en dyadisk interaktion ved hjælp af close-loop multi-modal interface. (A) Indirekte kontrol af to dansere (dans salsa) via en computer co-adaptive interface vs (B) en interaktiv kunstig person-avatar dyad kontrolleret ved at udnytte de perifere nervesystemer signaler og re-parameterisere det som lyde og / eller som visuel input. (C) Begrebet sonikering ved hjælp af en ny standardiseret datatype (mikrobevægelsesspidserne, MMS) afledt af de øjeblikkelige udsving i biorytmiske signaler amplitude/timing konverteret til vibrationer og derefter til lyd. Fra Fysik, låner vi begreberne kompressioner og rarefactions produceret af en tuning gaffel output lydbølge som målbare vibrationer. Skemaer af lydbølger repræsenteret som tryk moduleret over tid parallelt med spike koncentrationer til sonificering. Eksempel på et fysisk signal til at gennemgå den foreslåede rørledning fra MMS til vibrationer og sonikering. Vi bruger pulssignalet som indgang til grænsefladen. Dette tager udsving i signalets amplitude justeret til bevægelsen debut hvert 4 sekund af bevægelse og bygger MMS tog, der repræsenterer vibrationer. Spike-togene fra MMS er standardiseret fra [0,1]. Farven på piggene i henhold til farvelinjen repræsenterer signalets intensitet. Vi sonificerer disse vibrationer ved hjælp af Max. Dette forkrificerede signal kan bruges til at afspille i A, eller til at ændre i B samspillet med avatar. I B er det desuden muligt at integrere lyden i miljøet og bruge kropspositionen til at afspille lyden i et område af interesse (RoI) eller at modulere lydfunktionerne som en funktion af afstand til RoI, hastighed eller acceleration af en kropsdel forankret til en anden kropsdel, når den passerer RoI. Klik her for at se en større version af dette tal.

PNS-signalerne kan udnyttes ikke-invasivt med bærbare sensorteknologier, der medregistrerer multimodale efferente strømme fra forskellige funktionelle lag af nervesystemerne, lige fra autonome til frivillige32. Vi kan derefter i næsten realtid måle ændringerne i sådanne vandløb og vælge dem, hvis ændringer forbedrer signal-til-støj-forholdet. Dette sprudlende motorsignal kan derefter udvides med andre former for sensorisk vejledning (f.eks. auditivt, visuelt osv.) Fordi PNS signaler scape fuld bevidsthed, de er lettere at manipulere uden megen modstand 38. Som sådan bruger vi dem til at hjælpe med at styre personens præstationer på måder, der kan være mindre stressende for det menneskelige system.

Opbygning af grænsefladen
Vi præsenterer designet af proxy-styringen medieret af en tæt-loop co-adaptiv multimodal grænseflade. Denne grænseflade styrer den multisensoriske feedback i realtid. Figur 3 viser det generelle design.

Tæt-loop-grænsefladen er kendetegnet ved 5 hovedtrin. Det første trin er multimodale dataindsamlinger fra flere bærbare instrumenter. Det andet trin er synkroniseringen af multimodale streams gennem platformen af LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer), der er udviklet af MoBI-gruppe 39. Det tredje trin er streaming af LSL-datastrukturen til en Python, MATLAB eller anden programmeringssproggrænseflade for at integrere signalerne og empirisk parametrisere fysiologiske funktioner (relevant for vores eksperimentelle opsætning) i realtid. Det 4. trin er at reparatisere de valgte funktioner udvundet fra den kontinuerlige strøm af det undersøgte kropslige signal og øge det ved hjælp af en sensorisk modalitet af valg (f.eks. visuel, auditiv, kinæstetisk osv.) for at afspille den i form af lyde eller visuals, for at øge, erstatte eller forbedre den sensoriske modalitet, der er problematisk i personens nervesystem. Endelig er det femte trin at revurdere de stokastiske signaturer af de signaler, der genereres af systemet i realtid, for at vælge, hvilken sensorisk modalitet der bringer de stokastiske skift af de kropslige udsving til et regime med høj sikkerhed (støjminimering) i forudsigelsen af de sensoriske konsekvenser af den forestående handling. Denne sløjfe spilles kontinuerligt i hele eksperimentets varighed med fokus på det valgte signal, mens den fulde ydelse gemmes til efterfølgende analyser (som afbildet i skemaerne i figur 3 og se40,41,42,43,44,45,46,47 for et eksempel på en bageste analyser).

Figure 3
Figur 3: Arkitekturen i det multimodale, perifert drevne interfacekoncept. Forskellige kropslige signaler indsamles -kinematiske data, hjerte- og hjerneaktivitet (trin 1). LSL bruges til synkront at medregistrere og streame data, der kommer fra forskelligt udstyr til grænsefladen (trin 2). Python/MATLAB/C#-kode bruges til løbende at parameterisere udsvingene i signalerne ved hjælp af en standardiseret datatype og fælles skala, der gør det muligt at vælge den sensoriske vejledningskilde, der er mest tilstrækkelig til at dæmpe systemets usikkerhed (trin 3). Denne realtidsforbedring af signaltransmissionen gennem udvalgte kanaler gør det derefter muligt at re-parameterisere det sensoriske signal, der igen er til at blive gentaget, og integrere det i den kontinuerlige motorstrøm og forbedre den tabte eller beskadigede inputstrøm (sensorisk substitutionstrin 4). Løbende revurdering lukker sløjfen (trin 5), og vi gemmer alle data til yderligere fremtidige analyser. Klik her for at se en større version af dette tal.

I de følgende afsnit præsenteres den generiske protokol for, hvordan man opbygger en nærløkkegrænseflade (som beskrevet i figur 3),og repræsentative resultater af to eksperimentelle grænseflader (udførligt præsenteret i supplerende materiale), der involverer fysisk dyadisk interaktion mellem to dansere (ægte nærløkkesystem) og virtuelt dyadisk interaktion mellem en person og en avatar (kunstigt nærløkkesystem).

Protocol

Undersøgelsen blev godkendt af Rutgers Institutional Study Board (IRB) i overensstemmelse med Helsingfors-erklæringen.

1. Deltagere

  1. Definer den befolkning, der skal studeres, og bed dem om at deltage i undersøgelsen. Den nuværende grænseflade kan bruges i forskellige populationer. Denne protokol og de eksempler, der bruges her til at bevise konceptet, er ikke begrænset til en bestemt gruppe.
  2. Opnå skriftligt informeret samtykke fra den IRB-godkendte protokol i overensstemmelse med Helsingfors-erklæringen.
  3. Bed deltageren eller værgen om at underskrive formularen inden eksperimentets begyndelse.

2. Installation af grænsefladen til nærløkke

  1. Opsætning af kinematisk udstyr-PNS
    1. Hjælp deltageren med omhyggeligt at bære det LED-baserede motion-capture kostume (krop og hoved, vist i figur 3, trin 1 og 5), der ledsager det anvendte bevægelsesoptagelsessystem. LED-markører af kostume vil blive sporet af kameraer af systemet til at vurdere placeringen af den bevægelige krop i rummet.
    2. Tilslut systemets trådløse LED-controller (også kendt som LED-driverenhed) med LED-kablerne i kostumet ved at tilslutte det til den rigtige port. Tænd enheden, og indstil den i streamingtilstand.
    3. Tænd for serveren i bevægelseshentningssystemet.
    4. Åbn en webbrowser, besøg serveradressen, og log på (logonoplysninger skal leveres af virksomheden ved køb af produktet).
    5. Kalibrer systemet efter behov (kalibrer f.eks. systemet, hvis det er første gang, udstyret bruges, ellers skal du gå videre til trin 2.1.17).
    6. Åbn kalibreringsværktøjet for bevægelseshentningssystemet, og vælg Guiden Kalibrering.
    7. Kontroller, at indtastningen af servernummeret i tekstfeltet i venstre overside af grænsefladen er korrekt, og klik på Fortsæt.
    8. Tilslut staven til den første port på LED-controlleren, tænd controlleren, og klik på Fortsæt. Når staven er tilsluttet, tændes dens LED-markører og vises på displayet i kameravisningerne.
    9. Placer tryllestaven midt i kameravisningsfeltet, bekræft, at den kan optages af kameraerne, og klik på Fortsæt.
    10. Flyt tryllestaven gennem rummet ved at holde den lodrette og tegnecylindre. Sørg for, at bevægelsen er fanget af mindst 3 kameraer hver gang og er registreret på visningsfeltet for hvert kamera, hvilket gør det grønt. Gør dette for alle kameraer.
    11. Når visningsfeltet for hvert kamera er fuldt registreret (det hele er grønt), skal du klikke på Fortsæt og vente på, at kalibreringsberegninger udføres.
      BEMÆRK: Når kalibreringen er afsluttet, vil kameraets placering sammen med LED-markørerne blive set på displayet, da de fysisk er placeret i rummet. På dette tidspunkt kan brugeren genoptage kalibreringen, fordi det er gjort, eller fortsætte med at justere systemet.
    12. Hold staven lodret, og placer siden med LED'en tættere på enden af staven på jorden, hvor 3D-rummets oprindelse skal indstilles (punkt (0,0,0)).
    13. Hold tryllestaven stabil, indtil den er registreret. Når skærmen er registreret, blinker den grøn. Der vises et punkt, der angiver referencerammens oprindelse på området, på grænsefladen, og den næste justeringsakse, x-aksen, fremhæves grønt.
    14. Flyt tryllestaven, og behold den samme retning (lodret), peg på x-aksen, og hold den stabil, indtil den er registreret.
    15. Gentag for z-aksen. Når z-aksens punkt er registreret, er kalibreringen færdig.
    16. Klik på Udfør for at afslutte kalibreringen.
    17. Åbn grænsefladen i bevægelsesoptagelsessystemet, og klik på Opret forbindelse for at begynde at streame dataene fra LED-mærkerne. Når forbindelsen er etableret, vil placeringen af markører blive vist på den virtuelle verden af grænsefladen.
    18. Opret det virtuelle skelet (anslår automatisk kroppens knoglepositioner ud fra de positionsdata, der er indsamlet fra KOSTUMETs LED-markører, som vist figur 8 trin2).
    19. Højreklik på Skeletter i højre side af vinduet, og vælg Nyt skelet.
    20. Vælg Markørtilknytning, og vælg derefter den korrekte fil (leveret af firmaet baseret på den grænsefladeversion, der bruges). Klik derefter på OK.
    21. Bed deltageren om at forblive stabil på T-posituren (lige op kropsholdning med armene åbne på siderne).
    22. Højreklik på skelettet, og vælg Generer skelet uden træning.
    23. Hvis alle trin udføres korrekt, genereres skelettet. Bed deltageren om at flytte og kontrollere, hvor præcist det virtuelle skelet følger deltagerens bevægelser.
    24. Hvis du vil streame skeletdataene til LSL, skal du vælge Indstillinger og indstillinger i hovedmenuen.
    25. Åbn Owl emulator og klik på "start" Live streaming.
  2. Opsætning af EEG-udstyr - CNS
    1. Hjælp den samme deltager med at bære EEG-hovedhætten.
    2. Placer gelelektroderne (de traditionelle gelbaserede elektroder, der bruges sammen med EEG-hovedhætten) på hovedhætten og 2 klæbrige elektroder (elektroder, der fungerer som klistermærker) på bagsiden af højre øre til CMS- og DRL-sensorerne.
    3. Fyld elektroder med højledende gel efter behov for at forbedre ledningsevnen mellem sensoren og hovedbunden.
    4. Tilslut elektrodekablerne på gel-troderne og de to klæbrige elektroder.
    5. Sæt den trådløse skærm på bagsiden af hovedhætten, og tilslut elektrodekablerne.
    6. Tænd for skærmen.
    7. Åbn EEG-systemets grænseflade.
    8. Vælg Brug Wi-Fi-enhed, og klik på Scan for enheder.
    9. Vælg NE Wi-Fi, og brug denne enhed.
    10. Klik på hovedikonet, vælg en protokol, der tillader optagelse af alle 32 sensorer, og klik på Indlæs.
    11. Sørg for, at de streamede data for hver kanal vises på grænsefladen.
  3. Opsætning af EKG-udstyr- ANS
    1. Følg de nøjagtige trin i 2.2, men brug kanal O1 til at oprette forbindelse på pulsudvidelsen (HR).
    2. Brug en klæbrig elektrode til at holde den anden ende af forlængelsen lige under venstre brystkasse.
  4. Forberedelse af LSL til synkroniseret optagelse og streaming af kinemiske data.
    1. Kør LSL-programmet for bevægelsesoptagelsessystemet ved at dobbeltklikke på det tilsvarende ikon. Find programmet på følgende sti til mappen LSL, LSL\labstreaminglayer-master\Apps\PhaseSpace.
    2. Angiv den korrekte serveradresse på grænsefladen.
    3. Vælg derefter Konfiguration af filer og indlæsning.
    4. Vælg den korrekte konfigurationsfil (den skal leveres af firmaet baseret på den anvendte produktversion)
    5. Klik på Sammenkæd. Hvis der ikke begås fejl, vises der ingen fejlmeddelelse.
  5. Forbered LSL til synkroniseret optagelse og streaming af EEG- og EKG-data. Der kræves ingen ekstra trin til dette udstyr.
  6. Opsætning af LSL
    1. Kør LabRecorder-programmet ved at dobbeltklikke på filen i stien LSL\labstreaminglayer-master\Apps\LabRecorder i mappen LSL.
    2. Klik på Opdater. Hvis alle instruktioner udføres korrekt, vil alle datatyper i bevægelsesregistrerings- og EEG-systemet blive set i panelet Optag for streams.
    3. Vælg mappe og navn til dataene i panelet Lagerplacering.
    4. Klik på Start. Dataindsamlingen af motion-capture og EEG-systemet vil begynde synkront.
    5. Klik på Stopi slutningen af optagelsen. Hvis optagelsen lykkedes, placeres dataene i den mappe, der tidligere er valgt. Åbn filerne for at bekræfte, at de indeholder de registrerede oplysninger.
  7. Realtidsanalyser og overvågning af det menneskelige system.
    1. Udfør MATLAB, Python eller anden kode, der modtager, behandler og udvider de streamede data. Eksempelkoder, der svarer til de repræsentative eksempler, der er beskrevet i følgende afsnit, findes her: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. Generering af den forstærkede sensoriske feedback
    1. Fremstil det sensoriske output ved hjælp af den rigtige enhed (f.eks. højttalere, skærm, blandt andre).

3. Forsøgsprocedure

  1. Følg den eventuelle forsøgsprocedure, der er defineret af opsætningen.
    BEMÆRK: Tæt-loop-grænsefladerne er designet til intuitivt at blive udforsket og lært. Således er der de fleste gange ingen instruktioner nødvendige.

Representative Results

Der er forskellige grænseflader, der kan bygges baseret på protokollen præsenteret i det foregående afsnit og kan anvendes på forskellige populationer til mange formål. Nogle mulige variationer er beskrevet i afsnittet "Variationer af den præsenterede nærløkkegrænseflade" af supplerende materiale.

I dette afsnit demonstrerer vi repræsentative resultater af 2 prøve tæt-loop grænseflader, der følger protokollen er beskrevet i det foregående afsnit. Opsætningen, den eksperimentelle procedure, og deltagerne i disse undersøgelser er forklaret i dybden i afsnit "Eksempel 1: Audio Close-loop Interface af en real Dyadic Interaction" og "Eksempel 2: Audio-visual Close-loop Interface of a Artificial Dyadic Interaction" of the Supplementary File.

Resultater af Audio Close-loop Interface af en reel Dyadic Interaktion
I undersøgelsen af "Audio close-loop interface af en reel dyadisk interaktion" (kunstfærdigt præsenteret i afsnit "Eksempel 1: Audio Close-loop Interface af en real Dyadic Interaction" af supplerende materiale), brugte vi en proxy kontrol interface, illustreret i figur 4, som bruger den kvindelige danser hjerte signal til at ændre den dansede musik. I realtid udførte vi signalbehandling for at udtrække tidspunktet for hjerteslag og streamede disse oplysninger til Max-systemet for at ændre hastigheden på den udførte sang. På denne måde spillede vi sangen tilbage, ændret af de biofysiske signaler. Denne proces førte til yderligere ændringer af bevægelser og hjerteslag signaler.

Figure 4
Figur 4: Den lydbaserede nærløkkegrænseflade. 1. En EKG-HR bærbar enhed overvåger aktiviteten af en salsa danser under udførelsen af hendes rutiner og feeds signalerne til grænsefladen på 500Hz. 2. Vores interface analyserer EKG-data i realtid. I hver ramme filtrerer den de rå data, udtrækker QRS-kompleksets R-toppe; og streamer topdetektering til MAX. 3. En tredjepartsgrænseflade blander lydens hastighed med pulsens hastighed. 4. Den ændrede sang afspilles for danserne. Klik her for at se en større version af dette tal.

To salsa dansere interagerede med grænsefladen og udførte en velafprøvet rutine iscenesættelse en koreografi og en spontant improviseret dans. Danserne var nødt til at udføre den oprindelige version af sangen én gang, og en version blandet det oprindelige tempo i sangen med real-time hjerteslag strøm. Vi henviser til den senere version, som blev udført dobbelt så ændring 1 og 2 af sangen.

I analysen nedenfor brugte vi det optagede hjerte- og lydsignal. Toppene af de to signaler, der udtømes for at anslå MMS-tog (se afsnittet "Mikrobevægelser Spikes" i supplerende fil), som bevarer højfrekvente udsving som vist i figur 5.

Figure 5
Figur 5: Vurdering af MMS-tog i systemet til nærkobling af lyd. EKG-tidsserier bruges til at udtrække RR-toppe og amplitudeafvigelserne fra den samlede (anslåede) gennemsnitlige amplitude af de opnåede R-toppe (gennemsnitlige forskudte data). Derefter normaliseres ved ligning 1 (se Supplerende fil, afsnit "Micro-Movement Spikes") bruges til at opnå MMS-togene. Lignende metoder bruges til at håndtere lydbølgeformerne og afspille sangen i henhold til personens realtidspræstation. Klik her for at se en større version af dette tal.

MMS-togene var godt karakteriseret som en kontinuerlig tilfældig proces, godt repræsenteret ved den kontinuerlige Gamma-familie af sandsynlighedsfordelinger. MLE anså denne kontinuerlige distributionsfamilie for at være den bedste egnet til begge datasæt (se forklaringen i afsnittet "Gammadistribution" af supplerende materiale og supplerende figur 2). Denne type tilfældige proces blev brugt til at spore skift i stokastiske signaturer af biorytmer selvgenereret af biosignaler fra de menneskelige nervesystemer.

Fra de empirisk anslåede form- og skalagammaparametre opnår vi Gamma-øjeblikkene, gennemsnittet, variansen, skævheden og kurtose (se detaljer i analysen i afsnittet "Stokastisk analyse" af supplerende materiale). Vi planlægger derefter den anslåede PDF. Figur 6 fokuserer kun på hjertesignalet og musikken, men metoderne gælder på samme måde som de andre biorytmer, der genereres af kinematiske signaler præsenteret i 41.

PDF af hjertet og musiksignalet er vist i figur 6A-B, hvor vi fremhæver forskellene mellem datasættene for de to betingelser, bevidst rutine og spontan improvisation. For hver betingelse understreger vi forskydningerne i stokastiske signaturer induceret af sangens tidsmæssige ændringer. I første omgang danser de til den originale sang. Så, som hjerteslag ændringer rytmer i realtid, den sonificerede udsving i dette signal fører danserne til at følge den tidsmæssige ændringer af sangen.

Disse er betegnet ændring 1 og ændring 2. Disse systematiske skift beskrives af Gamma-parametrene. Derefter opnåede vi ved hjælp af de empirisk anslåede form- og skalaparametre de fire tilsvarende Gamma-øjeblikke for hjerteslag og sange. Disse vises i Figur 6C for hjertet (øverst) og sangsignalerne (nederst).

Figure 6
Figur 6: Fremkalde systematiske ændringer i de empirisk anslåede Gamma PDF-filer og deres stokastiske baner af de fire Gamma-øjeblikke fra ydeevnen under proxykontrollen ved hjælp af Audio Close-loop System. (A) PDF-filer fra MMS-togene af hver af datatypen (EKG-top- og lydfilbund) for hver af dansekonteksterne, spontan improvisation og bevidst rutine. Legender er Imp Or (improvisation original) angiver baseline betingelse i starten af sessionen; Imp Alt1 betegner improvisationen under ændring 1; Imp Alt2 betegner improvisation under ændring 2. (B) På samme måde betyder Rout Or rutine original for den bevidst indøvede rutine; Rout Alt1 betyder rutinemæssig ændring 1; Rout Alt2 betyder rutinemæssig ændring 2. Panelerne i (C) viser de systematiske skift i Gamma øjeblikke som både lydsignaler fra sangene og dem fra hjertet skift i tandem og i realtid. Klik her for at se en større version af dette tal.

Skiftet af underskrifterne kan værdsættes i disse paneler (PDF og Gamma øjeblikke grafer), hvilket viser, at de præsenterede metoder kan fange tilpasningen af hjertet til ændringer af sangen, at proxy controller producerer i realtid. Som sangene skift rytmer, så gør hjertet stokastiske signaturer og overgangen af stokastiske signaturer er konsekvent i retning (hvilket også er et fund i 41, hvor vi studerede form og skala parametre). Ligeledes, som hjertets underskrifter skift, så gør sangens underskrifter. Denne spejling effekter-den ene påvirker den anden, og som man skifter konsekvent i retning af en retning, så gør andre- følge close-loop karakter af denne proxy controller interface. Resultaterne understreger nytten af denne opsætning og giver bevis for konceptet, at vi systematisk kan flytte personens autonome biorytmer inden for rammerne af dyadisk udveksling.

Parallelle skift på både sangenes stokastiske signaturer og de kropslige signaler viser, at samtilpasning af hele systemet (deltager og grænseflade) er mulig ved hjælp af de perifere signaler. Denne proces forløb gnidningsløst under personens bevidsthed og giver proof of concept for ideerne til eksternt og systematisk at flytte personens biosignaler i korrespondance med den eksterne sensoriske feedback efter eget valg. Sammenfattende kan vi guide skiftet af de stokastiske signaturer i denne kontinuerlige tilfældige proces. Metoderne gør det muligt at fange forandring og deres hastighed langs de stokastiske baner, som vi var i stand til at bygge i næsten realtid.

For at fastslå den statistiske betydning i skiftene bruger vi den ikke-parametriske ANOVA, Kruskal-Wallis-test efterfulgt af flere sammenligninger efter hoc-testen. Vi sammenligner underskrifterne fra MMS af hjertedataene blandt de seks betingelser. Figur 7 viser multisammenligningen af MMS-hjertedataene og den tilsvarende Kruskal-Wallis-tabel. Multisammenligningsplottet indikerer, at der er en betydelig forskel mellem den oprindelige rutinedanss baseline (Rout. Eller) og baseline betingelse af den oprindelige improviserede dans (Imp. Or). Det er også vigtigt at bemærke, at de første ændringer, Rout. Alt1 og Imp. Alt1, skift til fordelinger, der deler sammenlignelige midler, og det samme gælder for de anden ændringer, mens variansen, skævheden og kurtosisskiftet på Gamma-øjeblikkene(Figur 6C).

Figure 7
Figur 7: Resultater fra de ikke-parametriske Kruskal-Wallis- og Multiple-sammenlignings-post hoc-test. Resultaterne af den ikke-parametriske ANOVA (Kruskal-Wallis test) anvendes på MMS af hjertet data til at sammenligne de seks betingelser. Plottet viser multi-sammenligning af de 6 tilfælde, hvilket indikerer den betydelige forskel mellem "Rout. Eller" og "Imp. Or" betingelser. Tabellen viser resultaterne af Kruskal Wallis-testen. Klik her for at se en større version af dette tal.

Resultater af audio-visuel close-loop interface af en kunstig dyadisk interaktion
I undersøgelsen af "Audio-visuelle close-loop interface af en kunstig dyadisk interaktion" (kunstfærdigt præsenteret i afsnit "Eksempel 2: Audio-visuelle close-loop Interface af en kunstig dyadisk interaktion" af supplerende materiale), 6 deltagere interagerede med grænsefladen, illustreret i Figur 8, som skaber deres spejlede avatar gør personens egne bevægelser. Grænsefladen integrerer positionsafhængige lyde i det område, der omgiver personen under interaktionen. Deltagerne var naive med hensyn til formålet med undersøgelsen. De var nødt til at gå rundt i lokalet og finde ud af at kontrollere lyden, der overraskende ville dukke op, da de passerede en RoI (interesseregioner), som proxycontrolleren definerede.

Figure 8
Figur 8: Den visuelle repræsentation af den audiovisuelle grænseflade. 1. Et motion-capture system bruges til erhvervelse af de perifere kinematiske data. 2. Systemet indsamler placeringen af sensorerne (i vores eksempel LED'er) for at estimere skelettet - position på knoglerne. 3. Knoglepositionerne justeres derefter i vores MATLAB-udviklede interface ved hjælp af vores egen fremadgående kinematikmodel. 4. De justerede positioner bruges til at kortlægge skeletoplysningerne til vores 3D-gengivne avatar. 5. Kortlægningen af de streamede data til avatar er i realtid, hvilket skaber følelsen af at se på personens spejlbillede. Klik her for at se en større version af dette tal.

Figur 9 viser resultaterne af den audiovisuelle grænseflade af betingelse 1 (se Supplerende fil for flere betingelser), hvor hoften placering aktiverer sangen, når den tidligere i placeret i RoI. Dette tal viser PDF- og Gamma-signaturerne (se afsnittet "Datatyper og analyser" af supplerende materiale) af hoftehastighedsdataene for 6 forskellige kontroldeltagere (C1 til C6), da de var inden for og uden for RoI-volumenet. De resultater, der præsenteres her, fremhæver de personlige forskelle i tilpasningshastigheden for de enkelte deltagere. Disse er angivet ved forskydningerne af de stokastiske signaturer og de individuelle resultater, der opstår inden for eller uden for RoI-volumenet. For eksempel kan vi bemærke, at PDF passer til frekvens histogrammer af MMS stammer fra hastigheden amplitude af hofterne i C3 og C4, var mere symmetrisk (højere form værdi) og mindre støjende (lavere skala værdi), når inde i volumen. I modsætning hertil viser resten af deltagerne et modsat mønster.

Empirisk har vi konstateret, at underskrifter til nederste højre hjørne er dem af atleter og dansere, der udfører højt kvalificerede bevægelser. Signaturer ligger på øverste venstre region, kommer fra datasæt af nervesystemer med patologier, som dem med en diagnose af autisme spektrum forstyrrelser ADHD22,32 og dem af en deafferented deltager21. I forbindelse med skiftende mønstre langs en stokastisk bane opnår vi medianværdierne for formen og skalaen for at definere den højre nederste kvadrant (RLQ) og den venstre øvre kvadrant (LUQ), hvor vi sporer signalets overordnede kvalitet til støjforholdet ved at akkumulere disse oplysninger over tid. Dette omfatter en dynamisk ajourføring af medianværdierne, der definerer disse kvadranter dynamisk, da personen tilpasser sine internt genererede biorytmer til dem, der kontrolleres eksternt af proxyen, men er afhængig af personens interne.

Figure 9
Figur 9: Empirisk anslåede Gamma-PDF-filer og Gammasignaturer for de kropslige biorytmer under interaktioner ved hjælp af Det Audio-Visuelle Close-Loop System. Ved hjælp af MMS-togene afledt af hastigheden på hofterne på hver deltager (C1 - C6) brugte vi MLE til at passe til den bedste PDF med 95% konfidensintervaller. Hver deltager er repræsenteret af et andet symbol, mens betingelserne repræsenteres af forskellige farver. En familie af Gamma PDF-filer, når i volumen (i) adskiller sig fra, at uden for volumen (ud). Ud over de empirisk estimerede PDF-filer vises de anslåede Gammaform- og skaleringsparametre også for hver person på Gamma-parameterplanet. Klik her for at se en større version af dette tal.

Tabel 1 viser p-værdier opnået fra rå (hastighed) og MMS data sammenligne resultatet på tværs af betingelser, når personens kropsdel er inde i RoI vs. uden for roI'en. Resultaterne afbildet på bordet er blevet estimeret ved hjælp af den ikke-parametriske ANOVA Kruskal-Wallis-test.

Kruskal Wallis Test Hastighedsdata MMS
C1 0 1.34 e-05
C2 0 4.72E-15
C3 0 8.59E-34
C4 2.70E-21 3.16E-04
C5 0 1.11E-09
C6 0 5.95E-05

Tabel 1: Output af den ikke-parametriske ANOAVA-Kruskal-Wallis-test. Resultaterne af Kruskal Wallis-testen, der sammenligner optagelserne af indersiden i forhold til uden for Rol for MMS og hastighedsdataene. Vi anvender testen på hver deltagers data (C1 - C6) separat.

Supplerende filer. Klik her for at downloade disse filer.

Discussion

Dette papir introducerer begrebet proxy kontrol via close-loop co-adaptive, interaktive, multi-modal grænseflader, der udnytter, parameterisere og re-parameterisere perifere signal af den person i forbindelse med dyadic udveksling. Vi sigtede mod at karakterisere stokastiske skift i udsvingene i personens biorytmer og parameterisere ændringen. Desuden sigtede vi mod systematisk at styre deres biorytmers stokastiske signaturer mod målrettede niveauer af støj-til-signal-regimer i næsten realtid.

Vi præsenterede en generisk protokol til opbygning af en tæt-loop interface, som opfyldte 5 centrale elementer: 1) indsamling af flere kropslige data, der kommer fra CNS, PNS, og ANS ved hjælp af forskellige instrumenter og teknologier; 2) synkroniseret optagelse og streaming af dataene 3) realtidsanalysen af de valgte signaler 4) oprettelse af sensorisk forstærkning (lyd, visuel osv.) ved hjælp af fysiologiske træk udvundet for de kropslige signaler; og 5) den kontinuerlige sporing af det menneskelige system og parallel sensorisk augmentation lukker løkken af samspillet mellem det menneskelige og systemet.

Den generiske protokol blev anvendt på to eksempelgrænseflader. Den første undersøger dyadisk udveksling mellem to menneskelige agenter og den anden mellem et menneske og en avatar agent. De to typer dyader blev brugt til at bevise konceptet om, at det perifere signal systematisk kan ændres i realtid, og at disse stokastiske ændringer kan spores nøjagtigt. Den ene dyad bestod af to deltagere, der interagerede fysisk, mens den anden involverede en deltager, der interagerede med en virtuel agent i form af en 3D-gengivet avatar udstyret med personens bevægelser og med ændrede varianter af disse realtidsbevægelser. Sådanne ændringer blev fremkaldt af interaktive manipulationer drevet af auditive og / eller visuelle sensoriske input i en indstilling af forstærkede fornemmelser. I både den virkelige dyad og den kunstige dyad demonstrerede vi muligheden for at fjernstyre at flytte de perifere signaler, herunder kropslige biorytmer og autonome signaler fra hjerteslag.

Vi præsenterede nye eksperimentelle protokoller for at undersøge sådanne skift i brusende motorvariation, da de kinesthetiske signalstrømme manipuleres og reparameteriseres i næsten realtid. Disse oplysninger om nytilkomne (kinesthetic reafference48)viste sig at være værdifulde for at ændre systemernes ydeevne i realtid. De bærer information om handlingens sensoriske konsekvenser, som vi kan spores nøjagtigt ved hjælp af de metoder, vi præsenterede her.

Vi viste også datatyper og statistiske metoder, der kunne standardisere vores analyser. Vi leverede flere visualiseringsværktøjer til at demonstrere realtidsændringerne i fysiologiske aktiviteter, der naturligt udvikler sig i forskellige sammenhænge, med empirisk styret statistisk konklusion, der egner sig til fortolkning af de selvgenererede og selvkontrollerede nervesystemsignaler. Det er vigtigt, at de ændringer, der blev fremkaldt af proxy-controlleren, var glatte og alligevel kvantificerbare, hvilket gav støtte til forestillingen om, at perifer aktivitet er nyttig på mere end én måde. Mens vi kan implementere disse metoder ved hjælp af kommercielt tilgængelige trådløse bærbare sensorer, kan vi systematisk fremkalde ændringer i ydeevne, der kan opfanges i de biofysiske rytmer uden at understrege systemet. Det er vigtigt at oversætte vores metoder til den kliniske arena og bruge dem som en testbed til at udvikle nye interventionsmodeller (f.eks. som når du bruger augmented reality i autisme 49). I sådanne modeller vil vi være i stand til at spore og kvantificere de sensoriske konsekvenser af personens naturalistiske handlinger, da de sensoriske indgange er nøjagtigt manipuleret, og outputtet parameteriseres og reparateres i næsten realtid.

Vi tilbyder denne protokol som en generel model til at udnytte forskellige biorytmiske aktiviteter selvgenereret af de menneskelige nervesystemer og udnyttes ikke-invasivt med trådløse wearables. Selvom vi brugte et sæt biosensorer til at registrere EEG, EKG og kinematik i dette papir, er metoderne til registrering, synkronisering og analyse af signalerne generelle. Grænsefladen kan således omfatte andre teknologier. Desuden kan protokollerne ændres til at omfatte andre naturalistiske handlinger og sammenhænge, der strækker sig til det medicinske område. Fordi vi har til formål at få naturlig adfærd, kan det setup, vi har udviklet, bruges i legende omgivelser (f.eks. med deltagelse af børn og forældre.)

Flere lidelser i nervesystemet kunne drage fordel af sådanne legende tilgange til kontrolproblemet. I begge typer af dyadic interaktioner, som vi viste her, kunne deltagerne sigte mod bevidst at kontrollere musikken, mens proxy controller bruger perifere output til ubevidst at manipulere og systematisk flytte sine signaturer. Fordi forskere har brugt år empirisk kortlægning af Gamma parameter flyet og de tilsvarende Gamma øjeblikke plads på tværs af forskellige aldersgrupper (nyfødte til 78 år)19,50,51,52,53 og betingelser (autisme, Parkinsons sygdom, slagtilfælde, koma tilstand og deafferentation), for forskellige niveauer af kontrol (frivillig, automatisk, spontan, ufrivillig og autonom)25,47,54, de har empirisk målt kriterier, der angiver, hvor på Gamma rum stokastiske signaturer bør være for en god prædiktiv kontrol. Tidligere forskning har også vist, at vi ved, hvor parametrene er i nærværelse af spontan tilfældig støj, der kommer fra de selvgenererede rytmer i de menneskelige nervesystemer7,19,55,56. Inden for et optimeringsskema, der minimerer biorytmisk motorstøj, kan vi således sigte mod at køre signalerne på en sådan måde, at vi når de målrettede områder i Gamma-rummene, hvor form og spredningssignaturer for hver persons familie er befordrende for højt signal til støjforhold og forudsigende værdier. I den forstand mister vi ikke bruttodata og bruger dem snarere effektivt til at drive systemet i retning af ønskelige støjniveauer i en given situation.

Dyadic interaktioner er allestedsnærværende i kliniske eller uddannelse indstillinger. De kan forekomme mellem underviseren og praktikanten; lægen og patienten den kliniske terapeut og patienten og de kan også forekomme i forskningsmiljøer, der involverer translationel videnskab og engagerer forskeren og deltageren. En af fordelene ved de nuværende protokoller er, at mens de er designet til dyads, er de også personlige. Som sådan er det muligt at skræddersy de samtilpassende interaktioner til personens bedste evner og dispositioner, i henhold til deres bevægelsesområder, deres intervaller af sensoriske behandlingstider og samtidig overveje intervallerne i signalers amplitude på tværs af det funktionelle hierarki af personens nervesystemer. Efterhånden som den stokastiske bane opstår og udvikler sig i tide, er det også muligt at fastslå chancerne for underskrifterne og bruge denne tidsserie til at forudsige flere forestående begivenheder sammen med mulige sensoriske konsekvenser.

Endelig kan tæt-loop grænseflader endda bruges i kunstverdenen. De kunne tilbyde udøvende kunstnere nye muligheder for at generere beregningsmæssigt drevne former for moderne danse, teknologidanse og nye former for visualisering og sonificering af kropslig udtryk. I sådanne sammenhænge kan danserens krop omdannes til et sensorisk drevet instrument til fleksibelt at udforske forskellige sensoriske modaliteter gennem sonificering og visualisering af de selvgenererede biorytmiske aktiviteter, som det fremgår af tidligere arbejde på dette område40,41,43,46. En sådan præstation kunne øge rollen som danser på scenen og lade publikum opleve subtile kropslige signaler ud over synlig bevægelse.

Flere aspekter af denne teknologi kræver yderligere udvikling og test for at optimere deres brug i realtidsindstillinger. Den synkrone streaming kræver højhastigheds-CPU / GPU-kraft og hukommelseskapacitet for virkelig at udnytte ideen om at få tid og være et skridt foran, når man forudsiger de sensoriske konsekvenser af de igangværende motorkommandoer. Prøveudtagningshastighederne for udstyret skal være sammenlignelige for virkelig at kunne justere signalerne, udføre korrekt sensorisk fusion og udforske transmissionen af information gennem nervesystemets forskellige kanaler. Dette er nogle af de begrænsninger, der findes i denne nye grænseflade.

Alt i alt tilbyder dette arbejde et nyt koncept til at forbedre kontrollen over vores kropslige system, samtidig med at det anvender subliminale midler, der ikke desto mindre giver mulighed for systematisk standardiserede resultatmålinger af stokastisk forandring.

Disclosures

Metoder, der er omfattet af:

•US20190333629A1 "Metoder til diagnosticering og behandling af neurologiske lidelser"

•EP3229684B1 "Procédés de mesure d'un mouvement fysiologiquement relevant"

•US20190261909A1 "System og metode til bestemmelse af mængde vilje i et emne"

US202110989122 "System og metode til måling af fysiologisk relevantbevægelse"

Acknowledgments

Vi takker de studerende, der meldte sig frivilligt til at hjælpe med at udføre denne forskning; Kan Anant og PhaseSpace Inc. for at give os billeder og videoer, der er nødvendige for at beskrive opsætningen; og Neuroelektronik for at give os mulighed for at bruge materiale fra kanalen www.youtube.com/c/neuroelectrics/ og deres manualer. Endelig takker vi professor Thomas Papathomas fra Rutgers Center for Cognitive Science for professionel støtte i indsendelsesfaserne af dette manuskript, Nancy Lurie Marks Family Foundation Career Development Award til EBT og Gerondelis Foundation Award til VK.

Bidrag
Konceptualisering, VK og EBT; metode, EBT; software, VK, EBT, SK.; validering, VK og SK; formel analyse, VK; undersøgelse, VK, EBT, SK ressourcer, EBT; datakuration, VK; skrivning — originalt udkast til forberedelse, EBT; skrivning – gennemsyn og redigering, VK, SK.; visualisering, VK og EBT.; tilsyn, EBT.; projektadministration, EBT.; finansiering erhvervelse, EBT Alle forfattere har læst og accepteret den offentliggjorte version af manuskriptet.

Materials

Name Company Catalog Number Comments
Enobio 32 Enobio Hardware for EEG data collection
Enobio ECG Extention Enobio Hardware for ECG data collection
LabStreamingLayer (LSL) Synchronization and streaming of data
Matlab Mathwork Analysis and processing of data
Max Cycling'74 Sonification of bodily information
NIC.2 Enobio Software for EEG and ECG data collection
PhaseSpace Impulse PhaseSpace Hardware for collection of the kinematic data (position, speed, acceleration)
Python3 Python Analysis and processing of data
Recap PhaseSpace Software for collection of the kinematic data (position, speed, acceleration)

DOWNLOAD MATERIALS LIST

References

  1. Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
  3. Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
  4. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  5. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  6. Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
  7. Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
  8. Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
  10. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  12. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  13. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  14. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  16. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  17. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  18. Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757 (2013).
  19. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  20. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
  21. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  22. Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
  23. Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
  24. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  25. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  26. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  27. Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
  28. Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
  29. Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
  30. Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
  31. Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
  32. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  33. Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
  34. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  35. Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
  36. Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
  37. Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
  38. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  39. Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
  40. Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
  41. Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
  42. Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
  43. Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
  44. Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
  46. Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
  47. Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
  48. Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
  49. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  50. Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
  51. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
  52. Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
  53. Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
  54. Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
  55. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  56. Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Tags

Adfærd close-loop interface co-adaptive interface interaktiv grænseflade sensorisk augmentation sensorisk substitution auditiv feedback kropslig signal sonikering hjerterytme kinematik stokastiske analyser fremad kinematisk kort kinematisk kæde avatar.
Proxykontrol i realtid af eksterne signaler med parametre igen ved hjælp af en nærløkkegrænseflade
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kalampratsidou, V., Kemper, S.,More

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter