Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Proxy-kontroll i sanntid av re-parameteriserte eksterne signaler ved hjelp av et Close-Loop-grensesnitt

Published: May 8, 2021 doi: 10.3791/61943
Automatic Translation
1,2, 3, 1,2,4,5,6
1Center for Cognitive Science, Rutgers University, 2Department of Computer Science, Rutgers University, 3Music Department, Mason Gross School of the Arts, Rutgers University, 4Psychology Department, Rutgers University, 5Sensory Motor Integration Lab, Rutgers University, 6Computational Biomedicine Imaging and Modelling Center, Rutgers University

Summary

Vi presenterer protokoller og analysemetoder for å bygge samtilpassede grensesnitt som strømmer, parameteriserer, analyserer og modifiserer menneskekropps- og hjertesignaler i tett sløyfe. Dette oppsettet grensesnitt signaler avledet fra perifere og sentrale nervesystemer av personen med eksterne sensoriske innganger for å spore biofysisk endring.

Abstract

Feltene som utvikler metoder for sensorisk substitusjon og sensorisk forstørrelse har som mål å kontrollere eksterne mål ved hjelp av signaler fra sentralnervesystemene (CNS). Mindre hyppige er imidlertid protokoller som oppdaterer eksterne signaler selvgenerert av interaktive organer i bevegelse. Det er en paucity av metoder som kombinerer kroppen-hjerte-hjerne biorhythms av ett bevegelig middel for å styre de av en annen bevegelig agent under dyadisk utveksling. En del av utfordringen med å oppnå en slik prestasjon har vært kompleksiteten i oppsettet ved hjelp av multimodale biosignaler med forskjellige fysiske enheter, forskjellige tidsskalaer og variable prøvefrekvenser.

I de senere år har fremkomsten av bærbare biosensorer som ikke-invasivt kan utnytte flere signaler i tandem, åpnet muligheten for å re-parameterisere og oppdatere perifere signaler om interagerende dyader, i tillegg til å forbedre hjerne- og / eller kroppsmaskingrensesnitt. Her presenterer vi et ko-adaptivt grensesnitt som oppdaterer sprudlende somatisk motorisk utgang (inkludert kinematikk og hjertefrekvens) ved hjelp av biosensorer; parameteriserer stokastiske biosignaler, sonifiserer denne utgangen og mater den tilbake i re-parameterisert form som visuo / audio-kinestetisk reafferent input. Vi illustrerer metodene ved hjelp av to typer interaksjoner, en som involverer to mennesker og en annen som involverer et menneske og dets avatar som samhandler i nær sanntid. Vi diskuterer de nye metodene i sammenheng med mulige nye måter å måle påvirkningen av eksterne innspill på intern somatisk-sensorisk-motorisk kontroll.

Introduction

Den naturlige nærsløyfekontrolleren
Sensorisk motorisk informasjon strømmer kontinuerlig mellom hjernen og kroppen for å produsere godt organisert, koordinert oppførsel. Slik atferd kan studeres mens du fokuserer på personens handlinger alene, som i en monologstil (figur 1A), eller under komplekse dynamiske handlinger som deles mellom to agenter i en dyad, som i dialogstil (Figur 1B). Likevel er et tredje alternativ å vurdere slike komplekse interaksjoner gjennom en proxy-kontroller, innenfor konteksten til et nærsløyfegrensesnitt for menneskelig datamaskin (Figur 1C). Et slikt grensesnitt kan spore øyeblikk-for-øyeblikk-bevegelsenes svingninger bidratt av hver agent i dyaden, og av den typen sammenheng som selv kommer ut av deres synkrone interaksjoner, og bidrar til å styre dyadens rytmer på ønskelige måter.

Figure 1
Figur 1: Ulike former for kontroll. (A) Selv hjernekontrollerte grensesnitt er avhengige av nærsløyfeforholdene mellom personens hjerne og personens egen kropp, som kan selvregulere og selvreagere i "monolog" -stil. Denne modusen prøver å kontrollere selvgenererte bevegelser, eller den kan også ta sikte på å kontrollere eksterne enheter. (B) "Dialog" stilkontroll innføres for to dansere som samhandler med hverandre og gjennom fysisk entrainment og turn-taking for å oppnå kontroll over hverandres bevegelser. (C) "Tredjeparts" dialogkontroll av dyaden introduseres som mediert av et datagrensesnitt som utnytter biosignalene fra begge danserne, parameteriserer den og mater den tilbake til danserne i re-parameterisert form ved hjelp av lyd og / eller syn som former for sensorisk veiledning. Re-parameteriseringen i eksemplene som presenteres her ble oppnådd ved hjelp av lyd eller visuell tilbakemelding, forbedret av sanntids kinestetisk motorutgang fra en av danserne for å påvirke den andre; eller av begge dansere, bytter i noe vekslende mønster. Klikk her for å se en større versjon av denne figuren.

Det overordnede målet med denne metoden er å vise at det er mulig å utnytte, parameterisere og re-parameterisere svingningene i biorhytmiske aktiviteter av kropper i bevegelse, da to agenter engasjerer seg i dyadisk utveksling som kan involvere to mennesker, eller et menneske og hans / hennes selvflytende avatar.

Undersøkelser om hvordan hjernen kan kontrollere handlinger og forutsi deres sensoriske konsekvenser har generert mange linjer med teoretiske henvendelser i løpet av de siste1,2,3 og produsert ulike modeller for nevromotorisk kontroll4,5,6,7,8. En forskningslinje innen dette tverrfaglige feltet har involvert utvikling av nær-loop hjerne-maskin eller hjerne-datamaskin grensesnitt. Denne typen oppsett tilbyr måter å utnytte og tilpasse CNS-signalene for å kontrollere en ekstern enhet, for eksempel en robotarm9,10,11, et eksoskjelett12, en markør på en dataskjerm13 (blant andre). Alle disse eksterne enhetene deler eiendommen som de ikke har egen intelligens. I stedet har hjernen som prøver å kontrollere dem, og en del av problemet som hjernen står overfor, å lære å forutsi konsekvensene av bevegelsene den genererer i disse enhetene (f.eks. markørens bevegelser, robotarmens bevegelser, etc.) mens du genererer andre støttende bevegelser som bidrar til den generelle sensoriske motortilbakemeldingen i form av kinestetisk refferaence. Ofte har det overordnede målet med disse grensesnittene vært å hjelpe personen bak hjernen med å omgå en skade eller lidelse, for å gjenvinne transformasjonen av hans / hennes forsettlige tanker til volitionally kontrollerte fysiske handlinger av den eksterne enheten. Mindre vanlig har imidlertid vært utviklingen av grensesnitt som forsøker å styre bevegelsene til kroppene i bevegelse.

Mye av den opprinnelige forskningen på hjernemaskingrensesnitt fokuserer på kontrollen av sentralnervesystemet (CNS) over kroppsdeler som kan utføre målrettede handlinger9,14,15,16,17. Det er imidlertid andre situasjoner der bruk av signalene fra perifere nervesystemer (PNS), inkludert de av de autonome nervesystemene (ANS), er informative nok til å påvirke og styre signalene til eksterne agenter, inkludert et annet menneske eller avatar, eller til og med samhandle mennesker (som i figur 1C). I motsetning til med en robotarm eller markør, har den andre agenten i dette tilfellet intelligens drevet av en hjerne (i tilfelle av avataren som har blitt utstyrt med personens bevegelser, eller av en annen agent, i tilfelle av en interagerende menneskelig dyad).

Et oppsett som skaper et miljø av et ko-adaptivt nærsløyfegrensesnitt med dyadisk utveksling kan være til nytte for å gripe inn i forstyrrelser i nervesystemene der hjernen ikke kan volitionally kontrollere sin egen kropp i bevegelse etter ønske, til tross for at den ikke fysisk har kuttet broen mellom CNS og PNS. Dette kan være tilfelle på grunn av støyende perifere signaler der tilbakemeldingsløkkene for å hjelpe hjernen kontinuerlig overvåke og justere sine egne selvgenererte biorhythms kan ha blitt forstyrret. Dette scenariet oppstår hos pasienter med Parkinsons sykdom18,19, eller hos deltakere med autismespektrumforstyrrelser med overflødig støy i motorutgangen. Faktisk har vi i begge tilfeller kvantifisert høye nivåer av støy-til-signal-forhold i de tilbakevendende kinestetiske signalene avledet fra hastigheten på deres tiltenkte bevegelser20,21,22 og fra hjertet23. I slike tilfeller kan forsøk på å mestre hjernekontroll av eksterne signaler, samtidig som du prøver å kontrollere kroppen i bevegelse, føre til et selvreaktivt signal fra re-entrant (re-afferent) strøm av informasjon som hjernen mottar fra den kontinuerlige (sprudlende) motorstrømmen i periferien. Faktisk inneholder de øyeblikk-for-øyeblikk-svingningene som er tilstede i en slik selvgenerert sprudlende motorstrøm viktig informasjon som er nyttig for å hjelpe forutsigelsen av de sensoriske konsekvensene av målrettede handlinger24. Når denne tilbakemeldingen er ødelagt av støy, blir det vanskelig å forutsigbart oppdatere kontrollsignalene og bygge bro over forsettlige planer med fysiske handlinger.

Hvis vi skulle utvide en slik tilbakemeldingssløyfe til en annen agent og kontrollere personens og agentens interaksjoner gjennom en tredjepart (figur 1C), kan vi ha en sjanse til å styre hverandres forestillinger i nær sanntid. Dette vil gi oss konseptbeviset om at vi må utvide forestillingen om ko-adaptive hjerne-kropp- eller hjernemaskingrensesnitt for å behandle forstyrrelser i nervesystemene som resulterer i dårlig realisering av fysisk volition fra mental hensikt.

Målrettede handlinger har konsekvenser, som nettopp er preget av motoriske stokastiske signaturer som er kontekstavhengige og muliggjør slutning av nivåer av mental hensikt med høy sikkerhet25,26. Dermed er en fordel med en ny metode som utnytter dyadisk utveksling over tidligere personsentrerte tilnærminger til hjernemaskinen eller hjernedatamaskingrensesnittene, at vi kan forsterke kontrollsignalene for å inkludere kroppslige og hjertebiorhythms som i stor grad transpirerer under personens bevissthet, under forskjellige intensjonsnivåer. På denne måten demper vi reaktiv interferens som bevisst kontroll har en tendens til å fremkalle i ferd med å tilpasse hjernemarkørkontroll17. Vi kan legge til mer sikkerhet i den prediktive prosessen ved å parameterisere de forskjellige signalene vi har tilgang til. Langs disse linjene eksisterer tidligere arbeid ved hjelp av hjerne- og kroppssignaler i tandem27,28,29; men arbeid som involverer dyadisk interaksjon fanget opp av hjerne-kroppslige signaler forblir knappe. Videre har den eksisterende litteraturen ennå ikke avgrenset skillet mellom bevisste segmenter av handlingen utført under full bevissthet og overgangsbevegelser som spontant oppstår som følge av de bevisste30,31. Her gjør vi det skillet i sammenheng med dyadisk utveksling, og tilbyr nye måter å studere denne dikotomien32på , samtidig som vi gir eksempler på koreograferte (bevisste) vs. improviserte (spontane) bevegelser i danserommet.

På grunn av transduksjons- og overføringsforsinkelsene i sensorisk motorintegrasjon og transformasjonsprosesser33, er det nødvendig å ha slik prediktiv kode på plass, for å lære å forutse kommende sensoriske innganger med høy sikkerhet. For det formål er det viktig å kunne karakterisere utviklingen av støy-til-signal-forholdet avledet fra signaler i den kontinuerlig oppdaterende kinestetiske reafferentstrømmen. Vi trenger da protokoller på plass for systematisk å måle endring i motorvariabilitet. Variabilitet er iboende til stede i de øyeblikk-for-øyeblikk svingningene i den utgående sprudlende motorstrømmen34. Siden disse signalene ikke står stille og følsomme for kontekstuelle variasjoner35,36, er det mulig å parameterisere endringer som skjer med endringer i oppgavenes kontekst. For å minimere forstyrrelser fra reaktive signaler som kommer ut av bevisst CNS-kontroll, og for å fremkalle kvantifiserbare endringer i den sprudlende PNS-motorstrømmen, introduserer vi her et proxy-nærsløyfegrensesnitt som indirekte endrer den sensoriske tilbakemeldingen, ved å rekruttere det perifere signalet som i stor grad endres under personens selvbevissthet. Deretter viser vi måter å systematisk måle endringen som følger med de sensoriske manipulasjonene, ved hjelp av stokastiske analyser som kan visualisere prosessen som proxy-grensesnittet indirekte fremkaller i begge agenter.

Vi presenterer en kontroller for lukking av proxy
Den sensoriske motoriske variasjonen som finnes i de perifere signalene, utgjør en rik informasjonskilde for å veilede ytelsen til nervesystemene mens læring, tilpasning og generalisering foregår på tvers av forskjellige sammenhenger37. Disse signalene fremstår delvis som et biprodukt av CNS som prøver å volitionalt kontrollere handlinger, men er ikke det direkte målet til kontrolleren. Ettersom personen naturlig samhandler med andre, kan de perifere signalene utnyttes, standardiseres og omparameteres; noe som betyr at deres variasjoner kan parameteriseres og systematisk forskyves, da man endrer den sprudlende motorstrømmen som kontinuerlig kommer inn i systemet som kinestetisk reafference. I slike omgivelser kan vi visualisere stokastiske skift, fange med høy presisjon et rikt signal som ellers går tapt til de typer stor gjennomsnittsgjennomsnitt som mer tradisjonelle teknikker utfører.

For å oppnå karakterisering av endring under den nye statistiske plattformen, introduserer vi her protokoller, standardiserte datatyper og analyser som tillater integrering av ekstern sensorisk inngang (auditiv og visuell) med internt selvgenererte motoriske signaler, mens personen naturlig samhandler med en annen person, eller med en avatarversjon av personen. I denne forstand, fordi vi tar sikte på å kontrollere de perifere signalene (i stedet for å endre CNS-signalene for å kontrollere den eksterne enheten eller mediet direkte), mynter vi dette et proxy close-loop-grensesnitt (Figur 2). Vi tar sikte på å karakterisere endringene i de stokastiske signalene til PNS, da de påvirker de i CNS.

Figure 2
Figur 2: Proxy-kontroll av en dyadisk interaksjon ved hjelp av nær-loop multi-modal grensesnitt. (A) Indirekte kontroll av to dansere (danse salsa) via en datamaskin co-adaptive grensesnitt vs. (B) en interaktiv kunstig person-avatar dyad kontrollert ved å utnytte perifere nervesystemer signaler og re-parameterisere det som lyder og / eller som visuell inngang. (C) Begrepet sonifisering ved hjelp av en ny standardisert datatype (mikrobevegelsestoppene, MMS) avledet fra de øyeblikk-for-øyeblikk svingningene i biorhytmiske signaler amplitude / timing konvertert til vibrasjoner og deretter til lyd. Fra fysikk låner vi forestillingene om kompresjoner og sjeldne bevegelser produsert av en tuning gaffel som gir lydbølge som målbare vibrasjoner. Skjemaer av lydbølger representert som trykkmodulert over tid parallelt med piggkonsentrasjoner for sonifisering. Eksempel på et fysisk signal for å gjennomgå den foreslåtte rørledningen fra MMS til vibrasjoner og sonifisering. Vi bruker pulssignalet som inngang til grensesnittet. Dette tar svingninger i signalets amplitude justert etter bevegelsesdegjenstander hvert fjerde sekund av bevegelse og bygger MMS-tog som representerer vibrasjonene. Spikertogene fra MMS er standardisert fra [0,1]. Fargen på piggene i henhold til fargelinjen representerer intensiteten til signalet. Deretter sonifiserer vi disse vibrasjonene ved hjelp av Max. Dette sonifiserte signalet kan brukes til å spille av i A, eller for å endre interaksjonene med avataren i B. Videre er det i B mulig å legge inn lyden i miljøet og bruke kroppsposisjonen til å spille lyden tilbake i en interesseregion (RoI), eller å modulere lydfunksjonene som en funksjon av avstand til avkastningen, hastigheten eller akselerasjonen til en kroppsdel forankret til en annen kroppsdel, når du passerer RoI. Klikk her for å se en større versjon av denne figuren.

PNS-signalene kan utnyttes ikke-invasivt med bærbare sensorteknologier som koregistrerer multimodale sprudlende strømmer fra forskjellige funksjonelle lag i nervesystemene, alt fra autonome til frivillige32. Vi kan deretter måle i nær sanntid endringene i slike strømmer og velge de hvis endringer forbedrer signal-til-støy-forholdet. Dette sprudlende motorsignalet kan deretter forsterkes med andre former for sensorisk veiledning (f.eks. auditiv, visuell osv.) Fordi PNS signaliserer scape full bevissthet, de er lettere å manipulere uten mye motstand 38. Som sådan bruker vi dem til å styre personens ytelse på måter som kan være mindre stressende for det menneskelige systemet.

Bygge grensesnittet
Vi presenterer utformingen av proxy-kontrollen formidlet av et tett-loop co-adaptivt multimodalt grensesnitt. Dette grensesnittet styrer den multisensoriske tilbakemeldingen i sanntid. Figur 3 viser den generelle utformingen.

Close-loop-grensesnittet er preget av 5 hovedtrinn. Det første trinnet er den multimodale datainnsamlingen fra flere bærbare instrumenter. Det andre trinnet er synkroniseringen av de multimodale strømmene gjennom plattformen til LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) utviklet av MoBI-gruppen 39. Det tredje trinnet er streaming av LSL-datastrukturen til en Python, MATLAB eller annet programmeringsspråkgrensesnitt for å integrere signalene og empirisk parametrize fysiologiske egenskaper (relevant for vårt eksperimentelle oppsett) i sanntid. Det fjerde trinnet er å re-parameterisere de valgte funksjonene hentet fra den kontinuerlige strømmen av kroppssignalet studert og forsterke det ved hjelp av en sensorisk modalitet av valg (f.eks. visuell, auditiv, kinestetisk, etc.) for å spille den tilbake i form av lyder eller visuelle effekter, for å utvide, erstatte eller forbedre den sensoriske modaliteten som er problematisk i personens nervesystem. Til slutt er det femte trinnet å revurdere de stokastiske signaturene til signalene som genereres av systemet i sanntid, for å velge hvilken sensorisk modalitet som bringer de stokastiske skiftene av kroppslige svingninger til et regime med høy sikkerhet (støyminimering) i prediksjonen av de sensoriske konsekvensene av den forestående handlingen. Denne løkken spilles kontinuerlig gjennom hele eksperimentets varighet med fokus på det valgte signalet, samtidig som den fullstendige ytelsen for etterfølgende analyser lagres (som vist i skjemaene i figur 3 og se40,41,42,43,44,45,46,47 for et eksempel på en posteriorianalyse).

Figure 3
Figur 3: Arkitekturen til det multimodale perifert drevne nærsløyfegrensesnittkonseptet. Ulike kroppslige signaler samles inn -kinematiske data, hjerte- og hjerneaktivitet (trinn 1). LSL brukes til å registrere og streame dataene som kommer fra ulike utstyr til grensesnittet (trinn 2). Python/MATLAB/C#-kode brukes til kontinuerlig å parameterisere svingningene i signalene ved hjelp av en standardisert datatype og felles skala som gjør det mulig å velge den sensoriske kilden til sensorisk veiledning som er mest tilstrekkelig til å dempe systemets usikkerhet (trinn 3). Denne sanntidsforbedringen av signaloverføring gjennom utvalgte kanaler tillater deretter re-parameterisering av det re-entrant sensoriske signalet for å integreres i den kontinuerlige motorstrømmen og forbedre den tapte eller ødelagte inngangsstrømmen (sensorisk substitusjon trinn 4). Kontinuerlig revurdering lukker løkken (trinn 5), og vi lagrer alle data for ytterligere fremtidige analyser. Klikk her for å se en større versjon av denne figuren.

De følgende avsnittene presenterer den generiske protokollen for hvordan man bygger et nærsløyfegrensesnitt (som beskrevet i figur 3) og beskriver representative resultater av to eksperimentelle grensesnitt (utarbeidet presentert i tilleggsmateriale) som involverer fysisk dyadisk interaksjon mellom to dansere (ekte nærsløyfesystem) og virtuell dyadisk interaksjon mellom en person og en avatar (kunstig nærsløyfesystem).

Protocol

Studien ble godkjent av Rutgers Institutional Study Board (IRB) i samsvar med Helsinkideklarasjonen.

1. Deltakere

  1. Definer befolkningen som skal studeres, og be dem delta i studien. Det nåværende grensesnittet kan brukes i ulike populasjoner. Denne protokollen og eksemplene som brukes her for å gi konseptbevis, er ikke begrenset til en bestemt gruppe.
  2. Innhente skriftlig informert samtykke fra den IRB-godkjente protokollen i samsvar med Helsinkideklarasjonen.
  3. Be deltakeren eller foresatte om å signere skjemaet før eksperimentet begynner.

2. Oppsett av Close-Loop-grensesnittet

  1. Oppsett av kinematisk utstyr-PNS
    1. Hjelp deltakeren til å forsiktig bære den LED-baserte bevegelsesfangstdrakten (kropp og hode, vist i figur 3, trinn 1 og 5) som følger med bevegelsesfangstsystemet som brukes. LED-markørene til kostymet vil bli sporet av kameraene i systemet for å estimere plasseringen av den bevegelige kroppen i rommet.
    2. Koble den trådløse LED-kontrolleren (også kjent som LED-driverenhet) til systemet med LED-kablene på kostymet ved å koble den til riktig port. Slå på enheten og sett den i streamingmodus.
    3. Slå på serveren for motion-capture-systemet.
    4. Åpne en nettleser, besøk serveradressen og logg på (påloggingsinformasjon må oppgis av firmaet ved kjøp av produktet).
    5. Kalibrer systemet etter behov (kalibrer for eksempel systemet hvis dette er første gang du bruker utstyret, ellers går du til trinn 2.1.17).
    6. Åpne kalibreringsverktøyet for bevegelsesfangstsystemet, og velg Kalibreringsveiviser.
    7. Kontroller at oppføringen av servernummeret i tekstfeltet til venstre i grensesnittet er riktig, og klikk Fortsett.
    8. Koble staven til den første porten på LED-kontrolleren, slå på kontrolleren og klikk Fortsett. Når staven er koblet til, slås LED-markørene på og vises på displayet i kameravisningene.
    9. Plasser staven midt i kameravisningsfeltet, bekreft at den kan spilles inn av kameraene, og klikk Fortsett.
    10. Flytt staven gjennom hele rommet ved å holde den vertikal og tegne sylindere. Kontroller at bevegelsen er tatt opp av minst tre kameraer hver gang, og at den er registrert på visningsfeltet til hvert kamera, noe som gjør den grønn. Gjør dette for alle kameraer.
    11. Når visningsfeltet til hvert kamera er fullstendig registrert (alt er grønt), klikker du på Fortsett og venter på at kalibreringsberegningene skal utføres.
      MERK: Når kalibreringen er fullført, vises kameraposisjonen sammen med LED-markørene på displayet, da de er fysisk plassert i rommet. På dette tidspunktet kan brukeren gjenoppta kalibreringen fordi den er ferdig, eller fortsette å justere systemet.
    12. Hold staven vertikalt og plasser siden med LED nærmere enden av staven på bakken, hvor opprinnelsen til 3D-rommet må stilles inn (punkt (0,0,0)).
    13. Hold staven stabil til den er registrert. Når skjermen er registrert, blinker den grønt. Et punkt som angir opprinnelsen til referanserammen på området, vises på grensesnittet, og neste justeringsakse, x-aksen, utheves grønt.
    14. Flytt staven, opprettholde samme retning (vertikalt), på punktet på x-aksen og hold den stabil til registrert.
    15. Gjenta for z-aksen. Når punktet på z-aksen er registrert, er kalibreringen fullført.
    16. Klikk Fullfør for å avslutte kalibreringen.
    17. Åpne grensesnittet til bevegelsesfangstsystemet og klikk koble til for å begynne å streame dataene fra LED-markørene. Når tilkoblingen er opprettet, vises plasseringen av markørene på grensesnittets virtuelle verden.
    18. Lag det virtuelle skjelettet (beregn automatisk kroppens benposisjoner fra posisjonsdataene som samles inn fra draktens LED-markører, som vist figur 8 trinn2).
    19. Høyreklikk skjeletter på høyre side av vinduet, og velg Nytt skjelett.
    20. Velg Indikatortilordning, og velg deretter riktig fil (levert av firmaet basert på grensesnittversjonen som brukes). Deretter klikker du OK.
    21. Be deltakeren holde seg stabil på T-posituren (rett opp holdning med armene åpne på sidene).
    22. Høyreklikk skjelettet, og velg Generer skjelett uten opplæring.
    23. Hvis alle trinnene utføres riktig, genereres skjelettet. Be deltakeren om å flytte og sjekke hvor nøyaktig det virtuelle skjelettet følger deltakerens bevegelser.
    24. Hvis du vil strømme skjelettdataene til LSL, velger du Innstillinger og alternativer på hovedmenyen.
    25. Åpne Ugle-emulator og klikk "start" Live streaming.
  2. Oppsett av EEG-utstyr - CNS
    1. Hjelp den samme deltakeren til å bruke EEG-hodehetten.
    2. Plasser gelelektrodene (de tradisjonelle gelbaserte elektrodene som brukes med EEG-hodehetten) på hodehetten og 2 klebrige elektroder (elektroder som fungerer som klistremerker) på baksiden av høyre øre for CMS- og DRL-sensorene.
    3. Fyll elektroder med høyledende gel, etter behov, for å forbedre ledningsevnen mellom sensoren og hodebunnen.
    4. Koble elektrodekablene på geltrodene og de to klebrige elektrodene.
    5. Stikk den trådløse skjermen på baksiden av hodedekselet og koble til elektrodekablene.
    6. Slå på skjermen.
    7. Åpne grensesnittet til EEG-systemet.
    8. Velg Bruk Wi-Fi-enhet , og klikk Søk etter enheter.
    9. Velg NE Wi-Fi og Bruk denne enheten.
    10. Klikk på hodeikonet, velg en protokoll som tillater opptak av alle 32 sensorer, og klikk Last inn.
    11. Kontroller at de direkteavspilte dataene for hver kanal vises på grensesnittet.
  3. Oppsett av EKG-utstyr - ANS
    1. Følg de nøyaktige trinnene som presenteres i 2.2, men bruk kanal O1 til å koble til pulsutvidelsen (HR).
    2. Bruk en klebrig elektrode til å feste den andre enden av forlengelsen rett under venstre ribbein.
  4. Utarbeidelse av LSL for synkronisert opptak og streaming av kinematiske data.
    1. Kjør LSL-applikasjonen for bevegelsesfangstsystemet ved å dobbeltklikke på det tilsvarende ikonet. Finn programmet på følgende bane til LSL-mappen, LSL\labstreaminglayer-master\Apps\PhaseSpace.
    2. Angi riktig serveradresse i grensesnittet.
    3. Velg deretter Fil og Last inn konfigurasjon.
    4. Velg riktig konfigurasjonsfil (den må leveres av firmaet basert på produktversjonen som brukes)
    5. Klikk Koble. Hvis det ikke gjøres noen feil, vises ingen feilmelding.
  5. Klargjør LSL for synkronisert opptak og strømming av EEG- og EKG-data. Det kreves ingen ekstra trinn for dette utstyret.
  6. Oppsett av LSL
    1. Kjør LabRecorder-programmet ved å dobbeltklikke filen som ligger i LSL\labstreaminglayer-master\Apps\LabRecorder-banen til LSL-mappen.
    2. Klikk Oppdater. Hvis alle instruksjonene utføres riktig, vil alle datatyper av bevegelsesfangst- og EEG-systemet bli sett på panelet Record for streams.
    3. Velg katalog og navn for dataene i lagringsplasseringspanelet.
    4. Klikk Start. Datainnsamlingen av bevegelsesfangst- og EEG-systemet vil begynne synkront.
    5. Klikk Stopppå slutten av innspillingen. Hvis innspillingen var vellykket, vil dataene være plassert i mappen som ble valgt tidligere. Åpne filene for å bekrefte at de inneholder den innspilte informasjonen.
  7. Sanntidsanalyser og overvåking av det menneskelige systemet.
    1. Utfør MATLAB, Python eller annen kode som mottar, behandler og utvider de direkteavspilte dataene. Eksempelkoder som tilsvarer de representative eksemplene beskrevet i følgende avsnitt, finner du her: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. Generering av den utvidede sensoriske tilbakemeldingen
    1. Produser sensorisk utgang ved hjelp av riktig enhet (f.eks. høyttalere, skjerm, blant andre).

3. Eksperimentell prosedyre

  1. Følg den eksperimentelle prosedyren som eventuelt er definert av oppsettet.
    MERK: Close-loop-grensesnittene er designet for å utforskes og læres intuitivt. Dermed er det de fleste ganger ikke nødvendig med instruksjoner.

Representative Results

Det finnes ulike grensesnitt som kan bygges basert på protokollen som presenteres i forrige avsnitt og kan brukes på forskjellige populasjoner for mange formål. Noen mulige variasjoner er beskrevet i avsnittetVariasjoner av det presenterte close-loop-grensesnitteti tilleggsmateriale.

I denne delen viser vi representative resultater av to eksempler på nærsløyfegrensesnitt som følger protokollen som er beskrevet i forrige avsnitt. Oppsettet, den eksperimentelle prosedyren og deltakerne i disse studiene er forklart i dybden i avsnittene "Eksempel 1: Audio Close-loop Interface of a Real Dyadic Interaction" og "Eksempel 2: Audiovisuell Close-loop Interface of a Artificial Dyadic Interaction" av tilleggsfilen.

Resultater av lydlukkingsgrensesnitt for en ekte dyadisk interaksjon
I studiet av "Audio close-loop interface of a real dyadic interaction" (forseggjort presentert i avsnitt "Eksempel 1: Audio Close-loop Interface of a Real Dyadic Interaction" of Supplementary Material), brukte vi et proxy-kontrollgrensesnitt, illustrert i figur 4, som bruker den kvinnelige danserens hjertesignal for å endre musikken danset. I sanntid utførte vi signalbehandling for å trekke ut tiden for hjerterytmen og streamet denne informasjonen til Max-systemet for å endre hastigheten på den utførte sangen. På denne måten spilte vi sangen tilbake, endret av de biofysiske signalene. Denne prosessen førte til ytterligere endringer av bevegelser og hjerteslagsignaler.

Figure 4
Figur 4: Det lydbaserte grensesnittet for lukkingsløkke. 1. En EKG-HR bærbar enhet overvåker aktiviteten til en salsadanser under utførelsen av rutinene hennes og mater signalene til grensesnittet på 500Hz. 2. Grensesnittet vårt analyserer EKG-dataene i sanntid. I hver ramme filtrerer den rådataene, trekker ut R-toppene i QRS-komplekset; og strømmer toppdeteksjonen til MAX. 3. Et tredjepartsgrensesnitt blander lydens hastighet med hastigheten på hjertefrekvensen. 4. Den endrede sangen spilles tilbake til danserne. Klikk her for å se en større versjon av denne figuren.

To salsadansere samhandlet med grensesnittet og utførte en godt innøvd rutine som iscenesatte en koreografi og en spontant improvisert dans. Danserne måtte fremføre den originale versjonen av sangen en gang, og en versjon blandet det opprinnelige tempoet i sangen med hjerteslagstrømmen i sanntid. Vi refererer til den senere versjonen som ble fremført dobbelt så endring 1 og 2 av sangen.

I analysen som ble presentert nedenfor, brukte vi hjerte- og lydsignalet som ble spilt inn. Toppene på de to signalene hentet ut for å estimere MMS-tog (se avsnittet "Mikrobevegelser Pigger" i Tilleggsfil), som bevarer høyfrekvente svingninger som vist i figur 5.

Figure 5
Figur 5: Estimering av MMS-tog i lydlukkingssystemet. EKG-tidsserier brukes til å trekke ut RR-toppene og amplitudeavvikene fra den totale (estimerte) gjennomsnittlige amplituden til de oppnådde R-toppene (middelforskyvede data). Deretter normaliseres ved ligning 1 (se Tilleggsfil, seksjon "Micro-Movement Spikes") brukes til å skaffe MMS-togene. Lignende metoder brukes til å håndtere lydbølgeformene og spille sangen tilbake i henhold til personens sanntidsprestasjon. Klikk her for å se en større versjon av denne figuren.

MMS-togene var godt karakterisert som en kontinuerlig tilfeldig prosess, godt representert ved den kontinuerlige Gamma-familien av sannsynlighetsfordelinger. MLE anså denne kontinuerlige distribusjonsfamilien som den beste passformen for begge datasettene (se forklaring i avsnittet "Gammafordeling" av tilleggsmateriale og tilleggsfigur 2). Denne typen tilfeldig prosess ble brukt til å spore skiftene i stokastiske signaturer av biorhythms selvgenerert av biosignaler fra de menneskelige nervesystemene.

Fra de empirisk estimerte form- og skala gammaparametrene får vi Gamma-øyeblikkene, gjennomsnittet, variansen, skjevheten og kurtosen (se detaljer om analysen i avsnittet "Stokastisk analyse" av tilleggsmateriale). Deretter tegner vi inn den estimerte PDF-filen. Figur 6 fokuserer bare på hjertesignalet og musikken, men metodene gjelder på samme måte som de andre biorhythms generert av kinematikksignalene presentert i 41.

PDF-filen til hjerte- og musikksignalet vises i figur 6A-B, der vi fremhever forskjellene mellom datasettene til de to forholdene, bevisst rutine og spontan improvisasjon. For hver betingelse understreker vi endringene i stokastiske signaturer indusert av de tidsmessige endringene i sangen. I utgangspunktet danser de til den originale sangen. Så, når hjerterytmen endrer rytmer i sanntid, fører de sonifiserte svingningene i dette signalet danserne til å følge de tidsmessige endringene i sangen.

Disse er betegnet endring 1 og endring 2. Disse systematiske endringene er beskrevet av Gamma-parametrene. Deretter, ved hjelp av de empirisk estimerte form- og skalaparametrene, fikk vi de fire tilsvarende Gamma-øyeblikkene for hjerterytmen og sangene. Disse vises i figur 6C for hjertesignalene (øverst) og sangsignalene (nederst).

Figure 6
Figur 6: Indusere systematiske endringer i empirisk estimerte Gamma PDF-filer og deres stokastiske baner av de fire gammaøyeblikkene fra ytelsen under proxy-kontrollen ved hjelp av Audio Close-loop System. (A) PDF-filer fra MMS-togene til hver av datatypene (EKG-topp og lydfilbunn) for hver av dansekontekstene, spontan improvisasjon og bevisst rutine. Forklaringer er Imp Or (improvisasjon original) som betegner grunnlinjetilstanden ved starten av økten; Imp Alt1 betegner improvisasjonen under endring 1; Imp Alt2 betegner improvisasjon under endring 2. (B) På samme måte, for den bevisste innøvde rutinen, betyr Rout Or rutinemessig original; Rout Alt1 betyr rutineendring 1; Rout Alt2 betyr rutineendring 2. Panelene i (C) viser de systematiske endringene i Gamma-øyeblikk som både lydsignalene fra sangene og de fra hjerteskiftet i tandem og i sanntid. Klikk her for å se en større versjon av denne figuren.

Skiftet av signaturene kan verdsettes i disse panelene (PDF- og Gamma-øyeblikksgrafer), og viser dermed at metodene som presenteres kan fange tilpasningen av hjertet til endringene i sangen som proxy-kontrolleren produserer i sanntid. Når sangene skifter rytmer, gjør også hjerte stokastiske signaturer og overgangen til stokastiske signaturer konsistent i retning (som også er et funn i 41 der vi studerte form- og skalaparametrene). På samme måte, når hjertets signaturer skifter, gjør også sangens signaturer. Disse speilingseffektene - den ene påvirker den andre, og når den ene skifter konsekvent mot en retning, følger også den andre - den nære sløyfen til dette proxy-kontrollergrensesnittet. Resultatene understreker nytten av dette oppsettet og gir konseptbevis for at vi systematisk kan skifte personens autonome biorhythms innenfor rammen av dyadisk utveksling.

Parallelle skift på de stokastiske signaturene til både sangene og kroppssignalene, viser at samtilpasningen av hele systemet (deltaker og grensesnitt) er mulig ved hjelp av perifere signaler. Denne prosessen transspirerer jevnt under personens bevissthet og tilbyr konseptbevis for ideene om å eksternt og systematisk skifte personens biosignaler i korrespondanse med den eksterne sensoriske tilbakemeldingen du velger. Oppsummert kan vi veilede skiftet av stokastiske signaturer i denne kontinuerlige tilfeldige prosessen. Metodene gjør det mulig å fange endring og deres hastighet langs de stokastiske banene som vi var i stand til å bygge i nær sanntid.

For å fastslå statistisk signifikans i skiftene bruker vi den ikke-parametriske ANOVA, Kruskal-Wallis-testen etterfulgt av flere sammenligninger etter hoc-testen. Vi sammenligner signaturene til MMS av hjertedataene mellom de seks forholdene. Figur 7 viser multisammenligningen av MMS-hjertedataene og tilsvarende Kruskal-Wallis-tabell. Multisammenligningsplottet indikerer at det er en betydelig forskjell mellom grunnlinjen til den opprinnelige rutinedansen (Rout. Eller) og grunntilstanden til den opprinnelige improviserte dansen (Imp. Or). Det er også viktig å legge merke til at de første endringene, Rout. Alt1 og Imp. Alt1, skift til fordelinger som deler sammenlignbare midler, og det samme gjelder for de andre endringene, mens variansen, skjevheten og kurtoseskiftet på Gamma-øyeblikksrommet (Figur 6C).

Figure 7
Figur 7: Resultater fra de ikke-parametriske Kruskal-Wallis- og Multiple comparison post hoc-testene. Resultatene av den ikke-parametriske ANOVA (Kruskal-Wallis-testen) som brukes på MMS av hjertedataene for å sammenligne de seks forholdene. Plottet demonstrerer multisammenligningen av de 6 tilfellene, noe som indikerer den betydelige forskjellen mellom "Rout. Eller" og "Imp. Or" forhold. Tabellen viser resultatene av Kruskal Wallis-testen. Klikk her for å se en større versjon av denne figuren.

Resultater av audiovisuelt nærsløyfegrensesnitt for en kunstig dyadisk interaksjon
I studiet av "Audiovisuelt nærsløyfegrensesnitt av en kunstig dyadisk interaksjon" (forseggjort presentert i avsnitt "Eksempel 2: Audiovisuell nærsløyfe Grensesnitt av en kunstig dyadisk interaksjon" av supplerende materiale), 6 deltakere samhandlet med grensesnittet, illustrert i figur 8, som skaper deres speilede avatar som gjengir personens egne bevegelser. Grensesnittet bygger inn posisjonsavhengige lyder i området rundt personen under samhandlingen. Deltakerne var naive med tanke på hensikten med studien. De måtte gå rundt i rommet og finne ut hvordan de skulle kontrollere lyden som overraskende ville dukke opp når de passerte av en Avkastning (regioner av interesse) som proxy-kontrolleren definerte.

Figure 8
Figur 8: Den visuelle representasjonen av det audiovisuelle grensesnittet. 1. Et bevegelsesfangstsystem brukes til anskaffelse av perifere kinematiske data. 2. Systemet samler posisjonene til sensorene (i vårt eksempel LED-er) for å estimere skjelettet - posisjon på beinene. 3. Benposisjonene justeres deretter i vårt MATLAB-utviklede grensesnitt ved hjelp av vår egen fremoverkinematikkmodell. 4. De justerte posisjonene brukes til å kartlegge skjelettinformasjonen til vår 3D-gjengitte avatar. 5. Kartleggingen av de streamede dataene til avataren er i sanntid som skaper følelsen av å se på personens speilede bilde. Klikk her for å se en større versjon av denne figuren.

Figur 9 viser resultatene av det audiovisuelle grensesnittet til tilstand 1 (se Tilleggsfil for flere forhold), der hofteplasseringen aktiverer sangen når førstnevnte befinner seg i RoI. Denne illustrasjonen viser PDF- og Gamma-signaturene (se avsnittet "Datatyper og analyser" av tilleggsmateriale) av hoftehastighetsdataene til 6 forskjellige kontrolldeltakere (C1 til C6), da de var inne og utenfor RoI-volumet. Resultatene som presenteres her fremhever de personlige forskjellene på tilpasningsraten til de enkelte deltakerne. Disse indikeres av skiftene til de stokastiske signaturene, og de individuelle resultatene dukker opp i eller utenfor RoI-volumet. For eksempel kan vi legge merke til at PDF-filen passer til frekvens histogrammer av MMS avledet fra hastighetsamplituden til hoftene i C3 og C4, var mer symmetriske (høyere formverdi) og mindre støyende (lavere skalaverdi) når de var inne i volumet. Derimot viser resten av deltakerne et motsatt mønster.

Empirisk har vi funnet ut at signaturer til nedre høyre hjørne er de av idrettsutøvere og dansere, som utfører svært dyktige bevegelser. Signaturer ligger på øvre venstre region, kommer fra datasett av nervesystemer med patologier, for eksempel de med diagnose av autismespektrumforstyrrelser ADHD22,32 og de av en døvferent deltaker21. Innenfor konteksten av skiftende mønstre langs en stokastisk bane, oppnår vi medianverdiene til formen og skalaen for å definere høyre nedre kvadrant (RLQ) og venstre øvre kvadrant (LUQ) der vi sporer den generelle kvaliteten på signal-til-støy-forholdet ved å samle denne informasjonen over tid. Dette vurderer oppdatering av medianverdiene dynamisk definere disse kvadrantene som personen co-tilpasser sine internt genererte biorhythms til de eksternt kontrollert av proxy, men avhengig av personens interne.

Figure 9
Figur 9: Empirisk estimerte Gamma PDF-filer og gammasignaturer for kroppslige biorhythms under interaksjoner ved hjelp av audiovisuelt close-loop-system. Ved hjelp av MMS-togene avledet fra hastigheten på hoftene til hver deltaker (C1 - C6), brukte vi MLE for å passe til den beste PDF-filen med 95% konfidensintervaller. Hver deltaker representeres av et eget symbol mens betingelsene representeres av forskjellige farger. En familie av Gamma PDF-filer når i volumet (i) er forskjellig fra det utenfor volumet (ut). I tillegg til gamma empirisk estimerte PDF-filer, vises også de estimerte Gamma-form- og skalaparameterne for hver person på Gamma-parameterplanet. Klikk her for å se en større versjon av denne figuren.

Tabell 1 viser p-verdier hentet fra rå (hastighet) og MMS-data som sammenligner utfallet på tvers av forhold når personens kroppsdel er inne i RoI vs. utenfor avkastningen. Resultatene som er avbildet på bordet er estimert ved hjelp av den ikke-parametriske ANOVA Kruskal-Wallis-testen.

Kruskal Wallis-test Hastighetsdata Mms
C1 0 1.34 e-05
C2 0 4.72E-15
C3 0 8.59E-34
C4 2.70E-21 3.16E-04
C5 0 1.11E-09
C6 0 5.95E-05

Tabell 1: Utgang av den ikke-parametriske ANOAVA-Kruskal-Wallis-testen. Resultatene av Kruskal Wallis-testen som sammenligner opptakene på innsiden kontra utenfor Rol for MMS og hastighetsdataene. Vi bruker testen på dataene til hver deltaker (C1 - C6) separat.

Tilleggsfiler. Klikk her for å laste ned disse filene.

Discussion

Dette dokumentet introduserer begrepet proxy-kontroll via tett-loop co-adaptive, interaktive, multi-modale grensesnitt som utnytter, parameteriserer og parameteriserer det perifere signalet til personen i sammenheng med dyadisk utveksling. Vi tok sikte på å karakterisere stokastiske skift i svingningene i personens biorhythms og parameterisere endringen. Videre hadde vi som mål å systematisk styre de stokastiske signaturene til deres biorhythms mot målrettede nivåer av støy-til-signal-regimer i nær sanntid.

Vi presenterte en generisk protokoll for å bygge et tett sløyfegrensesnitt som tilfredsstilte 5 kjerneelementer: 1) innsamling av flere kroppslige data som kommer fra CNS, PNS og ANS ved hjelp av ulike instrumenter og teknologier; 2) synkronisert opptak og streaming av dataene; 3) sanntidsanalysen av de valgte signalene; 4) opprettelsen av sensorisk forstørrelse (lyd, visuell, etc.) ved hjelp av fysiologiske egenskaper ekstrahert for kroppslige signaler; og 5) kontinuerlig sporing av det menneskelige systemet og parallell sensorisk forstørrelse lukker sløyfen av samspillet mellom mennesket og systemet.

Den generiske protokollen ble brukt på to eksempelgrensesnitt. Den første undersøker den dyadisk utvekslingen mellom to menneskelige agenter og den andre mellom et menneske og en avataragent. De to typene dyader ble brukt til å gi konseptbevis for at det perifere signalet systematisk kan endres i sanntid, og at disse stokastiske endringene kan spores nøyaktig. Den ene dyaden var sammensatt av to deltakere som fysisk samhandlet, mens den andre involverte en deltaker som samhandlet med en virtuell agent i form av en 3D-gjengitt avatar utstyrt med personens bevegelser og med endrede varianter av disse sanntidsbevegelsene. Slike endringer ble fremkalt av interaktive manipulasjoner drevet av auditive og / eller visuelle sensoriske innganger i en innstilling av forsterkede opplevelser. I både den virkelige dyaden og den kunstige dyaden demonstrerte vi muligheten for å eksternt skifte perifere signaler, inkludert kroppslige biorhythms og autonome signaler fra hjerterytmen.

Vi presenterte nye eksperimentelle protokoller for å undersøke slike endringer i sprudlende motorvariabilitet ettersom kinestetiske signalstrømmer blir manipulert og parameterisert på nytt i nær sanntid. Denne tilbakevendende informasjonen (kinestetisk reafference48) viste seg å være verdifull for å endre systemytelsen i sanntid. De bærer informasjon om handlingens sensoriske konsekvenser, som vi kan spores nøyaktig ved hjelp av metodene vi presenterte her.

Vi viste også datatyper og statistiske metoder som var egnet til å standardisere våre analyser. Vi ga flere visualiseringsverktøy for å demonstrere sanntidsendringer i fysiologiske aktiviteter som utvikler seg naturlig i forskjellige sammenhenger, med empirisk veiledet statistisk inferens som gir seg til tolkning av de selvgenererte og selvkontrollerte nervesystemsignalene. Det er viktig at endringene som ble fremkalt av proxy-kontrolleren var jevne og likevel kvantifiserbare, og dermed gir støtte til forestillingen om at perifer aktivitet er nyttig på mer enn en måte. Selv om vi kan implementere disse metodene ved hjelp av kommersielt tilgjengelige trådløse bærbare sensorer, kan vi systematisk indusere endringer i ytelse som kan fanges opp i de biofysiske rytmene uten å stresse systemet. Det er viktig å oversette metodene våre til den kliniske arenaen og bruke dem som testbed for å utvikle nye intervensjonsmodeller (f.eks. som ved bruk av utvidet virkelighet i autisme 49). I slike modeller vil vi kunne spore og kvantifisere de sensoriske konsekvensene av personens naturalistiske handlinger, da de sensoriske inngangene er nøyaktig manipulert, og utgangen parameteriseres og omparameteres i nær sanntid.

Vi tilbyr denne protokollen som en generell modell for å utnytte ulike biorhytmiske aktiviteter selvgenerert av de menneskelige nervesystemene og utnyttet ikke-invasivt med trådløse bærbare enheter. Selv om vi brukte et sett med biosensorer for å registrere EEG, EKG og kinematikk i dette papiret, er metodene for opptak, synkronisering og analyse av signalene generelle. Grensesnittet kan dermed innlemme andre teknologier. Videre kan protokollene endres for å inkludere andre naturalistiske handlinger og sammenhenger som strekker seg til det medisinske feltet. Fordi vi har tatt sikte på naturlig atferd, kan oppsettet vi har utviklet brukes i lekne omgivelser (f.eks. involverer barn og foreldre.)

Flere lidelser i nervesystemet kan dra nytte av slike lekne tilnærminger til kontrollproblemet. I begge typer dyadisk interaksjoner som vi viste her, kunne deltakerne bevisst sikte på å kontrollere musikken, mens proxy-kontrolleren bruker den perifere utgangen til ubevisst å manipulere og systematisk skifte signaturer. Fordi forskere har brukt år empirisk kartlegging av Gamma-parameterplanet og det tilsvarende Gamma-øyeblikksrommet på tvers av forskjellige aldersgrupper (nyfødte til 78 år)19,50,51,52,53 og forhold (autisme, Parkinsons sykdom, hjerneslag, komatilstand og døvhet), for ulike kontrollnivåer (frivillig, automatisk, spontan, ufrivillig og autonom)25,47,54, har de empirisk målte kriterier som angir hvor på Gamma-rommene de stokastiske signaturene skal være for en god prediktiv kontroll. Tidligere forskning har også vist at vi vet hvor parametrene er i nærvær av spontan tilfeldig støy som kommer fra de selvgenererte rytmene i de menneskelige nervesystemene7,19,55,56. Innenfor et optimaliseringsskjema som minimerer biorhytmisk motorstøy, kan vi dermed sikte på å drive signalene på en slik måte at vi oppnår de målrettede områdene i Gamma-områdene der form- og dispersjonssignaturene til familien av PDF-filer til hver person bidrar til høyt signal- til støyforhold og prediktive verdier. I denne forstand mister vi ikke bruttodata og bruker dem heller effektivt for å drive systemet mot ønskelig støynivå i en gitt situasjon.

Dyadisk interaksjoner er allestedsnærværende i kliniske eller treningsmiljøer. De kan forekomme mellom treneren og traineen; legen og pasienten; klinisk terapeut og pasienten; og de kan også forekomme i forskningsmiljøer som involverer translasjonell vitenskap og engasjere forskeren og deltakeren. En av fordelene med de nåværende protokollene er at selv om de er designet for dyader, er de også personlige. Som sådan er det mulig å skreddersy de ko-adaptive interaksjonene til personens beste evner og predisposisjoner, i henhold til deres bevegelsesområder, deres spekter av sensoriske behandlingstider og mens de vurderer områdene i signalenes amplitude på tvers av det funksjonelle hierarkiet til personens nervesystemer. Etter hvert som den stokastiske banen dukker opp og utvikler seg i tide, er det også mulig å fastslå sjansene for signaturene og bruke den tidsserien til å forutsi flere forestående hendelser sammen med mulige sensoriske konsekvenser.

Til slutt kan nærsløyfegrensesnitt til og med brukes i kunstverdenen. De kunne tilby utøvende kunstnere nye veier for å generere beregningsdrevne former for moderne danser, teknologidanser og nye former for visualisering og sonifisering av kroppslig uttrykk. I slike sammenhenger kan danserens kropp gjøres om til et sensorisk drevet instrument for fleksibelt å utforske forskjellige sensoriske modaliteter gjennom sonifisering og visualisering av de selvgenererte biorhytmiske aktivitetene, som vist ved tidligere arbeid i dette området40,41,43,46. En slik forestilling kan forsterke rollen som danser på scenen og la publikum oppleve subtile kroppslige signaler utover synlig bevegelse.

Flere aspekter av denne teknologien krever videre utvikling og testing for å optimalisere bruken i sanntidsinnstillinger. Den synkrone streamingen krever høyhastighets CPU / GPU-kraft og minnekapasitet for å virkelig utnytte forestillingen om å få tid og være et skritt foran når du forutsier de sensoriske konsekvensene av de pågående motorkommandoene. Samplingsfrekvensene til utstyret bør være sammenlignbare for å kunne virkelig justere signalene, utføre riktig sensorisk fusjon og utforske overføring av informasjon gjennom de forskjellige kanalene i nervesystemet. Dette er noen av begrensningene som finnes i dette nye grensesnittet.

Alt i alt tilbyr dette arbeidet et nytt konsept for å forbedre kontrollen av vårt kroppslige system mens du bruker subliminale midler som likevel tillater systematiske standardiserte resultatmålinger av stokastisk endring.

Disclosures

Metoder som dekkes av:

•US20190333629A1 "Metoder for diagnostisering og behandling av nevrologiske lidelser"

•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement relevant"

•US20190261909A1 "System og metode for å bestemme mengde volition i et emne"

• US202110989122 "System og metode for måling av fysiologisk relevant bevegelse"

Acknowledgments

Vi takker studentene som meldte seg frivillig til å bidra til å utføre denne forskningen; Kan Anant og PhaseSpace Inc. for å gi oss bilder og videoer som er nødvendige for å beskrive oppsettet; og Neuroelektronikk for å tillate oss å bruke materiale fra kanalen www.youtube.com/c/neuroelectrics/ og deres manualer. Til slutt takker vi prof. Thomas Papathomas fra Rutgers Center for Cognitive Science for profesjonell støtte under innleveringsstadiene av dette manuskriptet, Nancy Lurie Family Foundation Career Development Award til EBT og Gerondelis Foundation Award til VK.

Bidrag
Konseptualisering, VK og EBT; metodikk, EBT; programvare, VK, EBT, SK.; validering, VK og SK; formell analyse, VK; undersøkelse, VK, EBT, SK; ressurser, EBT; data kurasjon, VK; skriving – opprinnelig utkast til forberedelse, EBT; skriving – gjennomgang og redigering, VK, SK.; visualisering, VK og EBT.; tilsyn, EBT.; prosjektadministrasjon, EBT.; finansiering, EBT Alle forfattere har lest og gått med på den publiserte versjonen av manuskriptet.

Materials

Name Company Catalog Number Comments
Enobio 32 Enobio Hardware for EEG data collection
Enobio ECG Extention Enobio Hardware for ECG data collection
LabStreamingLayer (LSL) Synchronization and streaming of data
Matlab Mathwork Analysis and processing of data
Max Cycling'74 Sonification of bodily information
NIC.2 Enobio Software for EEG and ECG data collection
PhaseSpace Impulse PhaseSpace Hardware for collection of the kinematic data (position, speed, acceleration)
Python3 Python Analysis and processing of data
Recap PhaseSpace Software for collection of the kinematic data (position, speed, acceleration)

DOWNLOAD MATERIALS LIST

References

  1. Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
  3. Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
  4. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  5. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  6. Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
  7. Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
  8. Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
  10. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  12. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  13. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  14. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  16. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  17. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  18. Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757 (2013).
  19. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  20. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
  21. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  22. Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
  23. Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
  24. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  25. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  26. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  27. Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
  28. Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
  29. Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
  30. Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
  31. Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
  32. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  33. Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
  34. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  35. Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
  36. Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
  37. Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
  38. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  39. Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
  40. Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
  41. Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
  42. Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
  43. Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
  44. Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
  46. Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
  47. Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
  48. Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
  49. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  50. Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
  51. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
  52. Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
  53. Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
  54. Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
  55. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  56. Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Tags

Atferd utgave 171 nærsløyfegrensesnitt ko-adaptivt grensesnitt interaktivt grensesnitt sensorisk forstørrelse sensorisk substitusjon auditiv tilbakemelding kroppslig signalsonifisering hjertefrekvens kinematikk stokastiske analyser fremre kinematisk kart kinematisk kjede avatar.
Proxy-kontroll i sanntid av re-parameteriserte eksterne signaler ved hjelp av et Close-Loop-grensesnitt
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kalampratsidou, V., Kemper, S.,… More

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter