Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Neuroscience
Click here for the English version

Neuroscience

Bringing the Clinic Home: Et multimodalt datainnsamlingsøkosystem hjemme for å støtte adaptiv dyp hjernestimulering

Published: July 14, 2023 doi: 10.3791/65305
Automatic Translation
1, 2, 3, 3, 4, 5, 6, 7, 3, 8
1Computer Science and Engineering, University of Washington, 2Neuroscience, University of Washington, 3Neurology, University of California, San Francisco, 4Bioengineering, University of Washington, 5Bioengineering, University of California, Berkeley, 6Biophysics, University of California, Berkeley, 7Psychology, University of California, Berkeley, 8Neurological Surgery, University of Washington

Summary

Protokollen viser en prototype av den multimodale datainnsamlingsplattformen hjemme som støtter forskning som optimaliserer adaptiv dyp hjernestimulering (aDBS) for personer med nevrologiske bevegelsesforstyrrelser. Vi presenterer også viktige funn fra å distribuere plattformen i over et år til hjemmet til en person med Parkinsons sykdom.

Abstract

Adaptiv dyp hjernestimulering (aDBS) viser løfte om å forbedre behandlingen av nevrologiske lidelser som Parkinsons sykdom (PD). aDBS bruker symptomrelaterte biomarkører for å justere stimuleringsparametere i sanntid for å målrette symptomer mer presist. For å aktivere disse dynamiske justeringene må parametere for en aDBS-algoritme bestemmes for hver enkelt pasient. Dette krever tidkrevende manuell justering av kliniske forskere, noe som gjør det vanskelig å finne en optimal konfigurasjon for en enkelt pasient eller å skalere til mange pasienter. Videre er den langsiktige effektiviteten til aDBS-algoritmer konfigurert i klinikken mens pasienten er hjemme, fortsatt et åpent spørsmål. For å implementere denne behandlingen i stor skala, er det nødvendig med en metodikk for automatisk å konfigurere aDBS-algoritmeparametere mens du overvåker behandlingsresultatene eksternt. I dette papiret deler vi et design for en datainnsamlingsplattform hjemme for å hjelpe feltet med å løse begge problemene. Plattformen består av et integrert maskinvare- og programvareøkosystem som er åpen kildekode og gir mulighet for hjemmeinnsamling av nevrale, treghets- og flerkameravideodata. For å sikre personvern for pasientidentifiserbare data, krypterer og overfører plattformen data gjennom et virtuelt privat nettverk. Metodene inkluderer tidsjusterende datastrømmer og ekstrahering av positurestimater fra videoopptak. For å demonstrere bruken av dette systemet, distribuerte vi denne plattformen til hjemmet til en person med PD og samlet inn data under selvstyrte kliniske oppgaver og perioder med fri oppførsel i løpet av 1,5 år. Data ble registrert ved subterapeutiske, terapeutiske og supraterapeutiske stimuleringsamplituder for å evaluere alvorlighetsgraden av motoriske symptomer under forskjellige terapeutiske forhold. Disse tidsjusterte dataene viser at plattformen er i stand til å synkronisere multimodal datainnsamling hjemme for terapeutisk evaluering. Denne systemarkitekturen kan brukes til å støtte automatisert aDBS-forskning, for å samle inn nye datasett og for å studere de langsiktige effektene av DBS-behandling utenfor klinikken for de som lider av nevrologiske lidelser.

Introduction

Dyp hjernestimulering (DBS) behandler nevrologiske lidelser som Parkinsons sykdom (PD) ved å levere elektrisk strøm direkte til bestemte regioner i hjernen. Det er anslagsvis 8,5 millioner tilfeller av PD over hele verden, og DBS har vist seg å være en kritisk terapi når medisinering er utilstrekkelig for å håndtere symptomer 1,2. Imidlertid kan DBS-effektiviteten begrenses av bivirkninger som noen ganger oppstår fra stimulering som konvensjonelt leveres ved fast amplitude, frekvens og pulsbredde3. Denne åpen sløyfe-implementeringen reagerer ikke på svingninger i symptomtilstand, noe som resulterer i stimuleringsinnstillinger som ikke er hensiktsmessig tilpasset pasientens endrede behov. DBS hindres ytterligere av den tidkrevende prosessen med å justere stimuleringsparametere, som for tiden utføres manuelt av klinikere for hver enkelt pasient.

Adaptiv DBS (aDBS) er en lukket sløyfe-tilnærming som har vist seg å være en effektiv neste iterasjon av DBS ved å justere stimuleringsparametere i sanntid når symptomrelaterte biomarkører oppdages 3,4,5. Studier har vist beta-svingninger (10-30 Hz) i subthalamuskjernen (STN) forekommer konsekvent under bradykinesi, en bremsing av bevegelse som er karakteristisk for PD 6,7. Tilsvarende er høygammasvingninger (50-120 Hz) i cortex kjent for å forekomme i perioder med dyskinesi, en overdreven og ufrivillig bevegelse også ofte sett i PD8. Nylig arbeid har vellykket administrert aDBS utenfor klinikken i lengre perioder5, men den langsiktige effektiviteten til aDBS-algoritmer som ble konfigurert i klinikken mens en pasient er hjemme, er ikke fastslått.

Eksterne systemer er nødvendig for å fange opp den tidsvarierende effektiviteten til disse dynamiske algoritmene når det gjelder å undertrykke symptomer som oppstår i dagliglivet. Mens den dynamiske stimuleringstilnærmingen til aDBS potensielt muliggjør en mer presis behandling med reduserte bivirkninger3,9, lider aDBS fortsatt av en stor belastning for klinikere å manuelt identifisere stimuleringsparametere for hver pasient. I tillegg til det allerede store settet med parametere som skal programmeres under konvensjonell DBS, introduserer aDBS-algoritmer mange nye parametere som også må justeres nøye. Denne kombinasjonen av stimulerings- og algoritmeparametere gir et stort parameterrom med et uhåndterlig antall mulige kombinasjoner, og forbyr aDBS å skalere til mange pasienter10. Selv i forskningsmiljøer gjør den ekstra tiden som kreves for å konfigurere og vurdere aDBS-systemer det vanskelig å optimalisere algoritmer tilstrekkelig utelukkende i klinikken, og ekstern oppdatering av parametere er nødvendig. For å gjøre aDBS til en behandling som kan skaleres, må stimulering og justering av algoritmeparametere automatiseres. I tillegg må resultatene fra behandlingen analyseres på tvers av gjentatte studier for å etablere aDBS som en levedyktig langsiktig behandling utenfor klinikken. Det er behov for en plattform som kan samle inn data for ekstern evaluering av behandlingseffektivitet, og for å distribuere oppdateringer til aDBS-algoritmeparametere eksternt.

Målet med denne protokollen er å gi et gjenbrukbart design for en multimodal datainnsamlingsplattform hjemme for å forbedre aDBS-effektiviteten utenfor klinikken, og for å gjøre det mulig for denne behandlingen å skalere til et større antall individer. Så vidt vi vet, er det den første datainnsamlingsplattformdesignen som eksternt evaluerer terapeutiske resultater ved hjelp av videokameraer i hjemmet, bærbare sensorer, kronisk nevral signalopptak og pasientdrevet tilbakemelding for å evaluere aDBS-systemer under kontrollerte oppgaver og naturalistisk oppførsel.

Plattformen er et økosystem av maskinvare- og programvarekomponenter bygget på tidligere utviklede systemer5. Det kan vedlikeholdes helt gjennom ekstern tilgang etter en første installasjon av minimal maskinvare for å tillate multimodal datainnsamling fra en person i hjemmet deres. En nøkkelkomponent er det implanterbare nevrostimuleringssystemet (INS)11 som registrerer nevral aktivitet og leverer stimulering til STN, og registrerer akselerasjon fra brystimplantater. For implantatet som ble brukt i den første distribusjonen, registreres nevral aktivitet fra bilaterale ledninger implantert i STN og fra elektrokortikografielektroder implantert over motorbarken. Et videoopptakssystem hjelper klinikere med å overvåke symptomalvorlighetsgrad og behandlingseffektivitet, som inkluderer et grafisk brukergrensesnitt (GUI) for å muliggjøre enkel kansellering av pågående opptak for å beskytte pasientens personvern. Videoer behandles for å trekke ut kinematiske posisjonsbaner i todimensjonal (2D) eller tredimensjonal (3D), og smartklokker bæres på begge håndleddene for å fange vinkelhastighet og akselerasjonsinformasjon. Det er viktig at alle data krypteres før de overføres til langsiktig skylagring, og datamaskinen med pasientidentifiserbare videoer kan bare nås via et virtuelt privat nettverk (VPN). Systemet inkluderer to tilnærminger for post-hoc tidsjustering av alle datastrømmer, og data brukes til å overvåke pasientens bevegelseskvalitet eksternt, og for å identifisere symptomrelaterte biomarkører for raffinering av aDBS-algoritmer. Videodelen av dette arbeidet viser datainnsamlingsprosessen og animasjoner av kinematiske baner hentet fra innsamlede videoer.

En rekke designhensyn styrte utviklingen av protokollen:
Sikre datasikkerhet og pasientens personvern: Innsamling av identifiserbare pasientdata krever største forsiktighet ved overføring og lagring for å være Health Insurance Portability and Accountability Act (HIPAA)12,13 kompatibel og å respektere pasientens privatliv i sitt eget hjem. I dette prosjektet ble dette oppnådd ved å sette opp en tilpasset VPN for å sikre personvernet til all sensitiv trafikk mellom systemdatamaskiner.
Sikkerhetsgrenser for stimuleringsparametere: Det er viktig å sikre at pasienten forblir trygg mens du prøver ut aDBS-algoritmer som kan ha utilsiktede effekter. Pasientens INS må konfigureres av en kliniker for å ha sikre grenser for stimuleringsparametere som ikke tillater usikre effekter fra overstimulering eller understimulering. Med INS-systemet11 Brukt i denne studien, er denne funksjonen aktivert av en kliniker programmerer.
Sikre pasientens vetorett: Selv innenfor trygge parametergrenser kan den daglige variasjonen av symptomer og stimuleringsresponser resultere i ubehagelige situasjoner for pasienten der de misliker en algoritme under test og ønsker å gå tilbake til normal klinisk åpen sløyfe DBS. Det valgte INS-systemet inkluderer en pasienttelemetrimodul (PTM) som lar pasienten manuelt endre stimuleringsgruppe og stimuleringsamplitude i mA. Det er også en INS-tilkoblet forskningsapplikasjon som brukes til ekstern konfigurasjon av INS før datainnsamling14, som også gjør det mulig for pasienten å avbryte aDBS-studier og kontrollere behandlingen.
Fange kompleks og naturlig atferd: Videodata ble innlemmet i plattformen for å gjøre det mulig for klinikere å overvåke behandlingseffektiviteten eksternt, og for å trekke ut kinematiske baner fra positurestimater for bruk i forskningsanalyser15. Mens bærbare sensorer er mindre påtrengende, er det vanskelig å fange hele det dynamiske bevegelsesområdet til en hel kropp ved hjelp av bærbare systemer alene. Videoer gjør det mulig å registrere pasientens fulle bevegelsesområde og deres symptomer over tid.
Systembrukbarhet for pasienter: Innsamling av multimodale data hjemme krever at flere enheter installeres og brukes i pasientens hjem, noe som kan bli belastende for pasienter å navigere. For å gjøre systemet enkelt å bruke samtidig som pasientkontrollen ivaretas, må bare enhetene som er implantert eller fysisk festet til pasienten (i dette tilfellet inkludert INS-systemet og smartklokker) slås PÅ manuelt før et opptak starter. For enheter som er atskilt fra pasienten (i dette tilfellet inkluderer det data som er tatt opp fra videokameraer), starter og slutter opptakene automatisk uten at det kreves pasientinteraksjon. Forsiktighet ble tatt under GUI-design for å minimere antall knapper og for å unngå dype menytrær slik at interaksjonene var enkle. Etter at alle enhetene er installert, viste en forskningskoordinator pasienten hvordan man samhandler med alle enheter gjennom pasientvendte GUIer som er en del av hver enhet, for eksempel hvordan man avslutter opptak på en hvilken som helst enhet og hvordan man legger inn medisineringshistorikk og symptomrapporter.
Åpenhet om datainnsamling: Det er viktig å tydelig indikere når kameraer er slått PÅ, slik at folk vet når de blir spilt inn og kan suspendere opptaket hvis de trenger et øyeblikks personvern. For å oppnå dette brukes en kamerasystemapplikasjon til å kontrollere videoopptak med en pasientvendt GUI. GUI-en åpnes automatisk når programmet startes, og viser klokkeslett og dato for neste planlagte opptak. Når et opptak pågår, vises en melding om når opptaket etter planen skal avsluttes. I midten av GUI-en vises et stort bilde av et rødt lys. Bildet viser lyset som lyser sterkt når et opptak pågår, og endres til et ikke-opplyst bilde når opptakene er AV.

Protokollen beskriver metoder for å designe, bygge og distribuere en datainnsamlingsplattform hjemme, for kvalitetskontroll av innsamlede data for fullstendighet og robusthet, og for etterbehandling av data til bruk i fremtidig forskning.

Figure 1
Figur 1: Dataflyt. Data for hver modalitet samles inn uavhengig av pasientens bosted før de behandles og aggregeres i ett enkelt endepunkt for ekstern lagring. Dataene for hver modalitet sendes automatisk til et eksternt lagringsendepunkt. Ved hjelp av et av teammedlemmene kan den deretter hentes, kontrolleres for gyldighet, tidsjusteres på tvers av modaliteter, samt underkastes mer modalitetsspesifikk forhåndsbehandling. Det kompilerte datasettet lastes deretter opp til et endepunkt for ekstern lagring som alle teammedlemmer kan få sikker tilgang til for videre analyse. Alle maskiner med datatilgang, spesielt for sensitive data som rå video, er innelukket i en VPN som sikrer at all data overføres sikkert og lagrede data alltid er kryptert. Klikk her for å se en større versjon av denne figuren.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Pasienter er registrert gjennom en større IRB- og IDE-godkjent studie i aDBS ved University of California, San Francisco, protokoll # G1800975. Pasienten som deltok i denne studien, ga i tillegg informert samtykke spesifikt til denne studien.

1. Systemkomponenter hjemme

  1. Sentral server og VPN
    1. Skaff deg en personlig datamaskin (PC) som kjører et Linux-basert operativsystem (OS) dedikert til å betjene et VPN. Oppbevar maskinen i et sikkert rom. Diskkrypter maskinen for å sikre datasikkerhet.
    2. Konfigurer VPN-serveren til å være offentlig tilgjengelig på minst én port.
      MERK: I dette tilfellet ble dette oppnådd ved å samarbeide med IT-avdelingen for å gi serveren en eksternt statisk IP-adresse og en tilpasset URL av universitetets DNS-vertsalternativer.
    3. For serverinstallasjon, fullfør følgende trinn én gang på PC-en som er valgt for å betjene VPN.
      1. Brannmurkonfigurasjon: Kjør følgende kommandoer i PC-terminalen for å installere og konfigurere ukomplisert brannmur:
        sudo apt installere UFW
        sudo ufw tillate ssh
        sudo ufw tillate /udp
        sudo ufw aktivere
      2. Server VPN-installasjon: Installer åpen kildekode WireGuard VPN-protokoll16 på PC-en og naviger til installasjonskatalogen. I PC-terminalen, kjør umask 007 for å oppdatere katalogtilgangsregler.
      3. Nøkkelgenerering: Kjør i PC-terminalen
        WG Genkey | Tee PrivateKey | WG Pubkey > Publickey
        Dette genererer et offentlig/privat nøkkelpar for VPN-serveren. Denne offentlige nøkkelen deles med alle klient-PC-er som kobles til VPN-et.
      4. VPN-konfigurasjon: Kjør touch .conf i PC-terminalen for å opprette en konfigurasjonsfil, der filnavnet skal samsvare med navnet på grensesnittet. Lim inn følgende serverregler i denne filen:
        [Grensesnitt]
        PrivateKey =
        Adresse = ##.#.#.#/ ##
        PostUp = iptables -A FORWARD -i interface_name -j GODTA; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
        PostDown = iptables -D FORWARD -i interface_name -j GODTA; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
        ListenPort = #####
        [Jevnaldrende]
        PublicKey =
        AllowedIPs = ##.#.#.#/ ##
      5. Aktivering av VPN: Start VPN-en ved å legge inn wg-quick up i terminalen. For å aktivere VPN-protokollen til å starte automatisk når PC-en starter på nytt, kjør følgende i terminalen:
        systemCTL aktivere WG-quick@
    4. For klientinstallasjon fullfører du følgende trinn for hver nye maskin som trenger tilgang til VPN.
      1. Klient VPN-installasjon: Installer VPN-protokollen i henhold til OS-spesifikke instruksjoner på nedlastingssiden for WireGuard16 .
      2. Legge til en klient i VPN: Ta den offentlige nøkkelen fra konfigurasjonsfilen som ble generert under installasjonen. Lim inn denne nøkkelen i nodedelen av serverens konfigurasjonsfil.
      3. Aktivering av VPN: Start VPN-en i henhold til OS-spesifikke instruksjoner på nedlastingssiden for WireGuard16 .
  2. Skylagring
    1. Velg et skylagringssted for å gjøre det mulig å lagre alle innspilte datastrømmer langsiktig på ett sted. Her ble det brukt et Amazon-netttjenestebasert skylagringssted som var kompatibelt med den valgte dataoverføringsprotokollen.
  3. Implanterbart nevromodulasjonssystem
    1. I henhold til IRB- og IDE-retningslinjene velger du et implanterbart nevromoduleringssystem (INS)11 som lar pasienter endre stimuleringsinnstillingene manuelt.
    2. Skaff deg en tavle-PC og installer UCSF DBS-programmet med åpen kildekode for å tillate INS-opptak, rapportering av medisiner og symptomer eller andre pasientkommentarer14. Konfigurer INS-data som strømmes til nettbrettet, for å lastes opp til et midlertidig HIPPA-kompatibelt skylagringsendepunkt, for midlertidig lagring før dataavidentifisering og lossing til langsiktig skylagring.
  4. Innsamlingssystem for video
    1. Skaff deg en PC som er i stand til å samle og lagre ønsket mengde videofiler før du overfører dem til skylagring. Kontroller at PC-hovedkortet inneholder en TPM-brikke (Trusted Platform Module).
      MERK: I dette tilfellet ble en PC med en 500 GB SSD, en 2 TB HDD og en 6 GB GPU valgt. En 2 TB-disk sikrer at videoer kan bufres etter en lang opptaksøkt eller i tilfelle du mister internettforbindelsen i et par dager, mens den ene PCen holder maskinvaren minimalt påtrengende i hjemmet.
    2. Installer ønsket operativsystem og følg instruksjonene for å aktivere automatisk diskkryptering for å sikre pasientens personvern og for å unngå datalekkasje. I dette tilfellet ble et Linux-basert operativsystem med en Ubuntu-distribusjon valgt for brukervennlighet og pålitelighet.
    3. Krypter eventuelle harddisker separat etter at operativsystemet er installert. Sørg for å aktivere automatisk diskmontering på nytt ved omstart av systemet.
    4. Konfigurer PC-ens innebygde TPM-brikke for å opprettholde tilgangen til den diskkrypterte PC-en etter en omstart av systemet17.
      MERK: Hvis du bruker et Linux OS, må du velge et hovedkort med en TPM2-brikke installert for å aktivere dette trinnet. Hvis et Windows OS brukes, kan automatisk diskkryptering og opplåsing håndteres av Bitlocker-programmet.
    5. Konfigurer PC-en som en VPN-klient ved å følge installasjonstrinnene i 1.1.4. Aktiver VPN-protokollen til å starte automatisk når PC-en startes på nytt som i seksjon 1.1.3.5 for å sikre at forskningsdatamaskiner alltid kan få ekstern tilgang til PC-en (anbefalt).
    6. Opprett en GitHub-maskinbrukerkonto for enkelt å automatisere oppdateringer av programvare installert på PC-en. Denne kontoen fungerer som en webhook for å automatisere trekking fra det eksterne git-endepunktet og hjelper til med å identifisere eventuelle oppdateringer som sendes fra den eksterne maskinen.
    7. Velg programvare for å planlegge og kontrollere videoopptak og installere dette på PC-en. For å maksimere pasientens personvern og komfort, bør den valgte programvaren inkludere et grafisk brukergrensesnitt (GUI) for å tydelig indikere når opptak pågår, og for å muliggjøre enkel avslutning av opptak når som helst.
      MERK: Om ønskelig kan forfatternes tilpassede videoopptaksapplikasjon med et pasientvendt GUI installeres ved å laste ned applikasjonen og følge instruksjonene på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp).
    8. Velg en skjerm for å indikere når videoer spilles inn, og for å gjøre det enkelt for folk å avslutte opptak. Velg en skjerm med berøringsskjermfunksjon, slik at opptak kan avsluttes uten å måtte betjene tastatur eller mus.
    9. Installer et eksternt skrivebordsprogram på PCen. Dette gjør det mulig å kjøre et program med et GUI slik at GUI forblir synlig både på pasientsiden og den eksterne forskersiden.
      MERK: NoMachine-programmet for eksternt skrivebord med åpen kildekode fungerte best for et Linux OS.
    10. Velg USB-kompatible webkameraer med tilstrekkelig høy oppløsning for beregning av positurer i det gitte rommet.
      MERK: I dette tilfellet ble 4k-kompatible webkameraer valgt, som tilbyr flere oppløsnings- og bildefrekvenskombinasjoner, inkludert 4k-oppløsning ved 30 bilder per sekund eller HD-oppløsning ved 60 bilder per sekund.
    11. Velg robust maskinvare for montering av webkameraer i pasientens hjem. Bruk svanehalsfester med klips for å feste dem til møblene for å forhindre at kameraene rister.
    12. Velg en dataoverføringsprotokoll med krypteringsmulighet og installer denne på PC-en. Opprett en konfigurasjon for å få tilgang til skylagringsområdet, og opprett deretter en krypteringskonfigurasjon for å bryte den første konfigurasjonen før dataoverføring.
      MERK: I dette tilfellet ble en åpen kildekode dataoverføring og filsynkroniseringsprotokoll med krypteringsfunksjon installert18. Dokumentasjonen for dataoverføringsprotokollen forklarer hvordan du konfigurerer dataoverføring til skylagring. Protokollen ble først installert på VPN-serveren, og en krypteringskonfigurasjon ble opprettet som overfører data til det eksterne skylagringsstedet.
  5. Datakomponenter med bærbar sensor
    1. Velg smartklokker som skal bæres på hvert håndledd av pasienten for å spore signaler, inkludert bevegelse, akselerometri og hjertefrekvens.
      MERK: Apple Watch Series 3 ble valgt med en innebygd symptommonitor for bevegelsesforstyrrelser som genererer PD-symptompoeng som dyskinesi og tremorscore.
    2. Velg og installer programvare på hver smartklokke som kan starte og avslutte opptak og kan overføre data til skylagring. Velg et program som laster opp alle datastrømmer til den tilknyttede nettportalen for forskere og klinikere å analysere19.

Figure 2
Figur 2: Komponenter for videoopptak. Maskinvarekomponentene som støtter videodatainnsamling er minimale, inkludert en PC med ett tårn, USB-tilkoblede webkameraer og en liten skjerm for å vise det pasientvendte GUI-et. Skjermen er berøringsskjermaktivert for å muliggjøre enkel avslutning av pågående eller planlagte opptak ved å trykke på knappene som er synlige på GUI-en. Midten av GUI-en viser et bilde av et opptakslys som blir til en lys rød farge når videokameraer aktivt tar opp. Klikk her for å se en større versjon av denne figuren.

2. Konfigurasjon hjemme

  1. Installasjon av maskinvare
    1. Bestem et passende sted for montering av webkameraer som minimerer forstyrrelser i hjemmet. Bestem plassen gjennom diskusjoner med pasienten; Her ble hjemmekontorområdet valgt som det optimale stedet for å balansere opptaksvolum mot personvern.
    2. Monter webkameraer i det identifiserte området på den valgte monteringsmaskinvaren. Klipping av svanehalsfester til tunge møbler i nærheten forhindrer at kameraer rister når noen går i nærheten.
    3. Plasser PCen tilstrekkelig nær de monterte webkameraene slik at USB-kablene kan kobles til PC-en.
    4. Plasser nettbrettet, INS-komponenter, smartklokker og smarttelefoner i nærheten av et strømuttak slik at alle enheter kan være koblet til og er klare til bruk når som helst.
    5. Bekreft at VPN-et er PÅ ved å kjøre rute -n i PC-terminalen . Hvis ikke, følg instruksjonene for å aktivere VPN i seksjon 1.1.3.5.
  2. Start videoopptaksprogrammet
    1. Videoopptaksplan: Før du samler inn data, diskuter en passende opptaksplan med pasienten. Konfigurer denne tidsplanen på videoopptaksprogramvaren.
      MERK: Hvis du bruker forfatternes tilpassede videoopptaksprogram, finner du instruksjoner for å sette en tidsplan på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
    2. Oppdateringsopptaksprogramvare: Forsikre deg om at den nyeste versjonen av den valgte videoopptaksprogramvaren er lastet opp til PC-en ved hjelp av GitHub-maskinens brukerkonto installert i 1.4.6.
    3. Start videoopptak: Logg deg på PC-en via den installerte programvaren for eksternt skrivebord og start videoopptaksprogramvaren.
      MERK: Hvis du bruker forfatternes tilpassede videoopptaksprogram, finner du instruksjoner for å starte applikasjonen på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
  3. Kalibrering av videokamera
    1. Deaktiver autofokus: For å beregne innebygde parametere som objektiv- og perspektivforvrengning, følg instruksjonene basert på det valgte operativsystemet og webkameraene for å slå av autofokusen.
      MERK: På Linux er webkameraer tilgjengelig via video for Linux API, som som standard slår på autofokus hver gang datamaskinen som er koblet til kameraene, startes på nytt. Konfigurering av et skript for automatisk å deaktivere dette er nødvendig for å bevare fokuset som er oppnådd under kamerakalibrering for behandling av 3D-positur.
    2. Egenkalibrering: Skaff deg et 6 x 8 sjakkbrettmønster med 100 mm firkanter for å støtte 3D-kalibrering av programvare for estimering av positur20. Ta opp en video fra hvert enkelt webkamera mens en forsker vinkler sjakkbrettet i rammen på alle kameraene. Forsikre deg om at sjakkbrettet har et jevnt antall rader og et ujevnt antall kolonner (eller omvendt). Dette vil fjerne tvetydighet angående rotasjon.
    3. Ekstrinsisk kalibrering: Ta opp en video fra alle tre webkameraene samtidig. Sørg for at videoer er tatt opp med samme oppløsning som videoer som skal behandles for anslag over 3D-stilling. For å sikre nøyaktig tidssynkronisering på tvers av alle videoer, blink et IR LED-lys i begynnelsen og slutten av opptaket. Bruk videoredigeringsprogramvare til å synkronisere videoene manuelt ved å merke rammer ved begynnelsen av LED-en og trimme videoene til en like lengde.
    4. Kalibreringsmatriser: Send videoene som er tatt opp i de to foregående trinnene, gjennom OpenPose21 for å generere innebygde og eksterne kalibreringsmatriser.
      MERK: OpenPose bruker OpenCV-biblioteket for kamerakalibrering, og ytterligere instruksjoner finner du gjennom dokumentasjonen på OpenPose GitHub20,22.

3. Innsamling av opplysninger

  1. Pasientinstruksjoner for å starte opptak
    1. Kontroller enhetens batteri og strøm: INS-enheten er alltid PÅ for å gi konstant stimulering til motivet. For å starte registrering av nevrale data, be pasienten om å slå på nettbrettet og sørge for at klinikertelemetrimodulene (CTM) for både venstre og høyre INS-enheter er PÅ og fulladet.
    2. CTM plassering: Plasser CTMs på begge sider av brystet. For maksimal tilkobling og for å redusere pakketap, plasser CTM-ene nær brystimplantatene under opptak. Ytterligere steder å plassere CTMs er brystlommer på en jakke eller ved hjelp av et spesialisert skjerf.
    3. Aktiver nettbretttilkobling: Når nettbrettet har startet opp, ber pasienten om å åpne DBS-applikasjonen og velger Koble til, som ber om en Bluetooth-tilkobling til CTM-ene og deretter INS-enhetene14.
    4. Kameraaktivering: Be pasienten bekrefte at videokameraer er koblet til PC-en via USB-kablene, og at kameraene er slått PÅ.
      MERK: Hvis du bruker forfatternes tilpassede videoopptaksprogram, er pågående opptak tydelig indikert på pasientvendt GUI med et stort bilde av et rødt lys som er sterkt opplyst. Dette endres til et ikke-opplyst rødt lys når opptakene er AV. De valgte webkameraene har også et lite hvitt indikatorlys.
    5. Aktivering av smartklokke: Be pasienten om å slå PÅ smartklokker og smarttelefoner ved å holde inne strømknappen . Deretter ber du dem om å åpne smartklokkeapplikasjonen for å starte dataregistrering og PD-symptomsporing.
  2. Bevegelsesbasert datajustering og opptaksscenarier
    1. Skriv ut eventuelle ønskede oppgaver som pasienten skal utføre under dataopptak før du starter en datainnsamling.
    2. Siden klokkebasert synkronisering med flere enheter for justering av tidsstempler kan være upålitelig, kan du be pasienten om å utføre en gest som kan brukes til å synkronisere tidsstemplene fra innspilte data ved begynnelsen av hvert nye opptak, selv når du planlegger å ta opp i perioder med fri oppførsel.
      MERK: Forfatterne designet en enkel gest der pasienten trykket på begge implanterte INS-enhetene mens de holdt hendene innenfor synsvidde av kameraene. Denne tappingen skaper særegne mønstre i treghetsopptakene fra smartklokkene og INS-akselerometeret og er lett å observere i videoer.
  3. Pasientinstruksjoner om å avslutte registreringen
    1. Bytt stimuleringsgruppen tilbake til pasientens foretrukne klinisk tildelte gruppe.
    2. I det pasientrettede GUI-et i DBS-programmet angir du en symptomrapport.
    3. Lukk DBS-applikasjonen, som vil koble fra CTM-ene og avslutte INS-streaming.
    4. Lukk smartklokkeopptaksapplikasjonen og returner CTM-er, smarttelefoner og smartklokkeenheter tilbake til ladeportene.
  4. Avlasting av data
    1. Overfør råvideoer til skylagring gjennom dataoverføringsprotokollen ved hjelp av en kryptert konfigurasjon. Opprett en cron-jobb på videoopptaks-PC-en for automatisk å overføre innspilte videoer til skylagring gjennom dataoverføringsprotokollen18.
      MERK: Avhengig av oppløsningen på videoer og antall timer som er registrert hver dag, må internetthastigheten være tilstrekkelig høy til at alle videoer kan overføres til skylagring innen 24 timer. Hvis dataoverføringen er for treg, kan diskplassen gå tom, noe som fører til at flere videoopptak som er planlagt neste dag, mislykkes.
    2. Lagre INS-data på det HIPAA-sikre skyendepunktet som ble konfigurert i trinn 1.3.2. Last ned INS-data fra det HIPAA-sikre skyendepunktet og avidentifiser dataene. Lagre de avidentifiserte dataene på ekstern skylagring.
      MERK: OpenMind preprocessing code23 med åpen kildekode ble brukt til å avidentifisere data og konvertere dem fra json-filer til et tabellformat. Pasientens nettbrett ble konfigurert med et HIPAA-sikkert skyendepunkt for midlertidig lagring av de rå INS-dataene. Det kan imidlertid tenkes at det samme skylagringsstedet som brukes til langtidslagring, også kan brukes til dette trinnet, forutsatt at det er HIPAA-kompatibelt og data krypteres før avlasting.
    3. Hvis du vil, kan du lagre en kopi av smartklokkedataene på en ekstern skylagring, slik at alle datastrømmer er tilgjengelige på ett sted.

4. System karakterisering

  1. Visualisering av rådata: I det ønskede kodingsmiljøet visualiserer du alle rådatastrømmer for å sikre at data ble registrert og overført på riktig måte uten tap eller korrupsjon.
    MERK: Applikasjonen som ble valgt for å administrere smartklokkeopptak, har en nettleserapp som er nyttig for å visualisere smartklokkedata24.
  2. Videobilde- og tidsstempelforsinkelser: Undersøk eventuelle forsinkelser mellom tidsstempler generert fra forskjellige webkameraer. Analyser forsinkelser ved å spille inn videoer med et programmerbart LED-lys plassert i rammen på alle webkameraer.
    MERK: Analyse avslørte at en videosegmenteringsfunksjon25 importert av den tilpassede videoopptaksappen var kilden til økende tidsstempelforsinkelser. Opptak av videoer uten segmenteringsfunksjonen resulterte i forsinkelser mellom webkamerarammer og tidsstempel som ikke økte over tid (se tilleggsfil 1 og tilleggsfigur 1).

5. Forhåndsbehandling og justering av data etter hoc

  1. Poser data
    1. Installer programvare for å beregne felles posisjonsestimater fra innspilte videoer.
      MERK: OpenPose-biblioteket ble valgt siden det inkluderer hånd- og ansiktssporing i både 2D og 3D.
    2. OpenPose-biblioteket håndterer ikke automatisk tilfeller der flere personer er i rammen, så bruk et etterbehandlingsskript for å sikre at hver persons positurestimater er kontinuerlige fra en ramme til den neste. OpenPose gir kode for enkelt å generere animasjoner, enten i 2D eller 3D, for visuell kontroll av positurestimeringskvalitet.
  2. Bevegelsesbasert tidsjustering
    1. For hver INS-enhet (venstre og høyre), følg trinnene beskrevet nedenfor ved hjelp av forfatternes datajusterings-GUI (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
      1. Les inn data: Få tilgang til lagrede INS- og smartklokkeakselerometridata fra skylagring for ønsket dataøkt.
        MERK: En ekstra tidsserie kan legges til om ønskelig. Figur 3 viser posisjonsposisjonen til høyre langfingertupp i grønt.
      2. Visualiser datastrømmer i det grafiske grensesnittet: Bruk det manuelle tidsjusterte grafiske grensesnittet til å overlappe INS-akselerometri, smartklokkeakselerometri og positurdata.
      3. Zoome inn på justeringsartefakter: Zoom inn på tidsaksen, og flytt visningsvinduet til delen av opptaket som trykker på brystet. Skift justeringstidsserien slik at toppen fra brystet trykker på både INS- og smartklokketidsseriesignalene overlapper så tett som mulig.
        MERK: Det grafiske grensesnittet er utformet for å legge til rette for manuell justering av vilkårlige tidsserier til en felles sann tid. Figur 3 viser sanne tidsserier i blått, mens tidsseriene for justering vises i oransje og grønt. Viktige veiledninger for GUI-justering er angitt på GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment).
      4. Bekreftelse av justering: Flytt GUI-vinduet til hver av brystbankeoppgavene i opptaket, og bekreft at justeringen forblir konsistent gjennom hele tidsserien. Trykk på knappen Bytt justering og gjenta justeringer på gjenværende datastrømmer.
      5. Advarselsflagg: For å indikere om data manglet, forskjøvet eller andre generelle advarsler angående datakvalitet, angi advarselsflagg i GUI-en ved hjelp av henholdsvis D-, S- og F-tastene.
  3. Null-normalisert krysskorrelasjon (ZNCC) tidsjustering
    1. Identifiser signalet som mest sannsynlig er nærmest sann tid. Vanligvis er dette enten den med høyest samplingsfrekvens eller den raskeste internetttidsoppdateringen.
    2. Oppdater de to signalene til å ha samme temporale samplingsfrekvens, og individuelt z-score begge signalene. Dette sikrer at de resulterende ZNCC-poengsummene blir normalisert til å være mellom -1 og 1, noe som gir et estimat av likhetsnivået mellom de to signalene, nyttig for å fange feil.
    3. Beregn krysskorrelasjonen til det andre signalet og det første signalet ved hver tidsforsinkelse.
    4. Hvis faseinformasjon for de to signalene ikke er viktig, ta absoluttverdien av den målte krysskorrelasjonskurven.
      MERK: Hvis oppførselen er betydelig a-periodisk, er faseinformasjonen ikke nødvendig, som i dette tilfellet.
    5. Analyser ZNCC-kurven. Hvis det er en enkelt klar topp, med en topp ZNCC-poengsum over 0,3, tilsvarer tiden for denne toppen tidsforsinkelsen mellom de to signalene. Hvis det er flere topper, ingen klar topp, eller ZNCC-poengsummen er lav over alle tidsforsinkelser, må de to signalene justeres manuelt.

Figure 3
Figur 3: Bevegelsesbasert datajustering. Den øverste halvdelen av figuren viser den manuelle justeringen GUI etter justering av de tre datastrømmene. Den blå linjen er smartklokkeakselerometridataene, den oransje linjen er akselerometridataene fra INS, og den grønne linjen er 2D-posisjonsposisjonen til høyre langfingertupp fra et enkelt webkamera. Øverst til høyre viser forskyvningen mellom den sanne tiden fra smartklokken og INS, samt forskjellige advarselsflagg for å markere eventuelle problemer som oppstår. I dette eksemplet var INS 20.8 s foran smartklokken. Grafen nederst til venstre er zoomet inn for å vise de fem brystkranene som pasienten har utført for datajustering. De fem toppene er tilstrekkelig klare i hver datastrøm for å sikre riktig justering. Klikk her for å se en større versjon av denne figuren.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Design og distribusjon av prototypeplattform
Vi designet en prototypeplattform og distribuerte den hjem til en enkelt pasient (figur 1). Etter den første installasjonen av maskinvare i hjemmet, kan plattformen opprettholdes, og data samles helt gjennom ekstern tilgang. INS-enhetene, smartklokkene og kameraene har pasientvendte applikasjoner som lar pasienter starte og stoppe opptak. Maskinvaren for videoinnsamling muliggjør automatiske videoopptak etter at en godkjent tidsplan er konfigurert. Pasienter kan enkelt avbryte et pågående opptak ved å trykke på en knapp på videoopptaksapplikasjonen GUI (figur 2). Alle innsamlede data ble kryptert og overført til et skylagringssted for forskere å behandle og analysere.

Innsamling av data
For de første distribusjonene og datainnsamlingssyklusene ba vi pasienten om å utføre selvstyrte kliniske oppgaver. Oppgavene ble hentet fra unified Parkinson's disease rating scale (UPDRS)26, nemlig hviletremor, fingertapping fra tommel til pekefinger, håndåpning og lukking, pronasjonssupinasjon i håndleddet, sitte-til-stå-bevegelse og gange og skriveoppgave. Alle oppgavene ble gjentatt tre ganger for hver opptaksdag. For hver repetisjon ble en annen stimuleringsamplitude satt for å avsløre potensielle stimuleringsrelaterte symptomer på PD. Figur 4 viser et skjematisert eksempel på hvordan en uke med data samlet inn med systemet kan se ut.

Figure 4
Figur 4: Datatilgjengelighet. En skjematisert demonstrasjon av hvordan en uke med data samlet inn med systemet kan se ut. Det øverste plottet viser stimuleringsnivået (blått) i løpet av flere dag/natt-sykluser. Stimuleringsendringer for denne pasienten er avhengig av søvnplanen og tidspunktene for medisininntak (vertikale røde linjer). På vilkårlige tidspunkter i løpet av dagen kan datainnsamlingssystemet aktiveres eksternt for å samle inn data for flere modaliteter, vist som fargede bokser. Et eksempel på alle de parallelle, tidsjusterte datastrømmene, bare nedvalgt til venstre side av brødteksten, er vist i det nederste plottet. Under dette opptaket ble pasienten bedt om å utføre en rekke kliniske undersøkelser under lave, terapeutiske og høyamplitudestimuleringsbetingelser. Alle data som vises her tilsvarer ekte data samlet, men har blitt komprimert på tvers av separate eksperimenter for enkel visualisering og for å vise variasjon. Forkortelser: LFP=lokalt feltpotensial, STN=Subthalamuskjerne, Accel=akselerometer, Gyro=gyroskop, 2D=todimensjonalt. Klikk her for å se en større versjon av denne figuren.

Manuell justering
Det manuelle justerings-GUI-et gir en brukervennlig plattform for å justere flere datastrømmer. Som vist i figur 3 gir brystkraner en tydelig identifiserbar artefakt i alle datamodaliteter (INS, smartklokker, videoer) som kan brukes i manuell justering. GUI var et nyttig middel for å justere dataene, men dette kan byttes ut med ethvert annet justeringsverktøy som forskere ønsker å bruke. I noen tilfeller har datastrømmene en liten drift. En potensiell fremtidig løsning på dette problemet vil være å dele øktdataene inn i forskjellige forsøk, hver med sin egen brysttrykksekvens. Hvert forsøk kan deretter justeres individuelt for å minimere virkningen av drift.

Null-normalisert krysskorrelasjon (ZNCC) tidsjustering
Metoden for ZNCC fungerer bra i noen tilfeller, men den har noen kritiske sårbarheter. For eksempel, for noen bevegelser, kan de to akselerometersignalene faseforskjøves i forhold til hverandre. Hvis en fasejustert og faseforskjøvet bevegelse begge er inkludert i de analyserte epokene, kan ZNCC ha enten flere eller til og med ingen klar topp. Normaliseringen av ZNCC gjør at disse justeringene automatisk kan identifiseres og kasseres etter behov. Denne metoden fungerer best hvis begge signalene er relativt støyfrie og vindusbelagt til en epoke med store, synkroniserte effekter i begge sporene. De beste resultatene ble oppnådd når pasienten ble bedt om å utføre en serie sterke kraner med begge hender mot brystet. I praksis var imidlertid manuell verifisering av automatisert justering nødvendig i nok tilfeller til at fordelen ved å bruke den automatiserte metoden var ubetydelig.

Datakvalitet
Datatap under automatisert overføring var ubetydelig siden dataoverføringsprotokollprosessen sikkerhetskopierer råkopier for å sikre at eventuelle tap kan gjenopprettes. Datatap fra tilkoblingsproblemer oppstod regelmessig, siden Bluetooth og radiofrekvens noen ganger har uventede tilkoblingsavbrudd og er rekkeviddebegrenset. Korte opphold på opptil 2 sekunder forekom omtrent et par ganger i timen, og lengre opphold på opptil 2 minutter forekom omtrent en gang hvert par timer. Utover tap av data ble signifikante stimuleringsartefakter observert i nevrale data, hvor alvorlighetsgraden var avhengig av opptaket og stimuleringsgruppene som ble valgt. De største artefaktene forekommer nær stimuleringsfrekvensen, godt utenfor interesseområder. Ingen artefakter ble observert i data fra smartklokker. Videoer ble spilt inn med konstant bildefrekvens; Imidlertid ble dupliserte rammer identifisert i videoer. Dette ga en faktisk bildefrekvens til å være noen få bilder mindre enn den teoretiske bildefrekvensen som angitt av webkameraspesifikasjonene. Mer merkbart enn de dupliserte rammene var imidlertid fryseperioder som ble identifisert i videoer med varierende intervaller avhengig av opptaksdagen. Fryseperioder på ca. 10 bilder eller mindre ble regelmessig observert; Imidlertid ble lengre seksjoner på ca. 2 til 30 sekunder lange også observert i uregelmessige perioder.

Longitudinell datainnsamling
Tabell 1 viser dataene som plattformprototypen med jevne mellomrom har samlet inn i løpet av 1,5 år. På den tiden ble hundrevis av timer med data samlet inn, med totalt 293 timer med INS-data på begge sider av kroppen, 224 timer med smartklokkedata for begge klokkene og 2,037 timer med videodata på tvers av tre webkameraer. Dette demonstrerer at plattformen støtter datainnsamling hjemme over lengre perioder, samtidig som den gir en sjelden mulighet til å observere langsgående endringer i nevrale data og tilsvarende stimuleringskrav.

Datatype Total varighet (th:mm:ss) Totalt antall dager Lagringsstørrelse
Neural 293:17:33 90 28,94 GB
Armbåndsur 224:06:05 89 35,67 GB
Video 2037:06:11 228 146 073,77 GB

Tabell 1: Longitudinell oversikt over innsamlede data. Den distribuerte plattformen samlet inn data under flere eksperimenter i løpet av 1,5 år. Omtrent 90 dager ble registrert med nevrale, video- og smartklokkedatastrømmer som ble samlet inn.

2D og 3D utgjør estimater
Flere programvarepakker for estimering av positurer er nå tilgjengelige. Estimering av positur ble testet ved hjelp av OpenPose, en programvarepakke med åpen kildekode21. Dette ble installert etter dokumentasjonen fra organisasjonens GitHub, samt mange andre uoffisielle opplæringsprogrammer funnet på nettet. Behandlingstiden for OpenPose varierer betydelig basert på hvordan OpenPose-biblioteket og dets omfattende avhengigheter er installert, størrelsen på GPU-en som brukes, og om de valgfrie hendene og ansiktsnøkkelpunktene behandles. 2D-positur var relativt enkel å implementere, men 3D-positur var spesielt vanskeligere og foreløpige 3D-resultater ga inkonsekvent kvalitet lik 2D-stilling. Estimeringen av 3D-positur av lav kvalitet kan ha blitt negativt påvirket av suboptimal kamerakalibrering, perioder der kameraets autofokus feilaktig ble slått på, eller iboende i selve OpenPose-programvaren. Synkroniserte videoer av høy kvalitet fra flere vinkler kan imidlertid gi rike inndata for en rekke tilgjengelige programvarepakker for estimering av positurer. Det anbefales at et testoppsett fullføres utenfor pasientens hjem, med manuell benchmarking av forskjellige tilgjengelige programvarepakker for estimering av positurer.

Tilleggsfigur 1: Analyse av videobildeforsinkelse. Forsinkelser i tidsstempler generert fra videoopptaksappen ble oppdaget under systemkarakterisering. For å undersøke årsaken til forsinkelsene ble rammenummeret og tidsstempelet generert fra hvert kamera bestemt ved å ta opp et rødt LED-lys som blinket med tilfeldige intervaller, og deretter ble variasjonene i tidsstempelforsinkelser over kameraer beregnet. (Øverst) LED-intensiteter (i RGB-enheter) målt på hvert av de tre kameraene, og viser tidsforskyvningene observert mellom de tre kameraene (merket med røde piler). (Nederst) Tre plott viser tidsstempelforsinkelsene mellom kameraene i antall bilder for en serie LED-blink over hele opptaket. Hvert opptak ble brutt opp i flere segmenter, og rammeforsinkelsen var omtrent konstant over tid. Klikk her for å laste ned denne filen.

Tilleggsfil 1: Analysemetode for videoramme og tidsstempel. Klikk her for å laste ned denne filen.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Vi deler designet for en hjemmeprototype av en multimodal datainnsamlingsplattform for å støtte fremtidig forskning innen nevromodulasjonsforskning. Designet er åpen kildekode og modulært, slik at ethvert stykke maskinvare kan byttes ut, og enhver programvarekomponent kan oppdateres eller endres uten at den generelle plattformen kollapser. Mens metodene for innsamling og avidentifisering av nevrale data er spesifikke for den valgte INS, er de gjenværende metodene og den generelle tilnærmingen til atferdsdatainnsamling agnostisk til hvilken implanterbar enhet som brukes. Vi distribuerte plattformen til hjemmet til en person med PD og samlet inn data i både eksperimentelle og naturalistiske perioder. Under distribusjoner, datainnsamlinger og post-hoc databehandling ble det oppdaget flere aspekter som var spesielt avgjørende for å muliggjøre vellykkede forskningsiterasjoner.

Et verdifullt medlem av teamet vårt var forskningskoordinatoren som reiste hjem til pasienten for å installere maskinvare, konfigurere VPN, utføre kamerakalibrering for 3D-positur og veilede pasienten gjennom hvordan man bruker hver enhets pasientvendte GUI. Det er viktig at forskningskoordinatoren i tillegg fungerte som hovedkontaktpunktet mellom pasienten og forskerteamet. Pasienten foretrakk å bruke sin e-post chat-funksjon for raskt å sende meldinger frem og tilbake. Å ha et konsekvent og tilgjengelig kontaktpunkt var spesielt nyttig på to måter:

Å etablere en kjent kommunikasjonskanal for pasienten å be om endringer i planlagte opptak og å kommunisere eventuelle vanskeligheter med systembruk. Dette hjalp forskningskoordinatoren til å identifisere passende tider for pasienten å gjennomføre opptakseksperimenter. Den største vanskeligheten i systembruk rapportert var behovet for å holde oversikt over batterilevetiden for flere enheter.

For å tillate at systemfeilsøking skal være minimalt forstyrrende for pasienten. De fleste feilsøking stammet fra nettverkstilkoblingsproblemer som oppstod i gjennomsnitt en gang hvert par uker. Mens omstart av enheter vanligvis løste disse problemene, krevde klokkene ofte flere omstarter, som pasienten rapporterte var tyngende.

Det er viktig å sikre robust ekstern tilgang til maskinvaren som er plassert i pasientens hjem. For å oppnå dette er det avgjørende å ha en stabil internettforbindelse. Det er også nødvendig å konfigurere en diskkryptert maskin for automatisk å låse opp når en maskin starter på nytt. Ikke overraskende ga en Ethernet-kabel konsekvent de raskeste og mest pålitelige nettverkstilkoblingene. Mindre forventet var behovet for å konfigurere en TPM-brikke, nødvendig på grunn av å velge Linux som operativsystem. Hvis et Windows OS brukes, vil deres Bitlocker-program ta seg av dette automatisk. Til slutt, konfigurering av den distribuerte PC-en for automatisk å aktivere VPN og montere harddisken på nytt ved omstart av systemet, sikret fortsatt ekstern tilgang uten å måtte besøke pasientens hjem gjentatte ganger. Å innlemme en VPN og en datakrypteringsprotokoll i plattformdesignet var avgjørende for datasikkerhet og integritet. VPN gjør det mulig å koble til et nettverk av datamaskiner uten at tilpasset portvideresending må konfigureres på pasientens private ruter. Den åpne kildekode-datakrypteringsprotokollen Rclone-programmet leveres med en hyllevare datakryptering og en lett automatiserbar måte å overføre data fra pasientenheter til skylagring18. Datakrypteringsprotokollen tar sikkerhetskopier av rådata under dataoverføringstrinnene for å sikre at tap kan gjenopprettes. Disse trinnene sørget for at pasientens private data ble holdt sikre og ukorrupte.

For å kunne utføre meningsfull dataanalyse er det viktig at dataene som samles inn fra flere enheter, er tidsjustert. Klokkene på hver enhet er sannsynligvis ikke perfekt justert til en vanlig internetttid, selv om produsentene antyder at de er det. I tillegg kan noen enheter oppleve drifting på uforutsigbare tidspunkter, og endre forskyvningene i forhold til de andre enhetene. Dette skaper vanskeligheter med å jobbe mot fullt automatiserte, sanntids adaptive algoritmer, og fremtidig forskning må nøye vurdere løsninger på dette problemet. Metoder for automatisk justering ble utforsket ved hjelp av normalisert krysskorrelasjon. Dette fungerer rimelig bra i mange tilfeller; Tidsdriften må imidlertid være minimal, og dataene bør inneholde tydelig identifiserbare signaler. Fordi både stor drift og perioder hvor data hadde for mye støy eller pakketap ble påtruffet, kan denne helautomatiske metoden ikke stoles fullt ut. For å minimere byrden ved å justere data manuelt, opprettet vi en enkel GUI for å tillate forskere å visuelt sjekke datastrømmer relativt enkelt og raskt.

Inkludering av videodata i systemet gjør det mulig for klinikere å måle symptomets alvorlighetsgrad gjennom fjernobservasjon, og forskere kan få hendelsesetiketter. I tillegg kan positurestimater beregnes fra videoer som en kontinuerlig beregning av bevegelseskvalitet, for eksempel måling av hastighet og glatthet av fingerbevegelser over tid. Innsamling av videoer med høy oppløsning fra flere kameraer krever imidlertid omfattende lagringsplass. For eksempel tar det omtrent 0.5 TB lagringsplass å samle 8 timer med 4k-videoer i MJPEG-format fra tre kameraer. Registrering og lagring av store mengder data blir raskt dyrt, noe som skaper en økonomisk flaskehals for å distribuere dette systemet til mange pasienter. For å få slike plattformer til å skalere til mange pasienter, må fremtidige systemdesignere redusere mengden data som kreves for langtidslagring. Fremtidige systemer bør vurdere å inkludere positurbehandling i sanntid, slik at videoer raskt kan slettes etter at posituren er behandlet. Sanntidspositur kan også gi tilbakemelding om finmotoriske ferdigheter i algoritmer med lukket sløyfe, noe som ligger utenfor omfanget av dette arbeidet. Hvis det er nødvendig å bevare noen videodata for klinikergjennomgang eller hendelsesmerking, kan disse reduseres til en lavere oppløsning før de lagres på skylagringen.

Til slutt, for effektivt å løse designfeil og implementeringsfeil som alltid oppstår når du bygger et integrert system, er det ekstremt verdifullt å anskaffe en kopi av maskinvaren som skal distribueres for bruk som testrigg. Dette gjaldt for testing av maskinvaren og programvaren som ble valgt for innsamling av videoer og behandling av positurdata. Hele prosessen med å samle inn videoer og positurestimater i både 2D- og 3D-rom var betydelig mer utfordrende enn forventet. En testrigg gjør det mulig å feilsøke og stressteste en rekke viktige trinn før distribusjon, inkludert:

Riktig kalibrering av kameraer innenfor layoutbegrensningene til et gitt rom.
Identifisere riktig videooppløsning og bildefrekvens for å støtte estimering av høy kvalitet. For små rom eller kontorlignende miljøer er HD-videoopptak sannsynligvis tilstrekkelig, ettersom størrelsen på enkeltpersoner på den innspilte videoen er stor nok til at posituren enkelt kan beregnes mens den krever betydelig mindre lagringsplass enn 4k-video.
Oppdage feil i innspilte videoer, for eksempel frysende rammer eller tidsforsinkelser mellom sekvensielt skrevne videofiler.
Eksponering av uventede programvarestandarder, for eksempel tilbakestilling av kameraets autofokus ved omstart av maskinen, noe som okkluderer fordelen med kamerakalibrering.
Prøving og feiling for å finne kompatible versjoner av programvarebibliotekene som må forhåndsinstalleres for at OpenPose skal kunne kjøre på en mellomstor GPU.

En spesiell begrensning av dette arbeidet er å distribuere plattformen i en enkelt pilotstudie til hjemmet til ett individ, og hindrer oss i å oppdage at generaliseringer på tvers av deltakere blir oppdaget. Men gjennom hele design- og utviklingsprosessen ble systemet designet for å være skalerbart og støtte flere distribusjoner for å støtte eksterne studier, og formålet med denne pilotstudien var å etablere den teknologiske gjennomførbarheten til en sofistikert hjemmeovervåkingsplattform. Modifisering av dette pilotdesignet basert på noen av de diskuterte viktige funnene og distribusjon av plattformen til flere hjem, vil tillate ytterligere forbedring av designet for å støtte fremtidig forskning i hjemme-aDBS. I tillegg vil innsamling av data under flere tidspunkter når en person ikke utfører forhåndsbestemte eksperimenter, gi innsikt for å forbedre analysene og den generelle terapieffektiviteten. aDBS kan være en foretrukket metode for behandling av nevrologiske sykdommer, inkludert PD, sammenlignet med konvensjonell DBS som kan ha uakseptable bivirkninger. Å bringe denne viktige terapien til mange individer krever automatisering av parameterjustering og analyse av behandlingseffektivitet utenfor klinikken over tid. Plattformen gir en ny tilnærming til å samle inn hjemmevideokamera, smartklokke, nevrale opptak og pasientrapportdata under eksperimentelle og naturlige aktiviteter fra pasientens eget hjem. Systemet vil videre bidra til å skape nye multimodale datasett for å støtte fremtidige funn i behandlingen av nevrologiske sykdommer15.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne har ingen interessekonflikter å opplyse.

Acknowledgments

Dette materialet er basert på arbeid støttet av National Science Foundation Graduate Research Fellowship Program (DGE-2140004), Weill Neurohub og National Institute of Health (UH3NS100544). Eventuelle meninger, funn og konklusjoner eller anbefalinger uttrykt i dette materialet er forfatterens (e) og gjenspeiler ikke nødvendigvis synspunktene til National Science Foundation, Weill Neurohub eller National Institute of Health. Vi takker Tianjiao Zhang for hans ekspertkonsultasjoner om plattformdesign og inkorporering av videodata. Vi takker spesielt pasienten for deres deltakelse i denne studien og for tilbakemeldinger og råd om nettverkssikkerhet og plattformdesign.

Materials

Name Company Catalog Number Comments
Analysis RCS Data Processing OpenMind https://github.com/openmind-consortium/Analysis-rcs-data, open-source
Apple Watches Apple, Inc Use 2 watches for each patient, one on each wrist
BRIO ULTRA HD PRO BUSINESS WEBCAM Logitech 960-001105 Used 3 in our platform design 
DaVinci Resolve video editing software  DaVinci Resolve used to support camera calibration
Dell XPS PC  Dell 2T hard disk drive, 500GB SSD
Dropbox Dropbox
ffmpeg  N/A open-source, install to run the Video Recording App
Gooseneck mounts for webcams N/A
GPU Nvidia A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal
Java 11 Oracle Install to run the Video Recording App
Microsoft Surface tablet  Microsoft
NoMachine  NoMachine Ideal when using a Linux OS, open-source
OpenPose  N/A open-source
Rclone file transfer program Rclone Encrypts data and copies or moves data to offsite storage, open-source
StrivePD app RuneLabs We installed the app on the Apple Watches to start recordings and upload data to an online portal.
Summit RC+S neuromodulation system Medtronic For investigational use only
touchscreen-compatible monitor N/A
Video for Linux 2 API The Linux Kernel Install if using a Linux OS for video recording 
Wasabi  Wasabi Longterm cloud data storage
WireGuard VPN Protocol WireGuard open-source

DOWNLOAD MATERIALS LIST

References

  1. World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
  2. Herrington, T. M., Cheng, J. J., Eskandar, E. N. Mechanisms of deep brain stimulation. Journal of Neurophysiology. 115 (1), 19-38 (2016).
  3. Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
  4. Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
  5. Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
  6. Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
  7. Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
  8. Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
  9. Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
  10. Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
  11. Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
  12. Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
  13. Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
  14. Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
  15. Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
  16. Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
  17. etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
  18. Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
  19. Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
  20. Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
  21. Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
  22. Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
  23. Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
  24. Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
  25. ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
  26. Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).

Tags

Adaptiv dyp hjernestimulering nevrologiske lidelser Parkinsons sykdom ADBS-algoritme symptomrelaterte biomarkører sanntidsjusteringer manuell innstilling optimal konfigurasjon fjernovervåking datainnsamlingsplattform nevrale data treghetsdata videodata personvern
Bringing the Clinic Home: Et multimodalt datainnsamlingsøkosystem hjemme for å støtte adaptiv dyp hjernestimulering
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Strandquist, G., Frączek, T.,… More

Strandquist, G., Frączek, T., Dixon, T., Ravi, S., Bechtold, R., Lawrence, D., Zeng, A., Gallant, J., Little, S., Herron, J. Bringing the Clinic Home: An At-Home Multi-Modal Data Collection Ecosystem to Support Adaptive Deep Brain Stimulation. J. Vis. Exp. (197), e65305, doi:10.3791/65305 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter