Summary
Protokollen viser en prototype af den multimodale dataindsamlingsplatform derhjemme, der understøtter forskning, der optimerer adaptiv dyb hjernestimulering (aDBS) til mennesker med neurologiske bevægelsesforstyrrelser. Vi præsenterer også vigtige resultater fra implementering af platformen i over et år til hjemmet til en person med Parkinsons sygdom.
Abstract
Adaptiv dyb hjernestimulering (aDBS) viser løfte om at forbedre behandlingen af neurologiske lidelser som Parkinsons sygdom (PD). aDBS bruger symptomrelaterede biomarkører til at justere stimuleringsparametre i realtid for at målrette symptomer mere præcist. For at muliggøre disse dynamiske justeringer skal parametre for en aDBS-algoritme bestemmes for hver enkelt patient. Dette kræver tidskrævende manuel tuning af kliniske forskere, hvilket gør det vanskeligt at finde en optimal konfiguration for en enkelt patient eller at skalere til mange patienter. Desuden forbliver den langsigtede effektivitet af aDBS-algoritmer, der er konfigureret i klinikken, mens patienten er hjemme, et åbent spørgsmål. For at implementere denne terapi i stor skala er der behov for en metode til automatisk konfiguration af aDBS-algoritmeparametre, mens behandlingsresultaterne overvåges eksternt. I dette papir deler vi et design til en dataindsamlingsplatform derhjemme for at hjælpe feltet med at løse begge problemer. Platformen består af et integreret hardware- og softwareøkosystem, der er open source og giver mulighed for hjemmeindsamling af neurale, inertiale og multikameravideodata. For at sikre privatlivets fred for patientidentificerbare data krypterer og overfører platformen data via et virtuelt privat netværk. Metoderne omfatter tidsjustering af datastrømme og udtrækning af positurestimater fra videooptagelser. For at demonstrere brugen af dette system implementerede vi denne platform hjemme hos en person med PD og indsamlede data under selvstyrede kliniske opgaver og perioder med fri adfærd i løbet af 1,5 år. Data blev registreret ved subterapeutiske, terapeutiske og supraterapeutiske stimuleringsamplituder for at evaluere motoriske symptomers sværhedsgrad under forskellige terapeutiske tilstande. Disse tidsjusterede data viser, at platformen er i stand til synkroniseret multimodal dataindsamling derhjemme til terapeutisk evaluering. Denne systemarkitektur kan bruges til at understøtte automatiseret aDBS-forskning, til at indsamle nye datasæt og til at studere de langsigtede virkninger af DBS-terapi uden for klinikken for dem, der lider af neurologiske lidelser.
Introduction
Deep brain stimulation (DBS) behandler neurologiske lidelser såsom Parkinsons sygdom (PD) ved at levere elektrisk strøm direkte til bestemte områder i hjernen. Der er anslået 8,5 millioner tilfælde af PD på verdensplan, og DBS har vist sig at være en kritisk terapi, når medicin er utilstrækkelig til at håndtere symptomer 1,2. DBS-effektivitet kan imidlertid begrænses af bivirkninger, der undertiden opstår ved stimulering, der traditionelt leveres ved fast amplitude, frekvens og pulsbredde3. Denne open-loop-implementering reagerer ikke på udsving i symptomtilstand, hvilket resulterer i stimuleringsindstillinger, der ikke er passende tilpasset patientens skiftende behov. DBS hæmmes yderligere af den tidskrævende proces med at indstille stimuleringsparametre, som i øjeblikket udføres manuelt af klinikere for hver enkelt patient.
Adaptiv DBS (aDBS) er en lukket kredsløbstilgang, der har vist sig at være en effektiv næste iteration af DBS ved at justere stimuleringsparametre i realtid, når symptomrelaterede biomarkører detekteres 3,4,5. Undersøgelser har vist, at beta-oscillationer (10-30 Hz) i den subthalamiske kerne (STN) forekommer konsekvent under bradykinesi, en opbremsning af bevægelsen, der er karakteristisk for PD 6,7. Tilsvarende vides høje gammasvingninger (50-120 Hz) i cortex at forekomme i perioder med dyskinesi, en overdreven og ufrivillig bevægelse, der også almindeligvis ses i PD8. Nyligt arbejde har med succes administreret aDBS uden for klinikken i længere perioder5, men den langsigtede effektivitet af aDBS-algoritmer, der blev konfigureret i klinikken, mens en patient er hjemme, er ikke blevet fastslået.
Fjernsystemer er nødvendige for at fange den tidsvarierende effektivitet af disse dynamiske algoritmer til at undertrykke symptomer, der opstår i dagligdagen. Mens den dynamiske stimuleringstilgang til aDBS potentielt muliggør en mere præcis behandling med reducerede bivirkninger3,9, lider aDBS stadig af en stor byrde for klinikere til manuelt at identificere stimuleringsparametre for hver patient. Ud over det allerede store sæt parametre, der skal programmeres under konventionel DBS, introducerer aDBS-algoritmer mange nye parametre, som også skal justeres omhyggeligt. Denne kombination af stimulerings- og algoritmeparametre giver et stort parameterrum med et uhåndterbart antal mulige kombinationer, hvilket forhindrer aDBS i at skalere til mange patienter10. Selv i forskningsindstillinger gør den ekstra tid, der kræves for at konfigurere og vurdere aDBS-systemer, det vanskeligt at optimere algoritmer tilstrækkeligt udelukkende i klinikken, og fjernopdatering af parametre er nødvendig. For at gøre aDBS til en behandling, der kan skaleres, skal stimulering og algoritmeparameterindstilling automatiseres. Derudover skal resultater fra terapi analyseres på tværs af gentagne forsøg for at etablere aDBS som en levedygtig langsigtet behandling uden for klinikken. Der er behov for en platform, der kan indsamle data til fjernevaluering af terapieffektivitet og til fjernimplementering af opdateringer til aDBS-algoritmeparametre.
Målet med denne protokol er at give et genanvendeligt design til en multimodal hjemmedataindsamlingsplatform for at forbedre aDBS-effektiviteten uden for klinikken og gøre det muligt for denne behandling at skalere til et større antal individer. Så vidt vi ved, er det det første dataindsamlingsplatformdesign, der eksternt evaluerer terapeutiske resultater ved hjælp af videokameraer i hjemmet, bærbare sensorer, kronisk neural signaloptagelse og patientdrevet feedback til evaluering af aDBS-systemer under kontrollerede opgaver og naturalistisk adfærd.
Platformen er et økosystem af hardware- og softwarekomponenter bygget på tidligere udviklede systemer5. Det kan vedligeholdes udelukkende via fjernadgang efter en indledende installation af minimal hardware for at muliggøre multimodal dataindsamling fra en person i deres hjem. En nøglekomponent er det implanterbare neurostimulationssystem (INS)11 , som registrerer neural aktivitet og leverer stimulering til STN og registrerer acceleration fra brystimplantater. For implantatet, der anvendes i den indledende implementering, registreres neural aktivitet fra bilaterale ledninger implanteret i STN og fra elektrokortikografiske elektroder implanteret over motorcortex. Et videooptagelsessystem hjælper klinikere med at overvåge symptomernes sværhedsgrad og behandlingseffektivitet, som inkluderer en grafisk brugergrænseflade (GUI), der gør det nemt at annullere igangværende optagelser for at beskytte patientens privatliv. Videoer behandles for at udtrække kinematiske positionsbaner i todimensionel (2D) eller tredimensionel (3D), og smarte ure bæres på begge håndled for at fange vinkelhastighed og accelerationsinformation. Det er vigtigt, at alle data krypteres, før de overføres til langvarig skylagring, og computeren med patientidentificerbare videoer kan kun tilgås via et virtuelt privat netværk (VPN). Systemet indeholder to tilgange til post-hoc tidsjustering af alle datastrømme, og data bruges til fjernovervågning af patientens bevægelseskvalitet og til at identificere symptomrelaterede biomarkører til raffinering af aDBS-algoritmer. Videodelen af dette arbejde viser dataindsamlingsprocessen og animationer af kinematiske baner udtrukket fra indsamlede videoer.
En række designovervejelser styrede udviklingen af protokollen:
Sikring af datasikkerhed og beskyttelse af patienters privatliv: Indsamling af identificerbare patientdata kræver yderste omhu i transmission og opbevaring for at være sundhedsforsikringsportabilitet og ansvarlighedslov (HIPAA)12,13 overholde og respektere patientens privatliv i deres eget hjem. I dette projekt blev dette opnået ved at oprette en brugerdefineret VPN for at sikre privatlivets fred for al følsom trafik mellem systemcomputere.
Sikkerhedsgrænser for stimuleringsparametre: Det er afgørende at sikre, at patienten forbliver sikker, mens han prøver aDBS-algoritmer, der kan have utilsigtede virkninger. Patientens INS skal konfigureres af en kliniker til at have sikre grænser for stimuleringsparametre, der ikke tillader usikre virkninger fra overstimulering eller understimulering. Med INS-systemet11 Brugt i denne undersøgelse er denne funktion aktiveret af en klinikerprogrammør.
Sikring af patientens veto: Selv inden for sikre parametergrænser kan den daglige variabilitet af symptomer og stimuleringsresponser resultere i ubehagelige situationer for patienten, hvor de ikke kan lide en algoritme under test og ønsker at vende tilbage til normal klinisk åben DBS. Det valgte INS-system inkluderer et patienttelemetrimodul (PTM), der gør det muligt for patienten manuelt at ændre deres stimuleringsgruppe og stimuleringsamplitude i mA. Der er også en INS-tilsluttet forskningsapplikation, der bruges til fjernkonfiguration af INS inden dataindsamling14, som også gør det muligt for patienten at afbryde aDBS-forsøg og kontrollere deres behandling.
Indfangning af kompleks og naturlig adfærd: Videodata blev inkorporeret i platformen for at gøre det muligt for klinikere at fjernovervåge behandlingseffektiviteten og udtrække kinematiske baner fra poseestimater til brug i forskningsanalyser15. Mens bærbare sensorer er mindre påtrængende, er det vanskeligt at fange det fulde dynamiske bevægelsesområde for en hel krop ved hjælp af bærbare systemer alene. Videoer muliggør samtidig optagelse af patientens fulde bevægelsesområde og deres symptomer over tid.
Systemanvendelighed for patienter: Indsamling af multimodale data derhjemme kræver, at flere enheder installeres og bruges i patientens hjem, hvilket kan blive besværligt for patienterne at navigere. For at gøre systemet let at bruge, samtidig med at patientkontrollen sikres, skal kun de enheder, der er implanteret eller fysisk fastgjort til patienten (i dette tilfælde inkluderede det INS-systemet og smarture), tændes manuelt, inden en optagelse påbegyndes. For enheder, der er adskilt fra patienten (i dette tilfælde inkluderer det data optaget fra videokameraer), starter og slutter optagelser automatisk uden at kræve nogen patientinteraktion. Under GUI-design blev der sørget for at minimere antallet af knapper og undgå dybe menutræer, så interaktionerne var enkle. Når alle enheder er installeret, viste en forskningskoordinator patienten, hvordan man interagerer med alle enheder gennem patientvendte GUI'er, der er en del af hver enhed, såsom hvordan man afslutter optagelser på enhver enhed, og hvordan man indtaster deres medicinhistorie og symptomrapporter.
Gennemsigtighed i dataindsamling: Det er bydende nødvendigt at indikere, hvornår kameraer er tændt, så folk ved, hvornår de optages, og kan afbryde optagelsen, hvis de har brug for et øjebliks privatliv. For at opnå dette bruges en kamerasystemapplikation til at styre videooptagelser med en patientvendt GUI. GUI'en åbnes automatisk, når applikationen startes, og viser klokkeslæt og dato for den næste planlagte optagelse. Når en optagelse er i gang, vises der en meddelelse om, hvornår optagelsen er planlagt til at slutte. I midten af GUI'en vises et stort billede af et rødt lys. Billedet viser, at lyset lyser kraftigt, når en optagelse er i gang, og skifter til et ikke-oplyst billede, når optagelserne er slået FRA.
Protokollen beskriver metoder til design, opbygning og implementering af en hjemmedataindsamlingsplatform, til kvalitetskontrol af de indsamlede data for fuldstændighed og robusthed og til efterbehandling af data til brug i fremtidig forskning.
Figur 1: Dataflow. Data for hver modalitet indsamles uafhængigt af patientens bopæl, før de behandles og aggregeres til et enkelt slutpunkt til fjernlagring. Dataene for hver modalitet sendes automatisk til et eksternt lagerslutpunkt. Med hjælp fra et af teammedlemmerne kan det derefter hentes, kontrolleres for gyldighed, tid justeres på tværs af modaliteter samt udsættes for mere modalitetsspecifik forbehandling. Det kompilerede datasæt uploades derefter til et slutpunkt for fjernlager, som alle teammedlemmer har sikker adgang til med henblik på fortsat analyse. Alle maskiner med dataadgang, især for følsomme data såsom rå video, er lukket inde i en VPN, der sikrer, at alle data overføres sikkert, og lagrede data altid er krypteret. Klik her for at se en større version af denne figur.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Patienter indskrives gennem en større IRB- og IDE-godkendt undersøgelse af aDBS ved University of California, San Francisco, protokol # G1800975. Patienten, der deltog i dette studie, gav desuden informeret samtykke specifikt til denne undersøgelse.
1. Systemkomponenter til hjemmebrug
- Central server og VPN
- Anskaf en personlig computer (pc), der kører et Linux-baseret operativsystem (OS) dedikeret til at betjene en VPN. Opbevar maskinen i et sikkert rum. Disk krypterer maskinen for at sikre datasikkerhed.
- Konfigurer VPN-serveren til at være offentligt tilgængelig på mindst én port.
BEMÆRK: I dette tilfælde blev dette opnået ved at samarbejde med it-afdelingen om at give serveren en eksternt vendt statisk IP-adresse og en brugerdefineret URL ved universitetets DNS-hostingmuligheder. - For serverinstallation skal du udføre følgende trin én gang på den pc, der er valgt til at betjene VPN.
- Firewallkonfiguration: Kør følgende kommandoer i pc-terminalen for at installere og konfigurere ukompliceret firewall:
sudo apt installere ufw
sudo UFW Tillad SSH
sudo UFW tillader/udp
sudo UFW aktiver - Server VPN-installation: Installer open source WireGuard VPN-protokol16 på pc'en, og naviger til installationsmappen. Kør umask 007 i pc-terminalen for at opdatere regler for biblioteksadgang.
- Nøglegenerering: Kør i pc-terminalen
WG Genkey | Tee PrivateKey | WG Pubkey > PublicKey
Dette genererer et offentligt/privat nøglepar til VPN-serveren. Denne offentlige nøgle deles med enhver klient-pc, der opretter forbindelse til VPN. - VPN-konfiguration: Kør touch
.conf i pc-terminalen for at oprette en konfigurationsfil, hvor filnavnet skal matche navnet på grænsefladen. Indsæt følgende serverregler i denne fil:
[Grænseflade]
PrivateKey =
Adresse = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPTER; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPTER; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Peer]
PublicKey =
AllowedIP'er = ##.#.#.#/ ## - Aktivering af VPN : Start VPN'en ved at indtaste wg-quick up
i terminalen. For at aktivere VPN-protokollen til automatisk at starte, når pc'en genstarter, skal du køre følgende i terminalen:
SystemCTL aktiverer WG-quick@
- Firewallkonfiguration: Kør følgende kommandoer i pc-terminalen for at installere og konfigurere ukompliceret firewall:
- For klientinstallation skal du udføre følgende trin for hver ny maskine, der har brug for adgang til VPN.
- Klient-VPN-installation: Installer VPN-protokollen i henhold til de OS-specifikke instruktioner på WireGuard16-downloadsiden .
- Tilføjelse af en klient til VPN: Tag den offentlige nøgle fra konfigurationsfilen, der genereres under installationen. Indsæt denne nøgle i peer-sektionen i serverens konfigurationsfil.
- Aktivering af VPN: Start VPN i henhold til de OS-specifikke instruktioner på WireGuard16-downloadsiden .
- Cloud opbevaring
- Vælg et cloudlagersted for at gøre det muligt at gemme alle registrerede datastrømme på lang sigt ét sted. Her blev der brugt et Amazon-webservicebaseret cloud storage-websted, der var kompatibelt med den valgte dataoverførselsprotokol.
- Implanterbart neuromodulationssystem
- Følg IRB- og IDE-retningslinjerne, vælg et implanterbart neuromodulationssystem (INS)11 , der giver patienterne mulighed for manuelt at ændre deres stimuleringsindstillinger.
- Anskaf en tablet-pc, og installer open source UCSF DBS-applikationen for at muliggøre INS-optagelser, rapportering af medicin og symptomer eller andre patientkommentarer14. Konfigurer INS-data, der streames til tabletten, så de kan uploades til et midlertidigt HIPPA-kompatibelt cloudlagerslutpunkt til midlertidig lagring før dataafidentifikation og aflastning til langsigtet cloudlager.
- System til indsamling af video
- Anskaf en pc, der er i stand til at indsamle og gemme den ønskede mængde videofiler, inden du overfører dem til cloud storage. Sørg for, at pc'ens bundkort indeholder en TPM-chip (Trusted Platform Module).
BEMÆRK: I dette tilfælde blev der valgt en pc med en 500 GB SSD, en 2 TB HDD og en 6 GB GPU. En 2 TB disk sikrer, at videoer kan bufferes efter en lang optagelsessession eller i tilfælde af at miste internetforbindelsen i et par dage, mens den enkelte pc holder hardware minimalt påtrængende i hjemmet. - Installer det ønskede operativsystem, og følg vejledningen for at aktivere automatisk diskkryptering for at sikre patientens privatliv og for at undgå datalækage. I dette tilfælde blev et Linux-baseret OS med en Ubuntu-distribution valgt for dets brugervenlighed og pålidelighed.
- Krypter alle harddiske separat, når operativsystemet er installeret. Sørg for at aktivere automatisk diskmontering ved genstart af systemet.
- Konfigurer pc'ens indbyggede TPM-chip til at bevare adgangen til den diskkrypterede pc efter en systemgenstart17.
BEMÆRK: Hvis du bruger et Linux OS, skal du sørge for at vælge et bundkort med en TPM2-chip installeret for at aktivere dette trin. Hvis der bruges et Windows OS, kan automatisk diskkryptering og oplåsning håndteres af Bitlocker-programmet. - Konfigurer pc'en som en VPN-klient ved at følge installationstrinnene i 1.1.4. Aktivér VPN-protokollen til automatisk at starte, når pc'en genstartes som i afsnit 1.1.3.5 for at sikre, at forskercomputere altid kan få fjernadgang til pc'en (anbefales).
- Opret en GitHub-brugerkonto for nemt at automatisere opdateringer til software, der er installeret på pc'en. Denne konto fungerer som en webhook til automatisering af træk fra det eksterne git-slutpunkt og hjælper med at identificere eventuelle opdateringer, der skubbes fra fjernmaskinen.
- Vælg software til at planlægge og kontrollere videooptagelser, og installer dette på pc'en. For at maksimere patientens privatliv og komfort skal den valgte software indeholde en grafisk brugergrænseflade (GUI) for tydeligt at indikere, hvornår optagelser er i gang, og for at muliggøre nem afslutning af optagelser til enhver tid.
BEMÆRK: Hvis det ønskes, kan forfatternes brugerdefinerede videooptagelsesapplikation med en patientvendt GUI installeres ved at downloade applikationen og følge instruktionerne på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Vælg en skærm for at angive, hvornår videoer optages, og for at give folk mulighed for nemt at afslutte optagelser. Vælg en skærm med berøringsskærmfunktion, så optagelser kan afsluttes uden at skulle betjene et tastatur eller en mus.
- Installer et fjernskrivebordsprogram på pc'en. Dette gør det muligt at køre en applikation med en GUI, så GUI'en forbliver synlig på både patientsiden og fjernforskersiden.
BEMÆRK: Open source NoMachine fjernskrivebordsprogrammet fungerede bedst til et Linux OS. - Vælg USB-kompatible webkameraer med tilstrækkelig høj opløsning til beregning af stillinger i det givne rum.
BEMÆRK: I dette tilfælde blev der valgt 4k-kompatible webkameraer, som tilbyder flere opløsnings- og billedhastighedskombinationer, herunder 4k-opløsning ved 30 fps eller HD-opløsning ved 60 fps. - Vælg robust hardware til montering af webkameraer i patientens hjem. Brug svanehalsbeslag med clips til at fastgøre dem til møblerne for at forhindre, at kameraerne ryster.
- Vælg en dataoverførselsprotokol med krypteringsfunktion, og installer denne på pc'en. Opret en konfiguration for at få adgang til cloud storage-webstedet, og opret derefter en krypteringskonfiguration for at pakke den første konfiguration inden dataoverførsel.
BEMÆRK: I dette tilfælde blev der installeret en open source-dataoverførsels- og filsynkroniseringsprotokol med krypteringsfunktion18. Dataoverførselsprotokoldokumentationen forklarer, hvordan du konfigurerer dataoverførsel til skylager. Protokollen blev først installeret på VPN-serveren, og der blev oprettet en krypteringskonfiguration, der overfører data til offsite cloud storage-webstedet.
- Anskaf en pc, der er i stand til at indsamle og gemme den ønskede mængde videofiler, inden du overfører dem til cloud storage. Sørg for, at pc'ens bundkort indeholder en TPM-chip (Trusted Platform Module).
- Datakomponenter til bærbare sensorer
- Vælg smarte ure, der skal bæres på hvert håndled af patienten for at spore signaler, herunder bevægelse, accelerometri og puls.
BEMÆRK: Apple Watch Series 3 blev valgt med en indbygget symptommonitor for bevægelsesforstyrrelser, der genererer PD-symptomscorer såsom dyskinesi og tremorscore. - Vælg og installer software på hvert smartur, der kan starte og afslutte optagelser og kan overføre data til skylagring. Vælg et program, der uploader alle datastrømme til sin tilknyttede onlineportal, så forskere og klinikere kan analysere19.
- Vælg smarte ure, der skal bæres på hvert håndled af patienten for at spore signaler, herunder bevægelse, accelerometri og puls.
Figur 2: Komponenter til videooptagelse. Hardwarekomponenterne til understøttelse af videodataindsamling er minimale, herunder en enkelt tårn-pc, USB-tilsluttede webkameraer og en lille skærm til visning af den patientvendte GUI. Skærmen er berøringsskærm aktiveret for at muliggøre nem afslutning af igangværende eller planlagte optagelser ved at trykke på knapperne synlige på GUI. Midten af GUI viser et billede af et optagelys, der bliver til en lys rød farve, når videokameraer aktivt optager. Klik her for at se en større version af denne figur.
2. Konfiguration i hjemmet
- Installation af hardware
- Bestem et passende rum til montering af webkameraer, der minimerer forstyrrelser i hjemmet. Bestem rummet gennem diskussioner med patienten; Her blev hjemmekontorområdet valgt som det optimale sted til at afbalancere optagevolumen mod privatlivets fred.
- Monter webkameraer i det identificerede område på den valgte monteringshardware. Klipning af svanehalsbeslag til tunge møbler i nærheden forhindrer kameraer i at ryste, når nogen træder i nærheden.
- Placer pc'en tilstrækkeligt tæt på de monterede webkameraer, så deres USB-kabler kan oprette forbindelse til pc'en.
- Placer tablet-pc'en, INS-komponenter, smarture og smartphones i nærheden af en stikkontakt, så alle enheder kan forblive tilsluttet og er klar til brug når som helst.
- Bekræft, at VPN er TIL ved at køre rute -n i pc-terminalen . Hvis ikke, skal du følge instruktionerne for at aktivere VPN i afsnit 1.1.3.5.
- Start applikationen til videooptagelse
- Videooptagelsesplan: Før du indsamler data, skal du diskutere en passende optagelsesplan med patienten. Konfigurer denne tidsplan på videooptagelsessoftwaren.
BEMÆRK: Hvis du bruger forfatternes brugerdefinerede videooptagelsesprogram, kan instruktioner til indstilling af en tidsplan findes på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Opdater optagelsessoftware: Sørg for, at den nyeste version af den valgte videooptagelsessoftware er blevet uploadet til pc'en ved hjælp af GitHub-maskinens brugerkonto, der blev installeret i 1.4.6.
- Start videooptagelser: Log ind på pc'en via den installerede fjernskrivebordssoftware, og start videooptagelsessoftwaren.
BEMÆRK: Hvis du bruger forfatternes brugerdefinerede videooptagelsesprogram, kan instruktioner til start af applikationen findes på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Videooptagelsesplan: Før du indsamler data, skal du diskutere en passende optagelsesplan med patienten. Konfigurer denne tidsplan på videooptagelsessoftwaren.
- Kalibrering af videokamera
- Deaktiver autofokus: For beregning af iboende parametre som objektiv og perspektivforvrængning skal du følge instruktionerne baseret på det valgte operativsystem og webkameraer for at slå autofokus fra.
BEMÆRK: På Linux tilgås webkameraer via video til Linux API, som som standard slår autofokus til, hver gang computeren, der er tilsluttet kameraerne, genstartes. Konfiguration af et script til automatisk at deaktivere dette er nødvendigt for at bevare det fokus, der er erhvervet under kamerakalibrering til behandling af 3D-stilling. - Indbygget kalibrering: Anskaf et 6 x 8 skakbrætmønster med 100 mm firkanter til understøttelse af 3D-kalibrering af software til estimering af stillinger20. Optag en video fra hvert enkelt webcam, mens en forsker vinkler skakbrættet i rammen på alle kameraer. Sørg for, at skakbrættet har et lige antal rækker og et ujævnt antal kolonner (eller omvendt). Dette vil fjerne tvetydighed med hensyn til rotation.
- Ydre kalibrering: Optag en video fra alle tre webkameraer samtidigt. Sørg for, at videoer optages i samme opløsning som alle videoer, der skal behandles til estimater af 3D-stillinger. For at sikre nøjagtig tidssynkronisering på tværs af alle videoer skal du blinke et IR LED-lys i begyndelsen og slutningen af optagelsen. Brug videoredigeringssoftware til manuelt at synkronisere videoerne ved at markere rammer ved LED'ens begyndelse og trimme videoerne til en lige længde.
- Kalibreringsmatricer: Send videoerne optaget i de foregående to trin gennem OpenPose21 for at generere iboende og ydre kalibreringsmatricer.
BEMÆRK: OpenPose bruger OpenCV-biblioteket til kamerakalibrering, og yderligere instruktioner kan findes i dokumentationen på OpenPose GitHub20,22.
- Deaktiver autofokus: For beregning af iboende parametre som objektiv og perspektivforvrængning skal du følge instruktionerne baseret på det valgte operativsystem og webkameraer for at slå autofokus fra.
3. Dataindsamling
- Patientinstruktioner til at starte optagelsen
- Kontroller enhedens batteri og strøm: INS-enheden er altid tændt for at give konstant stimulering af motivet. For at starte registrering af neurale data skal du bede patienten om at tænde tablet-pc'en og sikre, at klinikertelemetrimodulerne (CTM'er) til både venstre og højre INS-enheder er tændt og fuldt opladet.
- CTM-placering: Placer CTM'erne på begge sider af brystet. For maksimal tilslutning og for at reducere pakketab skal du placere CTM'erne tæt på brystimplantaterne under optagelserne. Yderligere steder at placere CTM'er er brystlommer på en jakke eller ved hjælp af et specialiseret tørklæde.
- Aktivér tabletforbindelse: Når tabletten er startet op, skal du bede patienten om at åbne DBS-applikationen og vælge Opret forbindelse, som beder om en Bluetooth-forbindelse til CTM'erne og derefter INS-enhederne14.
- Kameraaktivering: Bed patienten om at bekræfte, at videokameraer er tilsluttet pc'en via deres USB-kabler, og at kameraerne er tændt.
BEMÆRK: Hvis du bruger forfatternes brugerdefinerede videooptagelsesapplikation, er igangværende optagelser tydeligt angivet på den patientvendte GUI med et stort billede af et rødt lys, der er stærkt oplyst. Dette ændres til et ikke-tændt rødt lys, når optagelser er slukket. De valgte webkameraer har også en lille hvid indikatorlampe. - Smart watch aktivering: Bed patienten om at tænde smarte ure og smartphones ved at holde tænd / sluk-knappen nede. Bed dem derefter om at åbne smart watch-applikationen for at starte dataoptagelse og PD-symptomsporing.
- Bevægelsesbaserede datajusterings- og optagelsesscenarier
- Skriv eventuelle ønskede opgaver, som patienten skal udføre under dataoptagelser, inden du starter en dataindsamling.
- Da urbaseret synkronisering med flere enheder til justering af tidsstempler kan være upålidelig, skal du bede patienten om at udføre en gestus, der kan bruges til at synkronisere tidsstemplerne fra optagede data ved begyndelsen af hver ny optagelse, selv når du planlægger at optage i perioder med fri adfærd.
BEMÆRK: Forfatterne designede en simpel gestus, hvor patienten bankede på begge implanterede INS-enheder, mens de holdt hænderne inden for kameraernes synsvidde. Denne aflytning skaber karakteristiske mønstre i inertioptagelserne fra smarturene og INS-accelerometeret og er let at observere i videoer.
- Patientinstruktioner til afslutning af optagelsen
- Skift stimuleringsgruppen tilbage til patientens foretrukne klinisk tildelte gruppe.
- I den patientvendte GUI i DBS-applikationen skal du indtaste en symptomrapport.
- Luk DBS-applikationen, som afbryder CTM'erne og afslutter INS-streaming.
- Luk applikationen til optagelse af smarture, og returner CTM'erne, smartphones og smarturenhederne tilbage til deres opladningsporte.
- Dataaflastning
- Overfør rå videoer til skylagring via dataoverførselsprotokollen ved hjælp af en krypteret konfiguration. Opret et cron-job på videooptagelses-pc'en for automatisk at overføre optagede videoer til skylagring via dataoverførselsprotokol18.
BEMÆRK: Afhængigt af videoopløsningen og antallet af timer, der optages hver dag, skal internethastigheden være tilstrækkelig høj til, at alle videoer kan overføres til skylagring inden for 24 timer. Hvis dataoverførslen er for langsom, kan diskpladsen løbe tør, hvilket medfører, at yderligere videooptagelser, der er planlagt til den følgende dag, mislykkes. - Gem INS-data i det HIPAA-sikre cloudslutpunkt, der blev konfigureret i trin 1.3.2. Download INS-data fra det HIPAA-sikre cloudslutpunkt, og afidentificer dataene. Gem de afidentificerede data på ekstern skylagring.
BEMÆRK: Open source OpenMind-forbehandlingskoden23 blev brugt til at afidentificere data og konvertere dem fra json-filer til et tabelformat. Patientens tablet blev konfigureret med et HIPAA-sikkert cloudslutpunkt til midlertidig lagring af de rå INS-data; dog tænkes det, at det samme cloud storage-sted, der bruges til langtidslagring, også kan bruges til dette trin, forudsat at det er HIPAA-kompatibelt, og data krypteres inden aflastning. - Hvis det ønskes, skal du gemme en kopi af smarturdataene på et eksternt skylager, så alle datastrømme er tilgængelige ét sted.
- Overfør rå videoer til skylagring via dataoverførselsprotokollen ved hjælp af en krypteret konfiguration. Opret et cron-job på videooptagelses-pc'en for automatisk at overføre optagede videoer til skylagring via dataoverførselsprotokol18.
4. Systemkarakterisering
- Rådatavisualisering: I det ønskede kodningsmiljø skal du visualisere alle rådatastrømme for at sikre, at data blev registreret og overført korrekt uden tab eller korruption.
BEMÆRK: Det program, der blev valgt til at administrere smarturoptagelser, har en browserapp, der er nyttig til visualisering af smarturdata24. - Videoramme og tidsstempelforsinkelser: Undersøg eventuelle forsinkelser mellem tidsstempler, der genereres fra forskellige webkameraer. Analysér forsinkelser ved at optage videoer med et programmerbart LED-lys placeret i rammen på alle webkameraer.
BEMÆRK: Analyse afslørede, at en videosegmenteringsfunktion25 importeret af den brugerdefinerede videooptagelsesapp var kilden til stigende tidsstempelforsinkelser. Optagelse af videoer uden segmenteringsfunktionen resulterede i forsinkelser mellem webcamrammer og tidsstempel, der ikke steg over tid (se supplerende fil 1 og supplerende figur 1).
5. Efterbehandling og justering af data
- Stille data
- Installer software til beregning af fælles positionsestimater fra optagede videoer.
BEMÆRK: OpenPose-biblioteket blev valgt, da det inkluderer hånd- og ansigtssporing i både 2D og 3D. - OpenPose-biblioteket håndterer ikke automatisk tilfælde, hvor flere personer er i rammen, så brug et efterbehandlingsscript for at sikre, at hver persons positurestimater er kontinuerlige fra en ramme til den næste. OpenPose leverer kode til nemt at generere animationer, enten i 2D eller 3D, til visuel kontrol af stillingsestimeringskvaliteten.
- Installer software til beregning af fælles positionsestimater fra optagede videoer.
- Bevægelsesbaseret tidsjustering
- For hver INS-enhed (venstre og højre) skal du følge nedenstående trin ved hjælp af forfatternes datajusterings-GUI (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Læs i data: Få adgang til de gemte INS- og smarturaccelerometridata fra skylagring til den ønskede datasession.
BEMÆRK: En ekstra tidsserie kan tilføjes, hvis det ønskes. Figur 3 viser stillingen af højre langfingerspids i grønt. - Visualiser datastrømme i GUI: Brug den manuelle tidsjusterede GUI til at overlejre INS-accelerometri, smarturaccelerometri og posedata.
- Zoom ind på justeringsartefakter: Zoom ind på tidsaksen, og flyt visningsvinduet til brystbankningssektionen i optagelsen. Skift den justerende tidsserie, så toppen fra brysthanerne på både INS- og smart-urtidsseriesignalerne overlapper hinanden så tæt som muligt.
BEMÆRK: GUI'en er designet til at lette manuel justering af vilkårlige tidsserier til en fælles sand tid. Figur 3 viser de sande tidsserier med blåt, mens de justerende tidsserier vises med orange og grønt. Nøglevejledninger til justering af GUI er angivet på Vigtigt-filen for GitHub (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Justeringsbekræftelse: Flyt GUI-vinduet til hver af brysttappeopgaverne i optagelsen, og bekræft, at justeringen forbliver konsistent i hele tidsserien. Tryk på knappen Skift justering, og gentag justeringer på resterende datastrømme.
- Advarselsflag: For at angive, om data manglede, skiftede eller andre generelle advarsler vedrørende datakvalitet, skal du indstille advarselsflag i GUI'en ved hjælp af henholdsvis D-, S- og F-tasterne.
- Læs i data: Få adgang til de gemte INS- og smarturaccelerometridata fra skylagring til den ønskede datasession.
- For hver INS-enhed (venstre og højre) skal du følge nedenstående trin ved hjælp af forfatternes datajusterings-GUI (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Nul-normaliseret krydskorrelation (ZNCC) tidsjustering
- Identificer det signal, der mest sandsynligt er tættest på sand tid. Normalt er dette enten den med den højeste prøvefrekvens eller den hurtigste internettidsopdatering.
- Gensample de to signaler til at have samme tidsmæssige samplingfrekvens, og individuelt z-score begge signaler. Dette sikrer, at de resulterende ZNCC-scorer normaliseres til at være mellem -1 og 1, hvilket giver et skøn over lighedsniveauet mellem de to signaler, hvilket er nyttigt til at fange fejl.
- Beregn krydskorrelationen for det andet signal og det første signal ved hver tidsforsinkelse.
- Hvis faseinformation om de to signaler ikke er vigtig, tages den absolutte værdi af den målte krydskorrelationskurve.
BEMÆRK: Hvis adfærden er signifikant a-periodisk, er faseinformationen ikke nødvendig, som i dette tilfælde. - Analyser ZNCC-kurven. Hvis der er en enkelt klar top med en maksimal ZNCC-score over 0,3, svarer tiden for denne top til tidsforsinkelsen mellem de to signaler. Hvis der er flere toppe, ingen klar top, eller ZNCC-scoren er lav på tværs af alle tidsforsinkelser, skal de to signaler justeres manuelt.
Figur 3: Bevægelsesbaseret datajustering. Den øverste halvdel af figuren viser den manuelle justerings-GUI efter justering af de tre datastrømme. Den blå linje er smartwatch-accelerometridataene, den orange linje er accelerometridataene fra INS, og den grønne linje er 2D-stillingspositionen for højre langfingerspids fra et enkelt webcam. Øverst til højre viser forskydningen mellem den sande tid fra smarturet og INS samt forskellige advarselsflag for at markere eventuelle problemer, der opstår. I dette eksempel var INS 20.8 s foran smartwatchet. Den nederste venstre graf zoomes ind for at vise de fem brysttappe, der udføres af patienten til datajustering. De fem toppe er tilstrækkeligt klare i hver datastrøm til at sikre korrekt justering. Klik her for at se en større version af denne figur.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Design og implementering af prototypeplatform
Vi designede en prototypeplatform og implementerede den hjemme hos en enkelt patient (figur 1). Efter den første installation af hardware i hjemmet kan platformen vedligeholdes, og data indsamles udelukkende via fjernadgang. INS-enhederne, smarture og kameraer har patientvendte applikationer, der gør det muligt for patienter at starte og stoppe optagelser. Hardwaren til videosamling muliggør automatiske videooptagelser, når en godkendt tidsplan er konfigureret. Patienter kan nemt annullere en igangværende optagelse ved blot at trykke på en knap på videooptagelsesapplikationen GUI (figur 2). Alle indsamlede data blev krypteret og overført til et cloud storage-sted, hvor forskere kunne behandle og analysere.
Dataindsamling
Til de første implementeringer og dataindsamlingscyklusser bad vi patienten om at udføre selvstyrede kliniske opgaver. Opgaverne blev taget fra den samlede Parkinsons sygdomsvurderingsskala (UPDRS)26, nemlig hvilende tremor, tommelfinger-til-pegefinger-tapning, håndåbning og lukning, håndledspronation-supination, sidde-til-stående bevægelse og gang og en skriveopgave. Alle opgaver blev gentaget tre gange for hver optagelsesdag. For hver gentagelse blev en anden stimuleringsamplitude indstillet til at afsløre potentielle stimuleringsrelaterede symptomer på PD. Figur 4 viser et skematiseret eksempel på, hvordan en uges data indsamlet med systemet kan se ud.
Figur 4: Datatilgængelighed. En skematiseret demonstration af, hvordan en uges data indsamlet med systemet kan se ud. Det øverste plot viser stimuleringsniveauet (blåt) i løbet af flere dag/nat-cyklusser. Stimuleringsændringer for denne patient afhænger af deres søvnplan og tidspunkterne for medicinindtagelse (lodrette røde linjer). På vilkårlige tidspunkter i løbet af dagen kan dataindsamlingssystemet aktiveres eksternt for at indsamle data til flere modaliteter, vist som farvede felter. Et eksempel på alle de parallelle, tidsjusterede datastrømme, der lige er valgt ned til venstre side af kroppen, vises i det nederste plot. Under denne optagelse blev patienten bedt om at udføre en række kliniske vurderinger under lav, terapeutisk og høj amplitudestimuleringsbetingelser. Alle data vist her svarer til reelle indsamlede data, men er komprimeret på tværs af separate eksperimenter for at lette visualisering og for at vise variation. Forkortelser: LFP = lokalt feltpotentiale, STN = Subthalamus kerne, Accel = accelerometer, Gyro = gyroskop, 2D = todimensionelt. Klik her for at se en større version af denne figur.
Manuel justering
Den manuelle justerings-GUI giver en brugervenlig platform til justering af flere datastrømme. Som vist i figur 3 giver brysthaner en klart identificerbar artefakt i alle datamodaliteter (INS, smarture, videoer), der kan bruges til manuel justering. GUI'en var et nyttigt middel til at tilpasse dataene, men dette kunne udveksles med ethvert andet justeringsværktøj, som forskere gerne vil bruge. I nogle tilfælde har datastrømmene en lille afvigelse. En potentiel fremtidig løsning på dette problem ville være at opdele sessionsdataene i forskellige forsøg, hver med sin egen brysttapsekvens. Hvert forsøg kan derefter justeres individuelt for at minimere virkningen af drift.
Nul-normaliseret krydskorrelation (ZNCC) tidsjustering
Metoden til ZNCC fungerer godt i nogle tilfælde, men den har et par kritiske sårbarheder. For eksempel kan de to accelerometersignaler for nogle bevægelser faseforskydes i forhold til hinanden. Hvis en fasejusteret og faseforskudt bevægelse begge er inkluderet i de analyserede epoker, kan ZNCC enten have flere eller endda ingen klar top. Normaliseringen af ZNCC gør det muligt automatisk at identificere og kassere disse justeringer efter behov. Denne metode fungerer bedst, hvis begge signaler er relativt støjfri og vinduesvindue til en epoke med store, synkroniserede effekter i begge spor. De bedste resultater blev opnået, når patienten blev bedt om at udføre en række stærke tryk med begge hænder mod brystet. I praksis var manuel verifikation af automatiseret justering imidlertid nødvendig i tilstrækkeligt mange tilfælde til, at fordelen ved at anvende den automatiserede metode var ubetydelig.
Datakvalitet
Datatab under automatisk overførsel var ubetydeligt, da dataoverførselsprotokolprocessen sikkerhedskopierer rå kopier for at sikre, at eventuelle tab kan genoprettes. Datatab fra forbindelsesproblemer opstod regelmæssigt, da Bluetooth og radiofrekvens undertiden har uventede forbindelsesudfald og er begrænset rækkevidde. Korte mellemrum på op til 2 sekunder opstod ca. et par gange i timen, og længere mellemrum på op til 2 minutter opstod ca. en gang hvert par timer. Ud over datatab blev der observeret signifikante stimuleringsartefakter i neurale data, hvis sværhedsgrad afhang af optagelsen og de valgte stimuleringsgrupper. De største artefakter forekommer nær stimuleringsfrekvensen, langt uden for interesseområder. Ingen artefakter blev observeret i data fra smarte ure. Videoer blev optaget med en konstant billedhastighed; Duplikatrammer blev dog identificeret i videoer. Dette gav en faktisk billedhastighed til at være et par billeder mindre end den teoretiske billedhastighed som angivet i webcamspecifikationerne. Mere mærkbar end de duplikerede rammer var dog fryseperioder, der blev identificeret i videoer med forskellige intervaller afhængigt af optagelsesdagen. Fryseperioder på ca. 10 billeder eller mindre blev regelmæssigt observeret; Imidlertid blev længere sektioner på ca. 2 til 30 sekunder lange også observeret i uregelmæssige perioder.
Indsamling af tidsseriedata
Tabel 1 viser de data, som platformsprototypen periodisk har indsamlet i løbet af 1,5 år. I den tid blev der indsamlet hundredvis af timers data med i alt 293 timers INS-data på tværs af begge sider af kroppen, 224 timers smarturdata for begge ure og 2,037 timers videodata på tværs af tre webkameraer. Dette viser, at platformen understøtter hjemmedataindsamling over længere perioder, samtidig med at den giver en sjælden mulighed for at observere langsgående ændringer i neurale data og tilsvarende stimuleringskrav.
| Datatype | Samlet varighed (hh:mm:ss) | Samlet antal dage | Lagerstørrelse |
| Neurale | 293:17:33 | 90 | 28,94 GB |
| Ur | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146.073,77 GB |
Tabel 1: Tidsserieoversigt over indsamlede data. Den implementerede platform indsamlede data under flere eksperimenter i løbet af 1,5 år. Cirka 90 dage blev registreret med neurale, video- og smarturdatastrømme, der blev indsamlet.
Estimater af 2D- og 3D-stillinger
Flere poseestimeringssoftwarepakker er nu tilgængelige. Pose estimering blev testet ved hjælp af OpenPose, en open source-softwarepakke21. Dette blev installeret med succes efter dokumentationen fra organisationens GitHub samt mange andre uofficielle tutorials, der findes på nettet. Behandlingstiden for OpenPose varierer betydeligt afhængigt af, hvordan OpenPose-biblioteket og dets omfattende afhængigheder er installeret, størrelsen på den anvendte GPU, og om de valgfrie hånd- og ansigtsnøglepunkter behandles. 2D-stilling var relativt let at implementere, men 3D-stilling var markant vanskeligere, og foreløbige 3D-resultater gav inkonsekvent kvalitet svarende til 2D-stilling. Den lave kvalitet 3D-stillingsestimering kan være blevet påvirket negativt af suboptimal kamerakalibrering, perioder, hvor kameraets autofokus fejlagtigt blev tændt, eller iboende i selve OpenPose-softwaren. Synkroniserede videoer i høj kvalitet fra flere vinkler kan dog give rige input til en række tilgængelige softwarepakker til estimering af stillinger. Det anbefales, at en testopsætning udføres uden for patientens hjem med manuel benchmarking af forskellige tilgængelige softwarepakker til estimering af stillinger.
Supplerende figur 1: Analyse af videobilledforsinkelse. Forsinkelser i tidsstempler genereret fra videooptagelsesappen blev registreret under systemkarakterisering. For at undersøge årsagen til forsinkelserne blev rammenummeret og tidsstemplet, der blev genereret fra hvert kamera, bestemt ved at optage et rødt LED-lys, der blinkede med tilfældige intervaller, hvorefter variationerne i tidsstempelforsinkelser på tværs af kameraer blev beregnet. (Øverst) LED-intensiteter (i RGB-enheder) målt på hvert af de tre kameraer, der viser tidsforskydningerne mellem de tre kameraer (angivet med røde pile). (Nederst) Tre plots viser tidsstempelforsinkelserne mellem kameraerne i antallet af billeder for en række LED-blink over hele optagelsen. Hver optagelse blev opdelt i flere segmenter, og billedforsinkelsen var omtrent konstant over tid. Klik her for at downloade denne fil.
Supplerende fil 1: Videoramme og tidsstempelanalysemetode. Klik her for at downloade denne fil.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Vi deler designet til en hjemmeprototype af en multimodal dataindsamlingsplatform til støtte for fremtidig forskning i neuromodulationsforskning. Designet er open source og modulært, således at ethvert stykke hardware kan udskiftes, og enhver softwarekomponent kan opdateres eller ændres, uden at den samlede platform kollapser. Mens metoderne til indsamling og afidentifikation af neurale data er specifikke for den valgte INS, er de resterende metoder og den overordnede tilgang til adfærdsmæssig dataindsamling agnostiske over for, hvilken implanterbar enhed der anvendes. Vi implementerede platformen hjemme hos en person med PD og indsamlede data i både eksperimentelle og naturalistiske perioder. Under implementeringer, dataindsamlinger og post-hoc databehandling blev der opdaget flere aspekter, der var særligt afgørende for at muliggøre vellykkede forskningsiterationer.
Et værdifuldt medlem af vores team var forskningskoordinatoren, der rejste til patientens hjem for at installere hardware, konfigurere VPN, udføre kamerakalibrering til 3D-stilling og lede patienten gennem, hvordan man bruger hver enheds patientvendte GUI. Det er vigtigt, at forskningskoordinatoren desuden fungerede som det vigtigste kontaktpunkt mellem patienten og forskerholdet. Patienten foretrak at bruge deres e-mail-chatfunktion til hurtigt at sende beskeder frem og tilbage. At have et konsekvent og tilgængeligt kontaktpunkt var især nyttigt på to måder:
At etablere en velkendt kommunikationskanal, hvor patienten kan anmode om ændringer i planlagte optagelser og kommunikere eventuelle vanskeligheder ved systembrug. Dette hjalp forskningskoordinatoren med at identificere bekvemme tidspunkter for patienten at gennemføre optagelseseksperimenter. Den største vanskelighed ved systembrug, der blev rapporteret, var behovet for at holde styr på batterilevetiden for flere enheder.
At gøre det muligt for systemfejlfinding at være minimalt forstyrrende for patienten. De fleste fejlfinding stammede fra netværksforbindelsesproblemer, der opstod i gennemsnit en gang hvert par uger. Mens genstart af enheder typisk løste disse problemer, krævede urene ofte flere genstarter, hvilket patienten rapporterede var byrdefuldt.
Det er vigtigt at sikre robust fjernadgang til den hardware, der er placeret i patientens hjem. For at opnå dette er det afgørende at have en stabil internetforbindelse. Det er også nødvendigt at konfigurere en diskkrypteret maskine til automatisk at låse op, når en maskine genstarter. Ikke overraskende gav et ethernet-kabel konsekvent de hurtigste og mest pålidelige netværksforbindelser. Mindre forventet var behovet for at konfigurere en TPM-chip, der var nødvendig på grund af at vælge Linux som OS. Hvis der bruges et Windows OS, tager deres Bitlocker-program sig automatisk af dette. Endelig sikrede konfiguration af den implementerede pc til automatisk at aktivere VPN og genmontere harddisken ved genstart af systemet fortsat fjernadgang uden at skulle besøge patientens hjem gentagne gange. Inkorporering af en VPN og en datakrypteringsprotokol i platformens design var afgørende for datasikkerhed og integritet. VPN'en gør det muligt at forbinde et netværk af computere uden behov for brugerdefineret portvideresendelse for at blive konfigureret på en patients private router. Open source-datakrypteringsprotokollen Rclone-programmet leverede en standarddatakryptering og et let automatiseret middel til overførsel af data fra patientenheder til skylagring18. Datakrypteringsprotokollen laver sikkerhedskopier af rådata under dataoverførselstrinnene for at sikre, at tab kan gendannes. Disse trin sikrede, at patientens private data blev holdt sikre og ubeskadigede.
For at kunne udføre meningsfuld dataanalyse er det vigtigt, at de data, der indsamles fra flere enheder, er tidsjusteret. Urene på hver enhed er sandsynligvis ikke perfekt tilpasset en fælles internettid, selvom producenterne antyder, at de er det. Derudover kan nogle enheder opleve drift på uforudsigelige tidspunkter, hvilket ændrer deres forskydninger i forhold til de andre enheder. Dette skaber vanskeligheder med at arbejde hen imod fuldt automatiserede, adaptive algoritmer i realtid, og fremtidig forskning skal nøje overveje løsninger på dette problem. Metoder til automatisk justering blev undersøgt ved hjælp af normaliseret krydskorrelation. Dette fungerer rimeligt godt i mange tilfælde; Tidsforskydningerne skal dog være minimale, og dataene skal indeholde klart identificerbare signaler. Fordi der både blev registreret store afvigelser og perioder, hvor data havde for meget støj eller pakketab, kan man ikke stole fuldt ud på denne fuldautomatiske metode. For at minimere byrden ved manuelt at justere data oprettede vi en simpel GUI, der giver forskere mulighed for visuelt at kontrollere datastrømme med relativ lethed og hurtighed.
Inkluderingen af videodata i systemet gør det muligt for klinikere at måle symptomernes sværhedsgrad gennem fjernobservation, og forskere kan få begivenhedsetiketter. Derudover kan positurestimater beregnes ud fra videoer som en kontinuerlig måling af bevægelseskvalitet, såsom måling af hastigheden og glatheden af fingerbevægelser over tid. Indsamling af videoer i høj opløsning fra flere kameraer kræver dog omfattende lagerplads. For eksempel tager indsamling af 8 timers 4k-videoer i MJPEG-format fra tre kameraer ca. 0.5 TB lagerplads. Registrering og lagring af store mængder data bliver hurtigt dyrt, hvilket skaber en økonomisk flaskehals for implementering af dette system til mange patienter. For at få sådanne platforme til at skalere til mange patienter skal fremtidige systemdesignere reducere mængden af data, der kræves til langtidsopbevaring. Fremtidige systemer bør overveje at inkludere posebehandling i realtid, så videoer straks kan slettes, efter at stillingen er behandlet. Posering i realtid kan også give feedback om finmotorik i lukkede algoritmer, hvilket ligger uden for rammerne af dette arbejde. Hvis det er nødvendigt at bevare nogle videodata til klinikergennemgang eller hændelsesmærkning, kan disse nedsamples til en lavere opløsning, før de gemmes på skylageret.
Endelig, for effektivt at løse de designfejl og implementeringsfejl, der altid opstår, når man bygger et integreret system, er det ekstremt værdifuldt at erhverve en kopi af den hardware, der skal implementeres til brug som testrig. Dette gjaldt for test af hardware og software, der blev valgt til indsamling af videoer og behandling af posedata. Hele processen med at erhverve videoer og posere estimater i både 2D- og 3D-rum var betydeligt mere udfordrende end forventet. En testrig giver mulighed for fejlfinding og stresstest af en række vigtige trin inden implementering, herunder:
Korrekt kalibrering af kameraer inden for layoutbegrænsningerne i et givet rum.
Identifikation af passende videoopløsning og framerate for at understøtte estimering af positurer i høj kvalitet. For små rum eller kontorlignende miljøer er HD-videooptagelse sandsynligvis tilstrækkelig, da størrelsen på personer på den optagede video er stor nok, så stillingen let kan beregnes, mens den kræver betydeligt mindre lagerplads end 4k-video.
Opdage fejl i optagede videoer, såsom frysning af rammer eller tidsforskydninger mellem sekventielt skrevne videofiler.
Eksponering af uventede softwarestandarder, såsom nulstilling af kameraets autofokus ved genstart af maskinen, hvilket udelukker fordelen ved kamerakalibrering.
Prøv dig frem for at finde kompatible versioner af softwarebibliotekerne, der skal være forudinstalleret for at gøre det muligt for OpenPose at køre på en mellemstor GPU.
En særlig begrænsning af dette arbejde er at implementere platformen i en enkelt pilotundersøgelse hjemme hos en person, hvilket forhindrer os i at opdage generaliseringer på tværs af deltagere fra at blive opdaget. I løbet af design- og udviklingsprocessen blev systemet imidlertid designet til at være skalerbart og understøtte flere implementeringer til understøttelse af fjernstudier, og formålet med denne pilotundersøgelse var at fastslå den teknologiske gennemførlighed af en sofistikeret hjemmeovervågningsplatform. Ændring af dette pilotdesign baseret på nogle af de diskuterede afgørende fund og implementering af platformen til flere hjem vil muliggøre yderligere forfining af designet til støtte for fremtidig forskning i aDBS derhjemme. Derudover vil indsamling af data under yderligere tidspunkter, hvor en person ikke udfører forudbestemte eksperimenter, give indsigt for at forbedre analyser og den samlede behandlingseffektivitet. aDBS kan give en foretrukken metode til behandling af neurologiske sygdomme, herunder PD sammenlignet med konventionel DBS, der kan have uacceptable bivirkninger. At bringe denne vigtige terapi til mange individer kræver automatisering af parameterindstilling og analyse af terapieffektivitet uden for klinikken over tid. Platformen giver en ny tilgang til indsamling af videokamera, smartur i hjemmet, neural optagelse og patientrapportdata under eksperimentelle og naturlige aktiviteter fra patientens eget hjem. Systemet vil bidrage yderligere til at skabe nye multimodale datasæt til støtte for fremtidige opdagelser inden for behandling af neurologiske sygdomme15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ingen interessekonflikter at oplyse.
Acknowledgments
Dette materiale er baseret på arbejde støttet af National Science Foundation Graduate Research Fellowship Program (DGE-2140004), Weill Neurohub og National Institute of Health (UH3NS100544). Eventuelle meninger, resultater og konklusioner eller anbefalinger, der udtrykkes i dette materiale, er forfatterens (e) og afspejler ikke nødvendigvis synspunkterne fra National Science Foundation, Weill Neurohub eller National Institute of Health. Vi takker Tianjiao Zhang for hans ekspertkonsultationer om platformsdesign og inkorporering af videodata. Vi takker især patienten for deres deltagelse i denne undersøgelse og for feedback og rådgivning om netværkssikkerhed og platformdesign.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
