Summary
Protokollet visar en prototyp av den multimodala datainsamlingsplattformen för hemmabruk som stöder forskning som optimerar adaptiv djup hjärnstimulering (aDBS) för personer med neurologiska rörelsestörningar. Vi presenterar också viktiga resultat från att ha implementerat plattformen i över ett år till hemmet hos en person med Parkinsons sjukdom.
Abstract
Adaptiv djup hjärnstimulering (aDBS) är lovande för att förbättra behandlingen av neurologiska sjukdomar som Parkinsons sjukdom (PD). aDBS använder symtomrelaterade biomarkörer för att justera stimuleringsparametrar i realtid för att rikta symtomen mer exakt. För att möjliggöra dessa dynamiska justeringar måste parametrar för en aDBS-algoritm bestämmas för varje enskild patient. Detta kräver tidskrävande manuell justering av kliniska forskare, vilket gör det svårt att hitta en optimal konfiguration för en enskild patient eller att skala upp till många patienter. Dessutom är den långsiktiga effektiviteten hos aDBS-algoritmer som konfigureras på kliniken medan patienten är hemma fortfarande en öppen fråga. För att implementera denna behandling i stor skala behövs en metod för att automatiskt konfigurera aDBS-algoritmparametrar samtidigt som behandlingsresultaten övervakas på distans. I det här dokumentet delar vi med oss av en design för en datainsamlingsplattform för hemmabruk för att hjälpa fältet att ta itu med båda problemen. Plattformen består av ett integrerat hårdvaru- och mjukvaruekosystem som är öppen källkod och möjliggör insamling hemma av neurala, tröghets- och flerkameravideodata. För att säkerställa integriteten för patientidentifierbara data krypterar och överför plattformen data via ett virtuellt privat nätverk. Metoderna omfattar tidsjustering av dataströmmar och extrahering av poseuppskattningar från videoinspelningar. För att demonstrera användningen av detta system distribuerade vi denna plattform till hemmet hos en individ med Parkinsons sjukdom och samlade in data under självstyrda kliniska uppgifter och perioder av fritt beteende under loppet av 1,5 år. Data registrerades vid subterapeutiska, terapeutiska och supraterapeutiska stimuleringsamplituder för att utvärdera svårighetsgraden av motoriska symtom under olika terapeutiska förhållanden. Dessa tidsjusterade data visar att plattformen är kapabel till synkroniserad multimodal datainsamling i hemmet för terapeutisk utvärdering. Denna systemarkitektur kan användas för att stödja automatiserad aDBS-forskning, för att samla in nya datamängder och för att studera de långsiktiga effekterna av DBS-behandling utanför kliniken för dem som lider av neurologiska sjukdomar.
Introduction
Djup hjärnstimulering (DBS) behandlar neurologiska sjukdomar som Parkinsons sjukdom (PD) genom att leverera elektrisk ström direkt till specifika regioner i hjärnan. Det finns uppskattningsvis 8,5 miljoner fall av Parkinsons sjukdom i världen, och DBS har visat sig vara en kritisk behandling när medicineringen är otillräcklig för att hantera symtomen 1,2. DBS-effektiviteten kan dock begränsas av biverkningar som ibland uppstår från stimulering som konventionellt levereras med fast amplitud, frekvens och pulsbredd3. Denna öppna implementering svarar inte på fluktuationer i symtomtillståndet, vilket resulterar i stimuleringsinställningar som inte är lämpligt anpassade till patientens förändrade behov. DBS hindras ytterligare av den tidskrävande processen att justera stimuleringsparametrar, som för närvarande utförs manuellt av kliniker för varje enskild patient.
Adaptiv DBS (aDBS) är en sluten metod som visat sig vara en effektiv nästa iteration av DBS genom att justera stimuleringsparametrar i realtid när symtomrelaterade biomarkörer detekteras 3,4,5. Studier har visat att betaoscillationer (10-30 Hz) i den subtalamiska kärnan (STN) förekommer konsekvent under bradykinesi, en långsammare rörelse som är karakteristisk för PD 6,7. På liknande sätt är det känt att oscillationer med högt gamma (50-120 Hz) i cortex förekommer under perioder av dyskinesi, en överdriven och ofrivillig rörelse som också är vanlig vid PD8. Nyligen har man framgångsrikt administrerat aDBS utanför kliniken under längre perioder5, men den långsiktiga effektiviteten hos aDBS-algoritmer som konfigurerades på kliniken medan en patient är hemma har inte fastställts.
Fjärrsystem behövs för att fånga den tidsvarierande effektiviteten hos dessa dynamiska algoritmer när det gäller att undertrycka symtom som uppstår i det dagliga livet. Även om den dynamiska stimuleringsmetoden med aDBS potentiellt möjliggör en mer exakt behandling med minskade biverkningar3,9, lider aDBS fortfarande av en hög börda för kliniker att manuellt identifiera stimuleringsparametrar för varje patient. Förutom den redan stora uppsättningen parametrar att programmera under konventionell DBS, introducerar aDBS-algoritmer många nya parametrar som också måste justeras noggrant. Denna kombination av stimulerings- och algoritmparametrar ger ett stort parameterutrymme med ett ohanterligt antal möjliga kombinationer, vilket hindrar aDBS från att skalas till många patienter10. Även i forskningsmiljöer gör den extra tid som krävs för att konfigurera och utvärdera aDBS-system det svårt att på ett adekvat sätt optimera algoritmer enbart i kliniken, och fjärruppdatering av parametrar behövs. För att göra aDBS till en behandling som kan skalas måste stimulering och justering av algoritmparametrar automatiseras. Dessutom måste resultaten av behandlingen analyseras i upprepade studier för att etablera aDBS som en livskraftig långtidsbehandling utanför kliniken. Det finns ett behov av en plattform som kan samla in data för fjärrutvärdering av behandlingens effektivitet och för att på distans distribuera uppdateringar av aDBS-algoritmparametrar.
Målet med detta protokoll är att tillhandahålla en återanvändbar design för en multimodal datainsamlingsplattform i hemmet för att förbättra aDBS-effektiviteten utanför kliniken och göra det möjligt för denna behandling att skalas till ett större antal individer. Såvitt vi vet är det den första designen av datainsamlingsplattformen som på distans utvärderar terapeutiska resultat med hjälp av videokameror i hemmet, bärbara sensorer, kronisk neural signalinspelning och patientdriven feedback för att utvärdera aDBS-system under kontrollerade uppgifter och naturalistiskt beteende.
Plattformen är ett ekosystem av hård- och mjukvarukomponenter som bygger på tidigare utvecklade system5. Det kan underhållas helt och hållet genom fjärråtkomst efter en första installation av minimal hårdvara för att möjliggöra multimodal datainsamling från en person i bekvämligheten av sitt hem. En nyckelkomponent är det implanterbara neurostimuleringssystemet (INS)11 som känner av neural aktivitet och levererar stimulering till STN och registrerar acceleration från bröstimplantat. För implantatet som används vid den första utplaceringen registreras neural aktivitet från bilaterala elektroder som implanteras i STN och från elektrokortikoselektroder som implanteras över den motoriska cortex. Ett videoinspelningssystem hjälper läkare att övervaka symtomens svårighetsgrad och behandlingens effektivitet, vilket inkluderar ett grafiskt användargränssnitt (GUI) för att möjliggöra enkel annullering av pågående inspelningar för att skydda patientens integritet. Videor bearbetas för att extrahera kinematiska positionsbanor i tvådimensionella (2D) eller tredimensionella (3D), och smarta klockor bärs på båda handlederna för att fånga vinkelhastighet och accelerationsinformation. Det är viktigt att all data krypteras innan den överförs till långsiktig molnlagring, och datorn med videor som kan identifieras av patienten kan endast nås via ett virtuellt privat nätverk (VPN). Systemet innehåller två metoder för post-hoc tidsanpassning av alla dataströmmar, och data används för att fjärrövervaka patientens rörelsekvalitet och för att identifiera symtomrelaterade biomarkörer för att förfina aDBS-algoritmer. Videodelen av detta arbete visar datainsamlingsprocessen och animationer av kinematiska banor som extraherats från insamlade videor.
Ett antal designöverväganden vägledde utvecklingen av protokollet:
Säkerställande av datasäkerhet och patientintegritet: Insamling av identifierbara patientdata kräver största möjliga försiktighet vid överföring och lagring för att vara HIPAA (Health Insurance Portability and Accountability Act)12,13 och att respektera patientens integritet i sitt eget hem. I detta projekt uppnåddes detta genom att sätta upp en anpassad VPN för att säkerställa integriteten för all känslig trafik mellan systemdatorer.
Säkerhetsgränser för stimuleringsparametrar: Det är viktigt att se till att patienten förblir säker när du provar aDBS-algoritmer som kan ha oavsiktliga effekter. Patientens INS måste konfigureras av en läkare för att ha säkra gränser för stimuleringsparametrar som inte tillåter osäkra effekter från överstimulering eller understimulering. Med INS-systemet11 Den här funktionen används i denna studie och aktiveras av en klinisk programmerare.
Säkerställande av patientens veto: Även inom säkra parametergränser kan den dagliga variationen av symtom och stimuleringssvar resultera i obehagliga situationer för patienten där de ogillar en algoritm som testas och vill återgå till normal klinisk öppen DBS. Det valda INS-systemet innehåller en patienttelemetrimodul (PTM) som gör det möjligt för patienten att manuellt ändra sin stimuleringsgrupp och stimuleringsamplitud i mA. Det finns också en INS-ansluten forskningsapplikation som används för fjärrkonfiguration av INS före datainsamling14, vilket också gör det möjligt för patienten att avbryta aDBS-prövningar och kontrollera sin behandling.
Fånga komplext och naturligt beteende: Videodata införlivades i plattformen för att göra det möjligt för kliniker att fjärrövervaka behandlingens effektivitet och för att extrahera kinematiska banor från poseuppskattningar för användning i forskningsanalyser15. Även om bärbara sensorer är mindre påträngande är det svårt att fånga hela kroppens dynamiska rörelseomfång enbart med hjälp av bärbara system. Videor gör det möjligt att samtidigt registrera patientens hela rörelseomfång och deras symtom över tid.
Systemanvändbarhet för patienter: Att samla in multimodala data i hemmet kräver att flera enheter installeras och används i en patients hem, vilket kan bli betungande för patienter att navigera. För att göra systemet enkelt att använda samtidigt som patientkontrollen säkerställs måste endast de enheter som är implanterade eller fysiskt anslutna till patienten (i det här fallet inkluderade det INS-systemet och smarta klockor) slås PÅ manuellt innan en inspelning initieras. För enheter som är separata från patienten (i det här fallet inkluderar det data som spelats in från videokameror) startar och slutar inspelningarna automatiskt utan att det krävs någon patientinteraktion. Försiktighet vidtogs under GUI-designen för att minimera antalet knappar och för att undvika djupa menyträd så att interaktionerna var enkla. När alla enheter har installerats visade en forskningssamordnare patienten hur man interagerar med alla enheter via patientinriktade grafiska användargränssnitt som är en del av varje enhet, till exempel hur man avslutar inspelningar på vilken enhet som helst och hur man anger sin medicineringshistorik och symtomrapporter.
Transparens i datainsamling: Att tydligt indikera när kamerorna är påslagna är absolut nödvändigt så att människor vet när de spelas in och kan avbryta inspelningen om de behöver en stunds avskildhet. För att uppnå detta används en kamerasystemapplikation för att styra videoinspelningar med ett patientvänt GUI. Det grafiska användargränssnittet öppnas automatiskt när programmet startas och listar tid och datum för nästa schemalagda inspelning. När en inspelning pågår visas ett meddelande om när inspelningen är schemalagd att avslutas. I mitten av GUI visas en stor bild av ett rött ljus. Bilden visar att ljuset lyser starkt när en inspelning pågår och ändras till en icke-upplyst bild när inspelningarna är AV.
Protokollet beskriver metoder för att designa, bygga och distribuera en datainsamlingsplattform för hemmabruk, för kvalitetskontroll av de insamlade uppgifterna för fullständighet och robusthet och för efterbehandling av data för användning i framtida forskning.
Bild 1: Dataflöde. Data för varje modalitet samlas in oberoende av patientens bostad innan de bearbetas och aggregeras till en enda fjärrlagringsslutpunkt. Data för varje modalitet skickas automatiskt till en fjärrlagringsslutpunkt. Med hjälp av en av teammedlemmarna kan den sedan hämtas, kontrolleras för giltighet, tidsanpassas över modaliteter samt utsättas för mer modalitetsspecifik förbehandling. Den kompilerade datauppsättningen laddas sedan upp till en fjärrlagringsslutpunkt som kan nås på ett säkert sätt av alla teammedlemmar för fortsatt analys. Alla maskiner med dataåtkomst, särskilt för känsliga data som rå video, är inneslutna i en VPN som säkerställer att all data överförs säkert och att lagrad data alltid är krypterad. Klicka här för att se en större version av denna figur.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Patienterna rekryteras genom en större IRB- och IDE-godkänd studie i aDBS vid University of California, San Francisco, protokoll # G1800975. Patienten som var inskriven i denna studie gav dessutom informerat samtycke specifikt för denna studie.
1. Systemkomponenter i hemmet
- Central server och VPN
- Skaffa en persondator (PC) som kör ett Linux-baserat operativsystem (OS) som är dedikerat till att betjäna ett VPN. Förvara maskinen i ett säkert rum. Diskkryptera maskinen för att säkerställa datasäkerheten.
- Konfigurera VPN-servern så att den är offentligt tillgänglig på minst en port.
OBS: I det här fallet uppnåddes detta genom att samarbeta med IT-avdelningen för att ge servern en extern statisk IP-adress och en anpassad URL av universitetets DNS-värdalternativ. - För serverinstallation, slutför följande steg en gång på den dator som valts för att betjäna VPN.
- Brandväggskonfiguration: Kör följande kommandon i PC-terminalen för att installera och konfigurera okomplicerad brandvägg:
sudo apt installera ufw
sudo ufw tillåter ssh
sudo ufw tillåt/udp
sudo ufw aktivera - Server VPN-installation: Installera WireGuard VPN-protokoll16 med öppen källkod på datorn och navigera till installationskatalogen. I PC-terminalen kör du umask 007 för att uppdatera katalogåtkomstregler.
- Nyckelgenerering: I PC-terminalen, kör
WG Genkey | Tee privatekey | wg pubkey > publickey
Detta genererar ett offentligt/privat nyckelpar för VPN-servern. Den här offentliga nyckeln delas till alla klientdatorer som ansluter till VPN. - VPN-konfiguration: I PC-terminalen kör du touch
.conf för att skapa en konfigurationsfil, där filnamnet ska matcha namnet på gränssnittet. Klistra in följande serverregler i den här filen:
[Gränssnitt]
PrivateKey =
Adress = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Kamrat]
PublicKey =
AllowedIPs = ##.#.#.#/ ## - Aktivera VPN: Starta VPN genom att ange wg-quick up
i terminalen. För att aktivera VPN-protokollet så att det startar automatiskt när datorn startas om, kör följande i terminalen:
systemctl aktivera wg-quick@
- Brandväggskonfiguration: Kör följande kommandon i PC-terminalen för att installera och konfigurera okomplicerad brandvägg:
- För klientinstallation utför du följande steg för varje ny dator som behöver åtkomst till VPN.
- Klient-VPN-installation: Installera VPN-protokollet enligt de OS-specifika instruktionerna på nedladdningssidan för WireGuard16 .
- Lägga till en klient till VPN: Ta den offentliga nyckeln från konfigurationsfilen som genererades under installationen. Klistra in den här nyckeln i peer-avsnittet i serverns konfigurationsfil.
- Aktivera VPN: Starta VPN enligt de OS-specifika instruktionerna på nedladdningssidan för WireGuard16 .
- Lagring i molnet
- Välj en molnlagringsplats för att göra det möjligt att lagra alla inspelade dataströmmar på lång sikt på ett ställe. Här användes en Amazon-webbtjänstbaserad molnlagringsplats som var kompatibel med det valda dataöverföringsprotokollet.
- Implanterbart neuromoduleringssystem
- Följ IRB- och IDE-riktlinjerna, välj ett implanterbart neuromodulationssystem (INS)11 som gör det möjligt för patienter att manuellt ändra sina stimuleringsinställningar.
- Skaffa en surfplatta och installera UCSF DBS-programmet med öppen källkod för att möjliggöra INS-registreringar, rapportering av mediciner och symtom eller andra patientkommentarer14. Konfigurera INS-data som strömmas till surfplattan så att de laddas upp till en tillfällig HIPPA-kompatibel molnlagringsslutpunkt för tillfällig lagring före avidentifiering av data och avlastning till långsiktig molnlagring.
- System för insamling av video
- Skaffa en dator som kan samla in och lagra önskad mängd videofiler innan du överför dem till molnlagring. Se till att PC-moderkortet innehåller ett TPM-chip (Trusted Platform Module).
OBS: I det här fallet valdes en dator med en 500 GB SSD, en 2 TB hårddisk och en 6 GB GPU. En disk på 2 TB säkerställer att videor kan buffras efter en lång inspelningssession eller om du tappar internetanslutningen i ett par dagar, medan den enda datorn håller hårdvaran minimalt påträngande i hemmet. - Installera önskat operativsystem och följ anvisningarna för att aktivera automatisk diskkryptering för att säkerställa patientens integritet och för att undvika dataläckage. I det här fallet valdes ett Linux-baserat operativsystem med en Ubuntu-distribution för dess användarvänlighet och tillförlitlighet.
- Kryptera alla hårddiskar separat när operativsystemet har installerats. Se till att aktivera automatisk återmontering av disken vid omstart av systemet.
- Konfigurera datorns inbyggda TPM-krets för att behålla åtkomsten till den diskkrypterade datorn efter en omstartav systemet 17.
OBS: Om du använder ett Linux-operativsystem, se till att välja ett moderkort med ett TPM2-chip installerat för att aktivera det här steget. Om ett Windows-operativsystem används kan automatisk diskkryptering och upplåsning hanteras av Bitlocker-programmet. - Konfigurera datorn som en VPN-klient genom att följa installationsstegen i 1.1.4. Aktivera VPN-protokollet så att det startar automatiskt när datorn startas om som i avsnitt 1.1.3.5 för att säkerställa att forskardatorer alltid kan få fjärråtkomst till datorn (rekommenderas).
- Skapa ett GitHub-datoranvändarkonto för att enkelt automatisera uppdateringar av programvara som är installerad på datorn. Det här kontot fungerar som en webhook för att automatisera hämtning från fjärr-git-slutpunkten och hjälper till att identifiera eventuella uppdateringar som skickas från fjärrdatorn.
- Välj programvara för att schemalägga och styra videoinspelningar och installera detta på datorn. För att maximera patientens integritet och komfort bör den valda programvaran innehålla ett grafiskt användargränssnitt (GUI) för att tydligt indikera när inspelningar pågår och för att möjliggöra enkel avslutning av inspelningar när som helst.
OBS: Om så önskas kan författarnas anpassade videoinspelningsprogram med ett patientriktat GUI installeras genom att ladda ner programmet och följa instruktionerna på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Välj en bildskärm för att indikera när videor spelas in och för att göra det möjligt för personer att enkelt avsluta inspelningar. Välj en bildskärm med pekskärmsfunktion så att inspelningar kan avslutas utan att du behöver använda ett tangentbord eller en mus.
- Installera ett fjärrskrivbordsprogram på datorn. Detta gör det möjligt att köra en applikation med ett GUI så att GUI förblir synligt på både patientsidan och fjärrforskarsidan.
OBS: NoMachine-fjärrskrivbordsapplikationen med öppen källkod fungerade bäst för ett Linux-operativsystem. - Välj USB-kompatibla webbkameror med tillräckligt hög upplösning för att beräkna poser i det givna utrymmet.
OBS: I det här fallet valdes 4k-kompatibla webbkameror, som erbjuder flera kombinationer av upplösning och bildhastighet, inklusive 4k-upplösning vid 30 fps eller HD-upplösning vid 60 fps. - Välj robust hårdvara för montering av webbkameror i patientens hem. Använd svanhalsfästen med klämmor för att fästa dem på möblerna för att förhindra att kamerorna skakar.
- Välj ett dataöverföringsprotokoll med krypteringskapacitet och installera detta på datorn. Skapa en konfiguration för att få åtkomst till molnlagringsplatsen och skapa sedan en krypteringskonfiguration för att omsluta den första konfigurationen före dataöverföringen.
I det här fallet installerades ett dataöverförings- och filsynkroniseringsprotokoll med öppen källkod med krypteringsfunktion18. Dokumentationen för dataöverföringsprotokollet förklarar hur du konfigurerar dataöverföring till molnlagring. Protokollet installerades först på VPN-servern och en krypteringskonfiguration skapades som överför data till den externa molnlagringsplatsen.
- Skaffa en dator som kan samla in och lagra önskad mängd videofiler innan du överför dem till molnlagring. Se till att PC-moderkortet innehåller ett TPM-chip (Trusted Platform Module).
- Datakomponenter för bärbara sensorer
- Välj smarta klockor som ska bäras på varje handled på patienten för att spåra signaler inklusive rörelse, accelerometri och hjärtfrekvens.
Apple Watch Series 3 valdes ut med en inbyggd symptommonitor för rörelsestörningar som genererar PD-symptompoäng som dyskinesi och tremorpoäng. - Välj och installera programvara på varje smartklocka som kan starta och avsluta inspelningar och överföra data till molnlagring. Välj ett program som laddar upp alla dataströmmar till sin tillhörande onlineportal så att forskare och kliniker kan analysera19.
- Välj smarta klockor som ska bäras på varje handled på patienten för att spåra signaler inklusive rörelse, accelerometri och hjärtfrekvens.
Bild 2: Komponenter för videoinspelning. Hårdvarukomponenterna för att stödja insamling av videodata är minimala, inklusive en dator med ett torn, USB-anslutna webbkameror och en liten bildskärm för att visa patientens GUI. Monitorn är pekskärmsaktiverad för att möjliggöra enkel avslutning av pågående eller schemalagda inspelningar genom att trycka på knapparna som är synliga på GUI. I mitten av det grafiska användargränssnittet visas en bild av ett inspelningsljus som får en klarröd färg när videokameror spelar in aktivt. Klicka här för att se en större version av denna figur.
2. Konfiguration i hemmet
- Installation av hårdvara
- Bestäm ett lämpligt utrymme för montering av webbkameror som minimerar störningar i hemmet. Bestäm utrymmet genom diskussioner med patienten; Här valdes hemmakontoret som den optimala platsen för att balansera inspelningsvolymen mot integriteten.
- Montera webbkameror i det identifierade området på den valda monteringsutrustningen. Att fästa svanhalsfästen på tunga möbler i närheten förhindrar att kamerorna skakar när någon går i närheten.
- Placera datorn tillräckligt nära de monterade webbkamerorna så att deras USB-kablar kan anslutas till datorn.
- Placera surfplattan, INS-komponenterna, smarta klockor och smarta telefoner nära ett eluttag så att alla enheter kan vara anslutna och redo att användas när som helst.
- Bekräfta att VPN är PÅ genom att köra route - n i PC-terminalen . Om inte, följ instruktionerna för att aktivera VPN i avsnitt 1.1.3.5.
- Starta videoinspelningsprogrammet
- Schema för videoinspelning: Innan du samlar in några data, diskutera ett lämpligt inspelningsschema med patienten. Konfigurera detta schema på videoinspelningsprogrammet.
OBS: Om du använder författarnas anpassade videoinspelningsprogram finns instruktioner för att ställa in ett schema på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Uppdatera inspelningsprogramvara: Se till att den senaste versionen av den valda videoinspelningsprogramvaran har laddats upp till datorn med GitHub-maskinens användarkonto som installerades i 1.4.6.
- Starta videoinspelningar: Logga in på datorn via den installerade programvaran för fjärrskrivbord och starta programvaran för videoinspelning.
Om du använder författarnas anpassade videoinspelningsprogram finns instruktioner för hur du startar programmet på GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Schema för videoinspelning: Innan du samlar in några data, diskutera ett lämpligt inspelningsschema med patienten. Konfigurera detta schema på videoinspelningsprogrammet.
- Kalibrering av videokamera
- Inaktivera autofokus: För beräkning av inneboende parametrar som objektiv och perspektivförvrängning, följ instruktionerna baserat på det valda operativsystemet och webbkamerorna för att stänga av autofokusen.
OBS: På Linux nås webbkameror via video för Linux API, som som standard aktiverar autofokus varje gång datorn som är ansluten till kamerorna startas om. Det är nödvändigt att konfigurera ett skript för att automatiskt inaktivera detta för att bevara det fokus som förvärvats under kamerakalibreringen för bearbetning av 3D-posering. - Inbyggd kalibrering: Skaffa ett 6 x 8 schackbrädesmönster med 100 mm rutor för att stödja 3D-kalibrering av programvara för poseuppskattning20. Spela in en video från varje enskild webbkamera medan en forskare vinklar schackbrädet i ramen på alla kameror. Se till att schackbrädet har ett jämnt antal rader och ett ojämnt antal kolumner (eller vice versa). Detta kommer att ta bort oklarheter angående rotation.
- Yttre kalibrering: Spela in en video från alla tre webbkamerorna samtidigt. Se till att videor spelas in med samma upplösning som alla videor som ska bearbetas för uppskattningar av 3D-posering. För att säkerställa exakt tidssynkronisering över alla videor, blinka en IR LED-lampa i början och slutet av inspelningen. Använd videoredigeringsprogram för att synkronisera videorna manuellt genom att markera bildrutor i början av lysdioden och trimma videorna till samma längd.
- Kalibreringsmatriser: Skicka videorna som spelats in i de föregående två stegen genom OpenPose21 för att generera inbyggda och yttre kalibreringsmatriser.
OpenPose använder OpenCV-biblioteket för kamerakalibrering, och ytterligare instruktioner finns i dokumentationen på OpenPose GitHub20,22.
- Inaktivera autofokus: För beräkning av inneboende parametrar som objektiv och perspektivförvrängning, följ instruktionerna baserat på det valda operativsystemet och webbkamerorna för att stänga av autofokusen.
3. Insamling av uppgifter
- Patientinstruktioner för att börja spela in
- Kontrollera enhetens batteri och ström: INS-enheten är alltid PÅ för att ge konstant stimulering för motivet. För att börja registrera neurala data, be patienten att slå på surfplattan och se till att klinikertelemetrimodulerna (CTM) för både vänster och höger INS-enheter är PÅ och fulladdade.
- CTM-placering: Placera CTM:erna på båda sidor av bröstet. För maximal anslutning och för att minska paketförlusten, placera CTM:erna nära bröstimplantaten under inspelningar. Ytterligare platser att placera CTM är bröstfickor på en jacka eller med hjälp av en specialiserad halsduk.
- Aktivera surfplatteanslutning: När surfplattan har startat upp, be patienten att öppna DBS-applikationen och välj Anslut, vilket uppmanar till en Bluetooth-anslutning till CTM:erna och därefter INS-enheterna14.
- Kameraaktivering: Be patienten bekräfta att videokamerorna är anslutna till datorn via deras USB-kablar och att kamerorna har slagits PÅ.
OBS: Om du använder författarnas anpassade videoinspelningsapplikation indikeras pågående inspelningar tydligt på patientens GUI med en stor bild av en röd lampa som lyser starkt. Detta ändras till ett icke-tänt rött ljus när inspelningar är AV. De valda webbkamerorna har också en liten vit indikatorlampa. - Aktivering av smart klocka: Be patienten att slå PÅ smarta klockor och smarta telefoner genom att hålla ned strömknappen . Be dem sedan att öppna smartklocksapplikationen för att initiera dataregistrering och spårning av PD-symtom.
- Gestbaserade datajusterings- och inspelningsscenarier
- Skriv ut alla önskade uppgifter som patienten ska utföra under dataregistreringar innan en datainsamling påbörjas.
- Eftersom klockbaserad synkronisering av flera enheter för justering av tidsstämplar kan vara otillförlitlig, be patienten att utföra en gest som kan användas för att synkronisera tidsstämplarna från inspelad data i början av varje ny registrering, även när du planerar att spela in under perioder av fritt beteende.
OBS: Författarna utformade en enkel gest där patienten knackade på båda implanterade INS-enheterna samtidigt som de höll händerna inom synhåll för kamerorna. Denna knackning skapar distinkta mönster i tröghetsinspelningarna från de smarta klockorna och INS-accelerometern och är lätt att observera i videor.
- Patientinstruktioner för att avsluta inspelningen
- Byt tillbaka stimuleringsgruppen till patientens föredragna kliniskt tilldelade grupp.
- I det patientriktade grafiska användargränssnittet i DBS-programmet anger du en symtomrapport.
- Stäng DBS-applikationen, som kopplar bort CTM:erna och avslutar INS-strömningen.
- Stäng inspelningsapplikationen för smartklockor och återställ CTM:erna, smarttelefonerna och smartklockorna till sina laddningsportar.
- Avlastning av data
- Överför råvideor till molnlagring via dataöverföringsprotokollet med hjälp av en krypterad konfiguration. Skapa ett cron-jobb på videoinspelningsdatorn för att automatiskt överföra inspelade videor till molnlagring via dataöverföringsprotokollet18.
OBS: Beroende på upplösningen på videor och antalet timmar som spelas in varje dag måste internethastigheten vara tillräckligt hög för att alla videor ska kunna överföras till molnlagring inom 24 timmar. Om dataöverföringen är för långsam kan diskutrymmet ta slut, vilket gör att ytterligare videoinspelningar som schemalagts för följande dag misslyckas. - Spara INS-data till den HIPAA-säkra molnslutpunkten som konfigurerades i steg 1.3.2. Ladda ned INS-data från den HIPAA-säkra molnslutpunkten och avidentifiera data. Spara avidentifierade data i extern molnlagring.
OBS: OpenMind-förbehandlingskoden23 med öppen källkod användes för att avidentifiera data och konvertera den från json-filer till ett tabellformat. Patientens surfplatta konfigurerades med en HIPAA-säker molnslutpunkt för tillfällig lagring av rådata från INS. Det är dock tänkbart att samma molnlagringsplats som används för långtidslagring också kan användas för detta steg, förutsatt att den är HIPAA-kompatibel och att data krypteras före avlastning. - Om så önskas kan du spara en kopia av smartklockans data på en extern molnlagring så att alla dataströmmar är tillgängliga på en plats.
- Överför råvideor till molnlagring via dataöverföringsprotokollet med hjälp av en krypterad konfiguration. Skapa ett cron-jobb på videoinspelningsdatorn för att automatiskt överföra inspelade videor till molnlagring via dataöverföringsprotokollet18.
4. Karakterisering av systemet
- Visualisering av rådata: I önskad kodningsmiljö visualiserar du alla rådataströmmar för att säkerställa att data registrerades och överfördes på rätt sätt utan förlust eller skada.
OBS: Applikationen som valdes för att hantera inspelningar av smarta klockor har en webbläsarapp som är användbar för att visualisera smartklocksdata24. - Videobildrute- och tidsstämpelfördröjningar: Inspektera eventuella fördröjningar mellan tidsstämplar som genereras från olika webbkameror. Analysera fördröjningar genom att spela in videor med en programmerbar LED-lampa placerad i ramen på alla webbkameror.
OBS: Analysen visade att en videosegmenteringsfunktion25 som importerats av den anpassade videoinspelningsappen var källan till ökande tidsstämpelfördröjningar. Inspelning av videor utan segmenteringsfunktionen resulterade i fördröjningar mellan webbkamerans bildrutor och tidsstämplar som inte ökade med tiden (se tilläggsfil 1 och kompletterande figur 1).
5. Förbehandling och anpassning av data efter hoc
- Posera data
- Installera programvara för att beräkna uppskattningar av gemensamma positioner från inspelade videor.
OpenPose-biblioteket valdes eftersom det innehåller hand- och ansiktsspårning i både 2D och 3D. - OpenPose-biblioteket hanterar inte automatiskt fall där flera personer är i bildrutan, så använd ett efterbearbetningsskript för att säkerställa att varje persons poseuppskattningar är kontinuerliga från en bildruta till nästa. OpenPose tillhandahåller kod för att enkelt generera animationer, antingen i 2D eller 3D, för visuella kontroller av poseuppskattningens kvalitet.
- Installera programvara för att beräkna uppskattningar av gemensamma positioner från inspelade videor.
- Gestbaserad tidsjustering
- För varje INS-enhet (vänster och höger) följer du stegen som beskrivs nedan med hjälp av författarnas datajusteringsgränssnitt (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Läs in data: Få tillgång till sparade INS- och smartklockans accelerometridata från molnlagring för önskad datasession.
OBS: Ytterligare en tidsserie kan läggas till om så önskas. Figur 3 visar ställningspositionen för höger långfingertopp i grönt. - Visualisera dataströmmar i GUI: Använd det manuella tidsjusteringsgränssnittet för att överlagra INS-accelerometrin, smartklockans accelerometri och poseringsdata.
- Zooma in på justeringsartefakter: Zooma in på tidsaxeln och flytta visningsfönstret till avsnittet för bröstknackning i inspelningen. Flytta den justerande tidsserien så att toppen från bröstet trycker på både INS- och smartklockans tidsseriesignaler överlappar varandra så nära som möjligt.
OBS: GUI är utformat för att underlätta manuell justering av godtyckliga tidsserier till en gemensam sann tid. Figur 3 visar den sanna tidsserien i blått, medan de justerande tidsserierna visas i orange och grönt. Viktiga guider för GUI-justering anges på GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Justeringsbekräftelse: Flytta GUI-fönstret till var och en av bröstknackningsuppgifterna i inspelningen och bekräfta att justeringen förblir konsekvent genom hela tidsserien. Tryck på knappen Växla justering och upprepa justeringarna på återstående dataströmmar.
- Varningsflaggor: För att indikera om data saknades, förskjutna eller andra allmänna varningar om datakvalitet, ställ in varningsflaggor i GUI med D-, S- respektive F-tangenterna.
- Läs in data: Få tillgång till sparade INS- och smartklockans accelerometridata från molnlagring för önskad datasession.
- För varje INS-enhet (vänster och höger) följer du stegen som beskrivs nedan med hjälp av författarnas datajusteringsgränssnitt (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Tidsjustering för nollnormaliserad korskorrelation (ZNCC)
- Identifiera den signal som mest sannolikt är närmast sann tid. Vanligtvis är detta antingen den med den högsta samplingsfrekvensen eller den snabbaste uppdateringen av internettid.
- Sampla om de två signalerna så att de har samma tidsmässiga samplingsfrekvens och z-poänga båda signalerna individuellt. Detta säkerställer att de resulterande ZNCC-poängen kommer att normaliseras till att vara mellan -1 och 1, vilket ger en uppskattning av likhetsnivån mellan de två signalerna, vilket är användbart för att fånga upp fel.
- Beräkna korskorrelationen mellan den andra signalen och den första signalen vid varje tidsfördröjning.
- Om fasinformationen för de två signalerna inte är viktig, ta det absoluta värdet av den uppmätta korskorrelationskurvan.
OBS: Om beteendet är signifikant aperiodiskt är fasinformationen inte nödvändig, som i det här fallet. - Analysera ZNCC-kurvan. Om det finns en enda tydlig topp, med en topp ZNCC-poäng över 0.3, motsvarar tiden för denna topp tidsfördröjningen mellan de två signalerna. Om det finns flera toppar, ingen tydlig topp eller om ZNCC-poängen är låg över alla tidsfördröjningar, måste de två signalerna justeras manuellt.
Bild 3: Gestbaserad datajustering. Den övre halvan av figuren visar det manuella justeringsgränssnittet efter att ha justerat de tre dataströmmarna. Den blå linjen är smartwatchens accelerometridata, den orange linjen är accelerometridata från INS och den gröna linjen är 2D-pospositionen för höger långfingertopp från en enda webbkamera. Längst upp till höger visas förskjutningen mellan den sanna tiden från smartklockan och INS samt olika varningsflaggor för att markera eventuella problem som uppstår. I det här exemplet var INS 20,8 s före smartklockan. Det nedre vänstra diagrammet zoomas in för att visa de fem brösttryck som patienten har utfört för datajustering. De fem topparna är tillräckligt tydliga i varje dataström för att säkerställa korrekt anpassning. Klicka här för att se en större version av denna figur.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Design och distribution av prototypplattformar
Vi designade en prototypplattform och distribuerade den till en enskild patients hem (figur 1). Efter den första installationen av hårdvara i hemmet kan plattformen underhållas och data samlas in helt och hållet via fjärråtkomst. INS-enheterna, smarta klockor och kameror har patientriktade applikationer som gör det möjligt för patienter att starta och stoppa inspelningar. Maskinvaran för videoinsamling möjliggör automatiska videoinspelningar efter att ett godkänt schema har konfigurerats. Patienter kan enkelt avbryta en pågående inspelning genom att helt enkelt trycka på en knapp på videoinspelningsprogrammets grafiska gränssnitt (figur 2). All insamlad data krypterades och överfördes till en molnlagringsplats för forskare att bearbeta och analysera.
Datainsamling
För de första implementeringarna och datainsamlingscyklerna bad vi patienten att utföra självstyrda kliniska uppgifter. Uppgifterna hämtades från den enhetliga skalan för Parkinsons sjukdom (UPDRS)26, nämligen vilotremor, knackning med tummen mot pekfingret, öppning och stängning av händerna, pronationssupination av handleden, rörelser från sittande till stående och gång, samt en skrivuppgift. Alla uppgifter upprepades tre gånger för varje inspelningsdag. För varje repetition ställdes en annan stimuleringsamplitud in för att exponera potentiella stimuleringsrelaterade symtom på Parkinsons sjukdom. Figur 4 visar ett schematiserat exempel på hur en veckas data som samlats in med systemet kan se ut.
Bild 4: Tillgängliga data. En schematiserad demonstration av hur en veckas data som samlats in med systemet kan se ut. Det översta diagrammet visar stimuleringsnivån (blå) under loppet av flera dag/natt-cykler. Stimuleringsförändringar för denna patient är beroende av deras sömnschema och tidpunkterna för läkemedelsintag (vertikala röda linjer). Vid godtyckliga tidpunkter under dagen kan datainsamlingssystemet aktiveras på distans för att samla in data för flera modaliteter, som visas som färgade rutor. Ett exempel på alla parallella, tidsjusterade dataströmmar, som bara är nedmarkerade till vänster om brödtexten, visas i den nedre ritytan. Under denna inspelning ombads patienten att utföra en serie kliniska bedömningar under stimuleringsförhållanden med låg, terapeutisk och hög amplitud. Alla data som visas här motsvarar verkliga data som samlats in men har komprimerats över separata experiment för att underlätta visualisering och för att visa variation. Förkortningar: LFP = lokal fältpotential, STN = Subtalamisk kärna, Accel = accelerometer, Gyro = gyroskop, 2D = tvådimensionell. Klicka här för att se en större version av denna figur.
Manuell justering
Det manuella justeringsgränssnittet ger en lättanvänd plattform för att justera flera dataströmmar. Som visas i figur 3 ger bröstkranar en tydligt identifierbar artefakt i alla datamodaliteter (INS, smarta klockor, videor) som kan användas vid manuell justering. Det grafiska användargränssnittet var ett användbart sätt att anpassa data, men detta kunde bytas ut mot vilket annat anpassningsverktyg som helst som forskare skulle vilja använda. I vissa fall har dataströmmarna en liten avvikelse. En potentiell framtida lösning på detta problem skulle vara att dela upp sessionsdata i olika försök, var och en med sin egen brösttryckssekvens. Varje försök kan sedan justeras individuellt för att minimera effekten av avdrift.
Tidsjustering för nollnormaliserad korskorrelation (ZNCC)
Metoden för ZNCC fungerar bra i vissa fall men den har några kritiska sårbarheter. Till exempel, för vissa rörelser, kan de två accelerometersignalerna fasförskjutas i förhållande till varandra. Om en fasjusterad och fasförskjuten rörelse båda ingår i de analyserade epokerna, kan ZNCC ha antingen flera eller till och med ingen tydlig topp. Normaliseringen av ZNCC gör att dessa anpassningar automatiskt kan identifieras och kasseras efter behov. Den här metoden fungerar bäst om båda signalerna är relativt brusfria och har fönster till en epok med stora, synkroniserade effekter i båda spåren. De bästa resultaten uppnåddes när patienten ombads att utföra en serie starka knackningar med båda händerna mot bröstet. I praktiken var dock manuell verifiering av automatisk justering nödvändig i tillräckligt många fall för att fördelen med att använda den automatiserade metoden var försumbar.
Uppgifternas kvalitet
Dataförlusten under den automatiska överföringen var försumbar eftersom dataöverföringsprotokollprocessen säkerhetskopierar råkopior för att säkerställa att eventuella förluster kan återställas. Dataförlust på grund av anslutningsproblem inträffade regelbundet, eftersom Bluetooth och radiofrekvens ibland har oväntade anslutningsavbrott och är räckviddsbegränsade. Korta mellanrum på upp till 2 sekunder inträffade ungefär några gånger i timmen, och längre mellanrum på upp till 2 minuter inträffade ungefär en gång varannan timme. Utöver dataförlust observerades signifikanta stimuleringsartefakter i neurala data, vars svårighetsgrad berodde på inspelningen och de stimuleringsgrupper som valts. De största artefakterna förekommer nära stimuleringsfrekvensen, långt utanför intresseintervallen. Inga artefakter observerades i data från smarta klockor. Videor spelades in med en konstant bildfrekvens; Dubbletter av bildrutor identifierades dock i videor. Detta gav en faktisk bildfrekvens som var några bildrutor lägre än den teoretiska bildfrekvensen som anges i webbkamerans specifikationer. Mer märkbara än de dubbla bildrutorna var dock frysningsperioder som identifierades i videor med varierande intervall beroende på inspelningsdag. Frysperioder på cirka 10 bilder eller mindre observerades regelbundet; Längre avsnitt på cirka 2 till 30 sekunder observerades dock också vid oregelbundna perioder.
Longitudinell datainsamling
Tabell 1 visar de data som plattformsprototypen periodvis har samlat in under 1,5 år. Under den tiden samlades hundratals timmar data in, med totalt 293 timmars INS-data på båda sidor av kroppen, 224 timmars smartklocksdata för båda klockorna och 2 037 timmars videodata över tre webbkameror. Detta visar att plattformen stöder datainsamling i hemmet under längre tidsperioder samtidigt som den erbjuder en sällsynt möjlighet att observera longitudinella förändringar i neurala data och motsvarande stimuleringskrav.
| Datatyp | Total varaktighet (tt:mm:ss) | Totalt antal dagar | Storlek på lagringsutrymme |
| Neurala | 293:17:33 | 90 | 28,94 GB |
| Klocka | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146 073,77 GB |
Tabell 1: Longitudinell översikt över insamlade data. Den distribuerade plattformen samlade in data under flera experiment under loppet av 1,5 år. Cirka 90 dagar registrerades med dataströmmar från neural, video och smarta klockor som samlades in.
Uppskattningar av 2D- och 3D-poser
Flera programvarupaket för posuppskattning finns nu tillgängliga. Pose-uppskattning testades med OpenPose, ett programvarupaket med öppen källkod21. Detta installerades framgångsrikt efter dokumentationen från organisationens GitHub, liksom många andra inofficiella handledningar som finns på webben. Bearbetningstiden för OpenPose varierar avsevärt beroende på hur OpenPose-biblioteket och dess omfattande beroenden installeras, storleken på den GPU som används och om de valfria nyckelpunkterna för händer och ansikte bearbetas. 2D-posering var relativt lätt att implementera, men 3D-posering var betydligt svårare och preliminära 3D-resultat gav inkonsekvent kvalitet som var lika hög som för 2D-pose. Den lågkvalitativa uppskattningen av 3D-posering kan ha påverkats negativt av suboptimal kamerakalibrering, perioder där kamerans autofokus var felaktigt påslagen eller inneboende i själva OpenPose-programvaran. Synkroniserade videor av hög kvalitet från flera vinklar kan dock ge omfattande indata för en mängd olika tillgängliga programvarupaket för poseuppskattning. Det rekommenderas att en testinstallation slutförs utanför patientens hem, med manuell benchmarking av olika tillgängliga programvarupaket för poseuppskattning.
Kompletterande figur 1: Analys av videobildfördröjning. Fördröjningar i tidsstämplar som genererats från videoinspelningsappen upptäcktes under systemkarakteriseringen. För att undersöka orsaken till fördröjningarna bestämdes bildnumret och tidsstämpeln som genererades från varje kamera genom att spela in en röd LED-lampa som blinkade med slumpmässiga intervall, sedan beräknades variationerna i tidsstämpelfördröjningar mellan kamerorna. (Överst) LED-intensiteter (i RGB-enheter) uppmätta på var och en av de tre kamerorna, som visar tidsförskjutningarna som observerats mellan de tre kamerorna (betecknade med röda pilar). (Nederst) Tre diagram visar tidsstämpelfördröjningen mellan kamerorna i antal bildrutor för en serie LED-blinkningar under hela inspelningen. Varje inspelning delades upp i flera segment och bildfördröjningen var ungefär konstant över tid. Klicka här för att ladda ner den här filen.
Tilläggsfil 1: Analysmetod för videobildruta och tidsstämpel. Klicka här för att ladda ner den här filen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Vi delar designen för en hemmaprototyp av en multimodal datainsamlingsplattform för att stödja framtida forskning inom neuromodulationsforskning. Designen är öppen källkod och modulär, så att vilken hårdvara som helst kan bytas ut och vilken mjukvarukomponent som helst kan uppdateras eller ändras utan att den övergripande plattformen kollapsar. Även om metoderna för att samla in och avidentifiera neurala data är specifika för den valda INS, är de återstående metoderna och det övergripande tillvägagångssättet för insamling av beteendedata agnostiska för vilken implanterbar enhet som används. Vi distribuerade plattformen hemma hos en person med Parkinsons sjukdom och samlade in data under både experimentella och naturalistiska perioder. Under driftsättningar, datainsamlingar och post-hoc databehandling upptäcktes flera aspekter som var särskilt avgörande för att möjliggöra framgångsrika forskningsiterationer.
En värdefull medlem i vårt team var forskningssamordnaren som reste till patientens hem för att installera hårdvara, konfigurera VPN, utföra kamerakalibrering för 3D-ställning och gå igenom hur man använder varje enhets patientvända GUI. Viktigt är att forskningskoordinatorn dessutom fungerade som den huvudsakliga kontaktpunkten mellan patienten och forskargruppen. Patienten föredrog att använda sin e-postchatt för att snabbt skicka meddelanden fram och tillbaka. Att ha en konsekvent och tillgänglig kontaktpunkt var särskilt användbart på två sätt:
Att skapa en välbekant kommunikationskanal för patienten att begära ändringar i schemalagda inspelningar och att kommunicera eventuella svårigheter i systemanvändningen. Detta hjälpte forskningskoordinatorn att identifiera lämpliga tidpunkter för patienten att utföra registreringsexperiment. Den största svårigheten vid systemanvändning som rapporterades var behovet av att hålla reda på batteritiden för flera enheter.
För att tillåta systemfelsökning att vara minimalt störande för patienten. Den mesta felsökningen härrörde från problem med nätverksanslutningen som inträffade i genomsnitt en gång varannan vecka. Även om omstart av enheter vanligtvis löste dessa problem, krävde klockorna ofta flera omstarter, vilket patienten rapporterade var betungande.
Det är viktigt att säkerställa robust fjärråtkomst till hårdvaran som placeras i patientens hem. För att uppnå detta är det avgörande att ha en stabil internetanslutning. Det är också nödvändigt att konfigurera en diskkrypterad dator så att den låses upp automatiskt när en dator startas om. Föga förvånande gav en Ethernet-kabel konsekvent de snabbaste och mest pålitliga nätverksanslutningarna. Mindre väntat var behovet av att konfigurera ett TPM-chip, vilket var nödvändigt på grund av att man valde Linux som operativsystem. Om ett Windows-operativsystem används kommer deras Bitlocker-program att ta hand om detta automatiskt. Slutligen, genom att konfigurera den distribuerade datorn för att automatiskt aktivera VPN och återmontera hårddisken vid omstart av systemet säkerställdes fortsatt fjärråtkomst utan att behöva besöka patientens hem upprepade gånger. Att införliva en VPN och ett datakrypteringsprotokoll i plattformsdesignen var avgörande för datasäkerhet och integritet. VPN gör det möjligt att ansluta ett nätverk av datorer utan att behöva konfigurera anpassad portvidarebefordran på en patients privata router. Datakrypteringsprotokollet Rclone med öppen källkod försett med en standarddatakryptering och ett enkelt automatiserat sätt att överföra data från patientenheter till molnlagring18. Datakrypteringsprotokollet gör säkerhetskopior av rådata under sina dataöverföringssteg för att säkerställa att förluster kan återvinnas. Dessa steg säkerställde att patientens privata data hölls säkra och oskadade.
För att kunna genomföra meningsfull dataanalys är det viktigt att data som samlas in från flera enheter är tidsanpassade. Klockorna på varje enhet är sannolikt inte perfekt anpassade till en vanlig internettid, även om tillverkarna föreslår att de är det. Dessutom kan vissa enheter uppleva drift vid oförutsägbara tidpunkter och ändra sina förskjutningar i förhållande till de andra enheterna. Detta skapar svårigheter att arbeta mot helt automatiserade, adaptiva algoritmer i realtid, och framtida forskning kommer att behöva noggrant överväga lösningar på detta problem. Metoder för automatisk anpassning utforskades med hjälp av normaliserad korskorrelation. Detta fungerar ganska bra i många fall; Tidsavvikelserna måste dock vara minimala och data bör innehålla tydligt identifierbara signaler. Eftersom både stora avvikelser och perioder där data hade för mycket brus eller paketförlust påträffades, kan man inte förlita sig helt på den här helautomatiska metoden. För att minimera bördan av att manuellt justera data skapade vi ett enkelt GUI som gör det möjligt för forskare att visuellt kontrollera dataströmmar relativt enkelt och snabbt.
Införandet av videodata i systemet gör det möjligt för kliniker att mäta symtomens svårighetsgrad genom fjärrobservation, och forskare kan få händelseetiketter. Dessutom kan poseuppskattningar beräknas från videor som ett kontinuerligt mått på rörelsekvalitet, t.ex. genom att mäta fingerrörelsernas hastighet och jämnhet över tid. Att samla in högupplösta videor från flera kameror kräver dock omfattande lagringsutrymme. Att till exempel samla in 8 timmars 4k-videor i MJPEG-format från tre kameror tar cirka 0,5 TB lagringsutrymme. Att registrera och lagra stora mängder data blir snabbt dyrt, vilket skapar en ekonomisk flaskhals för att distribuera detta system till många patienter. För att få sådana plattformar att kunna skalas upp till många patienter måste framtida systemkonstruktörer minska mängden data som krävs för långtidslagring. Framtida system bör överväga att inkludera posbearbetning i realtid så att videor snabbt kan raderas efter att posen har bearbetats. Realtidsposering kan också ge feedback om finmotorik i slutna algoritmer, vilket ligger utanför ramen för detta arbete. Om vissa videodata behöver bevaras för klinikergranskning eller händelseetikettering kan dessa nedsamplas till en lägre upplösning innan de sparas i molnlagringen.
Slutligen, för att effektivt ta itu med de designfel och implementeringsfel som alltid uppstår när man bygger ett integrerat system, är det extremt värdefullt att skaffa en kopia av hårdvaran som ska användas som en testrigg. Detta gällde för att testa den maskinvara och programvara som valdes ut för att samla in videor och bearbeta posedata. Hela processen med att samla in videor och posuppskattningar i både 2D- och 3D-rymden var betydligt mer utmanande än väntat. En testrigg gör det möjligt att felsöka och stresstesta ett antal viktiga steg före driftsättning, inklusive:
Korrekt kalibrering av kameror inom layoutbegränsningarna för ett visst rum.
Identifiera lämplig videoupplösning och bildfrekvens för att stödja poseuppskattning av hög kvalitet. För små rum eller kontorsliknande miljöer är HD-videoinspelning sannolikt tillräcklig, eftersom storleken på individerna på den inspelade videon är tillräckligt stor så att posen enkelt kan beräknas samtidigt som den kräver betydligt mindre lagringsutrymme än 4k-video.
Upptäcka buggar i inspelade videor, till exempel frysning av bildrutor eller tidsfördröjningar mellan sekventiellt skrivna videofiler.
Exponera oväntade programvaruinställningar, t.ex. återställning av kamerans autofokus vid omstart av maskinen, vilket utesluter fördelarna med kamerakalibrering.
Försök och misstag för att hitta kompatibla versioner av programvarubiblioteken som måste vara förinstallerade för att OpenPose ska kunna köras på en medelstor GPU.
En särskild begränsning i detta arbete är att distribuera plattformen i en enda pilotstudie till en individs hem, vilket hindrar oss från att upptäcka några generaliseringar mellan deltagare från att upptäckas. Men under hela design- och utvecklingsprocessen utformades systemet för att vara skalbart och stödja flera distributioner för att stödja fjärrstudier, och syftet med denna pilotstudie var att fastställa den tekniska genomförbarheten av en sofistikerad plattform för övervakning i hemmet. Att modifiera denna pilotdesign baserat på några av de diskuterade avgörande resultaten och distribuera plattformen till fler hem kommer att möjliggöra ytterligare förfining av designen för att stödja framtida forskning inom aDBS i hemmet. Att samla in data under ytterligare tidpunkter när en individ inte utför förutbestämda experiment kommer dessutom att ge insikter för att förbättra analyser och övergripande behandlingseffektivitet. aDBS kan vara en bättre metod för behandling av neurologiska sjukdomar, inklusive Parkinsons sjukdom, jämfört med konventionell DBS som kan ha oacceptabla biverkningar. För att få denna viktiga behandling till många individer krävs automatisering av parameterjustering och analys av behandlingens effektivitet utanför kliniken över tid. Plattformen tillhandahåller ett nytt tillvägagångssätt för att samla in videokamera, smart klocka, neural inspelning och patientrapportdata under experimentella och naturliga aktiviteter från bekvämligheten av patientens eget hem. Systemet kommer vidare att bidra till att skapa nya multimodala dataset för att stödja framtida upptäckter vid behandling av neurologiska sjukdomar15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har inga intressekonflikter att redovisa.
Acknowledgments
Detta material är baserat på arbete som stöds av National Science Foundation Graduate Research Fellowship Program (DGE-2140004), Weill Neurohub och National Institute of Health (UH3NS100544). Alla åsikter, fynd och slutsatser eller rekommendationer som uttrycks i detta material är författarens/författarnas och återspeglar inte nödvändigtvis åsikterna från National Science Foundation, Weill Neurohub eller National Institute of Health. Vi tackar Tianjiao Zhang för hans expertkonsultationer om plattformsdesign och införlivande av videodata. Vi tackar särskilt patienten för deras deltagande i denna studie och för feedback och råd om nätverkssäkerhet och plattformsdesign.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
