Summary
Il protocollo mostra un prototipo della piattaforma di raccolta dati multimodale a domicilio che supporta la ricerca che ottimizza la stimolazione cerebrale profonda adattiva (aDBS) per le persone con disturbi neurologici del movimento. Presentiamo anche i risultati chiave dell'implementazione della piattaforma per oltre un anno a casa di un individuo con malattia di Parkinson.
Abstract
La stimolazione cerebrale profonda adattiva (aDBS) è promettente per migliorare il trattamento dei disturbi neurologici come il morbo di Parkinson (PD). aDBS utilizza biomarcatori correlati ai sintomi per regolare i parametri di stimolazione in tempo reale per indirizzare i sintomi in modo più preciso. Per abilitare queste regolazioni dinamiche, è necessario determinare i parametri per un algoritmo aDBS per ogni singolo paziente. Ciò richiede una lunga messa a punto manuale da parte dei ricercatori clinici, rendendo difficile trovare una configurazione ottimale per un singolo paziente o scalare per molti pazienti. Inoltre, l'efficacia a lungo termine degli algoritmi aDBS configurati in clinica mentre il paziente è a casa rimane una questione aperta. Per implementare questa terapia su larga scala, è necessaria una metodologia per configurare automaticamente i parametri dell'algoritmo aDBS monitorando a distanza i risultati della terapia. In questo documento, condividiamo un progetto per una piattaforma di raccolta dati a domicilio per aiutare il settore ad affrontare entrambi i problemi. La piattaforma è composta da un ecosistema hardware e software integrato che è open-source e consente la raccolta domestica di dati video neurali, inerziali e multi-camera. Per garantire la privacy dei dati identificabili dai pazienti, la piattaforma crittografa e trasferisce i dati attraverso una rete privata virtuale. I metodi includono l'allineamento temporale dei flussi di dati e l'estrazione di stime di posa dalle registrazioni video. Per dimostrare l'uso di questo sistema, abbiamo implementato questa piattaforma a casa di un individuo con PD e abbiamo raccolto dati durante attività cliniche autoguidate e periodi di comportamento libero nel corso di 1,5 anni. I dati sono stati registrati ad ampiezze di stimolazione sub-terapeutica, terapeutica e sovra-terapeutica per valutare la gravità dei sintomi motori in diverse condizioni terapeutiche. Questi dati allineati nel tempo mostrano che la piattaforma è in grado di raccogliere dati multimodali sincronizzati a casa per la valutazione terapeutica. Questa architettura di sistema può essere utilizzata per supportare la ricerca automatizzata sull'aDBS, per raccogliere nuovi set di dati e per studiare gli effetti a lungo termine della terapia DBS al di fuori della clinica per coloro che soffrono di disturbi neurologici.
Introduction
La stimolazione cerebrale profonda (DBS) tratta i disturbi neurologici come il morbo di Parkinson (PD) fornendo corrente elettrica direttamente a specifiche regioni del cervello. Si stima che ci siano 8,5 milioni di casi di malattia di Parkinson in tutto il mondo e la DBS ha dimostrato di essere una terapia critica quando i farmaci sono insufficienti per gestire i sintomi 1,2. Tuttavia, l'efficacia della DBS può essere limitata dagli effetti collaterali che a volte si verificano dalla stimolazione che viene convenzionalmente erogata ad ampiezza, frequenza e larghezza di impulsofisse 3. Questa implementazione a circuito aperto non risponde alle fluttuazioni dello stato dei sintomi, con conseguenti impostazioni di stimolazione che non sono adeguatamente adattate alle mutevoli esigenze del paziente. La DBS è ulteriormente ostacolata dal lungo processo di regolazione dei parametri di stimolazione, che attualmente viene eseguito manualmente dai medici per ogni singolo paziente.
La DBS adattiva (aDBS) è un approccio a circuito chiuso che ha dimostrato di essere un'efficace iterazione successiva della DBS, regolando i parametri di stimolazione in tempo reale ogni volta che vengono rilevati biomarcatori correlati ai sintomi 3,4,5. Gli studi hanno dimostrato che le oscillazioni beta (10-30 Hz) nel nucleo subtalamico (STN) si verificano costantemente durante la bradicinesia, un rallentamento del movimento caratteristico della PD 6,7. Allo stesso modo, è noto che le oscillazioni ad alta gamma (50-120 Hz) nella corteccia si verificano durante i periodi di discinesia, un movimento eccessivo e involontario comunemente osservato anche nel PD8. Lavori recenti hanno somministrato con successo aDBS al di fuori della clinica per periodi prolungati5, tuttavia l'efficacia a lungo termine degli algoritmi aDBS che sono stati configurati in clinica mentre un paziente è a casa non è stata stabilita.
I sistemi remoti sono necessari per catturare l'efficacia variabile nel tempo di questi algoritmi dinamici nel sopprimere i sintomi incontrati durante la vita quotidiana. Mentre l'approccio di stimolazione dinamica dell'aDBS consente potenzialmente un trattamento più preciso con effetti collaterali ridotti3,9, l'aDBS soffre ancora di un elevato onere per i medici di identificare manualmente i parametri di stimolazione per ogni paziente. Oltre al già ampio set di parametri da programmare durante la DBS convenzionale, gli algoritmi aDBS introducono molti nuovi parametri che devono essere regolati con attenzione. Questa combinazione di parametri di stimolazione e algoritmi produce un vasto spazio di parametri con un numero ingestibile di possibili combinazioni, impedendo all'aDBS di espandersi a molti pazienti10. Anche in ambito di ricerca, il tempo aggiuntivo necessario per configurare e valutare i sistemi aDBS rende difficile ottimizzare adeguatamente gli algoritmi esclusivamente in clinica ed è necessario l'aggiornamento remoto dei parametri. Per rendere l'aDBS un trattamento scalabile, la stimolazione e la regolazione dei parametri dell'algoritmo devono essere automatizzate. Inoltre, i risultati della terapia devono essere analizzati attraverso studi ripetuti per stabilire che l'aDBS è un trattamento praticabile a lungo termine al di fuori della clinica. C'è bisogno di una piattaforma in grado di raccogliere dati per la valutazione remota dell'efficacia della terapia e per distribuire da remoto gli aggiornamenti dei parametri dell'algoritmo aDBS.
L'obiettivo di questo protocollo è quello di fornire un design riutilizzabile per una piattaforma di raccolta dati multimodale a domicilio per migliorare l'efficacia dell'aDBS al di fuori della clinica e per consentire a questo trattamento di scalare a un numero maggiore di individui. Per quanto ne sappiamo, è la prima piattaforma di raccolta dati progettata che valuta a distanza i risultati terapeutici utilizzando videocamere domestiche, sensori indossabili, registrazione del segnale neurale cronico e feedback guidato dal paziente per valutare i sistemi aDBS durante compiti controllati e comportamento naturalistico.
La piattaforma è un ecosistema di componenti hardware e software costruiti su sistemi sviluppati in precedenza5. È manutenibile interamente tramite accesso remoto dopo un'installazione iniziale di hardware minimo per consentire la raccolta di dati multimodali da una persona nel comfort della propria casa. Un componente chiave è il sistema di neurostimolazione impiantabile (INS)11 che rileva l'attività neurale e fornisce la stimolazione all'STN e registra l'accelerazione degli impianti toracici. Per l'impianto utilizzato nella distribuzione iniziale, l'attività neurale viene registrata da elettrocateteri bilaterali impiantati nell'STN e da elettrodi per elettrocorticografia impiantati sulla corteccia motoria. Un sistema di registrazione video aiuta i medici a monitorare la gravità dei sintomi e l'efficacia della terapia, che include un'interfaccia utente grafica (GUI) per consentire una facile cancellazione delle registrazioni in corso per proteggere la privacy del paziente. I video vengono elaborati per estrarre le traiettorie cinematiche della posizione in due dimensioni (2D) o tridimensionali (3D) e gli smartwatch vengono indossati su entrambi i polsi per acquisire informazioni sulla velocità angolare e sull'accelerazione. È importante sottolineare che tutti i dati vengono crittografati prima di essere trasferiti nell'archiviazione cloud a lungo termine e che il computer con i video identificabili dal paziente è accessibile solo tramite una rete privata virtuale (VPN). Il sistema include due approcci per l'allineamento temporale post-hoc di tutti i flussi di dati e i dati vengono utilizzati per monitorare a distanza la qualità del movimento del paziente e per identificare i biomarcatori correlati ai sintomi per perfezionare gli algoritmi aDBS. La parte video di questo lavoro mostra il processo di raccolta dei dati e le animazioni delle traiettorie cinematiche estratte dai video raccolti.
Lo sviluppo del protocollo è stato guidato da una serie di considerazioni progettuali:
Garantire la sicurezza dei dati e la privacy dei pazienti: La raccolta di dati identificabili dei pazienti richiede la massima attenzione nella trasmissione e nell'archiviazione per essere Health Insurance Portability and Accountability Act (HIPAA)12,13 e di rispettare la privacy del paziente nella propria abitazione. In questo progetto, questo risultato è stato raggiunto impostando una VPN personalizzata per garantire la privacy di tutto il traffico sensibile tra i computer del sistema.
Limiti di sicurezza dei parametri di stimolazione: È fondamentale garantire che il paziente rimanga al sicuro durante la prova degli algoritmi aDBS che potrebbero avere effetti indesiderati. L'INS del paziente deve essere configurato da un medico in modo da avere confini sicuri per i parametri di stimolazione che non consentono effetti pericolosi da sovrastimolazione o sottostimolazione. Con il sistema INS11 Utilizzata in questo studio, questa funzione è abilitata da un programmatore clinico.
Garantire il veto del paziente: Anche entro i limiti dei parametri di sicurezza, la variabilità giornaliera dei sintomi e delle risposte di stimolazione può portare a situazioni spiacevoli per il paziente in cui non gradisce un algoritmo in fase di test e desidera tornare alla normale DBS clinica ad anello aperto. Il sistema INS selezionato include un modulo di telemetria del paziente (PTM) che consente al paziente di modificare manualmente il gruppo di stimolazione e l'ampiezza di stimolazione in mA. Esiste anche un'applicazione di ricerca collegata all'INS che viene utilizzata per la configurazione remota dell'INS prima della raccolta dei dati14, che consente inoltre al paziente di interrompere gli studi sulla aDBS e di controllare la terapia.
Cattura di comportamenti complessi e naturali: I dati video sono stati incorporati nella piattaforma per consentire ai medici di monitorare a distanza l'efficacia della terapia e di estrarre traiettorie cinematiche dalle stime di posa da utilizzare nelle analisi di ricerca15. Sebbene i sensori indossabili siano meno intrusivi, è difficile catturare l'intera gamma dinamica di movimento di un intero corpo utilizzando solo i sistemi indossabili. I video consentono la registrazione simultanea dell'intera gamma di movimenti del paziente e dei suoi sintomi nel tempo.
Usabilità del sistema per i pazienti: la raccolta di dati multimodali a casa richiede l'installazione e l'utilizzo di più dispositivi nella casa di un paziente, il che potrebbe diventare oneroso per i pazienti. Per rendere il sistema facile da usare e garantire il controllo del paziente, solo i dispositivi impiantati o fisicamente collegati al paziente (in questo caso il sistema INS e gli smartwatch) devono essere accesi manualmente prima di avviare una registrazione. Per i dispositivi separati dal paziente (in questo caso si tratta di dati registrati da videocamere), le registrazioni iniziano e terminano automaticamente senza richiedere alcuna interazione con il paziente. Durante la progettazione della GUI è stata prestata attenzione a ridurre al minimo il numero di pulsanti e ad evitare alberi di menu profondi in modo che le interazioni fossero semplici. Dopo che tutti i dispositivi sono stati installati, un coordinatore della ricerca ha mostrato al paziente come interagire con tutti i dispositivi attraverso le interfacce grafiche rivolte al paziente che fanno parte di ciascun dispositivo, ad esempio come terminare le registrazioni su qualsiasi dispositivo e come inserire la cronologia dei farmaci e i rapporti sui sintomi.
Trasparenza della raccolta dei dati: Indicare chiaramente quando le telecamere sono accese è fondamentale in modo che le persone sappiano quando vengono registrate e possano sospendere la registrazione se hanno bisogno di un momento di privacy. Per raggiungere questo obiettivo, viene utilizzata un'applicazione di sistema di telecamere per controllare le registrazioni video con un'interfaccia grafica rivolta al paziente. La GUI si apre automaticamente all'avvio dell'applicazione ed elenca l'ora e la data della successiva registrazione pianificata. Quando una registrazione è in corso, un messaggio indica quando è programmata la fine della registrazione. Al centro della GUI, viene visualizzata un'immagine di grandi dimensioni di una luce rossa. L'immagine mostra la luce che è intensamente accesa ogni volta che è in corso una registrazione e cambia in un'immagine non illuminata quando le registrazioni sono spente.
Il protocollo descrive in dettaglio i metodi per la progettazione, la costruzione e l'implementazione di una piattaforma di raccolta dati a domicilio, per il controllo della qualità dei dati raccolti per verificarne la completezza e la robustezza e per la post-elaborazione dei dati da utilizzare nella ricerca futura.
Figura 1: Flusso di dati. I dati per ogni modalità vengono raccolti indipendentemente dalla residenza del paziente prima di essere elaborati e aggregati in un unico endpoint di archiviazione remota. I dati per ogni modalità vengono inviati automaticamente a un endpoint di archiviazione remota. Con l'aiuto di uno dei membri del team, può quindi essere recuperato, controllato per la validità, allineato nel tempo tra le modalità e sottoposto a una pre-elaborazione più specifica per la modalità. Il set di dati compilato viene quindi caricato in un endpoint di archiviazione remota a cui tutti i membri del team possono accedere in modo sicuro per un'analisi continua. Tutte le macchine con accesso ai dati, in particolare per i dati sensibili come i video grezzi, sono racchiuse all'interno di una VPN che garantisce che tutti i dati vengano trasferiti in modo sicuro e che i dati archiviati siano sempre crittografati. Fare clic qui per visualizzare una versione più grande di questa figura.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
I pazienti vengono arruolati attraverso uno studio più ampio approvato dall'IRB e dall'IDE nell'aDBS presso l'Università della California, San Francisco, protocollo # G1800975. Il paziente arruolato in questo studio ha inoltre fornito il consenso informato specificamente per questo studio.
1. Componenti del sistema a casa
- Server centrale e VPN
- Procurati un personal computer (PC) con un sistema operativo (OS) basato su Linux dedicato alla gestione di una VPN. Alloggiare la macchina in una stanza sicura. Crittografare il disco della macchina per garantire la sicurezza dei dati.
- Configurare il server VPN in modo che sia accessibile pubblicamente su almeno una porta.
NOTA: In questo caso, questo risultato è stato ottenuto collaborando con il reparto IT per fornire al server un indirizzo IP statico rivolto verso l'esterno e un URL personalizzato dalle opzioni di hosting DNS dell'università. - Per l'installazione del server, completare i seguenti passaggi una volta sul PC selezionato per servire la VPN.
- Configurazione del firewall: eseguire i seguenti comandi nel terminale del PC per installare e configurare un firewall semplice:
sudo apt install ufw
sudo ufw consenti ssh
sudo ufw allow/udp
sudo ufw abilita - Installazione di Server VPN: installare il protocollo VPN open sourceWireGuard 16 sul PC e passare alla directory di installazione. Nel terminale del PC, eseguire umask 007 per aggiornare le regole di accesso alla directory.
- Generazione chiave: nel terminale del PC, eseguire
Gruppo di lavoro Genkey | Tee PrivateKey | wg pubkey > publickey
In questo modo viene generata una coppia di chiavi pubblica/privata per il server VPN. Questa chiave pubblica verrà condivisa con qualsiasi PC client che si connette alla VPN. - Configurazione VPN: nel terminale del PC, eseguire touch
.conf per creare un file di configurazione, in cui il nome del file deve corrispondere al nome dell'interfaccia. Incollare le seguenti regole del server in questo file:
[Interfaccia]
PrivateKey =
Indirizzo = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Pari]
PublicKey =
AllowedIPs = ##.#.#.#/ ## - Attivazione della VPN: Avviare la VPN inserendo wg-quick up
nel terminale. Per abilitare l'avvio automatico del protocollo VPN ogni volta che il PC si riavvia, eseguire quanto segue nel terminale:
systemctl abilita wg-quick@
- Configurazione del firewall: eseguire i seguenti comandi nel terminale del PC per installare e configurare un firewall semplice:
- Per l'installazione del client, completare i seguenti passaggi per ogni nuovo computer che richiede l'accesso alla VPN.
- Installazione della VPN client: installare il protocollo VPN in base alle istruzioni specifiche del sistema operativo nella pagina di download di WireGuard16 .
- Aggiunta di un client alla VPN: prendere la chiave pubblica dal file di configurazione generato durante l'installazione. Incollare questa chiave nella sezione peer del file di configurazione del server.
- Attivazione della VPN: avviare la VPN seguendo le istruzioni specifiche del sistema operativo nella pagina di download di WireGuard16 .
- Archiviazione cloud
- Seleziona un sito di archiviazione cloud per consentire l'archiviazione a lungo termine di tutti i flussi di dati registrati in un unico posto. In questo caso, è stato utilizzato un sito di archiviazione cloud basato su Amazon Web Service compatibile con il protocollo di trasferimento dati selezionato.
- Sistema di neuromodulazione impiantabile
- Seguendo le linee guida IRB e IDE, selezionare un sistema di neuromodulazione impiantabile (INS)11 che consenta ai pazienti di modificare manualmente le impostazioni di stimolazione.
- Acquistare un tablet PC e installare l'applicazione open source UCSF DBS per consentire le registrazioni INS, la segnalazione di farmaci e sintomi o qualsiasi altro commento del paziente14. Configurare i dati INS trasmessi al tablet per caricarli su un endpoint di archiviazione cloud temporaneo conforme a HIPPA, per l'archiviazione temporanea prima della de-identificazione dei dati e dell'offload nell'archiviazione cloud a lungo termine.
- Sistema di raccolta video
- Acquista un PC in grado di raccogliere e archiviare la quantità desiderata di file video prima di trasferirli nell'archiviazione cloud. Assicurarsi che la scheda madre del PC includa un chip TPM (Trusted Platform Module).
NOTA: in questo caso, è stato selezionato un PC con un'unità SSD da 500 GB, un'unità HDD da 2 TB e una GPU da 6 GB. Un disco da 2 TB assicura che i video possano essere memorizzati nel buffer dopo una lunga sessione di registrazione o in caso di perdita della connessione Internet per un paio di giorni, mentre il singolo PC mantiene l'hardware minimamente invadente in casa. - Installare il sistema operativo desiderato e seguire le istruzioni per abilitare la crittografia automatica del disco per garantire la privacy del paziente ed evitare perdite di dati. In questo caso è stato scelto un sistema operativo basato su Linux con una distribuzione Ubuntu per la sua facilità d'uso e affidabilità.
- Crittografare separatamente tutti i dischi rigidi dopo l'installazione del sistema operativo. Assicurarsi di abilitare il rimontaggio automatico del disco al riavvio del sistema.
- Configurare il chip TPM integrato del PC per mantenere l'accesso al PC crittografato su disco dopo un riavvio del sistema17.
NOTA: Se si utilizza un sistema operativo Linux, assicurarsi di selezionare una scheda madre con un chip TPM2 installato per abilitare questo passaggio. Se si utilizza un sistema operativo Windows, la crittografia e lo sblocco automatici del disco possono essere gestiti dal programma Bitlocker. - Configurare il PC come client VPN seguendo la procedura di installazione descritta nella versione 1.1.4. Abilitare il protocollo VPN in modo che si avvii automaticamente ogni volta che il PC viene riavviato, come indicato nella sezione 1.1.3.5, per garantire che i computer dei ricercatori possano sempre accedere in remoto al PC (scelta consigliata).
- Crea un account utente del computer GitHub per automatizzare facilmente gli aggiornamenti del software installato sul PC. Questo account funge da webhook per automatizzare il pull dall'endpoint Git remoto e consente di identificare eventuali aggiornamenti inviati dal computer remoto.
- Selezionare il software per programmare e controllare le registrazioni video e installarlo sul PC. Per massimizzare la privacy e il comfort del paziente, il software selezionato deve includere un'interfaccia utente grafica (GUI) per indicare chiaramente quando le registrazioni sono in corso e per consentire una facile terminazione delle registrazioni in qualsiasi momento.
NOTA: Se lo si desidera, è possibile installare l'applicazione di registrazione video personalizzata degli autori con un'interfaccia grafica rivolta al paziente scaricando l'applicazione e seguendo le istruzioni su GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Selezionare un monitor per indicare quando i video vengono registrati e per consentire alle persone di terminare facilmente le registrazioni. Selezionare un monitor con funzionalità touchscreen in modo che le registrazioni possano essere terminate senza dover utilizzare una tastiera o un mouse.
- Installare un'applicazione di desktop remoto sul PC. Ciò consente di eseguire un'applicazione con una GUI in modo tale che la GUI rimanga visibile sia sul lato paziente che sul lato ricercatore remoto.
NOTA: L'applicazione desktop remoto open source NoMachine ha funzionato meglio per un sistema operativo Linux. - Seleziona webcam compatibili con USB con una risoluzione sufficientemente alta per calcolare le pose nello spazio specificato.
NOTA: In questo caso sono state scelte webcam compatibili con il 4k, che offrono più combinazioni di risoluzione e framerate, tra cui la risoluzione 4k a 30 fps o la risoluzione HD a 60 fps. - Scegli un hardware robusto per il montaggio delle webcam a casa del paziente. Utilizzare supporti a collo d'oca con clip per fissarli ai mobili per evitare che le telecamere tremino.
- Selezionare un protocollo di trasferimento dati con funzionalità di crittografia e installarlo sul PC. Creare una configurazione per accedere al sito di archiviazione cloud, quindi creare una configurazione di crittografia per eseguire il wrapping della prima configurazione prima del trasferimento dei dati.
NOTA: In questo caso è stato installato un protocollo open source per il trasferimento dei dati e la sincronizzazione dei file con funzionalità di crittografia18. La documentazione del protocollo di trasferimento dati spiega come configurare il trasferimento dei dati all'archiviazione cloud. Il protocollo è stato installato per la prima volta sul server VPN ed è stata creata una configurazione di crittografia che trasferisce i dati al sito di archiviazione cloud offsite.
- Acquista un PC in grado di raccogliere e archiviare la quantità desiderata di file video prima di trasferirli nell'archiviazione cloud. Assicurarsi che la scheda madre del PC includa un chip TPM (Trusted Platform Module).
- Componenti dati dei sensori indossabili
- Seleziona gli smartwatch da indossare su ciascun polso del paziente per tenere traccia dei segnali tra cui movimento, accelerometria e frequenza cardiaca.
NOTA: l'Apple Watch Series 3 è stato selezionato con un monitor integrato dei sintomi dei disturbi del movimento che genera punteggi dei sintomi PD come i punteggi di discinesia e tremore. - Seleziona e installa un software su ogni smartwatch in grado di avviare e terminare le registrazioni e di trasferire i dati nell'archiviazione cloud. Selezionare un'applicazione che carichi tutti i flussi di dati sul portale online associato per consentire a ricercatori e medici di analizzarli19.
- Seleziona gli smartwatch da indossare su ciascun polso del paziente per tenere traccia dei segnali tra cui movimento, accelerometria e frequenza cardiaca.
Figura 2: Componenti di registrazione video. I componenti hardware per supportare la raccolta dei dati video sono minimi, tra cui un PC a torre singola, webcam collegate tramite USB e un piccolo monitor per visualizzare l'interfaccia grafica rivolta al paziente. Il monitor è abilitato al touchscreen per consentire una facile terminazione di qualsiasi registrazione in corso o programmata premendo i pulsanti visibili sulla GUI. Il centro della GUI mostra l'immagine di una luce di registrazione che diventa di colore rosso brillante quando le videocamere stanno registrando attivamente. Fare clic qui per visualizzare una versione più grande di questa figura.
2. Configurazione domestica
- Installazione dell'hardware
- Determinare uno spazio appropriato per il montaggio delle webcam che riduca al minimo le interruzioni della casa. Determinare lo spazio attraverso discussioni con il paziente; Qui l'area dell'home office è stata scelta come il luogo ottimale per bilanciare il volume di registrazione con la privacy.
- Montare le webcam nell'area identificata sull'hardware di montaggio selezionato. Il ritaglio dei supporti a collo d'oca ai mobili pesanti nelle vicinanze impedisce alle telecamere di tremare ogni volta che qualcuno si avvicina.
- Posizionare il PC sufficientemente vicino alle webcam montate in modo che i cavi USB possano collegarsi al PC.
- Posizionare il tablet PC, i componenti INS, gli smartwatch e gli smartphone vicino a una presa di corrente in modo che tutti i dispositivi possano rimanere collegati e siano pronti per l'uso in qualsiasi momento.
- Verificare che la VPN sia attiva eseguendo route -n nel terminale del PC. In caso contrario, seguire le istruzioni per attivare la VPN nella sezione 1.1.3.5.
- Avvia l'applicazione di registrazione video
- Programma di registrazione video: Prima di raccogliere qualsiasi dato, discutere con il paziente un programma di registrazione appropriato. Configura questa pianificazione sul software di registrazione video.
NOTA: se si utilizza l'applicazione di registrazione video personalizzata degli autori, le istruzioni per l'impostazione di una pianificazione sono disponibili su GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Aggiorna software di registrazione: assicurarsi che la versione più recente del software di registrazione video selezionato sia stata caricata sul PC utilizzando l'account utente del computer GitHub installato nella versione 1.4.6.
- Avvia registrazioni video: accedi al PC tramite il software di desktop remoto installato e avvia il software di registrazione video.
NOTA: se si utilizza l'applicazione di registrazione video personalizzata degli autori, le istruzioni per l'avvio dell'applicazione sono disponibili su GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Programma di registrazione video: Prima di raccogliere qualsiasi dato, discutere con il paziente un programma di registrazione appropriato. Configura questa pianificazione sul software di registrazione video.
- Calibrazione della videocamera
- Disabilita la messa a fuoco automatica: per calcolare i parametri intrinseci come la distorsione dell'obiettivo e della prospettiva, segui le istruzioni in base al sistema operativo e alle webcam selezionate per disattivare la messa a fuoco automatica.
NOTA: Su Linux, è possibile accedere alle webcam tramite l'API video per Linux, che per impostazione predefinita attiva la messa a fuoco automatica ogni volta che il computer collegato alle telecamere viene riavviato. La configurazione di uno script per disabilitare automaticamente questa funzione è necessaria per preservare la messa a fuoco acquisita durante la calibrazione della fotocamera per l'elaborazione della posa 3D. - Calibrazione intrinseca: acquisire un modello a scacchiera 6 x 8 con quadrati da 100 mm per supportare la calibrazione 3D del software di stima della posa20. Registra un video da ogni singola webcam mentre un ricercatore angola la scacchiera nell'inquadratura di tutte le telecamere. Assicurati che la scacchiera abbia un numero pari di righe e un numero dispari di colonne (o viceversa). In questo modo si eliminerà l'ambiguità relativa alla rotazione.
- Calibrazione estrinseca: registra un video da tutte e tre le webcam contemporaneamente. Assicurati che i video vengano registrati alla stessa risoluzione di tutti i video da elaborare per le stime delle pose 3D. Per garantire l'esatta sincronizzazione dell'ora in tutti i video, far lampeggiare una luce LED IR all'inizio e alla fine della registrazione. Usa un software di editing video per sincronizzare manualmente i video contrassegnando i fotogrammi all'inizio del LED e tagliando i video a una lunghezza uguale.
- Matrici di calibrazione: passare i video registrati nei due passaggi precedenti attraverso OpenPose21 per generare matrici di calibrazione intrinseche ed estrinseche.
NOTA: OpenPose utilizza la libreria OpenCV per la calibrazione della fotocamera e ulteriori istruzioni possono essere trovate nella documentazione su OpenPose GitHub20,22.
- Disabilita la messa a fuoco automatica: per calcolare i parametri intrinseci come la distorsione dell'obiettivo e della prospettiva, segui le istruzioni in base al sistema operativo e alle webcam selezionate per disattivare la messa a fuoco automatica.
3. Raccolta dei dati
- Istruzioni per il paziente per avviare la registrazione
- Controllare la batteria e l'alimentazione del dispositivo: il dispositivo INS è sempre acceso per fornire una stimolazione costante al soggetto. Per avviare la registrazione dei dati neurali, chiedere al paziente di accendere il tablet PC e assicurarsi che i moduli di telemetria del medico (CTM) per i dispositivi INS sinistro e destro siano accesi e completamente carichi.
- Posizionamento dei CTM: posiziona i CTM su entrambi i lati del torace. Per la massima connettività e per ridurre la perdita di pacchetti, posizionare i CTM vicino agli impianti toracici durante le registrazioni. Ulteriori posizioni per posizionare i CTM sono le tasche sul petto di una giacca o l'uso di una sciarpa specializzata.
- Attivare la connessione del tablet: una volta avviato il tablet, chiedere al paziente di aprire l'applicazione DBS e selezionare Connetti, che richiede una connessione Bluetooth ai CTM e successivamente ai dispositivi INS14.
- Attivazione della telecamera: chiedere al paziente di confermare che le videocamere sono collegate al PC tramite i cavi USB e che le telecamere sono accese.
NOTA: Se si utilizza l'applicazione di registrazione video personalizzata degli autori, le registrazioni in corso sono chiaramente indicate sulla GUI rivolta verso il paziente da un'immagine di grandi dimensioni di una luce rossa molto illuminata. Questo cambia in una luce rossa non accesa quando le registrazioni sono spente. Le webcam selezionate hanno anche una piccola spia bianca. - Attivazione dello smartwatch: chiedere al paziente di accendere gli smartwatch e gli smartphone tenendo premuto il pulsante di accensione . Quindi, chiedi loro di aprire l'applicazione dello smartwatch per avviare la registrazione dei dati e il monitoraggio dei sintomi del PD.
- Scenari di allineamento e registrazione dei dati basati sui gesti
- Scrivere tutte le attività desiderate che il paziente deve eseguire durante le registrazioni dei dati prima di iniziare una raccolta dati.
- Poiché la sincronizzazione basata sull'orologio multi-dispositivo per l'allineamento dei timestamp può essere inaffidabile, chiedere al paziente di eseguire un gesto che può essere utilizzato per sincronizzare i timestamp dai dati registrati all'inizio di ogni nuova registrazione, anche quando si prevede di registrare durante i periodi di comportamento libero.
NOTA: Gli autori hanno progettato un semplice gesto in cui il paziente toccava entrambi i dispositivi INS impiantati mantenendo le mani in vista delle telecamere. Questo tocco crea modelli distintivi nelle registrazioni inerziali degli smartwatch e dell'accelerometro INS ed è facile da osservare nei video.
- Istruzioni per il paziente per terminare la registrazione
- Riportare il gruppo di stimolazione al gruppo clinicamente assegnato preferito dal paziente.
- Nella GUI rivolta al paziente dell'applicazione DBS, immettere un rapporto sui sintomi.
- Chiudere l'applicazione DBS, che disconnetterà i CTM e concluderà lo streaming INS.
- Chiudi l'applicazione di registrazione dello smartwatch e riporta i CTM, gli smartphone e i dispositivi smart watch alle loro porte di ricarica.
- Offload dei dati
- Trasferisci i video grezzi nell'archivio cloud tramite il protocollo di trasferimento dati utilizzando una configurazione crittografata. Creare un cron job sul PC di registrazione video per trasferire automaticamente i video registrati nell'archivio cloud tramite il protocollo di trasferimento dati18.
NOTA: A seconda della risoluzione dei video e del numero di ore registrate ogni giorno, la velocità di Internet deve essere sufficientemente elevata da consentire il trasferimento di tutti i video nell'archiviazione cloud entro 24 ore. Se il trasferimento dei dati è troppo lento, lo spazio su disco potrebbe esaurirsi, causando il fallimento di ulteriori registrazioni video pianificate per il giorno successivo. - Salvare i dati INS nell'endpoint cloud sicuro HIPAA configurato nel passaggio 1.3.2. Scaricare i dati INS dall'endpoint cloud sicuro HIPAA e rendere anonimi i dati. Salvare i dati anonimizzati in un archivio cloud esterno.
NOTA: il codice di pre-elaborazione open sourceOpenMind 23 è stato utilizzato per rendere anonimi i dati e convertirli da file json in un formato tabella. Il tablet del paziente è stato configurato con un endpoint cloud sicuro HIPAA per l'archiviazione temporanea dei dati INS grezzi; tuttavia, è plausibile che lo stesso sito di archiviazione cloud utilizzato per l'archiviazione a lungo termine possa essere utilizzato anche per questo passaggio, a condizione che sia conforme a HIPAA e che i dati siano crittografati prima dell'offload. - Se lo desideri, salva una copia dei dati dello smartwatch su un cloud storage esterno in modo che tutti i flussi di dati siano accessibili in un'unica posizione.
- Trasferisci i video grezzi nell'archivio cloud tramite il protocollo di trasferimento dati utilizzando una configurazione crittografata. Creare un cron job sul PC di registrazione video per trasferire automaticamente i video registrati nell'archivio cloud tramite il protocollo di trasferimento dati18.
4. Caratterizzazione del sistema
- Visualizzazione dei dati grezzi: nell'ambiente di codifica desiderato, visualizza tutti i flussi di dati grezzi per garantire che i dati siano stati registrati e trasferiti in modo appropriato senza perdite o danneggiamenti.
NOTA: L'applicazione selezionata per gestire le registrazioni degli smartwatch dispone di un'app browser utile per visualizzare i dati degli smartwatch24. - Ritardi dei fotogrammi video e dei timestamp: ispeziona eventuali ritardi tra i timestamp generati da webcam diverse. Analizza i ritardi registrando video con una luce LED programmabile posizionata nell'inquadratura di tutte le webcam.
NOTA: L'analisi ha rivelato che una funzione di segmentazione video25 importata dall'app di registrazione video personalizzata era la fonte dell'aumento dei ritardi del timestamp. La registrazione di video senza la funzione di segmentazione ha comportato ritardi tra i fotogrammi della webcam e il timestamp che non sono aumentati nel tempo (vedere il file supplementare 1 e la figura supplementare 1).
5. Pre-elaborazione e allineamento dei dati post-hoc
- Dati di posa
- Installa un software per calcolare le stime della posizione del giunto dai video registrati.
NOTA: La libreria OpenPose è stata selezionata in quanto include il tracciamento delle mani e dei volti sia in 2D che in 3D. - La libreria OpenPose non gestisce automaticamente i casi in cui più persone sono nell'inquadratura, quindi utilizza uno script di post-elaborazione per garantire che le stime della posa di ogni persona siano continue da un fotogramma all'altro. OpenPose fornisce codice per generare facilmente animazioni, sia in 2D che in 3D, per controlli visivi sulla qualità della stima della posa.
- Installa un software per calcolare le stime della posizione del giunto dai video registrati.
- Allineamento temporale basato sui gesti
- Per ogni dispositivo INS (sinistro e destro), seguire i passaggi descritti di seguito utilizzando la GUI di allineamento dei dati degli autori (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Leggi i dati: accedi ai dati di accelerazione INS e smartwatch salvati dall'archiviazione cloud per la sessione dati desiderata.
NOTA: Se lo si desidera, è possibile aggiungere un'ulteriore serie temporale. La Figura 3 mostra la posizione di posa del polpastrello del dito medio destro in verde. - Visualizza i flussi di dati nella GUI: utilizza la GUI di allineamento temporale manuale per sovrapporre l'accelerometria INS, l'accelerometria dell'orologio intelligente e i dati di posa.
- Ingrandire gli artefatti di allineamento: ingrandisci l'asse del tempo e sposta la finestra di visualizzazione nella sezione di tocco del petto della registrazione. Sposta le serie temporali di allineamento in modo che il picco dai tocchi del petto su entrambi i segnali dell'INS e della serie temporale dello smartwatch si sovrapponga il più vicino possibile.
NOTA: La GUI è progettata per facilitare l'allineamento manuale di serie temporali arbitrarie a un tempo reale comune. La Figura 3 mostra le serie temporali reali in blu, mentre le serie temporali di allineamento sono mostrate in arancione e verde. Le guide chiave per l'allineamento della GUI sono riportate nel file Leggimi di GitHub (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Conferma dell'allineamento: sposta la finestra della GUI su ciascuna delle attività di tocco del petto nella registrazione e conferma che l'allineamento rimane coerente per tutta la serie temporale. Premere il pulsante Cambia allineamento e ripetere gli allineamenti sui flussi di dati rimanenti.
- Flag di avviso: per indicare se i dati sono mancanti, spostati o altri avvisi generali relativi alla qualità dei dati, impostare i flag di avviso nella GUI utilizzando rispettivamente i tasti D, S e F.
- Leggi i dati: accedi ai dati di accelerazione INS e smartwatch salvati dall'archiviazione cloud per la sessione dati desiderata.
- Per ogni dispositivo INS (sinistro e destro), seguire i passaggi descritti di seguito utilizzando la GUI di allineamento dei dati degli autori (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Allineamento temporale della correlazione incrociata normalizzata zero (ZNCC)
- Identifica il segnale che ha maggiori probabilità di essere più vicino al tempo reale. Di solito questo è quello con la frequenza di campionamento più alta o l'aggiornamento del tempo di Internet più veloce.
- Ricampionare i due segnali in modo che abbiano la stessa frequenza di campionamento temporale e assegnare singolarmente un punteggio z a entrambi i segnali. Ciò garantisce che i punteggi ZNCC risultanti vengano normalizzati in modo da essere compresi tra -1 e 1, fornendo una stima del livello di somiglianza tra i due segnali, utile per rilevare gli errori.
- Calcola la correlazione incrociata del secondo segnale e del primo segnale ad ogni intervallo di tempo.
- Se le informazioni di fase dei due segnali non sono importanti, prendere il valore assoluto della curva di correlazione incrociata misurata.
NOTA: Se il comportamento è significativamente a-periodico, le informazioni sulla fase non sono necessarie, come in questo caso. - Analizza la curva ZNCC. Se c'è un singolo picco chiaro, con un punteggio ZNCC di picco superiore a 0,3, il tempo di questo picco corrisponde al ritardo temporale tra i due segnali. Se ci sono più picchi, nessun picco chiaro o il punteggio ZNCC è basso in tutti i tempi di ritardo, i due segnali devono essere allineati manualmente.
Figura 3: Allineamento dei dati basato sui gesti. La metà superiore della figura mostra la GUI di allineamento manuale dopo l'allineamento dei tre flussi di dati. La linea blu sono i dati dell'accelerometria dello smartwatch, la linea arancione sono i dati dell'accelerometria dell'INS e la linea verde è la posizione di posa 2D del polpastrello medio destro da una singola webcam. L'angolo in alto a destra mostra l'offset tra l'ora reale dello smartwatch e l'INS, oltre a vari flag di avviso per contrassegnare eventuali problemi che si verificano. In questo esempio, l'INS era 20,8 secondi avanti rispetto allo smartwatch. Il grafico in basso a sinistra viene ingrandito per mostrare i cinque tocchi toracici eseguiti dal paziente per l'allineamento dei dati. I cinque picchi sono sufficientemente chiari in ogni flusso di dati per garantire il corretto allineamento. Fare clic qui per visualizzare una versione più grande di questa figura.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Progettazione e implementazione di prototipi di piattaforme
Abbiamo progettato un prototipo di piattaforma e l'abbiamo distribuito a casa di un singolo paziente (Figura 1). Dopo la prima installazione dell'hardware in casa, la piattaforma può essere mantenuta e i dati raccolti interamente tramite accesso remoto. I dispositivi INS, gli orologi intelligenti e le telecamere sono dotati di applicazioni rivolte ai pazienti che consentono ai pazienti di avviare e interrompere le registrazioni. L'hardware di raccolta video consente le registrazioni video automatiche dopo la configurazione di una pianificazione approvata. I pazienti possono facilmente annullare una registrazione in corso semplicemente premendo un pulsante sulla GUI dell'applicazione di registrazione video (Figura 2). Tutti i dati raccolti sono stati crittografati e trasferiti a un sito di archiviazione cloud per l'elaborazione e l'analisi da parte dei ricercatori.
Raccolta dei dati
Per le prime implementazioni e i cicli di raccolta dei dati, abbiamo chiesto al paziente di svolgere attività cliniche autoguidate. I compiti sono stati presi dalla scala unificata di valutazione della malattia di Parkinson (UPDRS)26, vale a dire tremore a riposo, picchiettare il pollice con l'indice, aprire e chiudere la mano, pronazione-supinazione del polso, movimento da seduto a in piedi e camminare e un compito di digitazione. Tutte le attività sono state ripetute tre volte per ogni giorno di registrazione. Per ogni ripetizione, è stata impostata una diversa ampiezza di stimolazione per esporre i potenziali sintomi correlati alla stimolazione del Parkinson. La Figura 4 mostra un esempio schematizzato di come potrebbe essere una settimana di dati raccolti con il sistema.
Figura 4: Disponibilità dei dati. Una dimostrazione schematizzata di come potrebbe essere una settimana di dati raccolti con il sistema. Il grafico in alto mostra il livello di stimolazione (blu) nel corso di diversi cicli giorno/notte. I cambiamenti di stimolazione per questo paziente dipendono dal suo programma di sonno e dai tempi di assunzione del farmaco (linee rosse verticali). In momenti arbitrari della giornata, il sistema di raccolta dati può essere abilitato da remoto per raccogliere dati per più modalità, mostrati come caselle colorate. Un esempio di tutti i flussi di dati paralleli e allineati nel tempo, appena selezionati sul lato sinistro del corpo, è mostrato nel grafico in basso. Durante questa registrazione, al paziente è stato chiesto di eseguire una serie di valutazioni cliniche durante condizioni di stimolazione a bassa, terapeutica e ad alta ampiezza. Tutti i dati mostrati qui corrispondono a dati reali raccolti, ma sono stati compressi in esperimenti separati per facilitare la visualizzazione e mostrare varietà. Abbreviazioni: LFP = potenziale di campo locale, STN = nucleo subtalamico, Accel = accelerometro, Gyro = giroscopio, 2D = bidimensionale. Fare clic qui per visualizzare una versione più grande di questa figura.
Allineamento manuale
La GUI di allineamento manuale fornisce una piattaforma facile da usare per l'allineamento di più flussi di dati. Come mostrato nella Figura 3, i tocchi toracici forniscono un artefatto chiaramente identificabile in tutte le modalità di dati (INS, smartwatch, video) che possono essere utilizzati nell'allineamento manuale. La GUI era un mezzo utile per allineare i dati, ma poteva essere scambiata con qualsiasi altro strumento di allineamento che i ricercatori avrebbero voluto utilizzare. In alcuni casi, i flussi di dati hanno una leggera deviazione. Una potenziale soluzione futura a questo problema sarebbe quella di dividere i dati della sessione in diverse prove, ognuna con la propria sequenza di prelievi al petto. Ogni prova può quindi essere allineata individualmente per ridurre al minimo l'impatto della deriva.
Allineamento temporale della correlazione incrociata normalizzata zero (ZNCC)
Il metodo per ZNCC funziona bene in alcuni casi, ma presenta alcune vulnerabilità critiche. Ad esempio, per alcuni movimenti, i due segnali dell'accelerometro possono essere sfasati l'uno rispetto all'altro. Se un movimento allineato in fase e un movimento sfasato sono entrambi inclusi nelle epoche analizzate, allora lo ZNCC può avere un picco multiplo o addirittura nessun picco chiaro. La normalizzazione di ZNCC consente di identificare e scartare automaticamente questi allineamenti in base alle esigenze. Questo metodo funziona meglio se entrambi i segnali sono relativamente privi di rumore e proiettati in un'epoca con grandi effetti sincronizzati in entrambe le tracce. I migliori risultati sono stati ottenuti quando al paziente è stato chiesto di eseguire una serie di forti colpetti con entrambe le mani contro il petto. In pratica, tuttavia, la verifica manuale dell'allineamento automatizzato è stata necessaria per un numero sufficiente di casi in cui il vantaggio dell'utilizzo del metodo automatizzato è stato trascurabile.
Qualità dei dati
La perdita di dati durante il trasferimento automatizzato è stata trascurabile poiché il processo del protocollo di trasferimento dei dati esegue il backup delle copie grezze per garantire che eventuali perdite siano recuperabili. La perdita di dati dovuta a problemi di connettività si è verificata regolarmente, poiché il Bluetooth e la radiofrequenza a volte presentano interruzioni impreviste della connessione e sono limitate alla portata. Brevi intervalli fino a 2 secondi si sono verificati circa un paio di volte all'ora e intervalli più lunghi fino a 2 minuti si sono verificati circa una volta ogni due ore. Oltre alla perdita di dati, sono stati osservati artefatti di stimolazione significativi nei dati neurali, la cui gravità dipendeva dalla registrazione e dai gruppi di stimolazione scelti. Gli artefatti più grandi si verificano vicino alla frequenza di stimolazione, ben al di fuori degli intervalli di interesse. Non sono stati osservati artefatti nei dati degli smartwatch. I video sono stati registrati a una frequenza di fotogrammi costante; Tuttavia, nei video sono stati identificati fotogrammi duplicati. Ciò ha prodotto un frame rate effettivo di alcuni fotogrammi inferiore al frame rate teorico come indicato dalle specifiche della webcam. Più evidenti dei fotogrammi duplicati, tuttavia, sono stati i periodi di congelamento che sono stati identificati nei video a intervalli variabili a seconda del giorno di registrazione. Sono stati regolarmente osservati periodi di congelamento di circa 10 fotogrammi o meno; Tuttavia, sono state osservate anche sezioni più lunghe, di circa 2-30 secondi, in periodi irregolari.
Raccolta dati longitudinale
La Tabella 1 mostra i dati che il prototipo della piattaforma ha raccolto periodicamente nel corso di 1,5 anni. In quel periodo, sono state raccolte centinaia di ore di dati, con un totale di 293 ore di dati INS su entrambi i lati del corpo, 224 ore di dati di smartwatch per entrambi gli orologi e 2.037 ore di dati video su tre webcam. Ciò dimostra che la piattaforma supporta la raccolta di dati a casa per lunghi periodi di tempo, offrendo al contempo una rara opportunità di osservare i cambiamenti longitudinali nei dati neurali e i corrispondenti requisiti di stimolazione.
| Tipo di dati | Durata totale (hh:mm:ss) | Giorni totali | Dimensione dello spazio di archiviazione |
| Neurale | 293:17:33 | 90 | 28,94 GB |
| Orologio | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146.073,77 GB |
Tabella 1: Panoramica longitudinale dei dati raccolti. La piattaforma implementata ha raccolto dati nel corso di diversi esperimenti nel corso di 1,5 anni. Sono stati registrati circa 90 giorni con la raccolta di flussi di dati neurali, video e smartwatch.
Stime di posa 2D e 3D
Sono ora disponibili diversi pacchetti software per la stima della posa. La stima della posa è stata testata utilizzando OpenPose, un pacchetto software open source21. Questo è stato installato con successo seguendo la documentazione fornita da GitHub dell'organizzazione, così come molti altri tutorial non ufficiali trovati sul web. Il tempo di elaborazione per OpenPose varia in modo significativo in base al modo in cui la libreria OpenPose e le sue ampie dipendenze sono installate, alle dimensioni della GPU utilizzata e al fatto che vengano elaborati i punti chiave opzionali di mani e viso. La posa 2D era relativamente facile da implementare, tuttavia la posa 3D era notevolmente più difficile e i risultati 3D preliminari producevano una qualità incoerente pari a quella della posa 2D. La stima della posa 3D di bassa qualità potrebbe essere stata influenzata negativamente da una calibrazione non ottimale della fotocamera, da periodi in cui l'autofocus della fotocamera è stato erroneamente attivato o inerente al software OpenPose stesso. Tuttavia, i video sincronizzati di alta qualità da più angolazioni possono fornire input avanzati per una varietà di pacchetti software di stima della posa disponibili. Si consiglia di completare una configurazione del test al di fuori dell'abitazione del paziente, con il benchmarking manuale dei diversi pacchetti software di stima della posa disponibili.
Figura 1 supplementare: Analisi del ritardo dei fotogrammi video. Durante la caratterizzazione del sistema sono stati rilevati ritardi nei timestamp generati dall'app di registrazione video. Per indagare la causa dei ritardi, il numero di fotogramma e il timestamp generati da ciascuna telecamera sono stati determinati registrando una luce LED rossa che lampeggiava a intervalli casuali, quindi sono state calcolate le variazioni dei ritardi di timestamp tra le telecamere. (Torna su) Intensità dei LED (in unità RGB) misurate su ciascuna delle tre telecamere, che dimostrano gli scostamenti temporali osservati tra le tre telecamere (indicati con frecce rosse). (In basso) Tre grafici mostrano i ritardi del timestamp tra le telecamere nel numero di fotogrammi per una serie di lampeggi LED durante l'intera registrazione. Ogni registrazione è stata suddivisa in più segmenti e il frame lag è rimasto pressoché costante nel tempo. Fare clic qui per scaricare il file.
File supplementare 1: Metodo di analisi del fotogramma video e del timestamp. Fare clic qui per scaricare il file.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Condividiamo la progettazione di un prototipo a domicilio di una piattaforma di raccolta dati multimodale per supportare la ricerca futura nella ricerca sulla neuromodulazione. Il design è open-source e modulare, in modo tale che qualsiasi componente hardware possa essere sostituito e qualsiasi componente software possa essere aggiornato o modificato senza che l'intera piattaforma collassino. Mentre i metodi per la raccolta e la deidentificazione dei dati neurali sono specifici per l'INS selezionato, i metodi rimanenti e l'approccio generale alla raccolta dei dati comportamentali sono agnostici rispetto al dispositivo impiantabile utilizzato. Abbiamo distribuito la piattaforma a casa di un individuo con Parkinson e abbiamo raccolto dati sia durante i periodi sperimentali che naturalistici. Durante le implementazioni, le raccolte di dati e l'elaborazione dei dati post-hoc, sono stati scoperti diversi aspetti che sono stati particolarmente cruciali per consentire iterazioni di ricerca di successo.
Un membro prezioso del nostro team è stato il coordinatore della ricerca che si è recato a casa del paziente per installare l'hardware, configurare la VPN, eseguire la calibrazione della fotocamera per la posa 3D e guidare il paziente attraverso l'utilizzo della GUI rivolta al paziente di ciascun dispositivo. È importante sottolineare che il coordinatore della ricerca è stato anche il principale punto di contatto tra il paziente e il team di ricerca. Il paziente preferiva utilizzare la funzione di chat via e-mail per inviare rapidamente messaggi avanti e indietro. Avere un punto di contatto coerente e accessibile è stato particolarmente utile in due modi:
Stabilire un canale di comunicazione familiare per il paziente per richiedere modifiche alle registrazioni programmate e per comunicare eventuali difficoltà nell'uso del sistema. Ciò ha aiutato il coordinatore della ricerca a identificare i momenti convenienti per il paziente per condurre esperimenti di registrazione. La principale difficoltà nell'utilizzo del sistema segnalata è stata la necessità di tenere traccia della durata della batteria per diversi dispositivi.
Per consentire la risoluzione dei problemi del sistema in modo da ridurre al minimo le interruzioni per il paziente. La maggior parte dei problemi derivava da problemi di connettività di rete che si verificavano in media una volta ogni due settimane. Sebbene il riavvio dei dispositivi in genere risolvesse questi problemi, gli orologi richiedevano spesso più riavvii, il che il paziente ha riferito essere oneroso.
È essenziale garantire un solido accesso remoto all'hardware collocato nell'abitazione del paziente. Per raggiungere questo obiettivo, è fondamentale disporre di una connessione Internet stabile. È inoltre necessario configurare un computer crittografato con disco in modo che si sblocchi automaticamente ogni volta che un computer viene riavviato. Non sorprende che un cavo Ethernet abbia costantemente prodotto le connessioni di rete più veloci e affidabili. Meno attesa era la necessità di configurare un chip TPM, necessaria a causa della scelta di Linux come sistema operativo. Se viene utilizzato un sistema operativo Windows, il programma Bitlocker se ne occuperà automaticamente. Infine, la configurazione del PC distribuito per abilitare automaticamente la VPN e rimontare l'unità disco rigido al riavvio del sistema ha garantito un accesso remoto continuo senza dover visitare ripetutamente il domicilio del paziente. L'integrazione di una VPN e di un protocollo di crittografia dei dati nella progettazione della piattaforma è stata fondamentale per la sicurezza e l'integrità dei dati. La VPN consente di connettere una rete di computer senza la necessità di configurare il port forwarding personalizzato sul router privato di un paziente. Il protocollo di crittografia dei dati open source Rclone è dotato di una crittografia dei dati pronta all'uso e di un mezzo facilmente automatizzabile per trasferire i dati dai dispositivi dei pazienti all'archiviazione cloud18. Il protocollo di crittografia dei dati esegue copie di backup dei dati grezzi durante le fasi di trasferimento dei dati per garantire che le perdite siano recuperabili. Questi passaggi hanno assicurato che i dati privati del paziente fossero mantenuti al sicuro e non danneggiati.
Per essere in grado di condurre un'analisi significativa dei dati, è essenziale che i dati raccolti da più dispositivi siano allineati nel tempo. È probabile che gli orologi di ciascun dispositivo non siano perfettamente allineati a un comune orario di Internet, anche se i produttori suggeriscono che lo siano. Inoltre, alcuni dispositivi possono subire derive in momenti imprevedibili, modificando i loro offset rispetto agli altri dispositivi. Ciò crea difficoltà nel lavorare verso algoritmi adattivi completamente automatizzati e in tempo reale, e la ricerca futura dovrà considerare attentamente le soluzioni a questo problema. I metodi di allineamento automatico sono stati esplorati utilizzando la correlazione incrociata normalizzata. Questo funziona ragionevolmente bene in molti casi; Tuttavia, le deviazioni temporali devono essere minime e i dati devono contenere segnali chiaramente identificabili. Poiché si sono verificati sia grandi derive che periodi in cui i dati presentavano troppo rumore o perdita di pacchetti, non è possibile fare completamente affidamento su questo metodo completamente automatizzato. Per ridurre al minimo l'onere dell'allineamento manuale dei dati, abbiamo creato una semplice interfaccia grafica per consentire ai ricercatori di controllare visivamente i flussi di dati con relativa facilità e rapidità.
L'inclusione di dati video nel sistema consente ai medici di misurare la gravità dei sintomi attraverso l'osservazione remota e i ricercatori possono ottenere etichette di eventi. Inoltre, le stime della posa possono essere calcolate dai video come metrica continua della qualità del movimento, ad esempio misurando la velocità e la fluidità dei movimenti delle dita nel tempo. Tuttavia, la raccolta di video ad alta risoluzione da più telecamere richiede un ampio spazio di archiviazione. Ad esempio, la raccolta di 8 ore di video 4k in formato MJPEG da tre videocamere richiede circa 0,5 TB di spazio di archiviazione. La registrazione e l'archiviazione di grandi quantità di dati diventa rapidamente costosa, creando un collo di bottiglia economico per l'implementazione di questo sistema a molti pazienti. Al fine di rendere tali piattaforme scalabili a molti pazienti, i futuri progettisti di sistemi devono ridurre la quantità di dati necessari per l'archiviazione a lungo termine. I sistemi futuri dovrebbero prendere in considerazione l'inclusione dell'elaborazione delle pose in tempo reale in modo che i video possano essere prontamente eliminati dopo l'elaborazione della posa. La posa in tempo reale potrebbe anche fornire un feedback sulle capacità motorie fini negli algoritmi a circuito chiuso, che non rientrano nell'ambito di questo lavoro. Se è necessaria la conservazione di alcuni dati video per la revisione del medico o l'etichettatura degli eventi, è possibile sottocampionarli a una risoluzione inferiore prima di essere salvati nell'archiviazione cloud.
Infine, per affrontare in modo efficiente i difetti di progettazione e gli errori di implementazione che invariabilmente sorgono durante la costruzione di un sistema integrato, l'acquisizione di una replica dell'hardware da distribuire per l'uso come banco di prova è estremamente preziosa. Questo è stato vero per testare l'hardware e il software selezionati per la raccolta di video e l'elaborazione dei dati di posa. L'intero processo di acquisizione di video e stime di posa nello spazio 2D e 3D è stato molto più impegnativo del previsto. Un banco di prova consente di risolvere i problemi e sottoporre a stress test una serie di passaggi importanti prima dell'implementazione, tra cui:
Calibrare correttamente le telecamere all'interno dei vincoli di layout di una determinata stanza.
Identificazione della risoluzione video e del framerate appropriati per supportare una stima della posa di alta qualità. Per stanze piccole o ambienti simili a uffici, la registrazione video HD è probabilmente sufficiente, poiché le dimensioni delle persone sul video registrato sono abbastanza grandi da consentire un facile calcolo della posa richiedendo uno spazio di archiviazione significativamente inferiore rispetto ai video 4k.
Individuazione di bug nei video registrati, come il blocco dei fotogrammi o i ritardi tra i file video scritti in sequenza.
Esposizione di impostazioni predefinite software impreviste, come il ripristino della messa a fuoco automatica della fotocamera al riavvio della macchina, che esclude il vantaggio della calibrazione della fotocamera.
Tentativi ed errori per trovare versioni compatibili delle librerie software che devono essere preinstallate per consentire l'esecuzione di OpenPose su una GPU di medie dimensioni.
Una particolare limitazione di questo lavoro è l'implementazione della piattaforma in un singolo studio pilota a casa di un individuo, impedendoci di scoprire eventuali generalizzazioni tra partecipanti. Tuttavia, durante tutto il processo di progettazione e sviluppo, il sistema è stato progettato per essere scalabile e supportare più implementazioni per supportare studi remoti e lo scopo di questo studio pilota era quello di stabilire la fattibilità tecnologica di una sofisticata piattaforma di monitoraggio a casa. La modifica di questo progetto pilota sulla base di alcuni dei risultati cruciali discussi e l'implementazione della piattaforma in più case consentirà un ulteriore perfezionamento del progetto per supportare la ricerca futura nell'aDBS a casa. Inoltre, la raccolta di dati durante ulteriori periodi di tempo in cui un individuo non sta eseguendo esperimenti predeterminati offrirà approfondimenti per migliorare le analisi e l'efficacia complessiva della terapia. L'aDBS può fornire un metodo preferibile per il trattamento delle malattie neurologiche, inclusa la malattia di Parkinson, rispetto alla DBS convenzionale che può avere effetti collaterali inaccettabili. Portare questa importante terapia a molte persone richiede l'automazione della regolazione dei parametri e l'analisi dell'efficacia della terapia al di fuori della clinica nel tempo. La piattaforma fornisce un nuovo approccio per raccogliere i dati della videocamera domestica, dello smartwatch, della registrazione neurale e dei rapporti dei pazienti durante le attività sperimentali e naturali comodamente da casa del paziente. Il sistema contribuirà ulteriormente alla creazione di nuovi set di dati multimodali a sostegno delle future scoperte nel trattamento delle malattie neurologiche15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Gli autori non hanno conflitti di interesse da rivelare.
Acknowledgments
Questo materiale si basa sul lavoro sostenuto dal National Science Foundation Graduate Research Fellowship Program (DGE-2140004), dal Weill Neurohub e dal National Institute of Health (UH3NS100544). Tutte le opinioni, i risultati, le conclusioni o le raccomandazioni espresse in questo materiale sono quelle degli autori e non riflettono necessariamente le opinioni della National Science Foundation, del Weill Neurohub o del National Institute of Health. Ringraziamo Tianjiao Zhang per le sue consulenze esperte sulla progettazione della piattaforma e sull'incorporazione dei dati video. Ringraziamo in particolare il paziente per la sua partecipazione a questo studio e per il feedback e i consigli sulla sicurezza della rete e sulla progettazione della piattaforma.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
