Summary
El protocolo muestra un prototipo de la plataforma de recopilación de datos multimodal en el hogar que apoya la investigación que optimiza la estimulación cerebral profunda adaptativa (aDBS) para personas con trastornos neurológicos del movimiento. También presentamos los hallazgos clave de la implementación de la plataforma durante más de un año en el hogar de una persona con la enfermedad de Parkinson.
Abstract
La estimulación cerebral profunda adaptativa (aDBS, por sus siglas en inglés) es prometedora para mejorar el tratamiento de trastornos neurológicos como la enfermedad de Parkinson (EP). La aDBS utiliza biomarcadores relacionados con los síntomas para ajustar los parámetros de estimulación en tiempo real para atacar los síntomas con mayor precisión. Para permitir estos ajustes dinámicos, se deben determinar los parámetros de un algoritmo aDBS para cada paciente individual. Esto requiere un ajuste manual que requiere mucho tiempo por parte de los investigadores clínicos, lo que dificulta encontrar una configuración óptima para un solo paciente o escalar a muchos pacientes. Además, la efectividad a largo plazo de los algoritmos de aDBS configurados en la clínica mientras el paciente está en casa sigue siendo una pregunta abierta. Para implementar esta terapia a gran escala, se necesita una metodología para configurar automáticamente los parámetros del algoritmo aDBS mientras se monitorean de forma remota los resultados de la terapia. En este artículo, compartimos un diseño para una plataforma de recolección de datos en el hogar para ayudar al campo a abordar ambos problemas. La plataforma se compone de un ecosistema integrado de hardware y software que es de código abierto y permite la recopilación en el hogar de datos de video neuronales, inerciales y multicámara. Para garantizar la privacidad de los datos identificables del paciente, la plataforma encripta y transfiere datos a través de una red privada virtual. Los métodos incluyen la alineación temporal de los flujos de datos y la extracción de estimaciones de pose de las grabaciones de vídeo. Para demostrar el uso de este sistema, implementamos esta plataforma en el hogar de una persona con EP y recopilamos datos durante tareas clínicas autoguiadas y períodos de comportamiento libre en el transcurso de 1,5 años. Se registraron datos en amplitudes de estimulación subterapéutica, terapéutica y supraterapéutica para evaluar la gravedad de los síntomas motores en diferentes condiciones terapéuticas. Estos datos alineados en el tiempo muestran que la plataforma es capaz de recopilar datos multimodales sincronizados en el hogar para la evaluación terapéutica. Esta arquitectura de sistema se puede utilizar para respaldar la investigación automatizada de la ECP, para recopilar nuevos conjuntos de datos y para estudiar los efectos a largo plazo de la terapia de ECP fuera de la clínica para las personas que padecen trastornos neurológicos.
Introduction
La estimulación cerebral profunda (DBS, por sus siglas en inglés) trata trastornos neurológicos como la enfermedad de Parkinson (EP) mediante la administración de corriente eléctrica directamente a regiones específicas del cerebro. Se estima que hay 8,5 millones de casos de EP en todo el mundo, y la ECP ha demostrado ser una terapia crítica cuando la medicación es insuficiente para controlar los síntomas 1,2. Sin embargo, la eficacia de la ECP puede verse limitada por los efectos secundarios que a veces se producen a partir de la estimulación que se administra convencionalmente a una amplitud, frecuencia y ancho de pulso fijos3. Esta implementación de bucle abierto no responde a las fluctuaciones en el estado de los síntomas, lo que da lugar a entornos de estimulación que no se adaptan adecuadamente a las necesidades cambiantes del paciente. La ECP se ve obstaculizada aún más por el largo proceso de ajuste de los parámetros de estimulación, que actualmente los médicos realizan manualmente para cada paciente individual.
La ECP adaptativa (aDBS) es un enfoque de bucle cerrado que ha demostrado ser una próxima iteración eficaz de la ECP mediante el ajuste de los parámetros de estimulación en tiempo real cada vez que se detectan biomarcadores relacionados con los síntomas 3,4,5. Los estudios han demostrado que las oscilaciones beta (10-30 Hz) en el núcleo subtalámico (STN) ocurren consistentemente durante la bradicinesia, una ralentización del movimiento que es característica de la EP 6,7. De manera similar, se sabe que las oscilaciones gamma altas (50-120 Hz) en la corteza ocurren durante los períodos de discinesia, un movimiento excesivo e involuntario que también se ve comúnmente en la EP8. Trabajos recientes han administrado con éxito aDBS fuera de la clínica durante períodos prolongados5, sin embargo, no se ha establecido la efectividad a largo plazo de los algoritmos de aDBS que se configuraron en la clínica mientras el paciente está en casa.
Se necesitan sistemas remotos para capturar la eficacia variable en el tiempo de estos algoritmos dinámicos para suprimir los síntomas encontrados durante la vida diaria. Si bien el enfoque de estimulación dinámica de la aDBS permite potencialmente un tratamiento más preciso con efectos secundarios reducidos3,9, la aDBS todavía sufre una gran carga para los médicos a la hora de identificar manualmente los parámetros de estimulación para cada paciente. Además del ya amplio conjunto de parámetros que hay que programar durante la DBS convencional, los algoritmos aDBS introducen muchos parámetros nuevos que también deben ajustarse cuidadosamente. Esta combinación de parámetros de estimulación y algoritmos produce un vasto espacio de parámetros con un número inmanejable de combinaciones posibles, lo que impide que la aDBS se amplíe a muchos pacientes10. Incluso en entornos de investigación, el tiempo adicional necesario para configurar y evaluar los sistemas de aDBS dificulta la optimización adecuada de los algoritmos únicamente en la clínica, y es necesaria la actualización remota de los parámetros. Para hacer de aDBS un tratamiento que pueda escalar, se debe automatizar la estimulación y el ajuste de los parámetros del algoritmo. Además, los resultados de la terapia deben analizarse a través de ensayos repetidos para establecer la aDBS como un tratamiento viable a largo plazo fuera de la clínica. Existe la necesidad de una plataforma que pueda recopilar datos para la evaluación remota de la eficacia de la terapia y para implementar de forma remota actualizaciones de los parámetros del algoritmo aDBS.
El objetivo de este protocolo es proporcionar un diseño reutilizable para una plataforma multimodal de recopilación de datos en el hogar para mejorar la efectividad de la aDBS fuera de la clínica y permitir que este tratamiento se amplíe a un mayor número de individuos. Hasta donde sabemos, es el primer diseño de plataforma de recopilación de datos que evalúa de forma remota los resultados terapéuticos utilizando cámaras de video en el hogar, sensores portátiles, grabación de señales neuronales crónicas y retroalimentación impulsada por el paciente para evaluar los sistemas de aDBS durante tareas controladas y comportamiento naturalista.
La plataforma es un ecosistema de componentes de hardware y software construido sobre sistemas previamente desarrollados5. Se puede mantener completamente a través del acceso remoto después de una instalación inicial de hardware mínimo para permitir la recopilación de datos multimodales de una persona en la comodidad de su hogar. Un componente clave es el sistema de neuroestimulación implantable (INS)11 que detecta la actividad neuronal y proporciona estimulación al STN, y registra la aceleración de los implantes torácicos. Para el implante utilizado en el despliegue inicial, la actividad neuronal se registra a partir de derivaciones bilaterales implantadas en el STN y de electrodos de electrocorticografía implantados sobre la corteza motora. Un sistema de grabación de video ayuda a los médicos a monitorear la gravedad de los síntomas y la efectividad de la terapia, que incluye una interfaz gráfica de usuario (GUI) para permitir una fácil cancelación de las grabaciones en curso para proteger la privacidad del paciente. Los videos se procesan para extraer trayectorias cinemáticas de posición en dos dimensiones (2D) o tridimensionales (3D), y los relojes inteligentes se usan en ambas muñecas para capturar información de velocidad angular y aceleración. Es importante destacar que todos los datos se cifran antes de transferirse al almacenamiento en la nube a largo plazo, y solo se puede acceder a la computadora con videos identificables del paciente a través de una red privada virtual (VPN). El sistema incluye dos enfoques para la alineación temporal post-hoc de todos los flujos de datos, y los datos se utilizan para monitorear de forma remota la calidad del movimiento del paciente y para identificar biomarcadores relacionados con los síntomas para refinar los algoritmos de aDBS. La parte de video de este trabajo muestra el proceso de recolección de datos y animaciones de trayectorias cinemáticas extraídas de videos recolectados.
Una serie de consideraciones de diseño guiaron el desarrollo del protocolo:
Garantizar la seguridad de los datos y la privacidad del paciente: La recopilación de datos identificables de los pacientes requiere el máximo cuidado en la transmisión y el almacenamiento para que se cumpla la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA)12,13 y respetar la privacidad del paciente en su propio hogar. En este proyecto, esto se logró mediante la configuración de una VPN personalizada para garantizar la privacidad de todo el tráfico confidencial entre las computadoras del sistema.
Límites de seguridad de los parámetros de estimulación: Es fundamental asegurarse de que el paciente permanezca seguro mientras prueba los algoritmos de aDBS que pueden tener efectos no deseados. El INS del paciente debe ser configurado por un clínico para tener límites seguros para los parámetros de estimulación que no permitan efectos peligrosos de sobreestimulación o subestimulación. Con el sistema INS11 Utilizada en este estudio, esta función es habilitada por un programador clínico.
Asegurar que el paciente vete: Incluso dentro de los límites de los parámetros seguros, la variabilidad diaria de los síntomas y las respuestas de estimulación pueden dar lugar a situaciones desagradables para el paciente en las que no le gusta un algoritmo sometido a prueba y desea volver a la ECP clínica normal de bucle abierto. El sistema INS seleccionado incluye un módulo de telemetría del paciente (PTM) que permite al paciente cambiar manualmente su grupo de estimulación y la amplitud de estimulación en mA. También existe una aplicación de investigación conectada al INS que se utiliza para la configuración remota del INS antes de la recopilación de datos14, lo que también permite al paciente abortar los ensayos de aDBS y controlar su terapia.
Captura de comportamientos complejos y naturales: Los datos de vídeo se incorporaron a la plataforma para permitir a los médicos monitorizar de forma remota la eficacia de la terapia y extraer trayectorias cinemáticas de las estimaciones de las posturas para su uso en los análisis de investigación15. Si bien los sensores portátiles son menos intrusivos, es difícil capturar el rango dinámico completo de movimiento de todo un cuerpo utilizando solo sistemas portátiles. Los videos permiten la grabación simultánea de todo el rango de movimiento del paciente y sus síntomas a lo largo del tiempo.
Facilidad de uso del sistema para los pacientes: La recopilación de datos multimodales en el hogar requiere que se instalen y utilicen múltiples dispositivos en el hogar de un paciente, lo que podría resultar oneroso para los pacientes. Para que el sistema sea fácil de usar y al mismo tiempo garantizar el control del paciente, solo los dispositivos que están implantados o conectados físicamente al paciente (en este caso, incluido el sistema INS y los relojes inteligentes) deben encenderse manualmente antes de iniciar una grabación. En el caso de los dispositivos que están separados del paciente (en este caso, incluye datos grabados por cámaras de vídeo), las grabaciones se inician y finalizan automáticamente sin necesidad de interacción con el paciente. Durante el diseño de la interfaz gráfica de usuario se tuvo cuidado de minimizar el número de botones y evitar árboles de menús profundos para que las interacciones fueran simples. Una vez instalados todos los dispositivos, un coordinador de investigación le mostró al paciente cómo interactuar con todos los dispositivos a través de las interfaces gráficas de usuario orientadas al paciente que forman parte de cada dispositivo, por ejemplo, cómo finalizar las grabaciones en cualquier dispositivo y cómo ingresar su historial de medicamentos e informes de síntomas.
Transparencia en la recopilación de datos: Es imperativo indicar claramente cuándo se encienden las cámaras para que las personas sepan cuándo están siendo grabadas y puedan suspender la grabación si necesitan un momento de privacidad. Para lograr esto, se utiliza una aplicación de sistema de cámara para controlar las grabaciones de video con una interfaz gráfica de usuario orientada al paciente. La interfaz gráfica de usuario se abre automáticamente cuando se inicia la aplicación y muestra la hora y la fecha de la próxima grabación programada. Cuando una grabación está en curso, un mensaje indica cuándo está programada la finalización de la grabación. En el centro de la interfaz gráfica de usuario, se muestra una imagen grande de una luz roja. La imagen muestra que la luz se ilumina intensamente cada vez que hay una grabación en curso y cambia a una imagen no iluminada cuando las grabaciones están desactivadas.
El protocolo detalla los métodos para diseñar, construir e implementar una plataforma de recopilación de datos en el hogar, para verificar la calidad de los datos recopilados para verificar su integridad y solidez, y para el posprocesamiento de datos para su uso en futuras investigaciones.
Figura 1: Flujo de datos. Los datos de cada modalidad se recopilan independientemente de la residencia del paciente antes de procesarlos y agregarlos en un único punto final de almacenamiento remoto. Los datos de cada modalidad se envían automáticamente a un punto de conexión de almacenamiento remoto. Con la ayuda de uno de los miembros del equipo, se puede recuperar, verificar su validez, alinear el tiempo en todas las modalidades, así como someterlo a un preprocesamiento más específico de la modalidad. A continuación, el conjunto de datos compilado se carga en un punto de conexión de almacenamiento remoto al que todos los miembros del equipo pueden acceder de forma segura para un análisis continuo. Todas las máquinas con acceso a datos, especialmente para datos confidenciales como video sin procesar, están encerradas dentro de una VPN que garantiza que todos los datos se transfieran de forma segura y que los datos almacenados estén siempre encriptados. Haga clic aquí para ver una versión más grande de esta figura.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Los pacientes se inscriben a través de un estudio más grande aprobado por el IRB y el IDE en el aDBS en la Universidad de California, San Francisco, protocolo # G1800975. El paciente inscrito en este estudio también dio su consentimiento informado específicamente para este estudio.
1. Componentes del sistema en el hogar
- Servidor central y VPN
- Adquiera una computadora personal (PC) con un sistema operativo (SO) basado en Linux dedicado a servir una VPN. Guarde la máquina en una habitación segura. Cifre el disco de la máquina para garantizar la seguridad de los datos.
- Configure el servidor VPN para que sea de acceso público en al menos un puerto.
NOTA: En este caso, esto se logró colaborando con el departamento de TI para proporcionar al servidor una dirección IP estática externa y una URL personalizada mediante las opciones de alojamiento DNS de la universidad. - Para la instalación del servidor, complete los siguientes pasos una vez en la PC seleccionada para servir la VPN.
- Configuración del cortafuegos: Ejecute los siguientes comandos en el terminal del PC para instalar y configurar un cortafuegos sencillo:
sudo apt install ufw
sudo ufw allow ssh
sudo ufw allow/udp
sudo ufw enable - Instalación de VPN de servidor: Instale el protocolo VPN16 de código abierto WireGuard en el PC y navegue hasta el directorio de instalación. En el terminal de PC, ejecute umask 007 para actualizar las reglas de acceso al directorio.
- Generación de claves: En el terminal de PC, ejecute
WG Genkey | Tee PrivateKey | WG PubKey > PublicKey
Esto genera un par de claves pública/privada para el servidor VPN. Esta clave pública se compartirá con cualquier PC cliente que se conecte a la VPN. - Configuración de VPN: En el terminal de PC, ejecute touch
.conf para crear un archivo de configuración, donde el nombre del archivo debe coincidir con el nombre de la interfaz. Pegue las siguientes reglas de servidor en este archivo:
[Interfaz]
PrivateKey =
Dirección = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Compañero]
Clave pública =
IPs permitidas = ##.#.#.#/ ## - Activación de la VPN: Inicie la VPN ingresando wg-quick up
en el terminal. Para permitir que el protocolo VPN se inicie automáticamente cada vez que se reinicie el equipo, ejecute lo siguiente en el terminal:
systemctl habilitar WG-quick@
- Configuración del cortafuegos: Ejecute los siguientes comandos en el terminal del PC para instalar y configurar un cortafuegos sencillo:
- Para la instalación del cliente, complete los siguientes pasos para cada máquina nueva que necesite acceso a la VPN.
- Instalación de VPN de cliente: Instale el protocolo VPN de acuerdo con las instrucciones específicas del sistema operativo en la página de descarga de WireGuard16 .
- Adición de un cliente a la VPN: Tome la clave pública del archivo de configuración generado durante la instalación. Pegue esta clave en la sección del mismo nivel del archivo de configuración del servidor.
- Activación de la VPN: Inicie la VPN según las instrucciones específicas del sistema operativo en la página de descarga de WireGuard16 .
- Almacenamiento en la nube
- Seleccione un sitio de almacenamiento en la nube para permitir que todos los flujos de datos registrados se almacenen a largo plazo en un solo lugar. En este caso, se utilizó un sitio de almacenamiento en la nube basado en Amazon Web Service que era compatible con el protocolo de transferencia de datos seleccionado.
- Sistema de neuromodulación implantable
- Siguiendo las pautas del IRB y el IDE, seleccione un sistema de neuromodulación implantable (INS)11 que permita a los pacientes cambiar manualmente su configuración de estimulación.
- Adquiera una tableta e instale la aplicación DBS de UCSF de código abierto para permitir las grabaciones del INS, la notificación de medicamentos y síntomas o cualquier otro comentario del paciente14. Configure los datos de INS que se transmiten a la tableta para que se carguen en un punto de conexión de almacenamiento en la nube temporal compatible con HIPPA, para el almacenamiento temporal antes de la desidentificación de los datos y la descarga en el almacenamiento en la nube a largo plazo.
- Sistema de recogida de vídeos
- Adquiera una PC capaz de recopilar y almacenar la cantidad deseada de archivos de video antes de transferirlos al almacenamiento en la nube. Asegúrese de que la placa base del equipo incluya un chip de módulo de plataforma segura (TPM).
NOTA: En este caso, se seleccionó un PC con un SSD de 500 GB, un HDD de 2 TB y una GPU de 6 GB. Un disco de 2 TB garantiza que los videos se puedan almacenar en búfer después de una larga sesión de grabación o en el caso de perder la conexión a Internet durante un par de días, mientras que la PC única mantiene el hardware mínimamente intrusivo en el hogar. - Instale el sistema operativo deseado y siga las indicaciones para habilitar el cifrado automático de disco para garantizar la privacidad del paciente y evitar la fuga de datos. En este caso, se eligió un sistema operativo basado en Linux con una distribución de Ubuntu por su facilidad de uso y confiabilidad.
- Cifre por separado los discos duros después de instalar el sistema operativo. Asegúrese de habilitar el remontaje automático del disco al reiniciar el sistema.
- Configure el chip TPM integrado del equipo para mantener el acceso al equipo cifrado en disco después de un reinicio del sistema17.
NOTA: Si utiliza un sistema operativo Linux, asegúrese de seleccionar una placa base con un chip TPM2 instalado para habilitar este paso. Si se utiliza un sistema operativo Windows, el programa Bitlocker puede controlar el cifrado y el desbloqueo automáticos del disco. - Configure el PC como cliente VPN siguiendo los pasos de instalación de 1.1.4. Habilite el protocolo VPN para que se inicie automáticamente cada vez que se reinicie el equipo, como se indica en la sección 1.1.3.5 para asegurarse de que los equipos de los investigadores siempre puedan acceder de forma remota al equipo (recomendado).
- Crea una cuenta de usuario de GitHub machine para automatizar fácilmente las actualizaciones del software instalado en el equipo. Esta cuenta sirve como webhook para automatizar la extracción desde el punto de conexión de Git remoto y ayuda a identificar las actualizaciones insertadas desde la máquina remota.
- Seleccione un software para programar y controlar las grabaciones de video e instálelo en la PC. Para maximizar la privacidad y la comodidad del paciente, el software seleccionado debe incluir una interfaz gráfica de usuario (GUI) para indicar claramente cuándo las grabaciones están en curso y para permitir una fácil terminación de las grabaciones en cualquier momento.
NOTA: Si se desea, se puede instalar la aplicación de grabación de vídeo personalizada de los autores con una interfaz gráfica de usuario orientada al paciente descargando la aplicación y siguiendo las instrucciones de GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Seleccione un monitor para indicar cuándo se están grabando los videos y para permitir que las personas finalicen fácilmente las grabaciones. Seleccione un monitor con capacidad de pantalla táctil para que las grabaciones se puedan finalizar sin necesidad de utilizar un teclado o un ratón.
- Instale una aplicación de escritorio remoto en la PC. Esto permite ejecutar una aplicación con una interfaz gráfica de usuario de modo que la interfaz gráfica de usuario permanezca visible tanto en el lado del paciente como en el lado del investigador remoto.
NOTA: La aplicación de escritorio remoto NoMachine de código abierto funcionó mejor para un sistema operativo Linux. - Seleccione cámaras web compatibles con USB con una resolución suficientemente alta para calcular poses en el espacio dado.
NOTA: En este caso, se eligieron cámaras web compatibles con 4k, que ofrecen múltiples combinaciones de resolución y velocidad de fotogramas, incluida la resolución 4k a 30 fps o la resolución HD a 60 fps. - Seleccione hardware robusto para montar cámaras web en el hogar del paciente. Use soportes de cuello de cisne con clips para asegurarlos a los muebles y evitar que las cámaras tiemblen.
- Seleccione un protocolo de transferencia de datos con capacidad de cifrado e instálelo en la PC. Cree una configuración para acceder al sitio de almacenamiento en la nube y, a continuación, cree una configuración de cifrado para encapsular la primera configuración antes de la transferencia de datos.
NOTA: En este caso, se instaló un protocolo de transferencia de datos y sincronización de archivos de código abierto con capacidad de cifrado18. En la documentación del protocolo de transferencia de datos se explica cómo configurar la transferencia de datos al almacenamiento en la nube. El protocolo se instaló primero en el servidor VPN y se creó una configuración de cifrado que transfiere los datos al sitio de almacenamiento en la nube fuera del sitio.
- Adquiera una PC capaz de recopilar y almacenar la cantidad deseada de archivos de video antes de transferirlos al almacenamiento en la nube. Asegúrese de que la placa base del equipo incluya un chip de módulo de plataforma segura (TPM).
- Componentes de datos de sensores portátiles
- Seleccione relojes inteligentes que se usarán en cada muñeca del paciente para realizar un seguimiento de las señales, incluido el movimiento, la acelerometría y la frecuencia cardíaca.
NOTA: El Apple Watch Series 3 se seleccionó con un monitor de síntomas de trastorno del movimiento incorporado que genera puntuaciones de síntomas de EP, como puntuaciones de discinesia y temblor. - Seleccione e instale un software en cada reloj inteligente que pueda iniciar y finalizar grabaciones y pueda transferir datos al almacenamiento en la nube. Seleccione una aplicación que cargue todos los flujos de datos en su portal en línea asociado para que los investigadores y los médicos los analicen19.
- Seleccione relojes inteligentes que se usarán en cada muñeca del paciente para realizar un seguimiento de las señales, incluido el movimiento, la acelerometría y la frecuencia cardíaca.
Figura 2: Componentes de grabación de vídeo. Los componentes de hardware para admitir la recopilación de datos de video son mínimos, incluida una PC de una sola torre, cámaras web conectadas por USB y un pequeño monitor para mostrar la interfaz gráfica de usuario orientada al paciente. El monitor está habilitado para pantalla táctil para permitir una fácil finalización de cualquier grabación en curso o programada presionando los botones visibles en la GUI. El centro de la interfaz gráfica de usuario muestra una imagen de una luz de grabación que se vuelve de color rojo brillante cuando las cámaras de video están grabando activamente. Haga clic aquí para ver una versión más grande de esta figura.
2. Configuración en el hogar
- Instalación de hardware
- Determine un espacio apropiado para montar cámaras web que minimice las interrupciones en el hogar. Determinar el espacio a través de discusiones con el paciente; En este caso, se eligió el área de oficina en casa como el lugar óptimo para equilibrar el volumen de grabación con la privacidad.
- Monte las cámaras web en el área identificada en el hardware de montaje seleccionado. Sujetar los soportes de cuello de cisne a los muebles pesados cercanos evita que las cámaras tiemblen cada vez que alguien se acerca.
- Coloque el PC lo suficientemente cerca de las cámaras web montadas para que sus cables USB puedan conectarse al PC.
- Coloque la tableta, los componentes INS, los relojes inteligentes y los teléfonos inteligentes cerca de una toma de corriente de modo que todos los dispositivos puedan permanecer enchufados y estén listos para usar en cualquier momento.
- Confirme que la VPN está activada ejecutando route -n en el terminal de PC. De lo contrario, siga las instrucciones para activar la VPN en la sección 1.1.3.5.
- Inicie la aplicación de grabación de video
- Programación de grabación de video: Antes de recopilar cualquier dato, discuta con el paciente un programa de grabación adecuado. Configure este horario en el software de grabación de video.
NOTA: Si utiliza la aplicación de grabación de video personalizada de los autores, las instrucciones para establecer un horario se pueden encontrar en GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Actualizar el software de grabación: asegúrese de que la última versión del software de grabación de vídeo seleccionado se haya cargado en el PC utilizando la cuenta de usuario de GitHub machine instalada en 1.4.6.
- Iniciar grabaciones de video: Inicie sesión en la PC a través del software de escritorio remoto instalado e inicie el software de grabación de video.
NOTA: Si utiliza la aplicación de grabación de vídeo personalizada de los autores, las instrucciones para iniciar la aplicación se pueden encontrar en GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Programación de grabación de video: Antes de recopilar cualquier dato, discuta con el paciente un programa de grabación adecuado. Configure este horario en el software de grabación de video.
- Calibración de la cámara de vídeo
- Desactivar el enfoque automático: Para calcular los parámetros intrínsecos, como la distorsión de la lente y la perspectiva, siga las instrucciones basadas en el sistema operativo y las cámaras web seleccionados para desactivar el enfoque automático.
NOTA: En Linux, se accede a las cámaras web a través de la API de vídeo para Linux, que de forma predeterminada activa el enfoque automático cada vez que se reinicia el ordenador conectado a las cámaras. Es necesario configurar un script para que lo desactive automáticamente a fin de conservar el enfoque adquirido durante la calibración de la cámara para procesar la pose 3D. - Calibración intrínseca: Adquiera un patrón de tablero de ajedrez de 6 x 8 con cuadrados de 100 mm para admitir la calibración 3D del software de estimación de poses20. Grabe un video de cada cámara web individual mientras un investigador inclina el tablero de ajedrez en el marco de todas las cámaras. Asegúrese de que el tablero de ajedrez tenga un número par de filas y un número impar de columnas (o viceversa). Esto eliminará la ambigüedad con respecto a la rotación.
- Calibración extrínseca: Graba un vídeo desde las tres cámaras web simultáneamente. Asegúrese de que los vídeos se graban con la misma resolución que los vídeos que se van a procesar para las estimaciones de poses en 3D. Para garantizar la sincronización exacta de la hora en todos los vídeos, haz parpadear una luz LED IR al principio y al final de la grabación. Utilice un software de edición de video para sincronizar manualmente los videos marcando los fotogramas al inicio del LED y recortando los videos a una duración igual.
- Matrices de calibración: Pase los vídeos grabados en los dos pasos anteriores a través de OpenPose21 para generar matrices de calibración intrínsecas y extrínsecas.
NOTA: OpenPose utiliza la biblioteca OpenCV para la calibración de la cámara, y se pueden encontrar más instrucciones en la documentación de OpenPose GitHub20,22.
- Desactivar el enfoque automático: Para calcular los parámetros intrínsecos, como la distorsión de la lente y la perspectiva, siga las instrucciones basadas en el sistema operativo y las cámaras web seleccionados para desactivar el enfoque automático.
3. Recopilación de datos
- Instrucciones del paciente para iniciar la grabación
- Compruebe la batería y la energía del dispositivo: El dispositivo INS está siempre encendido para proporcionar una estimulación constante al sujeto. Para iniciar el registro de datos neuronales, pida al paciente que encienda la tableta y se asegure de que los módulos de telemetría (CTM) del médico para los dispositivos INS izquierdo y derecho estén encendidos y completamente cargados.
- Colocación de la marca CTM: Coloque las marcas comunitarias a ambos lados del tórax. Para obtener la máxima conectividad y reducir la pérdida de paquetes, coloque los CTM cerca de los implantes torácicos durante las grabaciones. Otros lugares para colocar los CTM son los bolsillos del pecho de una chaqueta o el uso de una bufanda especializada.
- Activar la conexión de la tableta: Una vez que la tableta se haya iniciado, pida al paciente que abra la aplicación DBS y seleccione Conectar, lo que solicita una conexión Bluetooth a los CTM y, posteriormente, a los dispositivos INS14.
- Activación de la cámara: Pida al paciente que confirme que las cámaras de video están conectadas a la PC a través de sus cables USB y que las cámaras se han encendido.
NOTA: Si utiliza la aplicación de grabación de video personalizada de los autores, las grabaciones en curso se indican claramente en la GUI orientada al paciente mediante una imagen grande de una luz roja que está brillantemente iluminada. Esto cambia a una luz roja no encendida cuando las grabaciones están apagadas. Las cámaras web seleccionadas también tienen una pequeña luz indicadora blanca. - Activación del reloj inteligente: Pida al paciente que encienda los relojes inteligentes y los teléfonos inteligentes manteniendo presionado el botón de encendido . A continuación, pídales que abran la aplicación del reloj inteligente para iniciar el registro de datos y el seguimiento de los síntomas de la EP.
- Escenarios de grabación y alineación de datos basados en gestos
- Escriba cualquier tarea deseada para que el paciente realice durante los registros de datos antes de comenzar una recopilación de datos.
- Dado que la sincronización basada en el reloj de varios dispositivos para alinear las marcas de tiempo puede ser poco fiable, pida al paciente que realice un gesto que se pueda utilizar para sincronizar las marcas de tiempo de los datos registrados al inicio de cada nueva grabación, incluso cuando se planea grabar durante períodos de comportamiento libre.
NOTA: Los autores diseñaron un gesto simple en el que el paciente tocaba los dos dispositivos INS implantados mientras mantenía sus manos a la vista de las cámaras. Este golpeteo crea patrones distintivos en las grabaciones inerciales de los relojes inteligentes y el acelerómetro INS y es fácil de observar en los videos.
- Instrucciones del paciente para finalizar la grabación
- Vuelva a cambiar el grupo de estimulación al grupo asignado clínicamente preferido del paciente.
- En la interfaz gráfica de usuario orientada al paciente de la aplicación DBS, introduzca un informe de síntomas.
- Cierre la aplicación DBS, que desconectará los CTM y concluirá la transmisión INS.
- Cierre la aplicación de grabación del reloj inteligente y devuelva los CTM, los teléfonos inteligentes y los dispositivos de reloj inteligente a sus puertos de carga.
- Descarga de datos
- Transfiera videos sin procesar al almacenamiento en la nube a través del protocolo de transferencia de datos utilizando una configuración cifrada. Cree un trabajo cron en la PC de grabación de video para transferir automáticamente los videos grabados al almacenamiento en la nube a través del protocolo de transferencia de datos18.
NOTA: Dependiendo de la resolución de los videos y la cantidad de horas grabadas cada día, la velocidad de Internet debe ser lo suficientemente alta como para permitir que todos los videos se transfieran al almacenamiento en la nube dentro de las 24 horas. Si la transferencia de datos es demasiado lenta, el espacio en disco podría agotarse, lo que provocaría un error en las grabaciones de vídeo adicionales programadas para el día siguiente. - Guarde los datos de INS en el punto de conexión en la nube seguro de HIPAA configurado en el paso 1.3.2. Descargue los datos de INS desde el punto de conexión en la nube seguro de HIPAA y anonimice los datos. Guarde los datos anonimizados en un almacenamiento externo en la nube.
NOTA: Se utilizó el código de preprocesamiento23 de OpenMind de código abierto para anonimizar los datos y convertirlos de archivos json a un formato de tabla. La tableta del paciente se configuró con un punto final en la nube seguro de HIPAA para el almacenamiento temporal de los datos sin procesar del INS; sin embargo, es concebible que el mismo sitio de almacenamiento en la nube utilizado para el almacenamiento a largo plazo también se pueda utilizar para este paso, siempre que cumpla con HIPAA y los datos se encripten antes de la descarga. - Si lo desea, guarde una copia de los datos del reloj inteligente en un almacenamiento externo en la nube para que se pueda acceder a todos los flujos de datos en una sola ubicación.
- Transfiera videos sin procesar al almacenamiento en la nube a través del protocolo de transferencia de datos utilizando una configuración cifrada. Cree un trabajo cron en la PC de grabación de video para transferir automáticamente los videos grabados al almacenamiento en la nube a través del protocolo de transferencia de datos18.
4. Caracterización del sistema
- Visualización de datos sin procesar: en el entorno de codificación deseado, visualice todos los flujos de datos sin procesar para garantizar que los datos se registraron y transfirieron correctamente sin pérdidas ni daños.
NOTA: La aplicación que se seleccionó para administrar las grabaciones del reloj inteligente tiene una aplicación de navegador que es útil para visualizar los datos del reloj inteligente24. - Retrasos en los fotogramas de vídeo y en las marcas de tiempo: inspeccione los retrasos entre las marcas de tiempo generadas desde diferentes cámaras web. Analice los retrasos grabando videos con una luz LED programable colocada en el marco de todas las cámaras web.
NOTA: El análisis reveló que una función de segmentación de video25 importada por la aplicación de grabación de video personalizada era la fuente de retrasos de marca de tiempo crecientes. La grabación de vídeos sin la función de segmentación dio lugar a retrasos entre los fotogramas de la cámara web y la marca de tiempo que no aumentaron con el tiempo (consulte el Archivo complementario 1 y la Figura complementaria 1).
5. Preprocesamiento y alineación de datos post-hoc
- Datos de pose
- Instale un software para calcular las estimaciones de la posición conjunta a partir de vídeos grabados.
NOTA: Se seleccionó la biblioteca OpenPose ya que incluye seguimiento de manos y rostros tanto en 2D como en 3D. - La biblioteca OpenPose no maneja automáticamente los casos en los que varias personas están en el encuadre, por lo que debe utilizar un script de posprocesamiento para asegurarse de que las estimaciones de pose de cada persona sean continuas de un fotograma al siguiente. OpenPose proporciona código para generar fácilmente animaciones, ya sea en 2D o 3D, para realizar comprobaciones visuales de la calidad de la estimación de la pose.
- Instale un software para calcular las estimaciones de la posición conjunta a partir de vídeos grabados.
- Alineación de tiempo basada en gestos
- Para cada dispositivo INS (izquierdo y derecho), siga los pasos que se describen a continuación utilizando la interfaz gráfica de usuario de alineación de datos de los autores (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Lectura de datos: acceda a los datos guardados de acelerometría del INS y del reloj inteligente desde el almacenamiento en la nube para la sesión de datos deseada.
NOTA: Se puede agregar una serie temporal adicional si se desea. La figura 3 muestra la posición de pose de la yema del dedo medio derecho en verde. - Visualice los flujos de datos en la interfaz gráfica de usuario: utilice la interfaz gráfica de usuario de alineación de tiempo manual para superponer la acelerometría del INS, la acelerometría del reloj inteligente y los datos de la pose.
- Acercar los artefactos de alineación: Acérquese al eje de tiempo y mueva la ventana de visualización a la sección de toque de pecho de la grabación. Cambie la serie temporal de alineación para que el pico de los toques del pecho en las señales de la serie temporal del INS y del reloj inteligente se superponga lo más posible.
NOTA: La interfaz gráfica de usuario está diseñada para facilitar la alineación manual de series temporales arbitrarias con un tiempo real común. La figura 3 muestra las series temporales reales en azul, mientras que las series temporales de alineación se muestran en naranja y verde. Las guías clave para la alineación de la interfaz gráfica de usuario se indican en el archivo Léame de GitHub (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Confirmación de alineación: Mueva la ventana de la interfaz gráfica de usuario a cada una de las tareas de golpeteo de pecho en la grabación y confirme que la alineación sigue siendo coherente a lo largo de la serie temporal. Presione el botón Cambiar alineación y repita las alineaciones en los flujos de datos restantes.
- Indicadores de advertencia: Para indicar si faltan datos, si se han desplazado u otras advertencias generales sobre la calidad de los datos, establezca indicadores de advertencia en la interfaz gráfica de usuario utilizando las teclas D, S y F respectivamente.
- Lectura de datos: acceda a los datos guardados de acelerometría del INS y del reloj inteligente desde el almacenamiento en la nube para la sesión de datos deseada.
- Para cada dispositivo INS (izquierdo y derecho), siga los pasos que se describen a continuación utilizando la interfaz gráfica de usuario de alineación de datos de los autores (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Alineación temporal de correlación cruzada normalizada cero (ZNCC)
- Identifique la señal que tiene más probabilidades de estar más cerca del tiempo real. Por lo general, este es el que tiene la frecuencia de muestreo más alta o la actualización de tiempo de Internet más rápida.
- Vuelva a muestrear las dos señales para que tengan la misma frecuencia de muestreo temporal e individualmente haga una puntuación z de ambas señales. Esto garantiza que las puntuaciones ZNCC resultantes se normalicen para estar entre -1 y 1, lo que proporciona una estimación del nivel de similitud entre las dos señales, útil para detectar errores.
- Calcule la correlación cruzada de la segunda señal y la primera señal en cada retardo.
- Si la información de fase de las dos señales no es importante, tome el valor absoluto de la curva de correlación cruzada medida.
NOTA: Si el comportamiento es significativamente a-periódico, entonces la información de fase no es necesaria, como en este caso. - Analice la curva ZNCC. Si hay un solo pico claro, con una puntuación ZNCC máxima superior a 0,3, entonces el tiempo de este pico corresponde al desfase de tiempo entre las dos señales. Si hay varios picos, no hay un pico claro o la puntuación ZNCC es baja en todos los intervalos de tiempo, las dos señales deben alinearse manualmente.
Figura 3: Alineación de datos basada en gestos. La mitad superior de la figura muestra la interfaz gráfica de usuario de alineación manual después de alinear los tres flujos de datos. La línea azul son los datos de acelerometría del reloj inteligente, la línea naranja son los datos de acelerometría del INS y la línea verde es la posición de pose 2D de la yema del dedo medio derecho desde una sola cámara web. La parte superior derecha muestra el desplazamiento entre la hora real del reloj inteligente y el INS, así como varias banderas de advertencia para marcar cualquier problema que surja. En este ejemplo, el INS estaba 20,8 s por delante del smartwatch. El gráfico inferior izquierdo se amplía para mostrar las cinco pulsaciones torácicas realizadas por el paciente para la alineación de datos. Los cinco picos son lo suficientemente claros en cada flujo de datos para garantizar una alineación adecuada. Haga clic aquí para ver una versión más grande de esta figura.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Diseño e implementación de prototipos de plataforma
Diseñamos un prototipo de plataforma y lo desplegamos en el domicilio de un solo paciente (Figura 1). Después de la primera instalación de hardware en el hogar, la plataforma se puede mantener y los datos se pueden recopilar completamente a través del acceso remoto. Los dispositivos INS, los relojes inteligentes y las cámaras tienen aplicaciones orientadas al paciente que permiten a los pacientes iniciar y detener las grabaciones. El hardware de recopilación de vídeo permite las grabaciones automáticas de vídeo después de que se haya configurado una programación aprobada. Los pacientes pueden cancelar fácilmente una grabación en curso simplemente presionando un botón en la interfaz gráfica de usuario de la aplicación de grabación de video (Figura 2). Todos los datos recopilados se cifraron y se transfirieron a un sitio de almacenamiento en la nube para que los investigadores los procesaran y analizaran.
Recogida de datos
Para los primeros despliegues y ciclos de recopilación de datos, le pedimos al paciente que realizara tareas clínicas autoguiadas. Las tareas se tomaron de la escala unificada de calificación de la enfermedad de Parkinson (UPDRS)26, a saber, temblor en reposo, golpeteo con los dedos pulgar a índice, apertura y cierre de manos, pronación-supinación de muñeca, movimiento de sentarse a pararse y caminar, y una tarea de mecanografía. Todas las tareas se repitieron tres veces por cada día de grabación. Para cada repetición, se estableció una amplitud de estimulación diferente para exponer los posibles síntomas de la EP relacionados con la estimulación. La Figura 4 muestra un ejemplo esquematizado de cómo podría ser una semana de datos recopilados con el sistema.
Figura 4: Disponibilidad de datos. Una demostración esquematizada de cómo podría ser una semana de datos recopilados con el sistema. El gráfico superior muestra el nivel de estimulación (azul) en el transcurso de varios ciclos día/noche. Los cambios en la estimulación de este paciente dependen de su horario de sueño y de las horas de ingesta de medicamentos (líneas rojas verticales). En momentos arbitrarios a lo largo del día, el sistema de recopilación de datos se puede habilitar de forma remota para recopilar datos para múltiples modalidades, que se muestran como cuadros de colores. Un ejemplo de todos los flujos de datos paralelos alineados en el tiempo, simplemente seleccionados hacia abajo en el lado izquierdo del cuerpo, se muestra en el gráfico inferior. Durante este registro, se le pidió al paciente que realizara una serie de evaluaciones clínicas durante condiciones de estimulación de baja, terapéutica y alta amplitud. Todos los datos que se muestran aquí corresponden a datos reales recopilados, pero se han comprimido en experimentos separados para facilitar la visualización y mostrar variedad. Abreviaturas: LFP=potencial de campo local, STN=núcleo subtalámico, Accel=acelerómetro, Gyro=giroscopio, 2D=bidimensional. Haga clic aquí para ver una versión más grande de esta figura.
Alineación manual
La interfaz gráfica de usuario de alineación manual proporciona una plataforma fácil de usar para alinear múltiples flujos de datos. Como se muestra en la Figura 3, los golpecitos torácicos proporcionan un artefacto claramente identificable en todas las modalidades de datos (INS, relojes inteligentes, videos) que se pueden usar en la alineación manual. La interfaz gráfica de usuario era un medio útil para alinear los datos, pero esto podía cambiarse por cualquier otra herramienta de alineación que los investigadores quisieran utilizar. En algunos casos, los flujos de datos tienen una ligera desviación. Una posible solución futura a este problema sería dividir los datos de la sesión en diferentes ensayos, cada uno con su propia secuencia de golpecitos en el pecho. Cada prueba se puede alinear individualmente para minimizar el impacto de la deriva.
Alineación temporal de correlación cruzada normalizada cero (ZNCC)
El método para ZNCC funciona bien en algunos casos, pero tiene algunas vulnerabilidades críticas. Por ejemplo, para algunos movimientos, las dos señales del acelerómetro se pueden desplazar de fase una con respecto a la otra. Si un movimiento alineado de fase y un movimiento desplazado de fase se incluyen en las épocas analizadas, entonces el ZNCC puede tener un pico múltiple o incluso ningún pico claro. La normalización de ZNCC permite que estas alineaciones se identifiquen automáticamente y se descarten según sea necesario. Este método funciona mejor si ambas señales están relativamente libres de ruido y se ajustan a una época con grandes efectos sincronizados en ambas trazas. Los mejores resultados se lograron cuando se le pidió al paciente que realizara una serie de golpecitos fuertes con ambas manos contra el pecho. Sin embargo, en la práctica, la verificación manual de la alineación automatizada era necesaria en suficientes casos como para que la ventaja de utilizar el método automatizado fuera insignificante.
Calidad de los datos
La pérdida de datos durante la transferencia automatizada fue insignificante, ya que el proceso del protocolo de transferencia de datos realiza copias de seguridad sin procesar para garantizar que cualquier pérdida sea recuperable. La pérdida de datos por problemas de conectividad se producía con regularidad, ya que el Bluetooth y la radiofrecuencia a veces tienen interrupciones inesperadas de la conexión y tienen un alcance limitado. Los intervalos cortos de hasta 2 segundos ocurrieron aproximadamente unas pocas veces por hora, y los intervalos más largos de hasta 2 minutos ocurrieron aproximadamente una vez cada dos horas. Más allá de la pérdida de datos, se observaron importantes artefactos de estimulación en los datos neuronales, cuya gravedad dependía del registro y de los grupos de estimulación elegidos. Los artefactos más grandes ocurren cerca de la frecuencia de estimulación, muy fuera de los rangos de interés. No se observaron artefactos en los datos de los relojes inteligentes. Los videos se grabaron a una velocidad de fotogramas constante; sin embargo, se identificaron fotogramas duplicados en los vídeos. Esto produjo una velocidad de fotogramas real de unos pocos fotogramas menos que la velocidad de fotogramas teórica establecida por las especificaciones de la cámara web. Sin embargo, más notables que los fotogramas duplicados fueron los períodos de congelación que se identificaron en los videos a intervalos variables según el día de grabación. Se observaron regularmente períodos de congelación de aproximadamente 10 fotogramas o menos; sin embargo, también se observaron secciones más largas, de aproximadamente 2 a 30 segundos de duración, en períodos irregulares.
Recogida de datos longitudinales
La Tabla 1 muestra los datos que el prototipo de la plataforma ha recopilado periódicamente a lo largo de 1,5 años. En ese tiempo, se recopilaron cientos de horas de datos, con un total de 293 horas de datos del INS en ambos lados del cuerpo, 224 horas de datos de relojes inteligentes para ambos relojes y 2.037 horas de datos de video en tres cámaras web. Esto demuestra que la plataforma admite la recopilación de datos en el hogar durante largos períodos de tiempo, al tiempo que ofrece una oportunidad única para observar los cambios longitudinales en los datos neuronales y los requisitos de estimulación correspondientes.
| Tipo de dato | Duración total (hh:mm:ss) | Total de días | Tamaño de almacenamiento |
| Neural | 293:17:33 | 90 | 28,94 GB |
| Reloj | 224:06:05 | 89 | 35,67 GB |
| Vídeo | 2037:06:11 | 228 | 146.073,77 GB |
Tabla 1: Resumen longitudinal de los datos recogidos. La plataforma desplegada recopiló datos durante varios experimentos a lo largo de 1,5 años. Se registraron aproximadamente 90 días con flujos de datos neuronales, de video y de relojes inteligentes que se recopilaron.
Estimaciones de poses 2D y 3D
En la actualidad hay disponibles varios paquetes de software de estimación de poses. La estimación de la pose se probó utilizando OpenPose, un paquete de software de código abierto21. Esto se instaló con éxito siguiendo la documentación proporcionada por el GitHub de la organización, así como muchos otros tutoriales no oficiales que se encuentran en la web. El tiempo de procesamiento de OpenPose varía significativamente en función de cómo se instalen la biblioteca de OpenPose y sus amplias dependencias, el tamaño de la GPU utilizada y si se procesan los puntos clave opcionales de manos y caras. La pose 2D fue relativamente fácil de implementar, sin embargo, la pose 3D fue notablemente más difícil y los resultados preliminares 3D produjeron una calidad inconsistente igual a la de la pose 2D. La estimación de la pose 3D de baja calidad puede haberse visto afectada negativamente por una calibración subóptima de la cámara, períodos en los que el enfoque automático de la cámara se activó erróneamente o inherente al propio software OpenPose. Sin embargo, los videos sincronizados de alta calidad desde múltiples ángulos pueden proporcionar entradas ricas para una variedad de paquetes de software de estimación de poses disponibles. Se recomienda que la configuración de la prueba se complete fuera del hogar del paciente, con una evaluación comparativa manual de los diferentes paquetes de software de estimación de poses disponibles.
Figura complementaria 1: Análisis del retardo de fotogramas de vídeo. Se detectaron retrasos en las marcas de tiempo generadas desde la aplicación de grabación de video durante la caracterización del sistema. Para investigar la causa de los retrasos, el número de fotogramas y la marca de tiempo generados por cada cámara se determinaron registrando una luz LED roja que parpadeaba a intervalos aleatorios, luego se calcularon las variaciones en los retrasos de marca de tiempo entre las cámaras. (Arriba) Intensidades de LED (en unidades RGB) medidas en cada una de las tres cámaras, lo que demuestra los desplazamientos de tiempo observados entre las tres cámaras (indicados con flechas rojas). (Abajo) Tres gráficos muestran los retrasos de la marca de tiempo entre cámaras en el número de fotogramas para una serie de parpadeos de LED en toda la grabación. Cada grabación se dividió en varios segmentos y el retraso de fotogramas fue aproximadamente constante a lo largo del tiempo. Haga clic aquí para descargar este archivo.
Archivo complementario 1: Método de análisis de fotogramas de vídeo y marcas de tiempo. Haga clic aquí para descargar este archivo.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Compartimos el diseño de un prototipo en casa de una plataforma de recopilación de datos multimodal para apoyar futuras investigaciones en la investigación de la neuromodulación. El diseño es de código abierto y modular, de modo que cualquier pieza de hardware puede ser reemplazada, y cualquier componente de software puede ser actualizado o cambiado sin que la plataforma general colapse. Si bien los métodos para recopilar y anonimizar datos neuronales son específicos para el INS seleccionado, los métodos restantes y el enfoque general para la recopilación de datos conductuales son independientes del dispositivo implantable que se utilice. Implementamos la plataforma en el hogar de una persona con EP y recopilamos datos durante los períodos experimental y naturalista. Durante las implementaciones, las recopilaciones de datos y el procesamiento de datos post-hoc, se descubrieron varios aspectos que eran particularmente cruciales para permitir iteraciones de investigación exitosas.
Un miembro valioso de nuestro equipo fue el coordinador de investigación que viajó a la casa del paciente para instalar el hardware, configurar la VPN, realizar la calibración de la cámara para la pose 3D y guiar al paciente a través de cómo usar la GUI de cara al paciente de cada dispositivo. Es importante destacar que el coordinador de la investigación también sirvió como el principal punto de contacto entre el paciente y el equipo de investigación. El paciente prefirió utilizar su función de chat por correo electrónico para enviar mensajes rápidamente de un lado a otro. Tener un punto de contacto coherente y accesible fue particularmente útil de dos maneras:
Establecer un canal de comunicación familiar para que el paciente solicite cambios en las grabaciones programadas y comunique cualquier dificultad en el uso del sistema. Esto ayudó al coordinador de la investigación a identificar los momentos convenientes para que el paciente realizara experimentos de grabación. La principal dificultad en el uso del sistema reportada fue la necesidad de realizar un seguimiento de la duración de la batería de varios dispositivos.
Permitir que la resolución de problemas del sistema sea mínimamente perjudicial para el paciente. La mayoría de la resolución de problemas se derivaba de problemas de conectividad de red que ocurrían en promedio una vez cada dos semanas. Si bien el reinicio de los dispositivos generalmente resolvía estos problemas, los relojes con frecuencia requerían múltiples reinicios, lo que el paciente informó que era oneroso.
Es esencial garantizar un acceso remoto robusto al hardware colocado en el hogar del paciente. Para lograr esto, tener una conexión a Internet estable es crucial. También es necesario configurar una máquina cifrada en disco para que se desbloquee automáticamente cada vez que se reinicie una máquina. Como era de esperar, un cable Ethernet siempre produjo las conexiones de red más rápidas y confiables. Menos esperada era la necesidad de configurar un chip TPM, necesario debido a la elección de Linux como sistema operativo. Si se utiliza un sistema operativo Windows, su programa Bitlocker se encargará de esto automáticamente. Por último, la configuración de la PC implementada para habilitar automáticamente la VPN y volver a montar la unidad de disco duro al reiniciar el sistema garantizó un acceso remoto continuo sin necesidad de volver a visitar repetidamente el hogar del paciente. La incorporación de una VPN y un protocolo de cifrado de datos en el diseño de la plataforma fue fundamental para la seguridad e integridad de los datos. La VPN permite conectar una red de ordenadores sin necesidad de configurar el reenvío de puertos personalizado en el router privado del paciente. El protocolo de cifrado de datos de código abierto Rclone proporciona un cifrado de datos estándar y un medio fácilmente automatizable para transferir datos desde los dispositivos de los pacientes al almacenamiento en la nube18. El protocolo de cifrado de datos realiza copias de seguridad de los datos sin procesar durante sus pasos de transferencia de datos para garantizar que las pérdidas sean recuperables. Estos pasos garantizaron que los datos privados del paciente se mantuvieran seguros e incorruptos.
Para poder realizar un análisis de datos significativo, es esencial que los datos recopilados de múltiples dispositivos estén alineados en el tiempo. Es probable que los relojes de cada dispositivo no estén perfectamente alineados con una hora común de Internet, incluso si los fabricantes sugieren que lo están. Además, algunos dispositivos pueden experimentar derivas en momentos impredecibles, cambiando sus desplazamientos en relación con los otros dispositivos. Esto crea dificultades para trabajar hacia algoritmos adaptativos totalmente automatizados y en tiempo real, y las investigaciones futuras deberán considerar cuidadosamente las soluciones a este problema. Se exploraron métodos de alineación automática utilizando correlación cruzada normalizada. Esto funciona razonablemente bien en muchos casos; Sin embargo, las desviaciones de tiempo deben ser mínimas y los datos deben contener señales claramente identificables. Debido a que se encontraron tanto grandes desviaciones como períodos en los que los datos tenían demasiado ruido o pérdida de paquetes, no se puede confiar plenamente en este método totalmente automatizado. Para minimizar la carga de alinear manualmente los datos, creamos una interfaz gráfica de usuario simple para permitir a los investigadores verificar visualmente los flujos de datos con relativa facilidad y rapidez.
La inclusión de datos de video en el sistema permite a los médicos medir la gravedad de los síntomas a través de la observación remota, y los investigadores pueden obtener etiquetas de eventos. Además, las estimaciones de la pose se pueden calcular a partir de videos como una métrica continua de la calidad del movimiento, como medir la velocidad y la suavidad de los movimientos de los dedos a lo largo del tiempo. Sin embargo, la recopilación de videos de alta resolución de varias cámaras requiere un gran espacio de almacenamiento. Por ejemplo, la recopilación de 8 horas de vídeos 4k en formato MJPEG de tres cámaras requiere aproximadamente 0,5 TB de espacio de almacenamiento. Registrar y almacenar grandes cantidades de datos se vuelve costoso rápidamente, lo que crea un cuello de botella económico para implementar este sistema en muchos pacientes. Con el fin de hacer que estas plataformas se adapten a muchos pacientes, los futuros diseñadores de sistemas deben reducir la cantidad de datos necesarios para el almacenamiento a largo plazo. Los sistemas futuros deberían considerar incluir el procesamiento de poses en tiempo real para que los videos se puedan eliminar rápidamente después de que se procese la pose. La pose en tiempo real también podría proporcionar información sobre las habilidades motoras finas en algoritmos de bucle cerrado, lo que está fuera del alcance de este trabajo. Si es necesario conservar algunos datos de vídeo para la revisión clínica o el etiquetado de eventos, estos se pueden reducir a una resolución más baja antes de guardarlos en el almacenamiento en la nube.
Finalmente, para abordar de manera eficiente las fallas de diseño y los errores de implementación que invariablemente surgen al construir un sistema integrado, adquirir una réplica del hardware que se implementará para su uso como banco de pruebas es extremadamente valioso. Esto fue cierto para probar el hardware y el software que se seleccionó para recopilar videos y procesar datos de poses. Todo el proceso de adquisición de videos y estimaciones de poses tanto en el espacio 2D como en el 3D fue significativamente más desafiante de lo previsto. Un banco de pruebas permite la resolución de problemas y la realización de pruebas de estrés en una serie de pasos importantes antes de la implementación, entre los que se incluyen:
Calibrar correctamente las cámaras dentro de las limitaciones de diseño de una sala determinada.
Identificar la resolución de vídeo y la velocidad de fotogramas adecuadas para admitir una estimación de pose de alta calidad. Para habitaciones pequeñas o entornos similares a oficinas, la grabación de video HD probablemente sea suficiente, ya que el tamaño de las personas en el video grabado es lo suficientemente grande como para que la pose se pueda calcular fácilmente y requiera mucho menos espacio de almacenamiento que el video 4k.
Detección de errores en los vídeos grabados, como la congelación de fotogramas o los retrasos entre los archivos de vídeo escritos secuencialmente.
Exponer valores predeterminados de software inesperados, como restablecer el enfoque automático de la cámara al reiniciar la máquina, lo que ocluye el beneficio de la calibración de la cámara.
Prueba y error para encontrar versiones compatibles de las bibliotecas de software que deben estar preinstaladas para permitir que OpenPose se ejecute en una GPU de tamaño mediano.
Una limitación particular de este trabajo es el despliegue de la plataforma en un solo estudio piloto en el hogar de un individuo, lo que nos impide descubrir cualquier generalización entre participantes. Sin embargo, a lo largo del proceso de diseño y desarrollo, el sistema fue diseñado para ser escalable y soportar múltiples implementaciones para soportar estudios remotos, y el propósito de este estudio piloto fue establecer la viabilidad tecnológica de una sofisticada plataforma de monitoreo en el hogar. La modificación de este diseño piloto en función de algunos de los hallazgos cruciales discutidos y la implementación de la plataforma en más hogares permitirá un mayor refinamiento del diseño para respaldar futuras investigaciones en aDBS en el hogar. Además, la recopilación de datos durante puntos de tiempo adicionales cuando un individuo no está realizando experimentos predeterminados ofrecerá información para mejorar los análisis y la eficacia general de la terapia. La ECP puede proporcionar un método preferible para el tratamiento de enfermedades neurológicas, incluida la EP, en comparación con la ECP convencional que puede tener efectos secundarios inaceptables. Llevar esta importante terapia a muchas personas requiere automatizar el ajuste de parámetros y analizar la efectividad de la terapia fuera de la clínica a lo largo del tiempo. La plataforma proporciona un enfoque novedoso para recopilar datos de cámaras de video en el hogar, relojes inteligentes, grabaciones neuronales e informes de pacientes durante actividades experimentales y naturales desde la comodidad del propio hogar del paciente. El sistema contribuirá además a la creación de nuevos conjuntos de datos multimodales para respaldar futuros descubrimientos en el tratamiento de enfermedades neurológicas15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Los autores no tienen conflictos de intereses que revelar.
Acknowledgments
Este material se basa en el trabajo apoyado por el Programa de Becas de Investigación de Posgrado de la Fundación Nacional de Ciencias (DGE-2140004), el Weill Neurohub y el Instituto Nacional de Salud (UH3NS100544). Todas las opiniones, hallazgos, conclusiones o recomendaciones expresadas en este material pertenecen al autor o autores y no reflejan necesariamente los puntos de vista de la Fundación Nacional de Ciencias, el Weill Neurohub o el Instituto Nacional de Salud. Agradecemos a Tianjiao Zhang por sus consultas expertas sobre el diseño de la plataforma y la incorporación de datos de video. Agradecemos especialmente al paciente por su participación en este estudio y por los comentarios y consejos sobre la seguridad de la red y el diseño de la plataforma.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
