Summary
O protocolo mostra um protótipo da plataforma de coleta de dados multimodal em casa que apoia pesquisas otimizando a estimulação cerebral profunda adaptativa (aDBS) para pessoas com distúrbios neurológicos do movimento. Também apresentamos as principais descobertas da implantação da plataforma por mais de um ano na casa de um indivíduo com doença de Parkinson.
Abstract
A estimulação cerebral profunda adaptativa (aDBS) mostra-se promissora para melhorar o tratamento de distúrbios neurológicos, como a doença de Parkinson (DP). O aDBS usa biomarcadores relacionados a sintomas para ajustar os parâmetros de estimulação em tempo real para atingir os sintomas com mais precisão. Para permitir esses ajustes dinâmicos, os parâmetros para um algoritmo de aDBS devem ser determinados para cada paciente individual. Isso requer um ajuste manual demorado por parte dos pesquisadores clínicos, tornando difícil encontrar uma configuração ideal para um único paciente ou dimensionar para muitos pacientes. Além disso, a eficácia a longo prazo dos algoritmos aDBS configurados na clínica enquanto o paciente está em casa permanece uma questão em aberto. Para implementar essa terapia em larga escala, é necessária uma metodologia para configurar automaticamente os parâmetros do algoritmo aDBS enquanto monitora remotamente os resultados da terapia. Neste artigo, compartilhamos um projeto para uma plataforma de coleta de dados em casa para ajudar o campo a abordar ambas as questões. A plataforma é composta por um ecossistema integrado de hardware e software que é de código aberto e permite a coleta domiciliar de dados de vídeo neural, inercial e multicâmera. Para garantir a privacidade dos dados identificáveis pelo paciente, a plataforma criptografa e transfere dados por meio de uma rede privada virtual. Os métodos incluem o alinhamento de tempo de fluxos de dados e a extração de estimativas de pose de gravações de vídeo. Para demonstrar o uso desse sistema, implantamos essa plataforma na casa de um indivíduo com DP e coletamos dados durante tarefas clínicas autoguiadas e períodos de comportamento livre ao longo de 1,5 anos. Os dados foram registrados em amplitudes de estimulação subterapêutica, terapêutica e supraterapêutica para avaliar a gravidade dos sintomas motores em diferentes condições terapêuticas. Esses dados alinhados ao tempo mostram que a plataforma é capaz de coletar dados multimodais sincronizados em casa para avaliação terapêutica. Essa arquitetura de sistema pode ser usada para apoiar a pesquisa automatizada de aDBS, para coletar novos conjuntos de dados e para estudar os efeitos de longo prazo da terapia com DBS fora da clínica para aqueles que sofrem de distúrbios neurológicos.
Introduction
A estimulação cerebral profunda (DBS) trata distúrbios neurológicos, como a doença de Parkinson (DP), fornecendo corrente elétrica diretamente para regiões específicas do cérebro. Estima-se que existam 8,5 milhões de casos de DP em todo o mundo, e a EEP tem se mostrado uma terapia crítica quando a medicação é insuficiente para o manejo dos sintomas 1,2. No entanto, a efetividade da EEP pode ser limitada por efeitos colaterais que às vezes ocorrem a partir da estimulação convencionalmente administrada em amplitude, frequência e largura de pulso fixas3. Essa implementação em malha aberta não responde às flutuações no estado de sintomas, resultando em configurações de estimulação que não são apropriadamente adaptadas às necessidades em mudança do paciente. A EEP é ainda mais prejudicada pelo demorado processo de ajuste dos parâmetros de estimulação, que atualmente é realizado manualmente pelos médicos para cada paciente individual.
A EEP adaptativa (EEPa) é uma abordagem de circuito fechado que se mostrou uma próxima iteração eficaz da EEP, ajustando parâmetros de estimulação em tempo real sempre que biomarcadores relacionados a sintomas são detectados 3,4,5. Estudos têm demonstrado que as oscilações beta (10-30 Hz) no núcleo subtalâmico (NST) ocorrem consistentemente durante a bradicinesia, uma lentificação do movimento característica da DP 6,7. Da mesma forma, sabe-se que altas oscilações gama (50-120 Hz) no córtex ocorrem durante períodos de discinesia, um movimento excessivo e involuntário também comumente observado naDP8. Trabalhos recentes administraram com sucesso aDBS fora da clínica por períodos prolongados5, no entanto, a eficácia a longo prazo dos algoritmos de aDBS que foram configurados na clínica enquanto um paciente está em casa não foi estabelecida.
Sistemas remotos são necessários para capturar a eficácia variável no tempo desses algoritmos dinâmicos na supressão de sintomas encontrados durante a vida diária. Embora a abordagem de estimulação dinâmica da EEPa potencialmente permita um tratamento mais preciso com efeitos colaterais reduzidos3,9, a EEP ainda sofre de uma alta carga sobre os médicos para identificar manualmente os parâmetros de estimulação para cada paciente. Além do já grande conjunto de parâmetros para programar durante o DBS convencional, os algoritmos aDBS introduzem muitos novos parâmetros que também devem ser cuidadosamente ajustados. Essa combinação de parâmetros de estimulação e algoritmo produz um vasto espaço de parâmetros com um número incontrolável de combinações possíveis, proibindo o dimensionamento de aDBS para muitos pacientes10. Mesmo em ambientes de pesquisa, o tempo adicional necessário para configurar e avaliar sistemas aDBS dificulta a otimização adequada de algoritmos apenas na clínica, e a atualização remota de parâmetros é necessária. Para tornar o aDBS um tratamento que possa escalar, a estimulação e o ajuste de parâmetros do algoritmo devem ser automatizados. Além disso, os resultados da terapia devem ser analisados em ensaios repetidos para estabelecer a EEP como um tratamento viável a longo prazo fora da clínica. Há necessidade de uma plataforma que possa coletar dados para avaliação remota da eficácia da terapia e implantar remotamente atualizações nos parâmetros do algoritmo aDBS.
O objetivo deste protocolo é fornecer um design reutilizável para uma plataforma multimodal de coleta de dados em casa para melhorar a eficácia do aDBS fora da clínica e permitir que esse tratamento seja dimensionado para um maior número de indivíduos. Até onde sabemos, é o primeiro projeto de plataforma de coleta de dados que avalia remotamente os resultados terapêuticos usando câmeras de vídeo em casa, sensores vestíveis, gravação crônica de sinais neurais e feedback orientado ao paciente para avaliar sistemas aDBS durante tarefas controladas e comportamento naturalista.
A plataforma é um ecossistema de componentes de hardware e software construído sobre sistemas previamente desenvolvidos5. É totalmente sustentável através de acesso remoto após uma instalação inicial de hardware mínimo para permitir a coleta de dados multi-modal de uma pessoa no conforto de sua casa. Um componente-chave é o sistema de neuroestimulação implantável (SNI)11 , que detecta a atividade neural e estimula a NST, registrando a aceleração dos implantes torácicos. Para o implante utilizado na implantação inicial, a atividade neural é registrada a partir de eletrodos bilaterais implantados no NST e de eletroeletrocorticogramas implantados sobre o córtex motor. Um sistema de gravação de vídeo ajuda os médicos a monitorar a gravidade dos sintomas e a eficácia da terapia, que inclui uma interface gráfica do usuário (GUI) para permitir o cancelamento fácil de gravações em andamento para proteger a privacidade do paciente. Os vídeos são processados para extrair trajetórias cinemáticas de posição em duas dimensões (2D) ou tridimensionais (3D), e relógios inteligentes são usados em ambos os pulsos para capturar informações de velocidade angular e aceleração. É importante ressaltar que todos os dados são criptografados antes de serem transferidos para o armazenamento em nuvem de longo prazo, e o computador com vídeos identificáveis pelo paciente só pode ser acessado por meio de uma rede privada virtual (VPN). O sistema inclui duas abordagens para alinhamento de tempo post-hoc de todos os fluxos de dados, e os dados são usados para monitorar remotamente a qualidade do movimento do paciente e para identificar biomarcadores relacionados a sintomas para refinar algoritmos aDBS. A parte em vídeo deste trabalho mostra o processo de coleta de dados e animações de trajetórias cinemáticas extraídas dos vídeos coletados.
Várias considerações de design orientaram o desenvolvimento do protocolo:
Garantindo a segurança dos dados e a privacidade do paciente: A coleta de dados identificáveis de pacientes requer o máximo de cuidado na transmissão e armazenamento para ser um ato de portabilidade e responsabilidade do seguro de saúde (HIPAA)12,13 cumprir e respeitar a privacidade do paciente em sua própria casa. Neste projeto, isso foi alcançado através da configuração de uma VPN personalizada para garantir a privacidade de todo o tráfego sensível entre os computadores do sistema.
Limites de segurança dos parâmetros de estimulação: É fundamental garantir que o paciente permaneça seguro ao experimentar algoritmos aDBS que podem ter efeitos não intencionais. O INS do paciente deve ser configurado por um clínico para ter limites seguros para parâmetros de estimulação que não permitam efeitos inseguros de superestimulação ou subestimulação. Com o sistema INS11 Utilizado neste estudo, esse recurso é habilitado por um programador clínico.
Garantindo o veto do paciente: Mesmo dentro dos limites dos parâmetros seguros, a variabilidade diária dos sintomas e das respostas de estimulação pode resultar em situações desagradáveis para o paciente, onde ele não gosta de um algoritmo em teste e deseja retornar à EEP clínica normal de malha aberta. O sistema INS selecionado inclui um módulo de telemetria do paciente (PTM) que permite ao paciente alterar manualmente seu grupo de estimulação e amplitude de estimulação em mA. Há também um aplicativo de pesquisa conectado ao INS que é usado para configuração remota do INS antes da coleta de dados14, que também permite que o paciente aborte os ensaios de aDBS e controle sua terapia.
Capturando comportamentos complexos e naturais: Os dados de vídeo foram incorporados à plataforma para permitir que os médicos monitorem remotamente a eficácia da terapia e extraiam trajetórias cinemáticas de estimativas de pose para uso em análises de pesquisa15. Embora os sensores vestíveis sejam menos intrusivos, é difícil capturar toda a amplitude dinâmica de movimento de um corpo inteiro usando apenas sistemas vestíveis. Os vídeos permitem a gravação simultânea de toda a amplitude de movimento do paciente e seus sintomas ao longo do tempo.
Usabilidade do sistema para pacientes: A coleta de dados multimodais em casa requer que vários dispositivos sejam instalados e utilizados na casa do paciente, o que pode se tornar oneroso para os pacientes navegarem. Para tornar o sistema fácil de usar e, ao mesmo tempo, garantir o controle do paciente, apenas os dispositivos implantados ou fisicamente conectados ao paciente (neste caso, incluindo o sistema INS e relógios inteligentes) devem ser ativados manualmente antes de iniciar uma gravação. Para dispositivos que são separados do paciente (neste caso, inclui dados gravados de câmeras de vídeo), as gravações começam e terminam automaticamente sem exigir qualquer interação com o paciente. Durante o design da GUI, foi tomado cuidado para minimizar o número de botões e evitar árvores de menu profundas para que as interações fossem simples. Depois que todos os dispositivos são instalados, um coordenador de pesquisa mostrou ao paciente como interagir com todos os dispositivos por meio de GUIs voltadas para o paciente que fazem parte de cada dispositivo, como encerrar gravações em qualquer dispositivo e como inserir seu histórico de medicação e relatórios de sintomas.
Transparência da coleta de dados: Indicar claramente quando as câmeras estão ligadas é imprescindível para que as pessoas saibam quando estão sendo gravadas e possam suspender a gravação se precisarem de um momento de privacidade. Para conseguir isso, um aplicativo de sistema de câmera é usado para controlar gravações de vídeo com uma GUI voltada para o paciente. A GUI é aberta automaticamente quando o aplicativo é iniciado e lista a hora e a data da próxima gravação agendada. Quando uma gravação está em andamento, uma mensagem informa quando a gravação está programada para terminar. No centro da GUI, uma imagem grande de uma luz vermelha é exibida. A imagem mostra a luz sendo acesa sempre que uma gravação está em andamento e muda para uma imagem não iluminada quando as gravações estão DESLIGADAS.
O protocolo detalha métodos para projetar, construir e implantar uma plataforma de coleta de dados em casa, para verificar a qualidade dos dados coletados quanto à completude e robustez e para o pós-processamento de dados para uso em pesquisas futuras.
Figura 1: Fluxo de dados. Os dados de cada modalidade são coletados independentemente da residência do paciente antes de serem processados e agregados em um único endpoint de armazenamento remoto. Os dados de cada modalidade são enviados automaticamente para um ponto de extremidade de armazenamento remoto. Com a ajuda de um dos membros da equipe, ele pode ser recuperado, verificado quanto à validade, alinhado ao tempo entre as modalidades, bem como submetido a um pré-processamento mais específico da modalidade. O conjunto de dados compilado é carregado em seguida em um ponto de extremidade de armazenamento remoto que pode ser acessado com segurança por todos os membros da equipe para análise contínua. Todas as máquinas com acesso a dados, especialmente para dados confidenciais, como vídeo bruto, estão dentro de uma VPN que garante que todos os dados sejam transferidos com segurança e que os dados armazenados sejam sempre criptografados. Clique aqui para ver uma versão maior desta figura.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Os pacientes são inscritos através de um estudo maior aprovado pelo IRB e IDE no aDBS da Universidade da Califórnia, São Francisco, protocolo # G1800975. O paciente incluído neste estudo também forneceu consentimento informado especificamente para este estudo.
1. Componentes do sistema em casa
- Servidor central e VPN
- Adquira um computador pessoal (PC) executando um sistema operacional (SO) baseado em Linux dedicado a servir uma VPN. Hospede a máquina em uma sala segura. O disco criptografa a máquina para garantir a segurança dos dados.
- Configure o servidor VPN para ser acessível publicamente em pelo menos uma porta.
NOTA: Neste caso, isso foi conseguido através da colaboração com o departamento de TI para fornecer ao servidor um endereço IP estático voltado para o exterior e uma URL personalizada pelas opções de hospedagem DNS da universidade. - Para a instalação do servidor, conclua as etapas a seguir uma vez no PC selecionado para servir a VPN.
- Configuração de firewall: execute os seguintes comandos no terminal do PC para instalar e configurar o firewall descomplicado:
sudo apt instalar ufw
sudo ufw permitir ssh
sudo ufw permitir/udp
sudo ufw ativar - Instalação VPN do servidor: instale o protocolo VPN16 do WireGuard de código aberto no PC e navegue até o diretório de instalação. No terminal do PC, execute umask 007 para atualizar as regras de acesso ao diretório.
- Geração de chaves: No terminal do PC, execute
GT Genkey - Brasil | Tee PrivateKey | WG Pubkey > PublicKey
Isso gera um par de chaves pública/privada para o servidor VPN. Essa chave pública será compartilhada com qualquer PC cliente que se conecte à VPN. - Configuração VPN: No terminal do PC, execute touch
.conf para criar um arquivo de configuração, onde o nome do arquivo deve corresponder ao nome da interface. Cole as seguintes regras de servidor neste arquivo:
[Interface]
PrivateKey =
Endereço = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Par]
PublicKey =
IPs permitidos = ##.#.#.#/ ## - Ativando a VPN: Inicie a VPN inserindo
wg-quick up no terminal. Para permitir que o protocolo VPN seja iniciado automaticamente sempre que o PC for reinicializado, execute o seguinte no terminal:
systemctl ativar wg-quick@
- Configuração de firewall: execute os seguintes comandos no terminal do PC para instalar e configurar o firewall descomplicado:
- Para a instalação do cliente, conclua as etapas a seguir para cada nova máquina que precisa de acesso à VPN.
- Instalação VPN do cliente: instale o protocolo VPN de acordo com as instruções específicas do sistema operacional na página de download do WireGuard16 .
- Adicionando um cliente à VPN: pegue a chave pública do arquivo de configuração gerado durante a instalação. Cole essa chave na seção peer do arquivo de configuração do servidor.
- Ativando a VPN: Inicie a VPN de acordo com as instruções específicas do sistema operacional na página de download do WireGuard16 .
- Armazenamento na nuvem
- Selecione um site de armazenamento em nuvem para permitir que todos os fluxos de dados gravados sejam armazenados a longo prazo em um só lugar. Aqui, um site de armazenamento em nuvem baseado em serviço da Amazon que era compatível com o protocolo de transferência de dados selecionado foi usado.
- Sistema de neuromodulação implantável
- Seguindo as diretrizes do IRB e IDE, selecione um sistema de neuromodulação implantável (SNI)11 que permita ao paciente alterar manualmente suas configurações de estimulação.
- Adquira um tablet PC e instale o aplicativo UCSF DBS de código aberto para permitir gravações do INS, relatar medicamentos e sintomas ou qualquer outro comentário do paciente14. Configure os dados INS que são transmitidos para o tablet para serem carregados em um ponto de extremidade de armazenamento em nuvem temporário compatível com HIPPA, para armazenamento temporário antes da desidentificação dos dados e do descarregamento para o armazenamento em nuvem de longo prazo.
- Sistema de coleta de vídeo
- Adquira um PC capaz de coletar e armazenar a quantidade desejada de arquivos de vídeo antes de transferi-los para o armazenamento em nuvem. Verifique se a placa-mãe do PC inclui um chip TPM (trusted platform module).
NOTA: Neste caso, foi seleccionado um PC com um SSD de 500 GB, um disco rígido de 2 TB e um GPU de 6 GB. Um disco de 2 TB garante que os vídeos possam ser armazenados em buffer após uma longa sessão de gravação ou no caso de perder a conexão com a internet por alguns dias, enquanto o único PC mantém o hardware minimamente intrusivo em casa. - Instale o sistema operacional desejado e siga as instruções para habilitar a criptografia automática de disco para garantir a privacidade do paciente e evitar o vazamento de dados. Neste caso, um sistema operacional baseado em Linux com uma distribuição Ubuntu foi escolhido por sua facilidade de uso e confiabilidade.
- Criptografe separadamente todos os discos rígidos após a instalação do sistema operacional. Certifique-se de ativar a remontagem automática do disco após a reinicialização do sistema.
- Configure o chip TPM integrado do PC para manter o acesso ao PC criptografado em disco após a reinicialização do sistema17.
NOTA: Se estiver usando um sistema operacional Linux, certifique-se de selecionar uma placa-mãe com um chip TPM2 instalado para habilitar esta etapa. Se um sistema operacional Windows for usado, a criptografia e o desbloqueio automático de disco podem ser manipulados pelo programa Bitlocker. - Configure o PC como um cliente VPN seguindo as etapas de instalação na versão 1.1.4. Habilite o protocolo VPN para iniciar automaticamente sempre que o PC for reinicializado, como na seção 1.1.3.5, para garantir que os computadores pesquisadores sempre possam acessar remotamente o PC (recomendado).
- Crie uma conta de usuário de máquina GitHub para automatizar facilmente as atualizações de software instalado no PC. Essa conta serve como um webhook para automatizar a extração do ponto de extremidade git remoto e ajuda a identificar quaisquer atualizações enviadas pela máquina remota.
- Selecione o software para agendar e controlar gravações de vídeo e instalá-lo no PC. Para maximizar a privacidade e o conforto do paciente, o software selecionado deve incluir uma interface gráfica do usuário (GUI) para indicar claramente quando as gravações estão em andamento e permitir o encerramento fácil das gravações a qualquer momento.
NOTA: Se desejar, o aplicativo de gravação de vídeo personalizado dos autores com uma GUI voltada para o paciente pode ser instalado baixando o aplicativo e seguindo as instruções no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Selecione um monitor para indicar quando os vídeos estão sendo gravados e para permitir que as pessoas encerrem facilmente as gravações. Selecione um monitor com capacidade de tela sensível ao toque para que as gravações possam ser encerradas sem a necessidade de operar um teclado ou mouse.
- Instale um aplicativo de área de trabalho remota no PC. Isso permite executar um aplicativo com uma GUI tal que a GUI permaneça visível no lado do paciente e no lado do pesquisador remoto.
NOTA: O aplicativo de área de trabalho remota NoMachine de código aberto funcionou melhor para um sistema operacional Linux. - Selecione webcams compatíveis com USB com resolução suficientemente alta para calcular poses no espaço determinado.
NOTA: Neste caso, foram escolhidas webcams compatíveis com 4k, que oferecem várias combinações de resolução e taxa de quadros, incluindo resolução 4k a 30 fps ou resolução HD a 60 fps. - Selecione hardware robusto para montar webcams na casa do paciente. Use suportes de pescoço de ganso com grampos para prendê-los aos móveis para evitar que as câmeras tremam.
- Selecione um protocolo de transferência de dados com capacidade de criptografia e instale-o no PC. Crie uma configuração para acessar o site de armazenamento em nuvem e, em seguida, crie uma configuração de criptografia para encapsular a primeira configuração antes da transferência de dados.
Observação : nesse caso, uma transferência de dados de código aberto e protocolo de sincronização de arquivos com capacidade de criptografia foi instalado18. A documentação do protocolo de transferência de dados explica como configurar a transferência de dados para o armazenamento em nuvem. O protocolo foi instalado pela primeira vez no servidor VPN e foi criada uma configuração de criptografia que transfere dados para o site de armazenamento em nuvem externo.
- Adquira um PC capaz de coletar e armazenar a quantidade desejada de arquivos de vídeo antes de transferi-los para o armazenamento em nuvem. Verifique se a placa-mãe do PC inclui um chip TPM (trusted platform module).
- Componentes de dados de sensores vestíveis
- Selecione relógios inteligentes a serem usados em cada pulso do paciente para rastrear sinais, incluindo movimento, acelerometria e frequência cardíaca.
NOTA: O Apple Watch série 3 foi selecionado com um monitor de sintomas de distúrbio de movimento integrado que gera pontuações de sintomas de DP, como discinesia e pontuações de tremor. - Selecione e instale software em cada relógio inteligente que pode iniciar e terminar gravações e pode transferir dados para o armazenamento em nuvem. Selecione um aplicativo que carregue todos os fluxos de dados em seu portal on-line associado para pesquisadores e clínicos analisarem19.
- Selecione relógios inteligentes a serem usados em cada pulso do paciente para rastrear sinais, incluindo movimento, acelerometria e frequência cardíaca.
Figura 2: Componentes de gravação de vídeo. Os componentes de hardware para suportar a coleta de dados de vídeo são mínimos, incluindo um único PC de torre, webcams conectadas por USB e um pequeno monitor para exibir a GUI voltada para o paciente. O monitor é habilitado para tela sensível ao toque para permitir o encerramento fácil de quaisquer gravações em andamento ou programadas pressionando os botões visíveis na GUI. O centro da GUI mostra uma imagem de uma luz de gravação que se transforma em uma cor vermelha brilhante quando as câmeras de vídeo estão gravando ativamente. Clique aqui para ver uma versão maior desta figura.
2. Configuração doméstica
- Instalação de hardware
- Determine um espaço apropriado para a montagem de webcams que minimize as interrupções na casa. Determinar o espaço através de discussões com o paciente; Aqui, a área de Home Office foi escolhida como o local ideal para equilibrar o volume de gravação com a privacidade.
- Monte webcams na área identificada no hardware de montagem selecionado. Cortar montagens de pescoço de ganso em móveis pesados próximos evita que as câmeras tremam sempre que alguém pisa por perto.
- Coloque o PC suficientemente perto das webcams montadas para que seus cabos USB possam se conectar ao PC.
- Coloque o tablet PC, componentes INS, relógios inteligentes e telefones inteligentes perto de uma tomada de energia para que todos os dispositivos possam ficar conectados e prontos para uso a qualquer momento.
- Confirme se a VPN está ATIVADA executando a rota -n no terminal do PC. Caso contrário, siga as instruções para ativar a VPN na seção 1.1.3.5.
- Inicie o aplicativo de gravação de vídeo
- Cronograma de gravação de vídeo: Antes de coletar qualquer dado, discuta um cronograma de gravação apropriado com o paciente. Configure essa programação no software de gravação de vídeo.
NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as instruções para definir uma programação podem ser encontradas no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Atualizar software de gravação: Certifique-se de que a versão mais recente do software de gravação de vídeo selecionado foi carregada para o PC usando a conta de usuário da máquina GitHub instalada na versão 1.4.6.
- Iniciar gravações de vídeo: Inicie sessão no PC através do software de ambiente de trabalho remoto instalado e inicie o software de gravação de vídeo.
NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as instruções para iniciar o aplicativo podem ser encontradas no GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Cronograma de gravação de vídeo: Antes de coletar qualquer dado, discuta um cronograma de gravação apropriado com o paciente. Configure essa programação no software de gravação de vídeo.
- Calibração da câmera de vídeo
- Desativar o foco automático: para calcular parâmetros intrínsecos, como distorção de lente e perspectiva, siga as instruções com base no sistema operacional e webcams selecionados para desativar o foco automático.
NOTA: No Linux, as webcams são acessadas por meio do vídeo para a API do Linux, que por padrão ativa o foco automático toda vez que o computador conectado às câmeras é reiniciado. Configurar um script para desativar automaticamente isso é necessário para preservar o foco adquirido durante a calibração da câmera para processar a pose 3D. - Calibração intrínseca: Adquira um padrão quadriculado 6 x 8 com quadrados de 100 mm para suportar a calibração 3D do software de estimativa de pose20. Grave um vídeo de cada webcam individual enquanto um pesquisador inclina o quadriculado no quadro de todas as câmeras. Certifique-se de que o quadriculado tenha um número par de linhas e um número ímpar de colunas (ou vice-versa). Isso eliminará a ambiguidade em relação à rotação.
- Calibração extrínseca: Grave um vídeo de todas as três webcams simultaneamente. Certifique-se de que os vídeos sejam gravados na mesma resolução que qualquer vídeo a ser processado para estimativas de pose 3D. Para garantir a sincronização de tempo exata em todos os vídeos, pisce uma luz LED IR no início e no final da gravação. Use o software de edição de vídeo para sincronizar manualmente os vídeos, marcando quadros no início do LED e cortando os vídeos para um comprimento igual.
- Matrizes de calibração: Passe os vídeos gravados nas duas etapas anteriores pelo OpenPose21 para gerar matrizes de calibração intrínsecas e extrínsecas.
NOTA: O OpenPose usa a biblioteca OpenCV para calibração da câmera, e instruções adicionais podem ser encontradas através da documentação no OpenPose GitHub20,22.
- Desativar o foco automático: para calcular parâmetros intrínsecos, como distorção de lente e perspectiva, siga as instruções com base no sistema operacional e webcams selecionados para desativar o foco automático.
3. Coleta de dados
- Instruções do paciente para iniciar a gravação
- Verifique a bateria e a alimentação do dispositivo: O dispositivo INS está sempre ligado para fornecer estimulação constante para o sujeito. Para iniciar a gravação de dados neurais, peça ao paciente para ligar o tablet PC e garantir que os módulos de telemetria do clínico (CTMs) para dispositivos INS esquerdo e direito estejam LIGADOS e totalmente carregados.
- Colocação de CTM: Coloque os CTMs em ambos os lados do tórax. Para máxima conectividade e redução da perda de pacotes, posicione os CTMs próximos aos implantes torácicos durante as gravações. Outros locais para colocar CTMs são bolsos no peito de uma jaqueta ou usando um lenço especializado.
- Ativar conexão com o tablet: Uma vez que o tablet tenha inicializado, peça ao paciente para abrir o aplicativo DBS e selecione Conectar, que solicita uma conexão Bluetooth para os CTMs e, posteriormente, os dispositivos INS14.
- Ativação da câmera: Peça ao paciente para confirmar que as câmeras de vídeo estão conectadas ao PC através de seus cabos USB e que as câmeras foram ligadas.
NOTA: Se estiver usando o aplicativo de gravação de vídeo personalizado dos autores, as gravações em andamento são claramente indicadas na GUI voltada para o paciente por uma imagem grande de uma luz vermelha que está iluminada. Isso muda para uma luz vermelha não acesa quando as gravações estão DESLIGADAS. As webcams selecionadas também têm uma pequena luz indicadora branca. - Ativação do relógio inteligente: Peça ao paciente para ligar relógios inteligentes e telefones inteligentes mantendo pressionado o botão liga/desliga . Em seguida, peça-lhes que abram o aplicativo do relógio inteligente para iniciar a gravação de dados e o rastreamento de sintomas de DP.
- Cenários de gravação e alinhamento de dados baseados em gestos
- Escreva todas as tarefas desejadas para o paciente realizar durante as gravações de dados antes de iniciar uma coleta de dados.
- Como a sincronização baseada em relógio de vários dispositivos para alinhar carimbos de data/hora pode não ser confiável, peça ao paciente que execute um gesto que possa ser usado para sincronizar os carimbos de data/hora dos dados gravados no início de cada nova gravação, mesmo quando planeja gravar durante períodos de comportamento livre.
NOTA: Os autores projetaram um gesto simples em que o paciente tocou em ambos os dispositivos INS implantados enquanto mantinha as mãos à vista das câmeras. Este toque cria padrões distintos nas gravações inerciais dos relógios inteligentes e do acelerômetro INS e é fácil de observar em vídeos.
- Instruções do paciente para encerrar a gravação
- Mude o grupo de estimulação de volta para o grupo clinicamente designado pelo paciente.
- Na GUI voltada para o paciente do aplicativo DBS, insira um relatório de sintomas.
- Feche o aplicativo DBS, que desconectará os CTMs e concluirá o streaming INS.
- Feche o aplicativo de gravação do relógio inteligente e devolva os CTMs, smartphones e dispositivos de relógio inteligente de volta às suas portas de carregamento.
- Descarregamento de dados
- Transfira vídeos brutos para o armazenamento em nuvem através do protocolo de transferência de dados usando uma configuração criptografada. Crie um trabalho cron no PC de gravação de vídeo para transferir automaticamente vídeos gravados para o armazenamento em nuvem através do protocolo de transferência de dados18.
NOTA: Dependendo da resolução dos vídeos e do número de horas gravadas por dia, a velocidade da internet deve ser suficientemente alta para permitir que todos os vídeos sejam transferidos para o armazenamento em nuvem dentro de 24 horas. Se a transferência de dados for muito lenta, o espaço em disco pode se esgotar, fazendo com que gravações de vídeo adicionais agendadas para o dia seguinte falhem. - Salve os dados do INS no ponto de extremidade de nuvem seguro da HIPAA configurado na etapa 1.3.2. Baixe os dados INS do endpoint de nuvem seguro pela HIPAA e desidentifique os dados. Salve os dados não identificados no armazenamento externo em nuvem.
NOTA: O código de pré-processamento OpenMind23 de código aberto foi utilizado para desidentificar dados e convertê-los de arquivos json para um formato de tabela. O tablet do paciente foi configurado com um endpoint de nuvem seguro pela HIPAA para armazenamento temporário dos dados brutos do INS; no entanto, concebivelmente o mesmo site de armazenamento em nuvem usado para armazenamento de longo prazo também pode ser usado para esta etapa, desde que seja compatível com HIPAA e os dados sejam criptografados antes do descarregamento. - Se desejar, salve uma cópia dos dados do relógio inteligente em um armazenamento em nuvem externo para que todos os fluxos de dados estejam acessíveis em um único local.
- Transfira vídeos brutos para o armazenamento em nuvem através do protocolo de transferência de dados usando uma configuração criptografada. Crie um trabalho cron no PC de gravação de vídeo para transferir automaticamente vídeos gravados para o armazenamento em nuvem através do protocolo de transferência de dados18.
4. Caracterização do sistema
- Visualização de dados brutos: No ambiente de codificação desejado, visualize todos os fluxos de dados brutos para garantir que os dados foram gravados e transferidos adequadamente sem perda ou corrupção.
NOTA: O aplicativo que foi selecionado para gerenciar gravações de relógio inteligente tem um aplicativo de navegador que é útil para visualizar dados de relógio inteligente24. - Atrasos de quadro de vídeo e carimbo de data/hora: inspecione quaisquer atrasos entre carimbos de data/hora gerados a partir de webcams diferentes. Analise os atrasos gravando vídeos com uma luz LED programável colocada no quadro de todas as webcams.
NOTA: A análise revelou que uma função de segmentação de vídeo25 importada pelo aplicativo de gravação de vídeo personalizado foi a fonte de atrasos de carimbo de data/hora crescentes. A gravação de vídeos sem a função de segmentação resultou em atrasos entre os quadros da webcam e carimbos de data/hora que não aumentaram com o tempo (consulte o Arquivo Suplementar 1 e a Figura Suplementar 1).
5. Pré-processamento e alinhamento de dados post-hoc
- Posar dados
- Instale um software para calcular estimativas de posição conjunta a partir de vídeos gravados.
NOTA: A biblioteca OpenPose foi selecionada, pois inclui rastreamento de mão e rosto em 2D e 3D. - A biblioteca OpenPose não lida automaticamente com casos em que várias pessoas estão no quadro, portanto, use um script de pós-processamento para garantir que as estimativas de pose de cada pessoa sejam contínuas de um quadro para o próximo. O OpenPose fornece código para gerar facilmente animações, em 2D ou 3D, para verificações visuais na qualidade da estimativa de pose.
- Instale um software para calcular estimativas de posição conjunta a partir de vídeos gravados.
- Alinhamento de tempo baseado em gestos
- Para cada dispositivo INS (esquerdo e direito), siga as etapas descritas abaixo usando a GUI de alinhamento de dados (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI) dos autores.
- Leia os dados: Acesse os dados de acelerometria INS e relógio inteligente salvos do armazenamento em nuvem para a sessão de dados desejada.
NOTA: Uma série temporal adicional pode ser adicionada, se desejado. A Figura 3 mostra a posição de postura da ponta do dedo médio direito em verde. - Visualize fluxos de dados na GUI: use a GUI de alinhamento de tempo manual para sobrepor a acelerometria INS, a acelerometria do relógio inteligente e os dados de pose.
- Ampliando artefatos de alinhamento: aumente o zoom no eixo do tempo e mova a janela de visualização para a seção de toque no peito da gravação. Mude a série temporal de alinhamento para que o pico dos toques no peito nos sinais de série de tempo do INS e do relógio inteligente se sobreponha o mais próximo possível.
NOTA: A GUI foi projetada para facilitar o alinhamento manual de séries temporais arbitrárias a um tempo real comum. A Figura 3 mostra as séries temporais verdadeiras em azul, enquanto as séries temporais alinhadas são mostradas em laranja e verde. Os principais guias para alinhamento da GUI são indicados no Leiame do GitHub (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Confirmação de alinhamento: mova a janela da GUI para cada uma das tarefas de toque no peito na gravação e confirme se o alinhamento permanece consistente ao longo da série temporal. Pressione o botão Alternar alinhamento e repita os alinhamentos nos fluxos de dados restantes.
- Sinalizadores de aviso: para indicar se os dados estavam ausentes, deslocados ou outros avisos gerais sobre a qualidade dos dados, defina sinalizadores de aviso na GUI usando as teclas D, S e F, respectivamente.
- Leia os dados: Acesse os dados de acelerometria INS e relógio inteligente salvos do armazenamento em nuvem para a sessão de dados desejada.
- Para cada dispositivo INS (esquerdo e direito), siga as etapas descritas abaixo usando a GUI de alinhamento de dados (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI) dos autores.
- Alinhamento de tempo de correlação cruzada normalizada zero (ZNCC)
- Identifique o sinal com maior probabilidade de estar mais próximo do tempo real. Normalmente, este é o que tem a maior frequência de amostragem ou a atualização de tempo de internet mais rápida.
- Reamostragem dos dois sinais para ter a mesma frequência de amostragem temporal, e individualmente z-score ambos os sinais. Isso garante que os escores ZNCC resultantes serão normalizados para estar entre -1 e 1, dando uma estimativa do nível de similaridade entre os dois sinais, útil para detectar erros.
- Calcule a correlação cruzada do segundo sinal e do primeiro sinal em cada intervalo de tempo.
- Se a informação de fase dos dois sinais não for importante, tome o valor absoluto da curva de correlação cruzada medida.
NOTA: Se o comportamento for significativamente a-periódico, as informações de fase não são necessárias, como neste caso. - Analise a curva ZNCC. Se houver um único pico claro, com um escore ZNCC de pico acima de 0,3, então o tempo desse pico corresponde ao intervalo de tempo entre os dois sinais. Se houver vários picos, nenhum pico claro ou a pontuação ZNCC for baixa em todos os intervalos de tempo, os dois sinais precisam ser alinhados manualmente.
Figura 3: Alinhamento de dados baseado em gestos. A metade superior da figura mostra a GUI de alinhamento manual depois de alinhar os três fluxos de dados. A linha azul são os dados de acelerometria do smartwatch, a linha laranja são os dados de acelerometria do INS, e a linha verde é a posição de pose 2D da ponta do dedo médio direito de uma única webcam. O canto superior direito mostra o deslocamento entre o tempo real do relógio inteligente e o INS, bem como várias bandeiras de aviso para marcar quaisquer problemas que surjam. Neste exemplo, o INS estava 20,8 s à frente do smartwatch. O gráfico inferior esquerdo é ampliado para mostrar as cinco batidas torácicas realizadas pelo paciente para alinhamento dos dados. Os cinco picos são suficientemente claros em cada fluxo de dados para garantir o alinhamento adequado. Clique aqui para ver uma versão maior desta figura.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Projeto e implantação de protótipos de plataforma
Projetamos um protótipo de plataforma e a implantamos na casa de um único paciente (Figura 1). Após a primeira instalação de hardware em casa, a plataforma pode ser mantida, e os dados coletados inteiramente através de acesso remoto. Os dispositivos INS, relógios inteligentes e câmeras têm aplicativos voltados para o paciente, permitindo que os pacientes iniciem e parem gravações. O hardware de coleta de vídeo permite gravações automáticas de vídeo após a configuração de um cronograma aprovado. Os pacientes podem facilmente cancelar uma gravação em andamento simplesmente pressionando um botão na GUI do aplicativo de gravação de vídeo (Figura 2). Todos os dados coletados foram criptografados e transferidos para um local de armazenamento em nuvem para que os pesquisadores processassem e analisassem.
Recolha de dados
Para as primeiras implantações e ciclos de coleta de dados, solicitamos ao paciente que realizasse tarefas clínicas autoguiadas. As tarefas foram retiradas da escala unificada de avaliação da doença de Parkinson (UPDRS)26, a saber: tremor de repouso, toque do polegar para o indicador, abertura e fechamento das mãos, pronação-supinação do punho, movimento de sentar e levantar e deambular, e uma tarefa de digitação. Todas as tarefas foram repetidas três vezes para cada dia de gravação. Para cada repetição, uma amplitude de estimulação diferente foi ajustada para expor possíveis sintomas de estimulação relacionados à DP. A Figura 4 mostra um exemplo esquematizado de como seria uma semana de dados coletados com o sistema.
Figura 4: Disponibilidade de dados. Uma demonstração esquematizada de como seria uma semana de dados coletados com o sistema. O gráfico superior mostra o nível de estimulação (azul) ao longo de vários ciclos dia/noite. As mudanças de estimulação para esse paciente dependem do horário de sono e dos horários de ingestão da medicação (linhas vermelhas verticais). Em horários arbitrários ao longo do dia, o sistema de coleta de dados pode ser habilitado remotamente para coletar dados para várias modalidades, mostrados como caixas coloridas. Um exemplo de todos os fluxos de dados paralelos e alinhados ao tempo, apenas selecionados para o lado esquerdo do corpo, é mostrado no gráfico inferior. Durante essa gravação, o paciente foi solicitado a realizar uma série de avaliações clínicas durante condições de estimulação de baixa, terapêutica e alta amplitude. Todos os dados mostrados aqui correspondem a dados reais coletados, mas foram compactados em experimentos separados para facilitar a visualização e mostrar variedade. Abreviações: LFP=potencial de campo local, STN=núcleo subtalâmico, Accel=acelerômetro, giroscópio=giroscópio, 2D=bidimensional. Clique aqui para ver uma versão maior desta figura.
Alinhamento manual
A GUI de alinhamento manual fornece uma plataforma fácil de usar para alinhar vários fluxos de dados. Como mostrado na Figura 3, as torneiras torácicas fornecem um artefato claramente identificável em todas as modalidades de dados (INS, relógios inteligentes, vídeos) que podem ser usados no alinhamento manual. A GUI era um meio útil de alinhar os dados, mas isso poderia ser trocado por qualquer outra ferramenta de alinhamento que os pesquisadores gostariam de usar. Em alguns casos, os fluxos de dados têm uma pequena deriva. Uma possível solução futura para esse problema seria dividir os dados da sessão em diferentes ensaios, cada um com sua própria sequência de toques no peito. Cada ensaio pode então ser alinhado individualmente para minimizar o impacto da deriva.
Alinhamento de tempo de correlação cruzada normalizada zero (ZNCC)
O método para ZNCC funciona bem em alguns casos, mas tem algumas vulnerabilidades críticas. Por exemplo, para alguns movimentos, os dois sinais do acelerômetro podem ser deslocados de fase um em relação ao outro. Se um movimento alinhado de fase e deslocado de fase são ambos incluídos nas épocas analisadas, então o ZNCC pode ter múltiplos ou mesmo nenhum pico claro. A normalização do ZNCC permite que esses alinhamentos sejam automaticamente identificados e descartados conforme necessário. Este método funciona melhor se ambos os sinais são relativamente livres de ruído e janelados para uma época com efeitos grandes e sincronizados em ambos os traços. Os melhores resultados foram obtidos quando o paciente foi solicitado a realizar uma série de toques fortes com as duas mãos contra o peito. Na prática, no entanto, a verificação manual do alinhamento automatizado era necessária para casos suficientes que a vantagem do uso do método automatizado era desprezível.
Qualidade dos dados
A perda de dados durante a transferência automatizada foi insignificante, uma vez que o processo de protocolo de transferência de dados faz backup de cópias brutas para garantir que quaisquer perdas sejam recuperáveis. A perda de dados por problemas de conectividade ocorreu regularmente, uma vez que o Bluetooth e a frequência de rádio às vezes têm interrupções inesperadas de conexão e são de alcance limitado. Intervalos curtos de até 2 segundos ocorreram aproximadamente algumas vezes por hora, e intervalos mais longos, de até 2 minutos, ocorreram aproximadamente uma vez a cada duas horas. Além da perda de dados, foram observados artefatos de estimulação significativos nos dados neurais, cuja gravidade dependeu do registro e dos grupos de estimulação escolhidos. Os maiores artefatos ocorrem próximos à frequência de estimulação, bem fora das faixas de interesse. Nenhum artefato foi observado nos dados dos relógios inteligentes. Os vídeos foram gravados a uma taxa de quadros constante; no entanto, quadros duplicados foram identificados em vídeos. Isso gerou uma taxa de quadros real para ser alguns quadros menor do que a taxa de quadros teórica, como declarado pelas especificações da webcam. Mais perceptíveis do que os quadros duplicados, no entanto, foram os períodos de congelamento que foram identificados em vídeos em intervalos variáveis dependendo do dia de gravação. Períodos de congelamento de aproximadamente 10 quadros ou menos foram observados regularmente; no entanto, seções mais longas, de aproximadamente 2 a 30 segundos de duração, também foram observadas em períodos irregulares.
Coleta de dados longitudinais
A Tabela 1 mostra os dados que o protótipo da plataforma coletou periodicamente ao longo de 1,5 ano. Nesse período, centenas de horas de dados foram coletadas, com um total de 293 horas de dados INS em ambos os lados do corpo, 224 horas de dados de relógios inteligentes para ambos os relógios e 2.037 horas de dados de vídeo em três webcams. Isso demonstra que a plataforma suporta a coleta de dados em casa por longos períodos de tempo, oferecendo uma rara oportunidade de observar mudanças longitudinais nos dados neurais e nos requisitos de estimulação correspondentes.
| Tipo de dado | Duração total (hh:mm:ss) | Total de Dias | Tamanho do armazenamento |
| Neural | 293:17:33 | 90 | 28,94 GB |
| Relógio | 224:06:05 | 89 | 35,67 GB |
| Vídeo | 2037:06:11 | 228 | 146.073,77 GB |
Tabela 1: Visão geral longitudinal dos dados coletados. A plataforma implantada coletou dados durante vários experimentos ao longo de 1,5 ano. Aproximadamente 90 dias foram gravados com fluxos de dados neurais, de vídeo e de relógios inteligentes sendo coletados.
Estimativas de pose 2D e 3D
Vários pacotes de software de estimativa de pose estão agora disponíveis. A estimativa de pose foi testada usando o OpenPose, um pacote de software de código aberto21. Isso foi instalado com sucesso seguindo a documentação fornecida pelo GitHub da organização, bem como muitos outros tutoriais não oficiais encontrados na web. O tempo de processamento do OpenPose varia significativamente com base em como a biblioteca OpenPose e suas extensas dependências são instaladas, o tamanho da GPU usada e se os pontos-chave opcionais de mãos e faces são processados. A pose 2D foi relativamente fácil de implementar, no entanto a pose 3D foi notavelmente mais difícil e os resultados preliminares 3D produziram qualidade inconsistente igual à da pose 2D. A estimativa de pose 3D de baixa qualidade pode ter sido afetada negativamente pela calibração da câmera abaixo do ideal, períodos em que o foco automático da câmera foi ativado erroneamente ou inerente ao próprio software OpenPose. No entanto, vídeos sincronizados de alta qualidade de vários ângulos podem fornecer entradas ricas para uma variedade de pacotes de software de estimativa de pose disponíveis. Recomenda-se que uma configuração de teste seja concluída fora da casa do paciente, com benchmarking manual dos diferentes pacotes de software de estimativa de pose disponíveis.
Figura suplementar 1: Análise de atraso de quadros de vídeo. Atrasos nos carimbos de data/hora gerados a partir do aplicativo de gravação de vídeo foram detectados durante a caracterização do sistema. Para investigar a causa dos atrasos, o número de quadros e o carimbo de data/hora gerados a partir de cada câmera foram determinados pela gravação de uma luz LED vermelha que piscou em intervalos aleatórios, em seguida, as variações nos atrasos de carimbo de data/hora entre as câmeras foram computadas. (Topo) Intensidades de LED (em unidades RGB) medidas em cada uma das três câmeras, demonstrando os deslocamentos de tempo observados entre as três câmeras (indicados com setas vermelhas). (Parte inferior) Três gráficos mostram que o carimbo de data/hora entre câmeras atrasa no número de quadros para uma série de piscadas de LED ao longo de toda a gravação. Cada gravação foi dividida em vários segmentos e o frame lag foi aproximadamente constante ao longo do tempo. Clique aqui para baixar este arquivo.
Arquivo suplementar 1: Método de análise de quadro de vídeo e carimbo de data/hora. Clique aqui para baixar este arquivo.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Compartilhamos o projeto de um protótipo caseiro de uma plataforma multimodal de coleta de dados para apoiar pesquisas futuras em pesquisa em neuromodulação. O design é de código aberto e modular, de modo que qualquer peça de hardware pode ser substituída, e qualquer componente de software pode ser atualizado ou alterado sem que a plataforma geral entre em colapso. Enquanto os métodos de coleta e desidentificação de dados neurais são específicos para o INS selecionado, os métodos restantes e a abordagem geral para coleta de dados comportamentais são agnósticos aos quais o dispositivo implantável é usado. Implantamos a plataforma na casa de um indivíduo com DP e coletamos dados durante os períodos experimental e naturalístico. Durante implantações, coletas de dados e processamento de dados post-hoc, vários aspectos foram descobertos que foram particularmente cruciais para permitir iterações de pesquisa bem-sucedidas.
Um membro valioso de nossa equipe foi o coordenador de pesquisa que viajou para a casa do paciente para instalar hardware, configurar a VPN, realizar a calibração da câmera para pose 3D e orientar o paciente sobre como usar a GUI voltada para o paciente de cada dispositivo. É importante ressaltar que o coordenador da pesquisa também serviu como o principal ponto de contato entre o paciente e a equipe de pesquisa. O paciente preferiu usar sua função de bate-papo por e-mail para enviar mensagens rapidamente de um lado para o outro. Ter um ponto de contato consistente e acessível foi particularmente útil de duas maneiras:
Estabelecer um canal de comunicação familiar para que o paciente solicite alterações nas gravações agendadas e comunique eventuais dificuldades no uso do sistema. Isso ajudou o coordenador da pesquisa a identificar horários convenientes para o paciente realizar experimentos de gravação. A principal dificuldade no uso do sistema relatada foi a necessidade de acompanhar a vida útil da bateria de vários dispositivos.
Para permitir que a solução de problemas do sistema seja minimamente perturbadora para o paciente. A maioria dos problemas decorreu de problemas de conectividade de rede, que ocorriam, em média, uma vez a cada duas semanas. Embora a reinicialização de dispositivos normalmente resolvesse esses problemas, os relógios frequentemente exigiam várias reinicializações, o que o paciente relatou ser pesado.
É essencial garantir um acesso remoto robusto ao hardware colocado na casa do paciente. Para conseguir isso, ter uma conexão de internet estável é crucial. Também é necessário configurar uma máquina criptografada em disco para desbloquear automaticamente sempre que uma máquina for reinicializada. Sem surpresa, um cabo ethernet produziu consistentemente as conexões de rede mais rápidas e confiáveis. Menos esperada foi a necessidade de configurar um chip TPM, necessário devido à escolha do Linux como sistema operacional. Se um sistema operacional Windows for usado, seu programa Bitlocker cuidará disso automaticamente. Finalmente, configurar o PC implantado para habilitar automaticamente a VPN e remontar a unidade de disco rígido após a reinicialização do sistema garantiu o acesso remoto contínuo sem a necessidade de voltar a visitar repetidamente a casa do paciente. A incorporação de uma VPN e um protocolo de criptografia de dados no design da plataforma foi fundamental para a segurança e integridade dos dados. A VPN permite que uma rede de computadores seja conectada sem a necessidade de encaminhamento de porta personalizado para ser configurado no roteador privado de um paciente. O protocolo de criptografia de dados de código aberto Rclone forneceu uma criptografia de dados pronta para uso e um meio facilmente automatizado de transferir dados de dispositivos de pacientes para armazenamento em nuvem18. O protocolo de criptografia de dados faz cópias de backup de dados brutos durante suas etapas de transferência de dados para garantir que as perdas sejam recuperáveis. Essas etapas garantiram que os dados privados do paciente fossem mantidos seguros e não corrompidos.
Para ser capaz de conduzir uma análise de dados significativa, é essencial que os dados coletados de vários dispositivos estejam alinhados ao tempo. Os relógios em cada dispositivo provavelmente não estão perfeitamente alinhados a um horário comum de internet, mesmo que os fabricantes sugiram que sim. Além disso, alguns dispositivos podem experimentar deriva em momentos imprevisíveis, alterando seus deslocamentos em relação aos outros dispositivos. Isso cria dificuldade em trabalhar em direção a algoritmos adaptativos totalmente automatizados e em tempo real, e pesquisas futuras precisarão considerar cuidadosamente soluções para esse problema. Métodos de alinhamento automático foram explorados usando correlação cruzada normalizada. Isso funciona razoavelmente bem em muitos casos; No entanto, as derivas temporais devem ser mínimas e os dados devem conter sinais claramente identificáveis. Como tanto grandes desvios quanto períodos em que os dados tinham muito ruído ou perda de pacotes foram encontrados, esse método totalmente automatizado não pode ser totalmente confiável. Para minimizar a carga de alinhar dados manualmente, criamos uma GUI simples para permitir que os pesquisadores verifiquem visualmente os fluxos de dados com relativa facilidade e rapidez.
A inclusão de dados de vídeo no sistema permite que os médicos meçam a gravidade dos sintomas por meio da observação remota, e os pesquisadores podem obter rótulos de eventos. Além disso, as estimativas de pose podem ser calculadas a partir de vídeos como uma métrica contínua da qualidade do movimento, como medir a velocidade e a suavidade dos movimentos dos dedos ao longo do tempo. No entanto, a coleta de vídeos de alta resolução de várias câmeras requer amplo espaço de armazenamento. Por exemplo, coletar 8 horas de vídeos 4k no formato MJPEG de três câmeras ocupa aproximadamente 0,5 TB de espaço de armazenamento. Gravar e armazenar grandes quantidades de dados rapidamente se torna caro, criando um gargalo econômico para a implantação desse sistema para muitos pacientes. Para fazer com que essas plataformas sejam dimensionadas para muitos pacientes, os futuros projetistas de sistemas precisam reduzir a quantidade de dados necessária para o armazenamento de longo prazo. Sistemas futuros devem considerar a inclusão de processamento de pose em tempo real para que os vídeos possam ser excluídos imediatamente após o processamento da pose. A pose em tempo real também poderia fornecer feedback sobre habilidades motoras finas em algoritmos de circuito fechado, o que está fora do escopo deste trabalho. Se a preservação de alguns dados de vídeo for necessária para revisão do médico ou rotulagem de eventos, eles podem ser reduzidos para uma resolução mais baixa antes de serem salvos no armazenamento em nuvem.
Finalmente, para resolver de forma eficiente as falhas de projeto e erros de implementação que invariavelmente surgem ao construir um sistema integrado, adquirir uma réplica do hardware a ser implantado para uso como um equipamento de teste é extremamente valioso. Isso foi verdadeiro para testar o hardware e o software selecionados para coletar vídeos e processar dados de pose. Todo o processo de aquisição de vídeos e estimativas de pose no espaço 2D e 3D foi significativamente mais desafiador do que o previsto. Uma plataforma de teste permite a solução de problemas e testes de estresse de várias etapas importantes antes da implantação, incluindo:
Calibrar corretamente as câmeras dentro das restrições de layout de uma determinada sala.
Identificar a resolução de vídeo e a taxa de quadros apropriadas para suportar a estimativa de pose de alta qualidade. Para salas pequenas ou ambientes semelhantes a escritórios, a gravação de vídeo HD é provavelmente suficiente, pois o tamanho dos indivíduos no vídeo gravado é grande o suficiente para que a pose possa ser facilmente computada, exigindo significativamente menos espaço de armazenamento do que o vídeo 4k.
Descobrir bugs em vídeos gravados, como congelamento de quadros ou intervalos de tempo entre arquivos de vídeo gravados sequencialmente.
Expor padrões de software inesperados, como redefinir o foco automático da câmera nas reinicializações da máquina, o que impede o benefício da calibração da câmera.
Tentativa e erro para encontrar versões compatíveis das bibliotecas de software que devem ser pré-instaladas para permitir que o OpenPose seja executado em uma GPU de tamanho médio.
Uma limitação particular deste trabalho é implantar a plataforma em um único estudo piloto na casa de um indivíduo, impedindo-nos de descobrir quaisquer generalizações entre participantes. No entanto, durante todo o processo de projeto e desenvolvimento, o sistema foi projetado para ser escalável e suportar múltiplas implantações para apoiar estudos remotos, e o objetivo deste estudo piloto foi estabelecer a viabilidade tecnológica de uma sofisticada plataforma de monitoramento domiciliar. Modificar este projeto piloto com base em algumas das descobertas cruciais discutidas e implantar a plataforma em mais casas permitirá um refinamento adicional do projeto para apoiar pesquisas futuras em aDBS doméstico. Além disso, a coleta de dados durante períodos de tempo adicionais quando um indivíduo não está realizando experimentos pré-determinados oferecerá insights para melhorar as análises e a eficácia geral da terapia. A EEP pode fornecer um método preferível para o tratamento de doenças neurológicas, incluindo a DP, em comparação com a EEP convencional, que pode ter efeitos colaterais inaceitáveis. Levar essa terapia importante para muitos indivíduos requer automatizar o ajuste de parâmetros e analisar a eficácia da terapia fora da clínica ao longo do tempo. A plataforma fornece uma nova abordagem para coletar câmera de vídeo em casa, relógio inteligente, gravação neural e dados de relatório do paciente durante atividades experimentais e naturais no conforto da própria casa do paciente. O sistema contribuirá ainda mais para a criação de novos conjuntos de dados multimodais para apoiar futuras descobertas no tratamento de doenças neurológicas15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Os autores não têm conflitos de interesse a declarar.
Acknowledgments
Este material é baseado em trabalhos apoiados pelo National Science Foundation Graduate Research Fellowship Program (DGE-2140004), pelo Weill Neurohub e pelo National Institute of Health (UH3NS100544). Quaisquer opiniões, descobertas e conclusões ou recomendações expressas neste material são do(s) autor(es) e não refletem necessariamente as opiniões da National Science Foundation, do Weill Neurohub ou do National Institute of Health. Agradecemos a Tianjiao Zhang por suas consultas especializadas em design de plataforma e incorporação de dados de vídeo. Agradecemos especialmente ao paciente por sua participação neste estudo e pelo feedback e conselhos sobre segurança de rede e design de plataforma.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
