Ramener la clinique à la maison : un écosystème de collecte de données multimodales à domicile pour soutenir la stimulation cérébrale profonde adaptative

Summary

Le protocole montre un prototype de la plate-forme de collecte de données multimodale à domicile qui soutient la recherche sur l’optimisation de la stimulation cérébrale profonde adaptative (aDBS) pour les personnes atteintes de troubles neurologiques du mouvement. Nous présentons également les principales conclusions du déploiement de la plateforme depuis plus d’un an au domicile d’une personne atteinte de la maladie de Parkinson.

Abstract

La stimulation cérébrale profonde adaptative (SCP) est prometteuse pour améliorer le traitement des troubles neurologiques tels que la maladie de Parkinson (MP). La SCP utilise des biomarqueurs liés aux symptômes pour ajuster les paramètres de stimulation en temps réel afin de cibler les symptômes avec plus de précision. Pour permettre ces ajustements dynamiques, les paramètres d’un algorithme aDBS doivent être déterminés pour chaque patient. Cela nécessite un réglage manuel fastidieux de la part des chercheurs cliniques, ce qui rend difficile la recherche d’une configuration optimale pour un seul patient ou l’adaptation à de nombreux patients. De plus, l’efficacité à long terme des algorithmes de SCP configurés en clinique pendant que le patient est à domicile reste une question ouverte. Pour mettre en œuvre cette thérapie à grande échelle, une méthodologie permettant de configurer automatiquement les paramètres de l’algorithme aDBS tout en surveillant à distance les résultats de la thérapie est nécessaire. Dans cet article, nous partageons la conception d’une plate-forme de collecte de données à domicile pour aider le terrain à résoudre ces deux problèmes. La plate-forme est composée d’un écosystème matériel et logiciel intégré qui est open-source et permet la collecte à domicile de données vidéo neuronales, inertielles et multi-caméras. Pour garantir la confidentialité des données d’identification des patients, la plateforme crypte et transfère les données via un réseau privé virtuel. Les méthodes comprennent l’alignement temporel des flux de données et l’extraction d’estimations de pose à partir d’enregistrements vidéo. Pour démontrer l’utilisation de ce système, nous avons déployé cette plateforme au domicile d’une personne atteinte de la maladie de Parkinson et recueilli des données au cours de tâches cliniques autoguidées et de périodes de comportement libre sur une période d’un an et demi. Les données ont été enregistrées à des amplitudes de stimulation sous-thérapeutique, thérapeutique et supra-thérapeutique afin d’évaluer la sévérité des symptômes moteurs dans différentes conditions thérapeutiques. Ces données alignées dans le temps montrent que la plateforme est capable de collecter des données multimodales synchronisées à domicile pour l’évaluation thérapeutique. Cette architecture de système peut être utilisée pour soutenir la recherche automatisée sur la SCP, pour recueillir de nouveaux ensembles de données et pour étudier les effets à long terme de la thérapie par SCP en dehors de la clinique pour les personnes souffrant de troubles neurologiques.

Introduction

La stimulation cérébrale profonde (SCP) traite les troubles neurologiques tels que la maladie de Parkinson (MP) en délivrant un courant électrique directement à des régions spécifiques du cerveau. On estime à 8,5 millions le nombre de cas de maladie de Parkinson dans le monde, et la SCP s’est avérée être un traitement essentiel lorsque les médicaments sont insuffisants pour gérer les symptômes ^1,2. Cependant, l’efficacité de la SCP peut être limitée par des effets secondaires qui surviennent parfois lors d’une stimulation conventionnelle délivrée à une amplitude, une fréquence et une largeur d’impulsion fixes³. Cette mise en œuvre en boucle ouverte ne répond pas aux fluctuations de l’état des symptômes, ce qui entraîne des paramètres de stimulation qui ne sont pas adaptés de manière appropriée aux besoins changeants du patient. La SCP est en outre entravée par le processus fastidieux de réglage des paramètres de stimulation, qui est actuellement effectué manuellement par les cliniciens pour chaque patient.

La SCP adaptative (SCP) est une approche en boucle fermée qui s’est avérée être une prochaine itération efficace de la SCP en ajustant les paramètres de stimulation en temps réel chaque fois que des biomarqueurs liés aux symptômes sont détectés ^3,4,5. Des études ont montré que les oscillations bêta (10-30 Hz) dans le noyau sous-thalamique (STN) se produisent systématiquement pendant la bradykinésie, un ralentissement des mouvements caractéristique de la ^6,7. De même, on sait que des oscillations gamma élevées (50-120 Hz) dans le cortex se produisent pendant les périodes de dyskinésie, un mouvement excessif et involontaire également couramment observé dans la MP⁸. Des travaux récents ont permis d’administrer avec succès la SCP à l’extérieur de la clinique pendant des périodes prolongées⁵, mais l’efficacité à long terme des algorithmes de SCP qui ont été configurés en clinique pendant qu’un patient est à la maison n’a pas été établie.

Des systèmes à distance sont nécessaires pour saisir l’efficacité variable dans le temps de ces algorithmes dynamiques dans la suppression des symptômes rencontrés dans la vie quotidienne. Alors que l’approche de stimulation dynamique de la SCP permet potentiellement un traitement plus précis avec des effets secondaires réduits^3,9, la SCP souffre toujours d’une charge élevée pour les cliniciens qui doivent identifier manuellement les paramètres de stimulation pour chaque patient. En plus de l’ensemble déjà important de paramètres à programmer lors d’une SCP conventionnelle, les algorithmes aDBS introduisent de nombreux nouveaux paramètres qui doivent également être soigneusement ajustés. Cette combinaison de paramètres de stimulation et d’algorithme produit un vaste espace de paramètres avec un nombre ingérable de combinaisons possibles, ce qui empêche la SCP de s’étendre à de nombreux patients¹⁰. Même dans les milieux de recherche, le temps supplémentaire nécessaire à la configuration et à l’évaluation des systèmes de SCP rend difficile l’optimisation adéquate des algorithmes uniquement en clinique, et la mise à jour à distance des paramètres est nécessaire. Pour faire de l’aDBS un traitement qui peut être mis à l’échelle, la stimulation et le réglage des paramètres de l’algorithme doivent être automatisés. De plus, les résultats du traitement doivent être analysés dans le cadre d’essais répétés afin d’établir la SCP comme un traitement viable à long terme en dehors de la clinique. Il est nécessaire de disposer d’une plate-forme capable de collecter des données pour l’évaluation à distance de l’efficacité du traitement et de déployer à distance des mises à jour des paramètres de l’algorithme aDBS.

L’objectif de ce protocole est de fournir une conception réutilisable pour une plateforme multimodale de collecte de données à domicile afin d’améliorer l’efficacité de la SCP en dehors de la clinique et de permettre à ce traitement d’être étendu à un plus grand nombre d’individus. À notre connaissance, il s’agit de la première conception de plate-forme de collecte de données qui évalue à distance les résultats thérapeutiques à l’aide de caméras vidéo à domicile, de capteurs portables, d’un enregistrement de signaux neuronaux chroniques et d’un retour d’information axé sur le patient pour évaluer les systèmes de SCP pendant les tâches contrôlées et le comportement naturel.

La plate-forme est un écosystème de composants matériels et logiciels construits sur des systèmes précédemment développés⁵. Il est entièrement possible de le maintenir grâce à un accès à distance après une installation initiale d’un minimum de matériel pour permettre la collecte de données multimodales auprès d’une personne dans le confort de son foyer. Un élément clé est le système de neurostimulation implantable (INS)¹¹ qui détecte l’activité neuronale et fournit une stimulation au STN, et enregistre l’accélération des implants thoraciques. Pour l’implant utilisé dans le déploiement initial, l’activité neuronale est enregistrée à partir de dérivations bilatérales implantées dans le STN et d’électrodes d’électrocorticographie implantées sur le cortex moteur. Un système d’enregistrement vidéo aide les cliniciens à surveiller la gravité des symptômes et l’efficacité du traitement, qui comprend une interface utilisateur graphique (GUI) pour permettre une annulation facile des enregistrements en cours afin de protéger la vie privée des patients. Les vidéos sont traitées pour extraire des trajectoires cinématiques de position en deux dimensions (2D) ou en trois dimensions (3D), et des montres intelligentes sont portées aux deux poignets pour capturer des informations sur la vitesse angulaire et l’accélération. Il est important de noter que toutes les données sont cryptées avant d’être transférées vers un stockage en nuage à long terme, et que l’ordinateur contenant les vidéos identifiables par le patient n’est accessible que via un réseau privé virtuel (VPN). Le système comprend deux approches pour l’alignement temporel post-hoc de tous les flux de données, et les données sont utilisées pour surveiller à distance la qualité des mouvements du patient et pour identifier les biomarqueurs liés aux symptômes afin d’affiner les algorithmes de SCP. La partie vidéo de ce travail montre le processus de collecte de données et les animations de trajectoires cinématiques extraites des vidéos collectées.

Un certain nombre de considérations de conception ont guidé l’élaboration du protocole :
Garantir la sécurité des données et la confidentialité des patients : La collecte de données identifiables sur les patients nécessite le plus grand soin lors de la transmission et du stockage afin de respecter la loi sur la portabilité et la responsabilité de l’assurance maladie (HIPAA)^12,13 et de respecter l’intimité du patient à son domicile. Dans ce projet, cela a été réalisé en mettant en place un VPN personnalisé pour assurer la confidentialité de tout le trafic sensible entre les ordinateurs système.
Limites de sécurité des paramètres de stimulation : Il est essentiel de s’assurer que le patient reste en sécurité lorsqu’il essaie des algorithmes de SCP qui peuvent avoir des effets inattendus. L’INS du patient doit être configuré par un clinicien pour avoir des limites sûres pour les paramètres de stimulation qui ne permettent pas les effets dangereux d’une surstimulation ou d’une sous-stimulation. Avec le système INS¹¹ Utilisée dans cette étude, cette fonctionnalité est activée par un programmeur clinicien.
S’assurer que le patient oppose son veto : Même dans les limites des paramètres de sécurité, la variabilité quotidienne des symptômes et des réponses à la stimulation peut entraîner des situations désagréables pour le patient lorsqu’il n’aime pas un algorithme testé et souhaite revenir à une SCP clinique normale en boucle ouverte. Le système INS sélectionné comprend un module de télémétrie patient (PTM) qui permet au patient de modifier manuellement son groupe de stimulation et son amplitude de stimulation en mA. Il existe également une application de recherche connectée à l’INS qui est utilisée pour la configuration à distance de l’INS avant la collecte des données¹⁴, ce qui permet également au patient d’interrompre les essais de SCP et de contrôler son traitement.
Capturer des comportements complexes et naturels : Des données vidéo ont été intégrées à la plate-forme pour permettre aux cliniciens de surveiller à distance l’efficacité du traitement et d’extraire des trajectoires cinématiques à partir d’estimations de pose pour une utilisation dans les analyses de recherche¹⁵. Bien que les capteurs portables soient moins intrusifs, il est difficile de capturer l’ensemble de l’amplitude dynamique des mouvements d’un corps entier en utilisant uniquement des systèmes portables. Les vidéos permettent l’enregistrement simultané de l’amplitude complète des mouvements du patient et de ses symptômes au fil du temps.
Facilité d’utilisation du système pour les patients: La collecte de données multimodales à domicile nécessite l’installation et l’utilisation de plusieurs appareils au domicile d’un patient, ce qui peut devenir un fardeau pour les patients. Pour rendre le système facile à utiliser tout en assurant le contrôle du patient, seuls les appareils implantés ou physiquement attachés au patient (dans ce cas, il s’agit du système INS et des montres intelligentes) doivent être allumés manuellement avant de lancer un enregistrement. Pour les appareils séparés du patient (dans ce cas, il s’agit de données enregistrées par des caméras vidéo), les enregistrements démarrent et se terminent automatiquement sans nécessiter d’interaction avec le patient. Lors de la conception de l’interface graphique, des précautions ont été prises pour minimiser le nombre de boutons et éviter les arborescences de menus profondes afin que les interactions soient simples. Une fois tous les appareils installés, un coordonnateur de recherche a montré au patient comment interagir avec tous les appareils par le biais d’interfaces graphiques destinées aux patients qui font partie de chaque appareil, par exemple comment mettre fin aux enregistrements sur n’importe quel appareil et comment entrer l’historique de ses médicaments et ses rapports de symptômes.
Transparence de la collecte des données: Il est impératif d’indiquer clairement quand les caméras sont allumées afin que les gens sachent quand ils sont enregistrés et puissent suspendre l’enregistrement s’ils ont besoin d’un moment d’intimité. Pour ce faire, une application de système de caméra est utilisée pour contrôler les enregistrements vidéo avec une interface graphique orientée vers le patient. L’interface graphique s’ouvre automatiquement au démarrage de l’application et indique l’heure et la date du prochain enregistrement programmé. Lorsqu’un enregistrement est en cours, un message indique quand la fin de l’enregistrement est programmée. Au centre de l’interface graphique, une grande image d’une lumière rouge s’affiche. L’image montre que la lumière est fortement éclairée chaque fois qu’un enregistrement est en cours et qu’elle passe à une image non éclairée lorsque les enregistrements sont désactivés.

Le protocole détaille les méthodes de conception, de construction et de déploiement d’une plate-forme de collecte de données à domicile, de vérification de la qualité des données collectées pour en vérifier l’exhaustivité et la robustesse, et de post-traitement des données pour une utilisation dans de futures recherches.

Figure 1 : Flux de données. Les données de chaque modalité sont collectées indépendamment du lieu de résidence du patient avant d’être traitées et agrégées en un seul point de terminaison de stockage à distance. Les données de chaque modalité sont envoyées automatiquement à un point de terminaison de stockage distant. Avec l’aide de l’un des membres de l’équipe, il peut ensuite être récupéré, vérifié pour sa validité, aligné dans le temps sur toutes les modalités, ainsi que soumis à un prétraitement plus spécifique à la modalité. Le jeu de données compilé est ensuite téléchargé sur un point de terminaison de stockage distant auquel tous les membres de l’équipe peuvent accéder en toute sécurité pour une analyse continue. Toutes les machines ayant accès aux données, en particulier pour les données sensibles telles que les vidéos brutes, sont enfermées dans un VPN qui garantit que toutes les données sont transférées en toute sécurité et que les données stockées sont toujours cryptées. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Protocol

Les patients sont recrutés dans le cadre d’une étude plus vaste approuvée par l’IRB et l’IDE sur l’aDBS à l’Université de Californie à San Francisco, protocole # G180097⁵. Le patient inscrit à cette étude a également donné son consentement éclairé spécifiquement pour cette étude.

1. Composants du système domestique

1. Serveur central et VPN
   1. Faites l’acquisition d’un ordinateur personnel (PC) exécutant un système d’exploitation (OS) basé sur Linux dédié à la diffusion d’un VPN. Rangez la machine dans une pièce sécurisée. Le disque crypte la machine pour assurer la sécurité des données.
   2. Configurez le serveur VPN pour qu’il soit accessible publiquement sur au moins un port.
      REMARQUE : Dans ce cas, cela a été réalisé en collaborant avec le service informatique pour donner au serveur une adresse IP statique orientée vers l’extérieur et une URL personnalisée par les options d’hébergement DNS de l’université.
   3. Pour l’installation du serveur, effectuez les étapes suivantes une fois sur le PC sélectionné pour servir le VPN.
      1. Configuration du pare-feu : exécutez les commandes suivantes dans le terminal PC pour installer et configurer un pare-feu simple :
         sudo apt install ufw
         sudo ufw autoriser ssh
         sudo ufw allow /udp
         sudo ufw activer
      2. Installation du VPN du serveur : installez le protocole VPN WireGuard¹⁶ open source sur le PC et accédez au répertoire d’installation. Dans le terminal du PC, exécutez umask 007 pour mettre à jour les règles d’accès aux répertoires.
      3. Génération de clé : Dans le terminal PC, exécutez
         GT Genkey | tee clé privée | wg pubkey > publickey
         Cela génère une paire de clés publique/privée pour le serveur VPN. Cette clé publique sera partagée avec n’importe quel PC client qui se connecte au VPN.
      4. Configuration VPN : dans le terminal PC, exécutez touch .conf pour créer un fichier de configuration, où le nom du fichier doit correspondre au nom de l’interface. Collez les règles de serveur suivantes dans ce fichier :
         [Interface]
         PrivateKey =
         Adresse = ##.#.#.#/ ##
         PostUp = iptables -A FORWARD -i interface_name -j ACCEPT ; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
         PostDown = iptables -D FORWARD -i interface_name -j ACCEPT ; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
         Port d’écoute = #####
         [Homologue]
         CléPublique =
         Adresses IP autorisées = ##.#.#.#/ ##
      5. Activation du VPN : Démarrez le VPN en entrant wg-quick up dans le terminal. Pour activer le protocole VPN afin qu’il démarre automatiquement chaque fois que le PC redémarre, exécutez la commande suivante dans le terminal :
         systemctl activer wg-quick@
   4. Pour l’installation du client, procédez comme suit pour chaque nouvelle machine qui a besoin d’accéder au VPN.
      1. Installation du VPN client : Installez le protocole VPN en suivant les instructions spécifiques au système d’exploitation sur la page de téléchargement de WireGuard¹⁶ .
      2. Ajout d’un client au VPN : prenez la clé publique du fichier de configuration généré lors de l’installation. Collez cette clé dans la section homologue du fichier de configuration du serveur.
      3. Activation du VPN : Démarrez le VPN en suivant les instructions spécifiques au système d’exploitation sur la page de téléchargement de WireGuard¹⁶ .
2. Stockage dans le cloud
   1. Sélectionnez un site de stockage cloud pour permettre à tous les flux de données enregistrés d’être stockés à long terme en un seul endroit. Ici, un site de stockage en nuage basé sur le service Web Amazon qui était compatible avec le protocole de transfert de données sélectionné a été utilisé.
3. Système de neuromodulation implantable
   1. En suivant les directives de l’IRB et de l’IDE, choisissez un système de neuromodulation implantable (INS)¹¹ qui permet aux patients de modifier manuellement leurs paramètres de stimulation.
   2. Procurez-vous une tablette PC et installez l’application DBS open source de l’UCSF pour permettre l’enregistrement de l’INS, le signalement des médicaments et des symptômes ou tout autre commentaire du patient¹⁴. Configurez les données INS qui sont diffusées sur la tablette pour être téléchargées vers un point de terminaison de stockage cloud temporaire conforme à la loi HIPPA, pour un stockage temporaire avant l’anonymisation des données et leur déchargement vers un stockage cloud à long terme.
4. Système de collecte vidéo
   1. Procurez-vous un PC capable de collecter et de stocker la quantité souhaitée de fichiers vidéo avant de les transférer vers le stockage en nuage. Assurez-vous que la carte mère du PC est équipée d’une puce TPM (Trusted Platform Module).
      REMARQUE : Dans ce cas, un PC équipé d’un SSD de 500 Go, d’un disque dur de 2 To et d’un GPU de 6 Go a été sélectionné. Un disque de 2 To garantit que les vidéos peuvent être mises en mémoire tampon après une longue session d’enregistrement ou en cas de perte de connexion Internet pendant quelques jours, tandis que le PC unique maintient le matériel le moins intrusif possible dans la maison.
   2. Installez le système d’exploitation souhaité et suivez les instructions pour activer le chiffrement automatique du disque afin de garantir la confidentialité des patients et d’éviter les fuites de données. Dans ce cas, un système d’exploitation basé sur Linux avec une distribution Ubuntu a été choisi pour sa facilité d’utilisation et sa fiabilité.
   3. Chiffrez séparément tous les disques durs après l’installation du système d’exploitation. Assurez-vous d’activer le remontage automatique du disque lors du redémarrage du système.
   4. Configurez la puce TPM intégrée du PC pour conserver l’accès au PC chiffré sur disque après un redémarrage du système¹⁷.
      REMARQUE : Si vous utilisez un système d’exploitation Linux, assurez-vous de sélectionner une carte mère avec une puce TPM2 installée pour activer cette étape. Si un système d’exploitation Windows est utilisé, le chiffrement et le déverrouillage automatiques du disque peuvent être gérés par le programme Bitlocker.
   5. Configurez le PC en tant que client VPN en suivant les étapes d’installation de la section 1.1.4. Activez le protocole VPN pour qu’il démarre automatiquement chaque fois que le PC est redémarré, comme indiqué dans la section 1.1.3.5, afin de vous assurer que les ordinateurs des chercheurs peuvent toujours accéder au PC à distance (recommandé).
   6. Créez un compte d’utilisateur GitHub pour automatiser facilement les mises à jour des logiciels installés sur le PC. Ce compte sert de webhook pour automatiser l’extraction à partir du point de terminaison git distant et permet d’identifier toutes les mises à jour envoyées à partir de la machine distante.
   7. Sélectionnez un logiciel pour programmer et contrôler les enregistrements vidéo et installez-le sur le PC. Pour maximiser la confidentialité et le confort du patient, le logiciel choisi doit inclure une interface utilisateur graphique (GUI) pour indiquer clairement quand les enregistrements sont en cours et pour permettre une fin facile des enregistrements à tout moment.
      REMARQUE : Si vous le souhaitez, l’application d’enregistrement vidéo personnalisée des auteurs avec une interface graphique orientée vers le patient peut être installée en téléchargeant l’application et en suivant les instructions sur GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp).
   8. Sélectionnez un moniteur pour indiquer quand les vidéos sont en cours d’enregistrement et pour permettre aux utilisateurs de mettre fin facilement aux enregistrements. Sélectionnez un moniteur doté d’un écran tactile afin que les enregistrements puissent être interrompus sans avoir besoin d’utiliser un clavier ou une souris.
   9. Installez une application de bureau à distance sur le PC. Cela permet d’exécuter une application avec une interface graphique de manière à ce que l’interface graphique reste visible à la fois du côté du patient et du côté du chercheur à distance.
      REMARQUE : l’application de bureau à distance NoMachine open source a mieux fonctionné pour un système d’exploitation Linux.
   10. Sélectionnez des webcams compatibles USB avec une résolution suffisamment élevée pour calculer les poses dans l’espace donné.
       REMARQUE : Dans ce cas, des webcams compatibles 4k ont été choisies, qui offrent plusieurs combinaisons de résolution et de fréquence d’images, y compris une résolution 4k à 30 ips ou une résolution HD à 60 ips.
   11. Choisissez du matériel robuste pour installer des webcams au domicile du patient. Utilisez des supports à col de cygne avec des clips pour les fixer au meuble afin d’éviter que les caméras ne tremblent.
   12. Sélectionnez un protocole de transfert de données avec une capacité de cryptage et installez-le sur le PC. Créez une configuration pour accéder au site de stockage cloud, puis créez une configuration de chiffrement pour encapsuler la première configuration avant le transfert de données.
       REMARQUE : Dans ce cas, un protocole de transfert de données et de synchronisation de fichiers open source avec capacité de cryptage a été installé¹⁸. La documentation sur le protocole de transfert de données explique comment configurer le transfert de données vers le stockage cloud. Le protocole a d’abord été installé sur le serveur VPN et une configuration de chiffrement a été créée qui transfère les données vers le site de stockage cloud hors site.
5. Composants de données de capteurs portables
   1. Sélectionnez des montres intelligentes à porter à chaque poignet du patient pour suivre les signaux, notamment les mouvements, l’accélérométrie et la fréquence cardiaque.
      REMARQUE : l’Apple Watch Series 3 a été sélectionnée avec un moniteur de symptômes de trouble du mouvement intégré qui génère des scores de symptômes de la maladie de Parkinson tels que des scores de dyskinésie et de tremblements.
   2. Sélectionnez et installez sur chaque montre intelligente un logiciel capable de démarrer et de terminer les enregistrements et de transférer des données vers le stockage en nuage. Sélectionnez une application qui télécharge tous les flux de données sur le portail en ligne qui lui est associé pour que les chercheurs et les cliniciens puissent les analyser¹⁹.

Figure 2 : Composants d’enregistrement vidéo. Les composants matériels permettant de prendre en charge la collecte de données vidéo sont minimes, notamment un seul PC tour, des webcams connectées par USB et un petit moniteur pour afficher l’interface graphique orientée vers le patient. Le moniteur est doté d’un écran tactile pour permettre de mettre fin facilement à tout enregistrement en cours ou programmé en appuyant sur les boutons visibles sur l’interface graphique. Le centre de l’interface graphique affiche l’image d’une lumière d’enregistrement qui prend une couleur rouge vif lorsque les caméras vidéo enregistrent activement. Veuillez cliquer ici pour voir une version agrandie de cette figure.

2. Configuration à domicile

1. Installation du matériel
   1. Déterminez un espace approprié pour l’installation des webcams qui minimise les perturbations dans la maison. Déterminer l’espace en discutant avec le patient ; Ici, la zone de bureau à domicile a été choisie comme site optimal pour équilibrer le volume d’enregistrement et l’intimité.
   2. Montez les webcams dans la zone identifiée sur le matériel de montage sélectionné. Le col de cygne clipsé sur les meubles lourds à proximité empêche les caméras de trembler chaque fois que quelqu’un s’approche de lui.
   3. Placez le PC suffisamment près des webcams montées pour que leurs câbles USB puissent se connecter au PC.
   4. Placez la tablette, les composants INS, les montres intelligentes et les téléphones intelligents à proximité d’une prise de courant afin que tous les appareils puissent rester branchés et prêts à être utilisés à tout moment.
   5. Vérifiez que le VPN est activé en exécutant la route -n dans le terminal du PC. Si ce n’est pas le cas, suivez les instructions pour activer le VPN dans la section 1.1.3.5.
2. Lancez l’application d’enregistrement vidéo
   1. Calendrier d’enregistrement vidéo : Avant de recueillir des données, discutez d’un calendrier d’enregistrement approprié avec le patient. Configurez cette planification sur le logiciel d’enregistrement vidéo.
      REMARQUE : si vous utilisez l’application d’enregistrement vidéo personnalisée des auteurs, les instructions pour définir un calendrier sont disponibles sur GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
   2. Mettre à jour le logiciel d’enregistrement : assurez-vous que la dernière version du logiciel d’enregistrement vidéo sélectionné a été téléchargée sur le PC à l’aide du compte d’utilisateur GitHub installé dans la version 1.4.6.
   3. Démarrer les enregistrements vidéo : Connectez-vous au PC via le logiciel de bureau à distance installé et démarrez le logiciel d’enregistrement vidéo.
      REMARQUE : Si vous utilisez l’application d’enregistrement vidéo personnalisée des auteurs, les instructions de démarrage de l’application sont disponibles sur GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
3. Calibrage de la caméra vidéo
   1. Désactiver l’autofocus : pour calculer les paramètres intrinsèques tels que la distorsion de l’objectif et de la perspective, suivez les instructions en fonction du système d’exploitation et des webcams sélectionnés pour désactiver l’autofocus.
      REMARQUE : Sous Linux, les webcams sont accessibles via l’API vidéo pour Linux, qui active par défaut l’autofocus chaque fois que l’ordinateur connecté aux caméras est redémarré. La configuration d’un script pour désactiver automatiquement cette option est nécessaire pour préserver la mise au point acquise lors de l’étalonnage de l’appareil photo pour le traitement de la pose 3D.
   2. Calibrage intrinsèque : Acquérir un motif en damier de 6 x 8 avec des carrés de 100 mm pour prendre en charge le calibrage 3D du logiciel d’estimation de la pose²⁰. Enregistrez une vidéo à partir de chaque webcam individuelle pendant qu’un chercheur incline le damier dans le cadre de toutes les caméras. Assurez-vous que le damier comporte un nombre pair de lignes et un nombre impair de colonnes (ou vice versa). Cela lèvera l’ambiguïté concernant la rotation.
   3. Calibrage extrinsèque : enregistrez une vidéo à partir des trois webcams simultanément. Assurez-vous que les vidéos sont enregistrées à la même résolution que toutes les vidéos à traiter pour les estimations de pose 3D. Pour assurer une synchronisation exacte de l’heure entre toutes les vidéos, faites clignoter une lumière LED IR au début et à la fin de l’enregistrement. Utilisez un logiciel de montage vidéo pour synchroniser manuellement les vidéos en marquant les images au début de la LED et en découpant les vidéos à une longueur égale.
   4. Matrices d’étalonnage : transmettez les vidéos enregistrées lors des deux étapes précédentes via OpenPose²¹ pour générer des matrices d’étalonnage intrinsèques et extrinsèques.
      REMARQUE : OpenPose utilise la bibliothèque OpenCV pour l’étalonnage de la caméra, et des instructions supplémentaires peuvent être trouvées dans la documentation sur le GitHub^20,22 d’OpenPose.

3. Collecte des données

1. Instructions pour le patient pour commencer l’enregistrement
   1. Vérifiez la batterie et l’alimentation de l’appareil : L’appareil INS est toujours allumé pour fournir une stimulation constante au sujet. Pour commencer l’enregistrement des données neuronales, demandez au patient d’allumer la tablette PC et de s’assurer que les modules de télémétrie du clinicien (CTM) pour les appareils INS gauche et droit sont allumés et complètement chargés.
   2. Placement des CTM : Placez les CTM des deux côtés de la poitrine. Pour une connectivité maximale et pour réduire la perte de paquets, positionnez les CTM à proximité des implants thoraciques pendant les enregistrements. D’autres endroits pour placer les CTM sont les poches poitrine d’une veste ou l’utilisation d’une écharpe spécialisée.
   3. Activer la connexion de la tablette : Une fois la tablette démarrée, demandez au patient d’ouvrir l’application DBS et de sélectionner Connecter, ce qui invite une connexion Bluetooth aux CTM et ensuite aux appareils INS¹⁴.
   4. Activation de la caméra : Demandez au patient de confirmer que les caméras vidéo sont connectées au PC via ses câbles USB et que les caméras sont allumées.
      REMARQUE : Si vous utilisez l’application d’enregistrement vidéo personnalisée des auteurs, les enregistrements en cours sont clairement indiqués sur l’interface graphique orientée vers le patient par une grande image d’une lumière rouge fortement éclairée. Cela passe à un voyant rouge non allumé lorsque les enregistrements sont désactivés. Les webcams sélectionnées disposent également d’un petit voyant blanc.
   5. Activation de la montre intelligente : Demandez au patient d’allumer les montres intelligentes et les téléphones intelligents en maintenant le bouton d’alimentation enfoncé. Ensuite, demandez-leur d’ouvrir l’application de la montre intelligente pour lancer l’enregistrement des données et le suivi des symptômes de la maladie de Parkinson.
2. Scénarios d’alignement et d’enregistrement des données basés sur les gestes
   1. Écrivez toutes les tâches que le patient souhaite effectuer pendant l’enregistrement des données avant de commencer une collecte de données.
   2. Comme la synchronisation basée sur l’horloge multi-appareils pour aligner les horodatages peut ne pas être fiable, demandez au patient d’effectuer un geste qui peut être utilisé pour synchroniser les horodatages à partir des données enregistrées au début de chaque nouvel enregistrement, même s’il prévoit d’enregistrer pendant des périodes de comportement libre.
      REMARQUE : Les auteurs ont conçu un geste simple où le patient a tapoté les deux dispositifs INS implantés tout en gardant ses mains dans le champ de vision des caméras. Ce tapotement crée des motifs distinctifs dans les enregistrements inertiels des montres intelligentes et de l’accéléromètre INS et est facile à observer dans les vidéos.
3. Instructions pour le patient pour mettre fin à l’enregistrement
   1. Remettez le groupe de stimulation dans le groupe cliniquement assigné préféré du patient.
   2. Dans l’interface graphique de l’application DBS destinée aux patients, saisissez un rapport de symptômes.
   3. Fermez l’application DBS, ce qui déconnectera les CTM et mettra fin à la diffusion INS.
   4. Fermez l’application d’enregistrement de la montre intelligente et remettez les CTM, les smartphones et les appareils de montre intelligente sur leurs ports de charge.
4. Déchargement des données
   1. Transférez des vidéos brutes vers le stockage en nuage via le protocole de transfert de données à l’aide d’une configuration cryptée. Créez une tâche cron sur le PC d’enregistrement vidéo pour transférer automatiquement les vidéos enregistrées vers le stockage en nuage via le protocole de transfert de données¹⁸.
      REMARQUE : En fonction de la résolution des vidéos et du nombre d’heures enregistrées chaque jour, la vitesse Internet doit être suffisamment élevée pour permettre à toutes les vidéos d’être transférées vers le stockage en nuage dans les 24 heures. Si le transfert de données est trop lent, l’espace disque peut s’épuiser, ce qui entraîne l’échec des enregistrements vidéo supplémentaires prévus pour le lendemain.
   2. Enregistrez les données INS sur le point de terminaison cloud sécurisé HIPAA configuré à l’étape 1.3.2. Téléchargez les données INS à partir du point de terminaison cloud sécurisé HIPAA et anonymisez les données. Enregistrez les données anonymisées sur un stockage cloud externe.
      REMARQUE : Le code de prétraitement open source OpenMind²³ a été utilisé pour anonymiser les données et les convertir à partir de fichiers json en format de tableau. La tablette du patient a été configurée avec un point de terminaison cloud sécurisé HIPAA pour le stockage temporaire des données brutes de l’INS ; Cependant, il est concevable que le même site de stockage en nuage utilisé pour le stockage à long terme puisse également être utilisé pour cette étape, à condition qu’il soit conforme à la loi HIPAA et que les données soient cryptées avant d’être déchargées.
   3. Si vous le souhaitez, enregistrez une copie des données de la montre intelligente sur un stockage cloud externe afin que tous les flux de données soient accessibles en un seul endroit.

4. Caractérisation du système

1. Visualisation des données brutes : dans l’environnement de codage souhaité, visualisez tous les flux de données brutes pour vous assurer que les données ont été enregistrées et transférées de manière appropriée, sans perte ni corruption.
   REMARQUE : L’application qui a été sélectionnée pour gérer les enregistrements de la montre intelligente dispose d’une application de navigateur qui est utile pour visualiser les données de la montre intelligente²⁴.
2. Décalage de l’image vidéo et de l’horodatage : inspectez les décalages entre les horodatages générés par différentes webcams. Analysez les décalages en enregistrant des vidéos à l’aide d’une lumière LED programmable placée dans le cadre de toutes les webcams.
   REMARQUE : L’analyse a révélé qu’une fonction de segmentation vidéo²⁵ importée par l’application d’enregistrement vidéo personnalisé était à l’origine d’un décalage d’horodatage croissant. L’enregistrement de vidéos sans la fonction de segmentation entraînait des décalages entre les images de la webcam et l’horodatage qui n’augmentaient pas au fil du temps (voir le fichier supplémentaire 1 et la figure supplémentaire 1).

5. Prétraitement et alignement des données a posteriori

1. Données de pose
   1. Installez un logiciel pour calculer les estimations de position des articulations à partir de vidéos enregistrées.
      REMARQUE : La bibliothèque OpenPose a été sélectionnée car elle inclut le suivi des mains et des visages en 2D et en 3D.
   2. La bibliothèque OpenPose ne gère pas automatiquement les cas où plusieurs personnes sont dans le cadre, utilisez donc un script de post-traitement pour vous assurer que les estimations de pose de chaque personne sont continues d’une image à l’autre. OpenPose fournit du code permettant de générer facilement des animations, en 2D ou en 3D, pour des contrôles visuels de la qualité de l’estimation de la pose.
2. Alignement temporel basé sur les gestes
   1. Pour chaque périphérique INS (gauche et droite), suivez les étapes décrites ci-dessous à l’aide de l’interface graphique d’alignement des données (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI) des auteurs.
      1. Lecture dans les données : accédez aux données d’accélération de l’INS et de la montre intelligente enregistrées à partir du stockage cloud pour la session de données souhaitée.
         REMARQUE : Une série chronologique supplémentaire peut être ajoutée si vous le souhaitez. La figure 3 montre la position de pose du majeur droit en vert.
      2. Visualisez les flux de données dans l’interface graphique : utilisez l’interface graphique d’alignement temporel manuel pour superposer les données d’accélérométrie INS, d’accélérométrie de montre intelligente et de pose.
      3. Zoom avant sur les artefacts d’alignement : effectuez un zoom avant sur l’axe temporel et déplacez la fenêtre d’affichage vers la section de l’enregistrement où l’on tape sur la poitrine. Déplacez la série chronologique d’alignement de manière à ce que le pic de la poitrine tape à la fois sur l’INS et que les signaux de la série chronologique de la montre intelligente se chevauchent le plus fidèlement possible.
         REMARQUE : L’interface graphique est conçue pour faciliter l’alignement manuel de séries chronologiques arbitraires sur une heure réelle commune. La figure 3 montre les séries chronologiques réelles en bleu, tandis que les séries chronologiques alignées sont indiquées en orange et en vert. Les guides clés pour l’alignement de l’interface graphique sont indiqués sur le GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment).
      4. Confirmation de l’alignement : déplacez la fenêtre de l’interface graphique vers chacune des tâches de tapotement de poitrine de l’enregistrement et vérifiez que l’alignement reste cohérent tout au long de la série chronologique. Appuyez sur le bouton Switch Aligning (Aligner le commutateur) et répétez les alignements sur les flux de données restants.
      5. Indicateurs d’avertissement : pour indiquer si des données sont manquantes, décalées ou d’autres avertissements généraux concernant la qualité des données, définissez des indicateurs d’avertissement dans l’interface graphique à l’aide des touches D, S et F respectivement.
3. Alignement temporel de corrélation croisée normalisée à zéro (ZNCC)
   1. Identifiez le signal le plus susceptible d’être le plus proche de l’heure réelle. Habituellement, il s’agit soit de celui dont la fréquence d’échantillonnage est la plus élevée, soit de celui dont l’actualisation de l’heure Internet est la plus rapide.
   2. Rééchantillonnez les deux signaux pour qu’ils aient la même fréquence d’échantillonnage temporelle et marquez individuellement les deux signaux. Cela garantit que les scores ZNCC résultants seront normalisés entre -1 et 1, ce qui donne une estimation du niveau de similitude entre les deux signaux, utile pour détecter les erreurs.
   3. Calculez la corrélation croisée entre le deuxième signal et le premier signal à chaque décalage temporel.
   4. Si l’information de phase des deux signaux n’est pas importante, prenez la valeur absolue de la courbe de corrélation croisée mesurée.
      REMARQUE : Si le comportement est significativement a-périodique, les informations de phase ne sont pas nécessaires, comme dans ce cas.
   5. Analysez la courbe ZNCC. S’il n’y a qu’un seul pic clair, avec un score ZNCC supérieur à 0,3, alors le temps de ce pic correspond au décalage temporel entre les deux signaux. S’il y a plusieurs pics, s’il n’y a pas de pic clair ou si le score ZNCC est faible sur tous les décalages temporels, les deux signaux doivent être alignés manuellement.

Figure 3 : Alignement des données basé sur les gestes. La moitié supérieure de la figure présente l’interface graphique d’alignement manuel après l’alignement des trois flux de données. La ligne bleue représente les données d’accélération de la smartwatch, la ligne orange correspond aux données d’accélération de l’INS et la ligne verte correspond à la position de pose 2D du majeur droit à partir d’une seule webcam. Le coin supérieur droit affiche le décalage entre l’heure réelle de la montre intelligente et l’INS, ainsi que divers drapeaux d’avertissement pour signaler tout problème qui survient. Dans cet exemple, l’INS avait 20,8 s d’avance sur la smartwatch. Le graphique en bas à gauche est agrandi pour montrer les cinq tapotements thoraciques effectués par le patient pour l’alignement des données. Les cinq pics sont suffisamment clairs dans chaque flux de données pour assurer un alignement correct. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Representative Results

Conception et déploiement d’une plate-forme prototype
Nous avons conçu une plateforme prototype et l’avons déployée au domicile d’un seul patient (Figure 1). Après la première installation du matériel dans la maison, la plate-forme peut être maintenue et les données collectées entièrement via un accès à distance. Les appareils, les montres intelligentes et les caméras de l’INS disposent d’applications destinées aux patients qui leur permettent de démarrer et d’arrêter les enregistrements. Le matériel de collecte vidéo permet des enregistrements vidéo automatiques après la configuration d’un calendrier approuvé. Les patients peuvent facilement annuler un enregistrement en cours en appuyant simplement sur un bouton de l’interface graphique de l’application d’enregistrement vidéo (Figure 2). Toutes les données collectées ont été cryptées et transférées vers un site de stockage en nuage pour que les chercheurs puissent les traiter et les analyser.

Collecte de données
Pour les premiers déploiements et cycles de collecte de données, nous avons demandé au patient d’effectuer des tâches cliniques autoguidées. Les tâches ont été tirées de l’échelle unifiée d’évaluation de la maladie de Parkinson (UPDRS)²⁶, à savoir les tremblements au repos, le tapotement du pouce à l’index, l’ouverture et la fermeture de la main, la pronation-supination du poignet, le mouvement et la marche assis-debout et une tâche de dactylographie. Toutes les tâches ont été répétées trois fois pour chaque jour d’enregistrement. Pour chaque répétition, une amplitude de stimulation différente a été définie pour exposer les symptômes potentiels de la maladie de Parkinson liés à la stimulation. La figure 4 montre un exemple schématisé de ce à quoi pourrait ressembler une semaine de données recueillies avec le système.

Figure 4 : Disponibilité des données. Une démonstration schématisée de ce à quoi pourrait ressembler une semaine de données collectées avec le système. Le graphique du haut montre le niveau de stimulation (en bleu) au cours de plusieurs cycles jour/nuit. Les changements de stimulation pour ce patient dépendent de son horaire de sommeil et des heures de prise de médicaments (lignes rouges verticales). À des moments arbitraires de la journée, le système de collecte de données peut être activé à distance pour collecter des données pour plusieurs modalités, représentées par des cases colorées. Un exemple de tous les flux de données parallèles alignés dans le temps, juste sélectionnés vers le bas sur le côté gauche du corps, est montré dans le graphique du bas. Au cours de cet enregistrement, le patient a été invité à effectuer une série d’évaluations cliniques dans des conditions de stimulation de faible amplitude, thérapeutiques et de grande amplitude. Toutes les données présentées ici correspondent à des données réelles collectées, mais ont été compressées dans des expériences distinctes pour faciliter la visualisation et montrer la variété. Abréviations : LFP = potentiel de champ local, STN = noyau sous-thalamique, Accel = accéléromètre, Gyro = gyroscope, 2D = bidimensionnel. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Alignement manuel
L’interface graphique d’alignement manuel fournit une plate-forme facile à utiliser pour aligner plusieurs flux de données. Comme le montre la figure 3, les tapotements thoraciques fournissent un artefact clairement identifiable dans toutes les modalités de données (INS, montres intelligentes, vidéos) qui peuvent être utilisés dans l’alignement manuel. L’interface graphique était un moyen utile d’aligner les données, mais elle pouvait être échangée contre tout autre outil d’alignement que les chercheurs aimeraient utiliser. Dans certains cas, les flux de données présentent une légère dérive. Une solution future potentielle à ce problème serait de diviser les données de la session en différents essais, chacun avec sa propre séquence de tapotement thoracique. Chaque essai peut ensuite être aligné individuellement pour minimiser l’impact de la dérive.

Alignement temporel de corrélation croisée normalisée à zéro (ZNCC)
La méthode pour ZNCC fonctionne bien dans certains cas, mais elle présente quelques vulnérabilités critiques. Par exemple, pour certains mouvements, les signaux des deux accéléromètres peuvent être déphasés l’un par rapport à l’autre. Si un mouvement aligné et un mouvement déphasé sont tous deux inclus dans les époques analysées, alors le ZNCC peut avoir plusieurs pics clairs, voire aucun pic. La normalisation de ZNCC permet d’identifier automatiquement ces alignements et de les supprimer si nécessaire. Cette méthode fonctionne mieux si les deux signaux sont relativement exempts de bruit et fenêtrés à une époque avec de grands effets synchronisés dans les deux pistes. Les meilleurs résultats ont été obtenus lorsqu’on a demandé au patient d’effectuer une série de tapotements forts avec les deux mains contre sa poitrine. Dans la pratique, cependant, la vérification manuelle de l’alignement automatisé était nécessaire dans suffisamment de cas pour que l’avantage de l’utilisation de la méthode automatisée soit négligeable.

Qualité des données
La perte de données lors du transfert automatisé était négligeable puisque le processus du protocole de transfert de données sauvegarde les copies brutes pour s’assurer que toute perte est récupérable. Des pertes de données dues à des problèmes de connectivité se produisaient régulièrement, car le Bluetooth et la radiofréquence ont parfois des coupures de connexion inattendues et sont limités en portée. De courts intervalles allant jusqu’à 2 secondes se produisaient environ quelques fois par heure, et des intervalles plus longs allant jusqu’à 2 minutes se produisaient environ une fois toutes les deux heures. Au-delà de la perte de données, des artefacts de stimulation significatifs ont été observés dans les données neuronales, dont la sévérité dépendait de l’enregistrement et des groupes de stimulation choisis. Les artefacts les plus importants se produisent près de la fréquence de stimulation, bien au-delà des plages d’intérêt. Aucun artefact n’a été observé dans les données des montres intelligentes. Les vidéos ont été enregistrées à une fréquence d’images constante ; Cependant, des images en double ont été identifiées dans les vidéos. Cela a permis d’obtenir une fréquence d’images réelle inférieure de quelques images à la fréquence d’images théorique indiquée par les spécifications de la webcam. Cependant, les périodes de gel qui ont été identifiées dans les vidéos à des intervalles variables en fonction du jour de l’enregistrement étaient plus visibles que les images dupliquées. Des périodes de gel d’environ 10 images ou moins ont été régulièrement observées ; Cependant, des sections plus longues, d’une durée d’environ 2 à 30 secondes, ont également été observées à des périodes irrégulières.

Collecte de données longitudinales
Le tableau 1 présente les données que le prototype de la plate-forme a recueillies périodiquement sur une période d’un an et demi. Au cours de cette période, des centaines d’heures de données ont été collectées, avec un total de 293 heures de données INS des deux côtés du corps, 224 heures de données de montres intelligentes pour les deux montres et 2 037 heures de données vidéo sur trois webcams. Cela démontre que la plate-forme prend en charge la collecte de données à domicile sur de longues périodes tout en offrant une occasion rare d’observer les changements longitudinaux dans les données neuronales et les besoins de stimulation correspondants.

Type de données	Durée totale (hh :mm :ss)	Nombre total de jours	Taille de stockage
Neural	293:17:33	90	28,94 Go
Montre	224:06:05	89	35,67 Go
Vidéo	2037:06:11	228	146 073,77 Go

Tableau 1 : Aperçu longitudinal des données recueillies. La plate-forme déployée a collecté des données au cours de plusieurs expériences sur une période d’un an et demi. Environ 90 jours ont été enregistrés avec des flux de données neuronales, vidéo et de montres intelligentes collectés.

Estimations de poses 2D et 3D
Plusieurs logiciels d’estimation de pose sont maintenant disponibles. L’estimation de la pose a été testée à l’aide d’OpenPose, un progiciel open source²¹. Celui-ci a été installé avec succès en suivant la documentation fournie par le GitHub de l’organisation, ainsi que de nombreux autres tutoriels non officiels trouvés sur le Web. Le temps de traitement d’OpenPose varie considérablement en fonction de la façon dont la bibliothèque OpenPose et ses dépendances étendues sont installées, de la taille du GPU utilisé et du traitement des points clés facultatifs des mains et des visages. La pose 2D était relativement facile à mettre en œuvre, mais la pose 3D était nettement plus difficile et les résultats préliminaires de la 3D donnaient une qualité incohérente égale à celle de la pose 2D. L’estimation de la pose 3D de mauvaise qualité peut avoir été affectée négativement par un calibrage sous-optimal de l’appareil photo, des périodes où l’autofocus de l’appareil photo a été activé par erreur ou inhérent au logiciel OpenPose lui-même. Cependant, les vidéos synchronisées de haute qualité sous plusieurs angles peuvent fournir des entrées riches pour une variété de logiciels d’estimation de la pose disponibles. Il est recommandé d’effectuer une configuration de test à l’extérieur du domicile du patient, avec une analyse comparative manuelle des différents logiciels d’estimation de pose disponibles.

Figure supplémentaire 1 : Analyse du décalage d’image vidéo. Des décalages dans les horodatages générés par l’application d’enregistrement vidéo ont été détectés lors de la caractérisation du système. Pour étudier la cause des décalages, le numéro d’image et l’horodatage générés par chaque caméra ont été déterminés en enregistrant une lumière LED rouge qui clignotait à intervalles aléatoires, puis les variations des décalages d’horodatage entre les caméras ont été calculées. (Haut) Intensités LED (en unités RVB) mesurées sur chacune des trois caméras, démontrant les décalages temporels observés entre les trois caméras (indiqués par des flèches rouges). (En bas) Trois graphiques montrent les décalages d’horodatage entre les caméras en nombre d’images pour une série de clignotements de LED sur l’ensemble de l’enregistrement. Chaque enregistrement a été divisé en plusieurs segments et le décalage d’image était à peu près constant dans le temps. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 1 : Méthode d’analyse de l’image vidéo et de l’horodatage. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Nous partageons la conception d’un prototype à domicile d’une plateforme de collecte de données multimodale pour soutenir les recherches futures en neuromodulation. La conception est open-source et modulaire, de sorte que n’importe quelle pièce de matériel peut être remplacée et que n’importe quel composant logiciel peut être mis à jour ou modifié sans que l’ensemble de la plate-forme ne s’effondre. Bien que les méthodes de collecte et d’anonymisation des données neuronales soient spécifiques à l’INS sélectionné, les autres méthodes et l’approche globale de la collecte de données comportementales sont indépendantes du dispositif implantable utilisé. Nous avons déployé la plateforme au domicile d’une personne atteinte de la maladie de Parkinson et recueilli des données pendant des périodes expérimentales et naturalistes. Au cours des déploiements, des collectes de données et du traitement des données a posteriori, plusieurs aspects ont été découverts qui ont été particulièrement cruciaux pour permettre des itérations de recherche réussies.

Un membre précieux de notre équipe était le coordinateur de recherche qui s’est rendu au domicile du patient pour installer le matériel, configurer le VPN, effectuer l’étalonnage de la caméra pour la pose 3D et expliquer au patient comment utiliser l’interface graphique de chaque appareil. Il est important de noter que le coordonnateur de la recherche a également servi de point de contact principal entre le patient et l’équipe de recherche. Le patient préférait utiliser sa fonction de chat par e-mail pour envoyer rapidement des messages dans les deux sens. Le fait de disposer d’un point de contact cohérent et accessible a été particulièrement utile de deux façons :

Établir un canal de communication familier pour que le patient puisse demander des modifications aux enregistrements programmés et pour communiquer toute difficulté dans l’utilisation du système. Cela a aidé le coordonnateur de la recherche à identifier les moments opportuns pour que le patient puisse mener des expériences d’enregistrement. La principale difficulté signalée dans l’utilisation du système était la nécessité de suivre l’autonomie de la batterie de plusieurs appareils.

Permettre au dépannage du système d’être le moins perturbant possible pour le patient. La plupart des dépannages provenaient de problèmes de connectivité réseau qui se produisaient en moyenne une fois toutes les deux semaines. Bien que le redémarrage des appareils résolvait généralement ces problèmes, les montres nécessitaient souvent plusieurs redémarrages, ce qui, selon le patient, était fastidieux.

Il est essentiel d’assurer un accès à distance robuste au matériel placé au domicile du patient. Pour ce faire, il est essentiel de disposer d’une connexion Internet stable. Il est également nécessaire de configurer une machine chiffrée sur disque pour qu’elle se déverrouille automatiquement chaque fois qu’une machine redémarre. Il n’est donc pas surprenant qu’un câble Ethernet fournisse systématiquement les connexions réseau les plus rapides et les plus fiables. Ce à quoi on s’attendait moins, c’était la nécessité de configurer une puce TPM, nécessaire en raison du choix de Linux comme système d’exploitation. Si un système d’exploitation Windows est utilisé, leur programme Bitlocker s’en chargera automatiquement. Enfin, la configuration du PC déployé pour activer automatiquement le VPN et remonter le disque dur lors du redémarrage du système a permis de garantir un accès à distance continu sans avoir à se rendre à plusieurs reprises au domicile du patient. L’intégration d’un VPN et d’un protocole de cryptage des données dans la conception de la plate-forme était essentielle pour la sécurité et l’intégrité des données. Le VPN permet de connecter un réseau d’ordinateurs sans avoir besoin de configurer une redirection de port personnalisée sur le routeur privé d’un patient. Le protocole de cryptage de données open source Rclone fournit un cryptage de données prêt à l’emploi et un moyen facilement automatisable de transférer des données des appareils des patients vers le stockage en nuage¹⁸. Le protocole de chiffrement des données effectue des copies de sauvegarde des données brutes au cours de ses étapes de transfert de données pour s’assurer que les pertes sont récupérables. Ces mesures ont permis de s’assurer que les données privées du patient étaient sécurisées et non corrompues.

Pour être en mesure d’effectuer une analyse significative des données, il est essentiel que les données collectées à partir de plusieurs appareils soient alignées dans le temps. Les horloges de chaque appareil ne sont probablement pas parfaitement alignées sur une heure Internet commune, même si les fabricants suggèrent qu’elles le sont. De plus, certains appareils peuvent subir des dérives à des moments imprévisibles, ce qui modifie leurs décalages par rapport aux autres appareils. Cela crée des difficultés dans la mise au point d’algorithmes adaptatifs en temps réel entièrement automatisés, et les recherches futures devront examiner attentivement les solutions à ce problème. Des méthodes d’alignement automatique ont été explorées à l’aide d’une corrélation croisée normalisée. Cela fonctionne raisonnablement bien dans de nombreux cas ; Cependant, les dérives temporelles doivent être minimales et les données doivent contenir des signaux clairement identifiables. Étant donné qu’il y avait à la fois une grande dérive et des périodes où les données présentaient trop de bruit ou de perte de paquets, cette méthode entièrement automatisée ne peut pas être entièrement fiable. Pour minimiser la charge de travail liée à l’alignement manuel des données, nous avons créé une interface graphique simple pour permettre aux chercheurs de vérifier visuellement les flux de données avec une facilité et une rapidité relatives.

L’inclusion de données vidéo dans le système permet aux cliniciens de mesurer la gravité des symptômes grâce à l’observation à distance, et les chercheurs peuvent obtenir des étiquettes d’événements. De plus, les estimations de pose peuvent être calculées à partir de vidéos en tant que mesure continue de la qualité des mouvements, par exemple en mesurant la vitesse et la fluidité des mouvements des doigts au fil du temps. Cependant, la collecte de vidéos haute résolution à partir de plusieurs caméras nécessite un espace de stockage important. Par exemple, la collecte de 8 heures de vidéos 4k au format MJPEG à partir de trois caméras nécessite environ 0,5 To d’espace de stockage. L’enregistrement et le stockage de grandes quantités de données deviennent rapidement coûteux, ce qui crée un goulot d’étranglement économique pour le déploiement de ce système auprès de nombreux patients. Afin de permettre à ces plates-formes de s’adapter à de nombreux patients, les futurs concepteurs de systèmes doivent réduire la quantité de données nécessaires au stockage à long terme. Les futurs systèmes devraient envisager d’inclure un traitement de la pose en temps réel afin que les vidéos puissent être rapidement supprimées après le traitement de la pose. La pose en temps réel pourrait également fournir un retour d’information sur la motricité fine dans les algorithmes en boucle fermée, ce qui n’entre pas dans le cadre de ce travail. S’il est nécessaire de conserver certaines données vidéo pour l’examen par le clinicien ou l’étiquetage des événements, celles-ci peuvent être sous-échantillonnées à une résolution inférieure avant d’être enregistrées sur le stockage en nuage.

Enfin, pour remédier efficacement aux défauts de conception et aux erreurs de mise en œuvre qui surviennent invariablement lors de la construction d’un système intégré, l’acquisition d’une réplique du matériel à déployer pour l’utiliser comme banc d’essai est extrêmement précieuse. Cela a été vrai pour tester le matériel et les logiciels qui ont été sélectionnés pour la collecte de vidéos et le traitement des données de pose. L’ensemble du processus d’acquisition de vidéos et d’estimations de poses dans l’espace 2D et 3D a été beaucoup plus difficile que prévu. Un banc d’essai permet de dépanner et de tester un certain nombre d’étapes importantes avant le déploiement, notamment :

Calibrer correctement les caméras dans les contraintes d’aménagement d’une pièce donnée.
Identification de la résolution vidéo et de la fréquence d’images appropriées pour prendre en charge l’estimation de la pose de haute qualité. Pour les petites pièces ou les environnements de type bureau, l’enregistrement vidéo HD est probablement suffisant, car la taille des individus sur la vidéo enregistrée est suffisamment grande pour que la pose puisse être facilement calculée tout en nécessitant beaucoup moins d’espace de stockage que la vidéo 4k.
Découverte de bogues dans les vidéos enregistrées, tels que le gel d’images ou les décalages temporels entre les fichiers vidéo écrits de manière séquentielle.
Exposer des défauts logiciels inattendus, tels que la réinitialisation de l’autofocus de l’appareil photo lors du redémarrage de l’appareil, ce qui occulte l’avantage de l’étalonnage de l’appareil photo.
Essais et erreurs pour trouver des versions compatibles des bibliothèques logicielles qui doivent être préinstallées pour permettre à OpenPose de fonctionner sur un GPU de taille moyenne.

Une limite particulière de ce travail est le déploiement de la plate-forme dans le cadre d’une seule étude pilote au domicile d’une seule personne, ce qui nous empêche de découvrir des généralisations entre participants. Cependant, tout au long du processus de conception et de développement, le système a été conçu pour être évolutif et prendre en charge de multiples déploiements afin de prendre en charge les études à distance, et l’objectif de cette étude pilote était d’établir la faisabilité technologique d’une plateforme sophistiquée de surveillance à domicile. La modification de cette conception pilote en fonction de certaines des conclusions cruciales discutées et le déploiement de la plate-forme dans un plus grand nombre de foyers permettront d’affiner davantage la conception pour soutenir les recherches futures sur la SCP à domicile. De plus, la collecte de données à des moments supplémentaires où un individu n’effectue pas d’expériences prédéterminées offrira des informations pour améliorer les analyses et l’efficacité globale du traitement. La SCP peut constituer une méthode préférable pour traiter les maladies neurologiques, y compris la maladie de Parkinson, par rapport à la SCP conventionnelle qui peut avoir des effets secondaires inacceptables. Pour apporter cette thérapie importante à de nombreuses personnes, il faut automatiser le réglage des paramètres et analyser l’efficacité de la thérapie à l’extérieur de la clinique au fil du temps. La plate-forme offre une nouvelle approche pour collecter des données de caméra vidéo à domicile, de montre intelligente, d’enregistrement neuronal et de rapport de patient pendant des activités expérimentales et naturelles dans le confort de son foyer. Le système contribuera en outre à la création de nouveaux ensembles de données multimodaux pour soutenir les découvertes futures dans le traitement des maladies neurologiques¹⁵.

Materials

Name	Company	Catalog Number	Comments
Analysis RCS Data Processing	OpenMind		https://github.com/openmind-consortium/Analysis-rcs-data, open-source
Apple Watches	Apple, Inc		Use 2 watches for each patient, one on each wrist
BRIO ULTRA HD PRO BUSINESS WEBCAM	Logitech	960-001105	Used 3 in our platform design
DaVinci Resolve video editing software	DaVinci Resolve		used to support camera calibration
Dell XPS PC	Dell		2T hard disk drive, 500GB SSD
Dropbox	Dropbox
ffmpeg	N/A		open-source, install to run the Video Recording App
Gooseneck mounts for webcams	N/A
GPU	Nvidia		A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal
Java 11	Oracle		Install to run the Video Recording App
Microsoft Surface tablet	Microsoft
NoMachine	NoMachine		Ideal when using a Linux OS, open-source
OpenPose	N/A		open-source
Rclone file transfer program	Rclone		Encrypts data and copies or moves data to offsite storage, open-source
StrivePD app	RuneLabs		We installed the app on the Apple Watches to start recordings and upload data to an online portal.
Summit RC+S neuromodulation system	Medtronic		For investigational use only
touchscreen-compatible monitor	N/A
Video for Linux 2 API	The Linux Kernel		Install if using a Linux OS for video recording
Wasabi	Wasabi		Longterm cloud data storage
WireGuard VPN Protocol	WireGuard		open-source