Summary
Das Protokoll zeigt einen Prototyp der multimodalen Datenerfassungsplattform für zu Hause, die die Forschung zur Optimierung der adaptiven tiefen Hirnstimulation (aDBS) für Menschen mit neurologischen Bewegungsstörungen unterstützt. Wir präsentieren auch wichtige Erkenntnisse aus der Bereitstellung der Plattform für über ein Jahr bei einer Person mit Parkinson-Krankheit.
Abstract
Die adaptive tiefe Hirnstimulation (aDBS) ist vielversprechend für die Verbesserung der Behandlung neurologischer Erkrankungen wie der Parkinson-Krankheit (PD). aDBS verwendet symptombezogene Biomarker, um die Stimulationsparameter in Echtzeit anzupassen, um die Symptome präziser anzugehen. Um diese dynamischen Anpassungen zu ermöglichen, müssen für jeden einzelnen Patienten Parameter für einen aDBS-Algorithmus festgelegt werden. Dies erfordert eine zeitaufwändige manuelle Abstimmung durch klinische Forscher, was es schwierig macht, eine optimale Konfiguration für einen einzelnen Patienten zu finden oder auf viele Patienten zu skalieren. Darüber hinaus bleibt die langfristige Wirksamkeit von aDBS-Algorithmen, die in der Klinik konfiguriert werden, während der Patient zu Hause ist, eine offene Frage. Um diese Therapie in großem Maßstab zu implementieren, ist eine Methodik zur automatischen Konfiguration von aDBS-Algorithmusparametern bei gleichzeitiger Fernüberwachung der Therapieergebnisse erforderlich. In diesem Artikel stellen wir einen Entwurf für eine Datenerfassungsplattform für zu Hause vor, die dem Feld helfen soll, beide Probleme anzugehen. Die Plattform besteht aus einem integrierten Hardware- und Software-Ökosystem, das Open Source ist und die Erfassung von neuronalen, Trägheits- und Multikamera-Videodaten zu Hause ermöglicht. Um den Datenschutz für patientenidentifizierbare Daten zu gewährleisten, verschlüsselt und überträgt die Plattform Daten über ein virtuelles privates Netzwerk. Zu den Methoden gehören die zeitliche Ausrichtung von Datenströmen und die Extraktion von Posenschätzungen aus Videoaufnahmen. Um die Verwendung dieses Systems zu demonstrieren, haben wir diese Plattform bei einer Person mit Parkinson zu Hause eingesetzt und Daten während selbstgesteuerter klinischer Aufgaben und Perioden freien Verhaltens über einen Zeitraum von 1,5 Jahren gesammelt. Die Daten wurden in subtherapeutischen, therapeutischen und supratherapeutischen Stimulationsamplituden aufgezeichnet, um den Schweregrad der motorischen Symptome unter verschiedenen therapeutischen Bedingungen zu bewerten. Diese zeitlich abgestimmten Daten zeigen, dass die Plattform in der Lage ist, zu Hause eine synchronisierte multimodale Datenerfassung für die therapeutische Bewertung durchzuführen. Diese Systemarchitektur kann verwendet werden, um die automatisierte aDBS-Forschung zu unterstützen, neue Datensätze zu sammeln und die langfristigen Auswirkungen der THS-Therapie außerhalb der Klinik für Patienten mit neurologischen Erkrankungen zu untersuchen.
Introduction
Die Tiefe Hirnstimulation (THS) behandelt neurologische Erkrankungen wie die Parkinson-Krankheit (PD), indem elektrischer Strom direkt an bestimmte Regionen im Gehirn abgegeben wird. Weltweit gibt es schätzungsweise 8,5 Millionen Fälle von Parkinson, und die THS hat sich als wichtige Therapie erwiesen, wenn die Medikation zur Behandlung der Symptome nicht ausreicht 1,2. Die Wirksamkeit der THS kann jedoch durch Nebenwirkungen eingeschränkt werden, die manchmal bei einer Stimulation auftreten, die herkömmlicherweise mit fester Amplitude, Frequenz und Pulsbreite verabreicht wird3. Diese Open-Loop-Implementierung reagiert nicht auf Schwankungen des Symptomzustands, was zu Stimulationseinstellungen führt, die nicht angemessen auf die sich ändernden Bedürfnisse des Patienten abgestimmt sind. Erschwert wird die THS zusätzlich durch den zeitaufwändigen Prozess der Abstimmung der Stimulationsparameter, der derzeit von den Ärzten für jeden einzelnen Patienten manuell durchgeführt wird.
Die adaptive THS (aDBS) ist ein geschlossener Ansatz, der sich als effektive nächste Iteration der THS erwiesen hat, indem die Stimulationsparameter in Echtzeit angepasst werden, wenn symptombezogene Biomarker erkannt werden 3,4,5. Studien haben gezeigt, dass Beta-Oszillationen (10-30 Hz) im Nucleus subthalamicus (STN) während der Bradykinesie, einer Verlangsamung der Bewegung, die für PD 6,7 charakteristisch ist, konsistent auftreten. In ähnlicher Weise ist bekannt, dass High-Gamma-Oszillationen (50-120 Hz) im Kortex während Perioden der Dyskinesie auftreten, einer exzessiven und unwillkürlichen Bewegung, die auch häufig bei PD8 beobachtet wird. In neueren Arbeiten wurde aDBS erfolgreich über längere Zeiträume außerhalb der Klinik verabreicht5, die langfristige Wirksamkeit von aDBS-Algorithmen, die in der Klinik konfiguriert wurden, während ein Patient zu Hause ist, wurde jedoch nicht nachgewiesen.
Remote-Systeme werden benötigt, um die zeitlich variierende Wirksamkeit dieser dynamischen Algorithmen bei der Unterdrückung von Symptomen zu erfassen, die im täglichen Leben auftreten. Während der dynamische Stimulationsansatz der aDBS potenziell eine präzisere Behandlung mit reduzierten Nebenwirkungen ermöglicht3,9, leidet die aDBS immer noch unter einer hohen Belastung für Kliniker, die Stimulationsparameter für jeden Patienten manuell zu identifizieren. Zusätzlich zu den bereits großen Parametern, die bei herkömmlichen DBS programmiert werden müssen, führen aDBS-Algorithmen viele neue Parameter ein, die ebenfalls sorgfältig angepasst werden müssen. Diese Kombination von Stimulations- und Algorithmusparametern ergibt einen riesigen Parameterraum mit einer unüberschaubaren Anzahl möglicher Kombinationen, der eine Skalierung der aDBS auf viele Patienten verhindert10. Selbst in der Forschung erschwert der zusätzliche Zeitaufwand für die Konfiguration und Bewertung von aDBS-Systemen die aadäquate Optimierung von Algorithmen allein in der Klinik, und es ist eine Fernaktualisierung von Parametern erforderlich. Um aDBS zu einer skalierbaren Behandlung zu machen, müssen die Stimulation und die Abstimmung der Algorithmusparameter automatisiert werden. Darüber hinaus müssen die Ergebnisse der Therapie in wiederholten Studien analysiert werden, um die aTHS als praktikable Langzeitbehandlung außerhalb der Klinik zu etablieren. Es besteht ein Bedarf an einer Plattform, die Daten für die Fernbewertung der Therapiewirksamkeit und für die Remote-Bereitstellung von Aktualisierungen der aDBS-Algorithmusparameter sammeln kann.
Das Ziel dieses Protokolls ist es, ein wiederverwendbares Design für eine multimodale Datenerfassungsplattform für zu Hause bereitzustellen, um die Wirksamkeit der aDBS außerhalb der Klinik zu verbessern und diese Behandlung auf eine größere Anzahl von Personen zu übertragen. Unseres Wissens nach handelt es sich um die erste Datenerfassungsplattform, die therapeutische Ergebnisse mithilfe von Videokameras zu Hause, tragbaren Sensoren, chronischer neuronaler Signalaufzeichnung und patientengesteuertem Feedback aus der Ferne auswertet, um aDBS-Systeme bei kontrollierten Aufgaben und naturalistischem Verhalten zu bewerten.
Die Plattform ist ein Ökosystem von Hardware- und Softwarekomponenten, die auf zuvor entwickelten Systemenaufbauen 5. Es ist vollständig per Fernzugriff nach einer Erstinstallation minimaler Hardware wartbar, um eine multimodale Datenerfassung von einer Person bequem von zu Hause aus zu ermöglichen. Eine Schlüsselkomponente ist das implantierbare Neurostimulationssystem (INS)11 , das die neuronale Aktivität erfasst und die Stimulation an das STN abgibt und die Beschleunigung von Brustimplantaten aufzeichnet. Für das Implantat, das bei der anfänglichen Entfaltung verwendet wird, wird die neuronale Aktivität von bilateralen Elektroden, die in das STN implantiert werden, und von Elektrokortikographie-Elektroden, die über den motorischen Kortex implantiert werden, aufgezeichnet. Ein Videoaufzeichnungssystem hilft Ärzten, die Schwere der Symptome und die Wirksamkeit der Therapie zu überwachen, einschließlich einer grafischen Benutzeroberfläche (GUI), die eine einfache Löschung laufender Aufzeichnungen zum Schutz der Privatsphäre der Patienten ermöglicht. Videos werden verarbeitet, um kinematische Positionstrajektorien zweidimensional (2D) oder dreidimensional (3D) zu extrahieren, und Smartwatches werden an beiden Handgelenken getragen, um Winkelgeschwindigkeits- und Beschleunigungsinformationen zu erfassen. Wichtig ist, dass alle Daten verschlüsselt werden, bevor sie in einen langfristigen Cloud-Speicher übertragen werden, und auf den Computer mit patientenidentifizierbaren Videos kann nur über ein virtuelles privates Netzwerk (VPN) zugegriffen werden. Das System umfasst zwei Ansätze für die nachträgliche zeitliche Ausrichtung aller Datenströme, und die Daten werden verwendet, um die Bewegungsqualität des Patienten aus der Ferne zu überwachen und symptombezogene Biomarker für die Verfeinerung von aDBS-Algorithmen zu identifizieren. Der Videoteil dieser Arbeit zeigt den Datenerhebungsprozess und Animationen kinematischer Trajektorien, die aus den gesammelten Videos extrahiert wurden.
Bei der Entwicklung des Protokolls gab es eine Reihe von Designüberlegungen:
Gewährleistung der Datensicherheit und der Privatsphäre der Patienten: Das Sammeln identifizierbarer Patientendaten erfordert äußerste Sorgfalt bei der Übertragung und Speicherung, um dem Health Insurance Portability and Accountability Act (HIPAA) gerecht zu werden12,13 und die Privatsphäre des Patienten in seinem eigenen Zuhause zu respektieren. In diesem Projekt wurde dies durch die Einrichtung eines benutzerdefinierten VPN erreicht, um den Schutz des gesamten sensiblen Datenverkehrs zwischen Systemcomputern zu gewährleisten.
Sicherheitsgrenzen der Stimulationsparameter: Es ist wichtig, sicherzustellen, dass der Patient sicher bleibt, während er aDBS-Algorithmen ausprobiert, die unbeabsichtigte Auswirkungen haben können. Das INS des Patienten muss von einem Arzt so konfiguriert werden, dass es sichere Grenzen für Stimulationsparameter hat, die keine unsicheren Auswirkungen von Über- oder Unterstimulation zulassen. Mit dem INS-System11 Diese Funktion, die in dieser Studie verwendet wird, wird von einem klinischen Programmierer aktiviert.
Sicherstellung des Vetorechts des Patienten: Selbst innerhalb sicherer Parametergrenzen kann die tägliche Variabilität der Symptome und Stimulationsreaktionen zu unangenehmen Situationen für den Patienten führen, in denen er einen zu testenden Algorithmus nicht mag und zu einer normalen klinischen Open-Loop-THS zurückkehren möchte. Das ausgewählte INS-System enthält ein Patiententelemetriemodul (PTM), mit dem der Patient seine Stimulationsgruppe und Stimulationsamplitude in mA manuell ändern kann. Es gibt auch eine mit dem INS verbundene Forschungsanwendung, die für die Fernkonfiguration des INS vor der Datenerfassung verwendet wird14, was es dem Patienten auch ermöglicht, aDBS-Versuche abzubrechen und seine Therapie zu kontrollieren.
Komplexes und natürliches Verhalten erfassen: Videodaten wurden in die Plattform integriert, um es Klinikern zu ermöglichen, die Wirksamkeit der Therapie aus der Ferne zu überwachen und kinematische Trajektorien aus Posenschätzungen für die Verwendung in Forschungsanalysen zu extrahieren15. Tragbare Sensoren sind zwar weniger aufdringlich, aber es ist schwierig, den vollen dynamischen Bewegungsumfang eines gesamten Körpers allein mit tragbaren Systemen zu erfassen. Videos ermöglichen die gleichzeitige Erfassung des gesamten Bewegungsumfangs des Patienten und seiner Symptome im Zeitverlauf.
Benutzerfreundlichkeit des Systems für Patienten: Die Erfassung multimodaler Daten zu Hause erfordert, dass mehrere Geräte im Haus eines Patienten installiert und verwendet werden, was für die Patienten mühsam werden kann. Um die Bedienung des Systems zu vereinfachen und gleichzeitig die Kontrolle des Patienten zu gewährleisten, müssen nur die Geräte, die implantiert oder physisch am Patienten befestigt sind (in diesem Fall das INS-System und die Smartwatches), vor dem Starten einer Aufzeichnung manuell eingeschaltet werden. Bei Geräten, die vom Patienten getrennt sind (in diesem Fall handelt es sich um Daten, die von Videokameras aufgezeichnet wurden), beginnen und enden die Aufzeichnungen automatisch, ohne dass eine Interaktion mit dem Patienten erforderlich ist. Beim GUI-Design wurde darauf geachtet, die Anzahl der Schaltflächen zu minimieren und tiefe Menübäume zu vermeiden, damit die Interaktionen einfach sind. Nachdem alle Geräte installiert waren, zeigte ein Forschungskoordinator dem Patienten, wie er mit allen Geräten über patientenorientierte GUIs interagieren kann, die Teil jedes Geräts sind, z. B. wie man Aufzeichnungen auf einem beliebigen Gerät beendet und wie man seinen Medikationsverlauf und seine Symptomberichte eingibt.
Transparenz bei der Datenerfassung: Es ist unerlässlich, deutlich anzugeben, wann die Kameras eingeschaltet sind, damit die Leute wissen, wann sie aufgezeichnet werden, und die Aufnahme unterbrechen können, wenn sie einen Moment der Privatsphäre benötigen. Um dies zu erreichen, wird eine Kamerasystemanwendung verwendet, um Videoaufzeichnungen mit einer patientenorientierten GUI zu steuern. Die GUI öffnet sich automatisch, wenn die Anwendung gestartet wird, und listet die Uhrzeit und das Datum der nächsten geplanten Aufnahme auf. Wenn eine Aufzeichnung läuft, wird eine Meldung angezeigt, die angibt, wann die Aufzeichnung beendet werden soll. In der Mitte der GUI wird ein großes Bild eines roten Lichts angezeigt. Das Bild zeigt, dass das Licht hell leuchtet, wenn eine Aufnahme läuft, und wechselt zu einem nicht beleuchteten Bild, wenn die Aufzeichnungen ausgeschaltet sind.
Das Protokoll beschreibt Methoden für den Entwurf, den Aufbau und den Einsatz einer Datenerfassungsplattform für zu Hause, für die Qualitätsprüfung der gesammelten Daten auf Vollständigkeit und Robustheit und für die Nachbearbeitung von Daten für die Verwendung in zukünftigen Forschungsarbeiten.
Abbildung 1: Datenfluss. Die Daten für jede Modalität werden unabhängig vom Wohnort des Patienten gesammelt, bevor sie verarbeitet und in einem einzigen Remote-Speicherendpunkt aggregiert werden. Die Daten für jede Modalität werden automatisch an einen Remotespeicherendpunkt gesendet. Mit Hilfe eines der Teammitglieder kann es dann abgerufen, auf Gültigkeit geprüft, modalitätsübergreifend zeitlich abgestimmt sowie einer modalitätsspezifischeren Vorverarbeitung unterzogen werden. Der kompilierte Datensatz wird dann auf einen Remote-Speicherendpunkt hochgeladen, auf den alle Teammitglieder zur weiteren Analyse sicher zugreifen können. Alle Geräte mit Datenzugriff, insbesondere für sensible Daten wie Rohvideos, sind in einem VPN eingeschlossen, das sicherstellt, dass alle Daten sicher übertragen und gespeicherte Daten immer verschlüsselt sind. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Die Patienten werden im Rahmen einer größeren, vom IRB und IDE genehmigten Studie in das aDBS an der University of California, San Francisco, Protokoll # G1800975, aufgenommen. Der Patient, der in diese Studie aufgenommen wurde, gab zusätzlich eine Einverständniserklärung speziell für diese Studie ab.
1. Systemkomponenten für zu Hause
- Zentraler Server und VPN
- Erwerben Sie einen PC (PC) mit einem Linux-basierten Betriebssystem (OS), das für die Bereitstellung eines VPN vorgesehen ist. Bewahren Sie das Gerät in einem sicheren Raum auf. Verschlüsseln Sie das Gerät, um die Datensicherheit zu gewährleisten.
- Konfigurieren Sie den VPN-Server so, dass er auf mindestens einem Port öffentlich zugänglich ist.
HINWEIS: In diesem Fall wurde dies durch die Zusammenarbeit mit der IT-Abteilung erreicht, um dem Server eine externe statische IP-Adresse und eine benutzerdefinierte URL durch die DNS-Hosting-Optionen der Universität zu geben. - Führen Sie für die Serverinstallation die folgenden Schritte einmal auf dem PC aus, der für die Bereitstellung des VPN ausgewählt wurde.
- Firewall-Konfiguration: Führen Sie die folgenden Befehle im PC-Terminal aus, um eine unkomplizierte Firewall zu installieren und zu konfigurieren:
sudo apt install ufw
sudo ufw ssh zulassen
sudo ufw erlauben/UDP
sudo ufw enable - Server-VPN-Installation: Installieren Sie das Open-Source-WireGuard VPN-Protokoll16 auf dem PC und navigieren Sie in das Installationsverzeichnis. Führen Sie im PC-Terminal umask 007 aus, um die Verzeichniszugriffsregeln zu aktualisieren.
- Schlüsselgenerierung: Führen Sie im PC-Terminal
WG Genkey | Tee PrivateKey | WG PubKey > PublicKey
Dadurch wird ein öffentliches/privates Schlüsselpaar für den VPN-Server generiert. Dieser öffentliche Schlüssel wird für jeden Client-PC freigegeben, der eine Verbindung mit dem VPN herstellt. - VPN-Konfiguration: Führen Sie im PC-Terminal touch
.conf aus, um eine Konfigurationsdatei zu erstellen, wobei der Dateiname mit dem Namen der Schnittstelle übereinstimmen sollte. Fügen Sie die folgenden Serverregeln in diese Datei ein:
[Schnittstelle]
PrivateKey =
Adresse = ##.#.#.#/ ##
PostUp = iptables -A VORWÄRTS -i interface_name -j AKZEPTIEREN; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D VORWÄRTS -i interface_name -j AKZEPTIEREN; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Peer]
PublicKey =
Zulässige IPs = ##.#.#.#/ ## - VPN aktivieren: Starten Sie das VPN, indem Sie wg-quick up
im Terminal eingeben. Damit das VPN-Protokoll bei jedem Neustart des PCs automatisch gestartet wird, führen Sie Folgendes im Terminal aus:
systemctl wg-quick@aktivieren
- Firewall-Konfiguration: Führen Sie die folgenden Befehle im PC-Terminal aus, um eine unkomplizierte Firewall zu installieren und zu konfigurieren:
- Führen Sie für die Clientinstallation die folgenden Schritte für jeden neuen Computer aus, der Zugriff auf das VPN benötigt.
- Client-VPN-Installation: Installieren Sie das VPN-Protokoll gemäß den betriebssystemspezifischen Anweisungen auf der WireGuard16 Download-Seite.
- Hinzufügen eines Clients zum VPN: Entnehmen Sie den öffentlichen Schlüssel aus der Konfigurationsdatei, die während der Installation generiert wurde. Fügen Sie diesen Schlüssel in den Peer-Abschnitt der Konfigurationsdatei des Servers ein.
- Aktivieren des VPNs: Starten Sie das VPN gemäß den betriebssystemspezifischen Anweisungen auf der WireGuard16 Download-Seite.
- Cloud-Speicher
- Wählen Sie einen Cloud-Speicherstandort aus, um alle aufgezeichneten Datenströme langfristig an einem Ort zu speichern. Hier wurde eine auf einem Amazon-Webservice basierende Cloud-Speicherseite verwendet, die mit dem ausgewählten Datenübertragungsprotokoll kompatibel war.
- Implantierbares Neuromodulationssystem
- Wählen Sie gemäß den IRB- und IDE-Richtlinien ein implantierbares Neuromodulationssystem (INS)11 aus, mit dem Patienten ihre Stimulationseinstellungen manuell ändern können.
- Besorgen Sie sich einen Tablet-PC und installieren Sie die Open-Source-UCSF-DBS-Anwendung, um INS-Aufzeichnungen, Berichte über Medikamente und Symptome oder andere Patientenkommentare zu ermöglichen14. Konfigurieren Sie INS-Daten, die auf das Tablet gestreamt werden, um sie auf einen temporären HIPPA-konformen Cloud-Speicherendpunkt hochzuladen, um sie vorübergehend zu speichern, bevor die Daten anonymisiert und in einen langfristigen Cloud-Speicher ausgelagert werden.
- Video-Sammelsystem
- Erwerben Sie einen PC, der in der Lage ist, die gewünschte Menge an Videodateien zu sammeln und zu speichern, bevor Sie sie in den Cloud-Speicher übertragen. Stellen Sie sicher, dass die Hauptplatine des PCs über einen TPM-Chip (Trusted Platform Module) verfügt.
HINWEIS: In diesem Fall wurde ein PC mit einer 500 GB SSD, einer 2 TB HDD und einer 6 GB GPU ausgewählt. Eine 2-TB-Festplatte sorgt dafür, dass Videos nach einer längeren Aufnahmesitzung oder im Falle eines Ausfalls der Internetverbindung für ein paar Tage gepuffert werden können, während der einzelne PC die Hardware im Haus minimal stört. - Installieren Sie das gewünschte Betriebssystem und befolgen Sie die Anweisungen, um die automatische Festplattenverschlüsselung zu aktivieren, um die Privatsphäre der Patienten zu gewährleisten und Datenlecks zu vermeiden. In diesem Fall wurde ein Linux-basiertes Betriebssystem mit einer Ubuntu-Distribution aufgrund seiner Benutzerfreundlichkeit und Zuverlässigkeit gewählt.
- Verschlüsseln Sie alle Festplatten separat, nachdem das Betriebssystem installiert wurde. Stellen Sie sicher, dass Sie das automatische erneute Bereitstellen der Festplatte nach einem Neustart des Systems aktivieren.
- Konfigurieren Sie den integrierten TPM-Chip des PCs, um den Zugriff auf den festplattenverschlüsselten PC nach einem Systemneustart aufrechtzuerhalten17.
HINWEIS: Wenn Sie ein Linux-Betriebssystem verwenden, stellen Sie sicher, dass Sie ein Motherboard mit installiertem TPM2-Chip auswählen, um diesen Schritt zu aktivieren. Wenn ein Windows-Betriebssystem verwendet wird, kann die automatische Verschlüsselung und Entsperrung des Datenträgers vom Bitlocker-Programm übernommen werden. - Konfigurieren Sie den PC als VPN-Client, indem Sie die Installationsschritte in 1.1.4 ausführen. Aktivieren Sie das VPN-Protokoll so, dass es bei jedem Neustart des PCs automatisch gestartet wird, wie in Abschnitt 1.1.3.5 beschrieben, um sicherzustellen, dass Forschungscomputer immer aus der Ferne auf den PC zugreifen können (empfohlen).
- Erstellen Sie ein GitHub-Computerbenutzerkonto, um Aktualisierungen der auf dem PC installierten Software einfach zu automatisieren. Dieses Konto dient als Webhook zum Automatisieren des Abrufens vom Remote-Git-Endpunkt und hilft bei der Identifizierung von Updates, die vom Remotecomputer übertragen werden.
- Wählen Sie eine Software aus, um Videoaufnahmen zu planen und zu steuern, und installieren Sie diese auf dem PC. Um die Privatsphäre und den Komfort des Patienten zu maximieren, sollte die ausgewählte Software eine grafische Benutzeroberfläche (GUI) enthalten, die deutlich anzeigt, wann Aufzeichnungen laufen, und um eine einfache Beendigung der Aufzeichnungen zu jedem Zeitpunkt zu ermöglichen.
HINWEIS: Falls gewünscht, kann die benutzerdefinierte Videoaufzeichnungsanwendung der Autoren mit einer patientenorientierten GUI installiert werden, indem Sie die Anwendung herunterladen und den Anweisungen auf GitHub folgen (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Wählen Sie einen Monitor aus, um anzuzeigen, wann Videos aufgezeichnet werden, und um Benutzern das einfache Beenden von Aufzeichnungen zu ermöglichen. Wählen Sie einen Monitor mit Touchscreen-Funktion, damit Aufnahmen beendet werden können, ohne dass eine Tastatur oder Maus bedient werden muss.
- Installieren Sie eine Remotedesktopanwendung auf dem PC. Dies ermöglicht es, eine Anwendung mit einer GUI so auszuführen, dass die GUI sowohl auf der Patientenseite als auch auf der Seite des Remote-Forschers sichtbar bleibt.
HINWEIS: Die Open-Source-Remote-Desktop-Anwendung NoMachine funktionierte am besten für ein Linux-Betriebssystem. - Wählen Sie USB-kompatible Webcams mit ausreichend hoher Auflösung für die Berechnung von Posen im gegebenen Raum.
HINWEIS: In diesem Fall wurden 4k-kompatible Webcams gewählt, die mehrere Auflösungs- und Bildratenkombinationen bieten, darunter 4k-Auflösung bei 30 fps oder HD-Auflösung bei 60 fps. - Wählen Sie robuste Hardware für die Montage von Webcams in der Wohnung des Patienten. Verwenden Sie Schwanenhalshalterungen mit Clips, um sie an den Möbeln zu befestigen, damit die Kameras nicht wackeln.
- Wählen Sie ein verschlüsseltes Datenübertragungsprotokoll aus und installieren Sie dieses auf dem PC. Erstellen Sie eine Konfiguration für den Zugriff auf die Cloud-Speicher-Site, und erstellen Sie dann eine Verschlüsselungskonfiguration, um die erste Konfiguration vor der Datenübertragung zu umschließen.
HINWEIS: In diesem Fall wurde ein Open-Source-Datenübertragungs- und Dateisynchronisierungsprotokoll mit Verschlüsselungsfunktion installiert18. In der Dokumentation zum Datenübertragungsprotokoll wird erläutert, wie die Datenübertragung in den Cloud-Speicher konfiguriert wird. Das Protokoll wurde zunächst auf dem VPN-Server installiert und eine Verschlüsselungskonfiguration erstellt, die Daten an den externen Cloud-Speicherstandort überträgt.
- Erwerben Sie einen PC, der in der Lage ist, die gewünschte Menge an Videodateien zu sammeln und zu speichern, bevor Sie sie in den Cloud-Speicher übertragen. Stellen Sie sicher, dass die Hauptplatine des PCs über einen TPM-Chip (Trusted Platform Module) verfügt.
- Datenkomponenten für Wearable-Sensoren
- Wählen Sie Smartwatches aus, die an jedem Handgelenk des Patienten getragen werden sollen, um Signale wie Bewegung, Beschleunigung und Herzfrequenz zu verfolgen.
HINWEIS: Die Apple Watch Series 3 wurde mit einem integrierten Symptommonitor für Bewegungsstörungen ausgewählt, der PD-Symptomwerte wie Dyskinesie und Tremor generiert. - Wählen und installieren Sie auf jeder Smartwatch Software, die Aufzeichnungen starten und beenden und Daten in den Cloud-Speicher übertragen kann. Wählen Sie eine Anwendung, die alle Datenströme in das zugehörige Online-Portal hochlädt, damit Forscher und Kliniker sie analysierenkönnen 19.
- Wählen Sie Smartwatches aus, die an jedem Handgelenk des Patienten getragen werden sollen, um Signale wie Bewegung, Beschleunigung und Herzfrequenz zu verfolgen.
Abbildung 2: Komponenten für die Videoaufzeichnung. Die Hardwarekomponenten zur Unterstützung der Videodatenerfassung sind minimal, einschließlich eines einzelnen Tower-PCs, über USB angeschlossener Webcams und eines kleinen Monitors zur Anzeige der patientenorientierten GUI. Der Monitor ist Touchscreen-fähig, um eine einfache Beendigung laufender oder geplanter Aufzeichnungen durch Drücken der auf der GUI sichtbaren Tasten zu ermöglichen. In der Mitte der GUI wird ein Bild eines Aufnahmelichts angezeigt, das sich in ein helles Rot verwandelt, wenn Videokameras aktiv aufzeichnen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
2. In-Home-Konfiguration
- Hardware-Installation
- Bestimmen Sie einen geeigneten Platz für die Montage von Webcams, um Störungen im Haus zu minimieren. Bestimmen Sie den Raum durch Gespräche mit dem Patienten; Hier wurde der Home-Office-Bereich als optimaler Ort gewählt, um Aufzeichnungsvolumen und Privatsphäre in Einklang zu bringen.
- Montieren Sie Webcams im identifizierten Bereich an den ausgewählten Montageteilen. Das Befestigen von Schwanenhalshalterungen an schweren Möbeln in der Nähe verhindert, dass die Kameras wackeln, wenn jemand in die Nähe tritt.
- Platzieren Sie den PC so nah an den montierten Webcams, dass deren USB-Kabel mit dem PC verbunden werden können.
- Platzieren Sie den Tablet-PC, die INS-Komponenten, die Smartwatches und das Smartphone in der Nähe einer Steckdose, sodass alle Geräte angeschlossen bleiben können und jederzeit einsatzbereit sind.
- Vergewissern Sie sich, dass das VPN eingeschaltet ist, indem Sie die Route -n im PC-Terminal ausführen. Ist dies nicht der Fall, befolgen Sie die Anweisungen in Abschnitt 1.1.3.5, um das VPN zu aktivieren.
- Starten Sie die Videoaufzeichnungsanwendung
- Zeitplan für die Videoaufzeichnung: Besprechen Sie vor der Datenerfassung mit dem Patienten einen geeigneten Aufzeichnungsplan. Konfigurieren Sie diesen Zeitplan in der Videoaufzeichnungssoftware.
HINWEIS: Wenn Sie die benutzerdefinierte Videoaufzeichnungsanwendung der Autoren verwenden, finden Sie Anweisungen zum Festlegen eines Zeitplans auf GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Aufzeichnungssoftware aktualisieren: Stellen Sie sicher, dass die neueste Version der ausgewählten Videoaufzeichnungssoftware mithilfe des in Version 1.4.6 installierten GitHub-Computerbenutzerkontos auf den PC hochgeladen wurde.
- Videoaufzeichnungen starten: Melden Sie sich über die installierte Remote-Desktop-Software am PC an und starten Sie die Videoaufzeichnungssoftware.
HINWEIS: Wenn Sie die benutzerdefinierte Videoaufzeichnungsanwendung der Autoren verwenden, finden Sie Anweisungen zum Starten der Anwendung auf GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Zeitplan für die Videoaufzeichnung: Besprechen Sie vor der Datenerfassung mit dem Patienten einen geeigneten Aufzeichnungsplan. Konfigurieren Sie diesen Zeitplan in der Videoaufzeichnungssoftware.
- Kalibrierung von Videokameras
- Autofokus deaktivieren: Befolgen Sie zur Berechnung von intrinsischen Parametern wie Objektiv- und perspektivischer Verzerrung die Anweisungen basierend auf dem ausgewählten Betriebssystem und den Webcams, um den Autofokus zu deaktivieren.
HINWEIS: Unter Linux erfolgt der Zugriff auf Webcams über die Video-für-Linux-API, die standardmäßig den Autofokus bei jedem Neustart des an die Kameras angeschlossenen Computers aktiviert. Die Konfiguration eines Skripts zur automatischen Deaktivierung ist erforderlich, um den während der Kamerakalibrierung erfassten Fokus für die Verarbeitung der 3D-Pose beizubehalten. - Intrinsische Kalibrierung: Erfassen Sie ein 6 x 8 Schachbrettmuster mit 100-mm-Quadraten, um die 3D-Kalibrierung der Posenschätzungssoftware20 zu unterstützen. Nehmen Sie ein Video von jeder einzelnen Webcam auf, während ein Forscher das Schachbrett im Bild aller Kameras anwinkelt. Stellen Sie sicher, dass das Schachbrett eine gerade Anzahl von Zeilen und eine ungerade Anzahl von Spalten hat (oder umgekehrt). Dadurch werden Unklarheiten in Bezug auf die Drehung beseitigt.
- Extrinsische Kalibrierung: Nehmen Sie ein Video von allen drei Webcams gleichzeitig auf. Stellen Sie sicher, dass Videos mit der gleichen Auflösung aufgenommen werden wie alle Videos, die für 3D-Posenschätzungen verarbeitet werden sollen. Um eine exakte Zeitsynchronisation über alle Videos hinweg zu gewährleisten, blinken Sie zu Beginn und am Ende der Aufnahme mit einer IR-LED-Leuchte. Verwenden Sie eine Videobearbeitungssoftware, um die Videos manuell zu synchronisieren, indem Sie Frames am Anfang der LED markieren und die Videos auf die gleiche Länge zuschneiden.
- Kalibrierungsmatrizen: Übergeben Sie die in den beiden vorherigen Schritten aufgenommenen Videos durch OpenPose21 , um intrinsische und extrinsische Kalibrierungsmatrizen zu generieren.
HINWEIS: OpenPose verwendet die OpenCV-Bibliothek für die Kamerakalibrierung, und weitere Anweisungen finden Sie in der Dokumentation auf dem OpenPose GitHub20,22.
- Autofokus deaktivieren: Befolgen Sie zur Berechnung von intrinsischen Parametern wie Objektiv- und perspektivischer Verzerrung die Anweisungen basierend auf dem ausgewählten Betriebssystem und den Webcams, um den Autofokus zu deaktivieren.
3. Datenerhebung
- Patientenanweisungen zum Starten der Aufzeichnung
- Überprüfen Sie die Batterie und Stromversorgung des Geräts: Das INS-Gerät ist immer eingeschaltet, um das Subjekt ständig zu stimulieren. Um mit der Aufzeichnung neuronaler Daten zu beginnen, bitten Sie den Patienten, den Tablet-PC einzuschalten und sicherzustellen, dass die Telemetriemodule (CTMs) für das linke und rechte INS-Gerät eingeschaltet und vollständig aufgeladen sind.
- CTM-Platzierung: Platzieren Sie die CTMs auf beiden Seiten der Brust. Um maximale Konnektivität zu gewährleisten und Paketverluste zu reduzieren, positionieren Sie die CTMs während der Aufnahmen in der Nähe der Brustimplantate. Weitere Orte, an denen CTMs platziert werden können, sind Brusttaschen einer Jacke oder die Verwendung eines speziellen Schals.
- Tablet-Verbindung aktivieren: Sobald das Tablet hochgefahren ist, bitten Sie den Patienten, die DBS-Anwendung zu öffnen und Verbinden auszuwählen, wodurch eine Bluetooth-Verbindung zu den CTMs und anschließend zu den INS-Geräten14 hergestellt wird.
- Kameraaktivierung: Bitten Sie den Patienten, zu bestätigen, dass die Videokameras über ihre USB-Kabel mit dem PC verbunden sind und dass die Kameras eingeschaltet sind.
HINWEIS: Wenn Sie die benutzerdefinierte Videoaufzeichnungsanwendung der Autoren verwenden, werden laufende Aufzeichnungen auf der patientenseitigen GUI durch ein großes Bild eines roten Lichts, das hell leuchtet, deutlich angezeigt. Dies ändert sich in ein nicht leuchtendes rotes Licht, wenn die Aufzeichnungen ausgeschaltet sind. Die ausgewählten Webcams verfügen außerdem über eine kleine weiße Kontrollleuchte. - Smartwatch-Aktivierung: Bitten Sie den Patienten, Smartwatches und Smartphones einzuschalten, indem Sie die Ein-/Aus-Taste gedrückt halten. Bitten Sie sie als Nächstes, die Smartwatch-Anwendung zu öffnen, um die Datenaufzeichnung und die Verfolgung von PD-Symptomen zu starten.
- Gestenbasierter Datenabgleich und Aufzeichnungsszenarien
- Schreiben Sie alle gewünschten Aufgaben auf, die der Patient während der Datenaufzeichnung ausführen soll, bevor Sie mit der Datenerfassung beginnen.
- Da die uhrbasierte Synchronisierung mehrerer Geräte zum Ausrichten von Zeitstempeln unzuverlässig sein kann, bitten Sie den Patienten, eine Geste auszuführen, mit der die Zeitstempel aus den aufgezeichneten Daten zu Beginn jeder neuen Aufzeichnung synchronisiert werden können, auch wenn Sie planen, in Zeiten freien Verhaltens aufzuzeichnen.
HINWEIS: Die Autoren entwarfen eine einfache Geste, bei der der Patient beide implantierten INS-Geräte antippte, während er seine Hände in Sichtweite der Kameras hielt. Dieses Antippen erzeugt unverwechselbare Muster in den Trägheitsaufzeichnungen der Smartwatches und des INS-Beschleunigungsmessers und ist in Videos leicht zu beobachten.
- Patientenanweisungen zum Beenden der Aufzeichnung
- Wechseln Sie die Stimulationsgruppe zurück in die bevorzugte klinisch zugewiesene Gruppe des Patienten.
- Geben Sie in der patientenorientierten GUI der DBS-Anwendung einen Symptombericht ein.
- Schließen Sie die DBS-Anwendung, wodurch die CTMs getrennt und das INS-Streaming abgeschlossen wird.
- Schließen Sie die Smartwatch-Aufnahmeanwendung und legen Sie die CTMs, Smartphones und Smartwatch-Geräte wieder an ihre Ladeanschlüsse zurück.
- Auslagerung von Daten
- Übertragen Sie Rohvideos über das Datenübertragungsprotokoll in verschlüsselter Konfiguration in den Cloud-Speicher. Erstellen Sie einen Cronjob auf dem Videoaufzeichnungs-PC, um aufgenommene Videos automatisch über das Datenübertragungsprotokoll18 in den Cloud-Speicher zu übertragen.
HINWEIS: Abhängig von der Auflösung der Videos und der Anzahl der täglich aufgezeichneten Stunden muss die Internetgeschwindigkeit ausreichend hoch sein, damit alle Videos innerhalb von 24 Stunden in den Cloud-Speicher übertragen werden können. Wenn die Datenübertragung zu langsam ist, kann der Speicherplatz knapp werden, was dazu führt, dass zusätzliche Videoaufnahmen, die für den nächsten Tag geplant sind, fehlschlagen. - Speichern Sie INS-Daten auf dem HIPAA-sicheren Cloud-Endpunkt, der in Schritt 1.3.2 konfiguriert wurde. Laden Sie INS-Daten vom HIPAA-sicheren Cloud-Endpunkt herunter und deidentifizieren Sie die Daten. Speichern Sie die anonymisierten Daten in einem externen Cloud-Speicher.
HINWEIS: Der Open-Source-OpenMind-Vorverarbeitungscode23 wurde verwendet, um Daten zu entschlüsseln und sie von JSON-Dateien in ein Tabellenformat zu konvertieren. Das Tablet des Patienten wurde mit einem HIPAA-sicheren Cloud-Endpunkt für die temporäre Speicherung der INS-Rohdaten konfiguriert. Es ist jedoch denkbar, dass derselbe Cloud-Speicherstandort, der für die Langzeitspeicherung verwendet wird, auch für diesen Schritt verwendet wird, sofern er HIPAA-konform ist und die Daten vor dem Auslagern verschlüsselt werden. - Speichern Sie bei Bedarf eine Kopie der Smartwatch-Daten auf einem externen Cloud-Speicher, damit alle Datenströme an einem Ort zugänglich sind.
- Übertragen Sie Rohvideos über das Datenübertragungsprotokoll in verschlüsselter Konfiguration in den Cloud-Speicher. Erstellen Sie einen Cronjob auf dem Videoaufzeichnungs-PC, um aufgenommene Videos automatisch über das Datenübertragungsprotokoll18 in den Cloud-Speicher zu übertragen.
4. Systemcharakterisierung
- Visualisierung von Rohdaten: Visualisieren Sie in der gewünschten Codierungsumgebung alle Rohdatenströme, um sicherzustellen, dass die Daten ordnungsgemäß aufgezeichnet und ohne Verlust oder Beschädigung übertragen wurden.
HINWEIS: Die Anwendung, die zum Verwalten von Smartwatch-Aufzeichnungen ausgewählt wurde, verfügt über eine Browser-App, die für die Visualisierung von Smartwatch-Daten hilfreich ist24. - Video-Frame- und Zeitstempel-Verzögerungen: Untersuchen Sie alle Verzögerungen zwischen Zeitstempeln, die von verschiedenen Webcams generiert wurden. Analysieren Sie Verzögerungen, indem Sie Videos mit einem programmierbaren LED-Licht aufnehmen, das im Bild aller Webcams platziert ist.
HINWEIS: Die Analyse ergab, dass eine Videosegmentierungsfunktion25, die von der benutzerdefinierten Videoaufzeichnungs-App importiert wurde, die Quelle zunehmender Zeitstempelverzögerungen war. Die Aufnahme von Videos ohne Segmentierungsfunktion führte zu Verzögerungen zwischen den Webcam-Frames und Zeitstempeln, die im Laufe der Zeit nicht zunahmen (siehe Ergänzende Datei 1 und Ergänzende Abbildung 1).
5. Post-hoc-Datenvorverarbeitung und -abgleich
- Pose-Daten
- Installieren Sie eine Software, um die Schätzung der Verbindungsposition aus aufgezeichneten Videos zu berechnen.
HINWEIS: Die OpenPose-Bibliothek wurde ausgewählt, da sie Hand- und Gesichtsverfolgung sowohl in 2D als auch in 3D enthält. - Die OpenPose-Bibliothek verarbeitet nicht automatisch Fälle, in denen sich mehrere Personen im Bild befinden, daher verwenden Sie ein Nachbearbeitungsskript, um sicherzustellen, dass die Posenschätzungen jeder Person von einem Bild zum nächsten kontinuierlich sind. OpenPose bietet Code zum einfachen Generieren von Animationen, entweder in 2D oder 3D, für visuelle Überprüfungen der Qualität der Posenschätzung.
- Installieren Sie eine Software, um die Schätzung der Verbindungsposition aus aufgezeichneten Videos zu berechnen.
- Gestenbasierte Zeitanpassung
- Führen Sie für jedes INS-Gerät (links und rechts) die unten beschriebenen Schritte aus, indem Sie die Datenausrichtungs-GUI (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI der Autoren verwenden.
- Daten einlesen: Greifen Sie auf die gespeicherten INS- und Smartwatch-Beschleunigungsdaten aus dem Cloud-Speicher für die gewünschte Datensitzung zu.
HINWEIS: Bei Bedarf kann eine zusätzliche Zeitreihe hinzugefügt werden. Abbildung 3 zeigt die Posenposition der rechten Mittelfingerkuppe in Grün. - Visualisieren Sie Datenströme in der GUI: Verwenden Sie die manuelle Zeitausrichtungs-GUI, um die INS-Beschleunigungs-, Smartwatch-Beschleunigungs- und Posendaten zu überlagern.
- Vergrößern von Ausrichtungsartefakten: Vergrößern Sie die Zeitachse und verschieben Sie das Anzeigefenster in den Abschnitt mit dem Brustklopfen der Aufzeichnung. Verschieben Sie die Ausrichtungszeitreihe so, dass sich die Spitzenwerte der Brusttipps sowohl auf den INS- als auch auf den Smartwatch-Zeitreihensignalen so genau wie möglich überlappen.
HINWEIS: Die GUI wurde entwickelt, um das manuelle Ausrichten beliebiger Zeitreihen an einer gemeinsamen wahren Zeit zu erleichtern. Abbildung 3 zeigt die tatsächlichen Zeitreihen in Blau, während die ausgerichteten Zeitreihen in Orange und Grün dargestellt sind. Die wichtigsten Leitfäden für die GUI-Ausrichtung finden Sie in der GitHub-ReadMe-Datei (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Bestätigung der Ausrichtung: Verschieben Sie das GUI-Fenster zu jeder der Aufgaben zum Klopfen auf die Brust in der Aufzeichnung und vergewissern Sie sich, dass die Ausrichtung während der gesamten Zeitreihe konsistent bleibt. Drücken Sie die Schaltfläche Switch Aligning und wiederholen Sie die Ausrichtung der verbleibenden Datenströme.
- Warn-Flags: Um anzuzeigen, ob Daten fehlen, verschoben wurden, oder andere allgemeine Warnungen bezüglich der Datenqualität, setzen Sie Warn-Flags in der GUI mit den Tasten D, S und F.
- Daten einlesen: Greifen Sie auf die gespeicherten INS- und Smartwatch-Beschleunigungsdaten aus dem Cloud-Speicher für die gewünschte Datensitzung zu.
- Führen Sie für jedes INS-Gerät (links und rechts) die unten beschriebenen Schritte aus, indem Sie die Datenausrichtungs-GUI (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI der Autoren verwenden.
- Zeitausrichtung der Null-normalisierten Kreuzkorrelation (ZNCC)
- Identifizieren Sie das Signal, das der wahren Zeit am nächsten kommt. In der Regel ist dies entweder die mit der höchsten Abtastfrequenz oder die schnellste Internetzeitaktualisierung.
- Führen Sie ein Re-Sampling der beiden Signale durch, um die gleiche zeitliche Abtastfrequenz zu erhalten, und unterziehen Sie beide Signale einzeln einer Z-Bewertung. Dadurch wird sichergestellt, dass die resultierenden ZNCC-Werte auf Werte zwischen -1 und 1 normalisiert werden, was eine Schätzung des Ähnlichkeitsgrades zwischen den beiden Signalen ermöglicht, was zum Abfangen von Fehlern nützlich ist.
- Berechnen Sie die Kreuzkorrelation des zweiten Signals und des ersten Signals bei jeder Zeitverzögerung.
- Wenn die Phaseninformation der beiden Signale nicht wichtig ist, nehmen Sie den Absolutwert der gemessenen Kreuzkorrelationskurve.
HINWEIS: Wenn das Verhalten signifikant aperiodisch ist, ist die Phaseninformation nicht erforderlich, wie in diesem Fall. - Analysieren Sie die ZNCC-Kurve. Wenn es einen einzigen klaren Peak mit einem ZNCC-Spitzenwert über 0,3 gibt, dann entspricht die Zeit dieses Peaks der Zeitverzögerung zwischen den beiden Signalen. Wenn es mehrere Spitzen gibt, keine klare Spitze oder der ZNCC-Wert über alle Zeitverzögerungen hinweg niedrig ist, müssen die beiden Signale manuell abgeglichen werden.
Abbildung 3: Gestenbasierter Datenausgleich. Die obere Hälfte der Abbildung zeigt die grafische Benutzeroberfläche für die manuelle Ausrichtung nach dem Ausrichten der drei Datenströme. Die blaue Linie zeigt die Beschleunigungsdaten der Smartwatch, die orangefarbene Linie die Beschleunigungsdaten des INS und die grüne Linie die 2D-Posenposition der rechten Mittelfingerspitze von einer einzelnen Webcam. Oben rechts wird der Versatz zwischen der wahren Uhrzeit der Smartwatch und INS sowie verschiedene Warnflaggen angezeigt, um auftretende Probleme zu markieren. In diesem Beispiel lag die INS 20,8 s vor der Smartwatch. Das Diagramm unten links wird vergrößert, um die fünf Brustkorb-Taps zu zeigen, die der Patient für den Datenabgleich durchgeführt hat. Die fünf Peaks sind in jedem Datenstrom ausreichend deutlich, um eine korrekte Ausrichtung zu gewährleisten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Design und Bereitstellung von Prototyp-Plattformen
Wir entwarfen einen Prototyp einer Plattform und stellten ihn bei einem einzelnen Patienten zu Hause bereit (Abbildung 1). Nach der ersten Installation der Hardware im Haus kann die Plattform gewartet und die Daten vollständig per Fernzugriff gesammelt werden. Die INS-Geräte, Smartwatches und Kameras verfügen über patientenorientierte Anwendungen, mit denen Patienten Aufzeichnungen starten und stoppen können. Die Videoerfassungshardware ermöglicht automatische Videoaufzeichnungen, nachdem ein genehmigter Zeitplan konfiguriert wurde. Patienten können eine laufende Aufzeichnung ganz einfach abbrechen, indem sie einfach eine Taste auf der GUI der Videoaufzeichnungsanwendung drücken (Abbildung 2). Alle gesammelten Daten wurden verschlüsselt und an einen Cloud-Speicher übertragen, damit die Forscher sie verarbeiten und analysieren konnten.
Datensammlung
Für die ersten Bereitstellungen und Datenerfassungszyklen baten wir den Patienten, selbstgesteuerte klinische Aufgaben durchzuführen. Die Aufgaben wurden der einheitlichen Parkinson-Bewertungsskala (UPDRS)26 entnommen, nämlich Ruhetremor, Daumen-zu-Zeigefinger-Tippen, Handöffnen und -schließen, Pronationssupination des Handgelenks, Bewegung im Sitzen und Gehen sowie eine Tippaufgabe. Alle Aufgaben wurden an jedem Aufnahmetag dreimal wiederholt. Für jede Wiederholung wurde eine andere Stimulationsamplitude eingestellt, um mögliche stimulationsbedingte Symptome der Parkinson-Krankheit aufzudecken. Abbildung 4 zeigt ein schematisiertes Beispiel dafür, wie eine Woche mit dem System gesammelte Daten aussehen könnte.
Abbildung 4: Datenverfügbarkeit. Eine schematisierte Demonstration, wie eine Woche mit dem System gesammelten Daten aussehen könnte. Das obere Diagramm zeigt das Stimulationsniveau (blau) im Verlauf mehrerer Tag/Nacht-Zyklen. Die Stimulationsänderungen bei diesem Patienten sind abhängig von seinem Schlafrhythmus und den Zeiten der Medikamenteneinnahme (vertikale rote Linien). Zu beliebigen Zeiten im Laufe des Tages kann das Datenerfassungssystem aus der Ferne aktiviert werden, um Daten für mehrere Modalitäten zu sammeln, die als farbige Kästchen angezeigt werden. Ein Beispiel für alle parallelen, zeitlich ausgerichteten Datenströme, die nur auf der linken Seite des Körpers nach unten ausgewählt wurden, ist in der unteren Grafik dargestellt. Während dieser Aufzeichnung wurde der Patient gebeten, eine Reihe von klinischen Beurteilungen unter niedrigen, therapeutischen und hochamplitudenreichen Stimulationsbedingungen durchzuführen. Alle hier gezeigten Daten entsprechen den gesammelten realen Daten, wurden jedoch in separaten Experimenten komprimiert, um die Visualisierung zu erleichtern und die Vielfalt zu zeigen. Abkürzungen: LFP=lokales Feldpotential, STN=subthalamischer Kern, Accel=Beschleunigungsmesser, Gyro=Gyroskop, 2D=zweidimensional. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Manuelles Ausrichten
Die grafische Benutzeroberfläche für die manuelle Ausrichtung bietet eine einfach zu bedienende Plattform zum Ausrichten mehrerer Datenströme. Wie in Abbildung 3 dargestellt, stellen Brustabgriffe ein eindeutig identifizierbares Artefakt in allen Datenmodalitäten (INS, Smartwatches, Videos) dar, das bei der manuellen Ausrichtung verwendet werden kann. Die GUI war ein nützliches Mittel, um die Daten auszurichten, aber sie konnte gegen jedes andere Ausrichtungswerkzeug ausgetauscht werden, das die Forscher verwenden möchten. In einigen Fällen weisen die Datenströme eine leichte Drift auf. Eine mögliche zukünftige Lösung für dieses Problem wäre es, die Sitzungsdaten in verschiedene Versuche aufzuteilen, von denen jede ihre eigene Thorax-Tap-Sequenz hat. Jeder Versuch kann dann individuell ausgerichtet werden, um die Auswirkungen der Drift zu minimieren.
Zeitausrichtung der Null-normalisierten Kreuzkorrelation (ZNCC)
Die Methode für ZNCC funktioniert in einigen Fällen gut, weist aber einige kritische Schwachstellen auf. Zum Beispiel können die beiden Signale des Beschleunigungsmessers bei einigen Bewegungen gegeneinander phasenverschoben werden. Wenn sowohl eine phasenausgerichtete als auch eine phasenverschobene Bewegung in den analysierten Epochen enthalten sind, dann kann der ZNCC entweder mehrere oder sogar keinen eindeutigen Peak haben. Die Normalisierung von ZNCC ermöglicht es, diese Ausrichtungen automatisch zu identifizieren und bei Bedarf zu verwerfen. Diese Methode funktioniert am besten, wenn beide Signale relativ rauschfrei sind und auf eine Epoche mit großen, synchronisierten Effekten in beiden Spuren gefenstert sind. Die besten Ergebnisse wurden erzielt, wenn der Patient gebeten wurde, eine Reihe von starken Klopfbewegungen mit beiden Händen gegen die Brust durchzuführen. In der Praxis war jedoch in so vielen Fällen eine manuelle Überprüfung des automatisierten Abgleichs erforderlich, dass der Vorteil der Verwendung der automatisierten Methode vernachlässigbar war.
Datenqualität
Der Datenverlust während der automatisierten Übertragung war vernachlässigbar, da der Datenübertragungsprotokollprozess Rohkopien sichert, um sicherzustellen, dass alle Verluste wiederhergestellt werden können. Datenverluste aufgrund von Verbindungsproblemen traten regelmäßig auf, da Bluetooth und Funkfrequenz manchmal unerwartete Verbindungsabbrüche aufweisen und die Reichweite begrenzt ist. Kurze Intervalle von bis zu 2 Sekunden traten etwa einige Male pro Stunde auf, und längere Lücken von bis zu 2 Minuten traten etwa alle paar Stunden auf. Über den Datenverlust hinaus wurden signifikante Stimulationsartefakte in neuronalen Daten beobachtet, deren Schweregrad von der Aufzeichnung und den gewählten Stimulationsgruppen abhing. Die größten Artefakte treten in der Nähe der Stimulationsfrequenz auf, weit außerhalb der interessierenden Bereiche. In den Daten von Smartwatches wurden keine Artefakte beobachtet. Die Videos wurden mit einer konstanten Bildrate aufgenommen; In Videos wurden jedoch doppelte Frames identifiziert. Dies ergab eine tatsächliche Bildrate, die einige Bilder unter der theoretischen Bildrate lag, die in den Webcam-Spezifikationen angegeben ist. Auffälliger als die doppelten Frames waren jedoch die Einfrierphasen, die je nach Aufnahmetag in unterschiedlichen Intervallen in Videos identifiziert wurden. Einfrierphasen von ca. 10 Frames oder weniger wurden regelmäßig beobachtet; Es wurden jedoch auch längere Abschnitte von etwa 2 bis 30 Sekunden Länge in unregelmäßigen Zeiträumen beobachtet.
Längsschnitt-Datenerhebung
Tabelle 1 zeigt die Daten, die der Plattform-Prototyp im Laufe von 1,5 Jahren periodisch gesammelt hat. In dieser Zeit wurden Hunderte von Stunden an Daten gesammelt, mit insgesamt 293 Stunden INS-Daten auf beiden Seiten des Körpers, 224 Stunden Smartwatch-Daten für beide Uhren und 2.037 Stunden Videodaten auf drei Webcams. Dies zeigt, dass die Plattform die Datenerfassung zu Hause über längere Zeiträume unterstützt und gleichzeitig die seltene Möglichkeit bietet, longitudinale Veränderungen der neuronalen Daten und entsprechende Stimulationsanforderungen zu beobachten.
| Datentyp | Gesamtdauer (hh:mm:ss) | Gesamtzahl der Tage | Speichergröße |
| Neural | 293:17:33 | 90 | 28,94 GB |
| Uhr | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146.073,77 GB |
Tabelle 1: Längsschnittübersicht der erhobenen Daten. Die eingesetzte Plattform sammelte über einen Zeitraum von 1,5 Jahren in mehreren Experimenten Daten. Es wurden etwa 90 Tage aufgezeichnet, in denen neuronale, Video- und Smartwatch-Datenströme gesammelt wurden.
2D- und 3D-Posenschätzungen
Inzwischen sind mehrere Softwarepakete für die Posenschätzung verfügbar. Die Posenschätzung wurde mit OpenPose, einem Open-Source-Softwarepaket21, getestet. Dies wurde erfolgreich installiert, nachdem die Dokumentation auf GitHub der Organisation sowie viele andere inoffizielle Tutorials im Internet veröffentlicht wurden. Die Verarbeitungszeit für OpenPose hängt stark davon ab, wie die OpenPose-Bibliothek und ihre umfangreichen Abhängigkeiten installiert sind, wie groß die verwendete GPU ist und ob die optionalen Schlüsselpunkte "Hände" und "Gesicht" verarbeitet werden. Die 2D-Pose war relativ einfach zu implementieren, jedoch war die 3D-Pose deutlich schwieriger und die vorläufigen 3D-Ergebnisse ergaben eine inkonsistente Qualität, die der der 2D-Pose entsprach. Die Schätzung der minderwertigen 3D-Pose kann durch eine suboptimale Kamerakalibrierung, Zeiten, in denen der Kamera-Autofokus fälschlicherweise eingeschaltet wurde, oder durch die OpenPose-Software selbst negativ beeinflusst worden sein. Synchronisierte, qualitativ hochwertige Videos aus verschiedenen Blickwinkeln können jedoch umfangreiche Eingaben für eine Vielzahl verfügbarer Softwarepakete zur Posenschätzung liefern. Es wird empfohlen, einen Testaufbau außerhalb des Hauses des Patienten durchzuführen, mit manuellem Benchmarking verschiedener verfügbarer Softwarepakete zur Posenschätzung.
Ergänzende Abbildung 1: Video-Frame-Lag-Analyse. Bei der Systemcharakterisierung wurden Verzögerungen bei den von der Videoaufzeichnungs-App generierten Zeitstempeln festgestellt. Um die Ursache der Verzögerungen zu untersuchen, wurden die von jeder Kamera generierte Bildnummer und der Zeitstempel bestimmt, indem ein rotes LED-Licht aufgezeichnet wurde, das in zufälligen Intervallen blinkte, und dann wurden die Variationen der Zeitstempelverzögerungen zwischen den Kameras berechnet. (Nach oben) LED-Intensitäten (in RGB-Einheiten), die an jeder der drei Kameras gemessen wurden, zeigen die beobachteten Zeitverschiebungen zwischen den drei Kameras (gekennzeichnet mit roten Pfeilen). (Unten) Drei Diagramme zeigen die Zeitstempelverzögerungen zwischen den Kameras in der Anzahl der Frames für eine Reihe von LED-Blinken über die gesamte Aufzeichnung. Jede Aufnahme wurde in mehrere Segmente aufgeteilt und die Bildverzögerung war über die Zeit annähernd konstant. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Datei 1: Analysemethode für Videoframes und Zeitstempel. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Wir teilen das Design für einen Prototyp einer multimodalen Datenerfassungsplattform für zu Hause, um die zukünftige Forschung in der Neuromodulationsforschung zu unterstützen. Das Design ist Open Source und modular, so dass jede Hardware ausgetauscht und jede Softwarekomponente aktualisiert oder geändert werden kann, ohne dass die gesamte Plattform zusammenbricht. Während die Methoden zum Sammeln und Deidentifizieren neuronaler Daten spezifisch für das ausgewählte INS sind, sind die übrigen Methoden und der Gesamtansatz zur Erfassung von Verhaltensdaten unabhängig davon, welches implantierbare Gerät verwendet wird. Wir stellten die Plattform bei einer Person mit Parkinson zu Hause bereit und sammelten Daten sowohl während der experimentellen als auch während der naturalistischen Phasen. Während des Einsatzes, der Datenerhebung und der Post-hoc-Datenverarbeitung wurden mehrere Aspekte entdeckt, die für die Ermöglichung erfolgreicher Forschungsiterationen besonders entscheidend sind.
Ein wertvolles Mitglied unseres Teams war der Forschungskoordinator, der zum Patienten nach Hause reiste, um Hardware zu installieren, das VPN einzurichten, die Kamerakalibrierung für die 3D-Pose durchzuführen und den Patienten durch die Verwendung der patientenorientierten GUI jedes Geräts zu führen. Wichtig ist, dass der Forschungskoordinator zusätzlich als Hauptkontakt zwischen dem Patienten und dem Forschungsteam diente. Der Patient zog es vor, seine E-Mail-Chat-Funktion zu nutzen, um schnell Nachrichten hin und her zu senden. Einen einheitlichen und zugänglichen Ansprechpartner zu haben, war in zweierlei Hinsicht besonders hilfreich:
Einrichtung eines vertrauten Kommunikationskanals für den Patienten, um Änderungen an geplanten Aufzeichnungen anzufordern und etwaige Schwierigkeiten bei der Systemnutzung mitzuteilen. Dies half dem Forschungskoordinator, geeignete Zeitpunkte für den Patienten zu identifizieren, um Aufzeichnungsexperimente durchzuführen. Die Hauptschwierigkeit bei der Systemnutzung war die Notwendigkeit, die Akkulaufzeit für mehrere Geräte im Auge zu behalten.
Damit die Fehlerbehebung des Systems für den Patienten so wenig wie möglich gestört wird. Die meisten Fehlerbehebungen ergaben sich aus Netzwerkverbindungsproblemen, die im Durchschnitt alle paar Wochen auftraten. Während ein Neustart der Geräte diese Probleme in der Regel behob, erforderten die Uhren häufig mehrere Neustarts, was der Patient als belastend bezeichnete.
Es ist wichtig, einen robusten Fernzugriff auf die Hardware zu gewährleisten, die sich in der Wohnung des Patienten befindet. Um dies zu erreichen, ist eine stabile Internetverbindung von entscheidender Bedeutung. Es ist auch notwendig, einen festplattenverschlüsselten Computer so zu konfigurieren, dass er bei jedem Neustart eines Computers automatisch entsperrt wird. Es überrascht nicht, dass ein Ethernet-Kabel durchweg die schnellsten und zuverlässigsten Netzwerkverbindungen lieferte. Weniger erwartet wurde die Notwendigkeit, einen TPM-Chip zu konfigurieren, was aufgrund der Wahl von Linux als Betriebssystem erforderlich war. Wenn ein Windows-Betriebssystem verwendet wird, kümmert sich das Bitlocker-Programm automatisch darum. Schließlich wurde durch die Konfiguration des bereitgestellten PCs für die automatische Aktivierung des VPN und das erneute Mounten der Festplatte bei einem Neustart des Systems sichergestellt, dass der Fernzugriff fortgesetzt werden konnte, ohne dass der Patient wiederholt zu Hause aufgesucht werden musste. Die Integration eines VPN und eines Datenverschlüsselungsprotokolls in das Plattformdesign war für die Datensicherheit und -integrität von entscheidender Bedeutung. Das VPN ermöglicht die Verbindung eines Netzwerks von Computern, ohne dass eine benutzerdefinierte Portweiterleitung auf dem privaten Router eines Patienten konfiguriert werden muss. Das Open-Source-Datenverschlüsselungsprotokoll Rclone bietet eine handelsübliche Datenverschlüsselung und eine leicht automatisierbare Möglichkeit, Daten von Patientengeräten in einen Cloud-Speicher zu übertragen18. Das Datenverschlüsselungsprotokoll erstellt während der Datenübertragungsschritte Sicherungskopien der Rohdaten, um sicherzustellen, dass Verluste wiedergutgemacht werden können. Diese Schritte stellten sicher, dass die privaten Daten des Patienten sicher und unbeschädigt aufbewahrt wurden.
Um eine aussagekräftige Datenanalyse durchführen zu können, ist es unerlässlich, dass die von mehreren Geräten gesammelten Daten zeitlich aufeinander abgestimmt sind. Die Uhren auf den einzelnen Geräten sind wahrscheinlich nicht perfekt auf eine gemeinsame Internetzeit abgestimmt, auch wenn die Hersteller dies suggerieren. Darüber hinaus kann es bei einigen Geräten zu unvorhersehbaren Zeiten zu Drifts kommen, wodurch sich ihre Offsets relativ zu den anderen Geräten ändern. Dies führt zu Schwierigkeiten bei der Arbeit an vollautomatischen, adaptiven Echtzeit-Algorithmen, und die zukünftige Forschung wird sorgfältig nach Lösungen für dieses Problem suchen müssen. Methoden des automatischen Alignments wurden mittels normalisierter Kreuzkorrelation untersucht. Das funktioniert in vielen Fällen recht gut; Die Zeitdrift muss jedoch minimal sein, und die Daten sollten klar identifizierbare Signale enthalten. Da sowohl große Drift als auch Perioden auftraten, in denen Daten zu viel Rauschen oder Paketverluste aufwiesen, kann man sich nicht vollständig auf diese vollautomatische Methode verlassen. Um den Aufwand für die manuelle Ausrichtung von Daten zu minimieren, haben wir eine einfache GUI entwickelt, die es Forschern ermöglicht, Datenströme relativ einfach und schnell visuell zu überprüfen.
Die Einbeziehung von Videodaten in das System ermöglicht es Ärzten, den Schweregrad der Symptome durch Fernbeobachtung zu messen, und Forscher können Ereignisbezeichnungen erhalten. Darüber hinaus können Posenschätzungen aus Videos als kontinuierliche Metrik für die Bewegungsqualität berechnet werden, z. B. um die Geschwindigkeit und Geschmeidigkeit von Fingerbewegungen im Laufe der Zeit zu messen. Das Sammeln von hochauflösenden Videos von mehreren Kameras erfordert jedoch viel Speicherplatz. Das Sammeln von 8 Stunden 4k-Videos im MJPEG-Format von drei Kameras benötigt beispielsweise ca. 0,5 TB Speicherplatz. Das Aufzeichnen und Speichern großer Datenmengen wird schnell teuer und schafft einen wirtschaftlichen Engpass für den Einsatz dieses Systems bei vielen Patienten. Um solche Plattformen für viele Patienten skalierbar zu machen, müssen zukünftige Systementwickler die Datenmenge reduzieren, die für die Langzeitspeicherung erforderlich ist. Zukünftige Systeme sollten in Betracht ziehen, eine Echtzeit-Posenverarbeitung einzubeziehen, damit Videos nach der Verarbeitung der Pose sofort gelöscht werden können. Die Echtzeit-Pose könnte auch Rückmeldung über die Feinmotorik in Closed-Loop-Algorithmen geben, was außerhalb des Rahmens dieser Arbeit liegt. Wenn einige Videodaten für die Überprüfung durch den Arzt oder die Ereigniskennzeichnung aufbewahrt werden müssen, können diese auf eine niedrigere Auflösung heruntergerechnet werden, bevor sie im Cloud-Speicher gespeichert werden.
Um die Designmängel und Implementierungsfehler, die beim Aufbau eines integrierten Systems unweigerlich auftreten, effizient zu beheben, ist die Anschaffung einer Replik der Hardware, die als Teststand eingesetzt werden soll, äußerst wertvoll. Dies galt für das Testen der Hardware und Software, die für die Erfassung von Videos und die Verarbeitung von Posendaten ausgewählt wurde. Der gesamte Prozess der Erfassung von Videos und Posenschätzungen sowohl im 2D- als auch im 3D-Raum war deutlich schwieriger als erwartet. Ein Prüfstand ermöglicht die Fehlerbehebung und Belastungstests einer Reihe wichtiger Schritte vor der Bereitstellung, darunter:
Korrekte Kalibrierung von Kameras innerhalb der Layout-Einschränkungen eines bestimmten Raums.
Ermitteln der geeigneten Videoauflösung und Bildrate, um eine qualitativ hochwertige Posenschätzung zu unterstützen. Für kleine Räume oder büroähnliche Umgebungen ist die HD-Videoaufzeichnung wahrscheinlich ausreichend, da die Größe der Personen auf dem aufgezeichneten Video groß genug ist, so dass die Pose leicht berechnet werden kann und gleichzeitig deutlich weniger Speicherplatz benötigt wird als bei 4k-Videos.
Erkennen von Fehlern in aufgezeichneten Videos, wie z. B. das Einfrieren von Frames oder Zeitverzögerungen zwischen sequenziell geschriebenen Videodateien.
Unerwartete Software-Standardeinstellungen, wie z. B. das Zurücksetzen des Kamera-Autofokus bei einem Neustart des Computers, wodurch die Vorteile der Kamerakalibrierung zunichte gemacht werden.
Versuch und Irrtum, um kompatible Versionen der Softwarebibliotheken zu finden, die vorinstalliert sein müssen, damit OpenPose auf einer mittelgroßen GPU ausgeführt werden kann.
Eine besondere Einschränkung dieser Arbeit besteht darin, dass die Plattform in einer einzigen Pilotstudie bei einer Person zu Hause eingesetzt wird, was verhindert, dass wir teilnehmerübergreifende Verallgemeinerungen entdecken. Während des gesamten Design- und Entwicklungsprozesses wurde das System jedoch so konzipiert, dass es skalierbar ist und mehrere Bereitstellungen unterstützt, um Fernstudien zu unterstützen, und der Zweck dieser Pilotstudie bestand darin, die technologische Machbarkeit einer ausgeklügelten Überwachungsplattform für zu Hause zu ermitteln. Die Modifizierung dieses Pilotdesigns auf der Grundlage einiger der diskutierten wichtigen Ergebnisse und der Einsatz der Plattform in mehr Haushalten wird eine weitere Verfeinerung des Designs ermöglichen, um die zukünftige Forschung im Bereich der aDBS zu Hause zu unterstützen. Darüber hinaus bietet das Sammeln von Daten zu zusätzlichen Zeitpunkten, zu denen eine Person keine vorgegebenen Experimente durchführt, Erkenntnisse zur Verbesserung der Analysen und der Gesamtwirksamkeit der Therapie. Die aTHS kann eine bevorzugte Methode zur Behandlung neurologischer Erkrankungen, einschließlich Parkinson, im Vergleich zu herkömmlichen THS darstellen, die inakzeptable Nebenwirkungen haben kann. Um diese wichtige Therapie vielen Menschen zugänglich zu machen, müssen die Parameterabstimmung automatisiert und die Wirksamkeit der Therapie außerhalb der Klinik im Laufe der Zeit analysiert werden. Die Plattform bietet einen neuartigen Ansatz zur Erfassung von Videokamera-, Smartwatch-, neuronalen Aufzeichnungs- und Patientenberichtsdaten während experimenteller und natürlicher Aktivitäten bequem vom eigenen Zuhause aus. Das System wird außerdem dazu beitragen, neuartige multimodale Datensätze zu erstellen, um zukünftige Entdeckungen in der Behandlung neurologischer Erkrankungen zu unterstützen15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Die Autoren haben keine Interessenkonflikte offenzulegen.
Acknowledgments
Dieses Material basiert auf Arbeiten, die vom National Science Foundation Graduate Research Fellowship Program (DGE-2140004), dem Weill Neurohub und dem National Institute of Health (UH3NS100544) unterstützt werden. Alle Meinungen, Erkenntnisse, Schlussfolgerungen oder Empfehlungen, die in diesem Material zum Ausdruck gebracht werden, sind die des Autors/der Autoren und spiegeln nicht unbedingt die Ansichten der National Science Foundation, des Weill Neurohub oder des National Institute of Health wider. Wir danken Tianjiao Zhang für seine fachkundige Beratung zum Plattformdesign und zur Einbindung von Videodaten. Wir danken insbesondere den Patienten für ihre Teilnahme an dieser Studie und für das Feedback und die Ratschläge zur Netzwerksicherheit und zum Plattformdesign.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
