A subscription to JoVE is required to view this content. Sign in or start your free trial.
Research Article
Please note that some of the translations on this page are AI generated. Click here for the English version.
Das Protokoll zeigt einen Prototyp der multimodalen Datenerfassungsplattform für zu Hause, die die Forschung zur Optimierung der adaptiven tiefen Hirnstimulation (aDBS) für Menschen mit neurologischen Bewegungsstörungen unterstützt. Wir präsentieren auch wichtige Erkenntnisse aus der Bereitstellung der Plattform für über ein Jahr bei einer Person mit Parkinson-Krankheit.
Die adaptive tiefe Hirnstimulation (aDBS) ist vielversprechend für die Verbesserung der Behandlung neurologischer Erkrankungen wie der Parkinson-Krankheit (PD). aDBS verwendet symptombezogene Biomarker, um die Stimulationsparameter in Echtzeit anzupassen, um die Symptome präziser anzugehen. Um diese dynamischen Anpassungen zu ermöglichen, müssen für jeden einzelnen Patienten Parameter für einen aDBS-Algorithmus festgelegt werden. Dies erfordert eine zeitaufwändige manuelle Abstimmung durch klinische Forscher, was es schwierig macht, eine optimale Konfiguration für einen einzelnen Patienten zu finden oder auf viele Patienten zu skalieren. Darüber hinaus bleibt die langfristige Wirksamkeit von aDBS-Algorithmen, die in der Klinik konfiguriert werden, während der Patient zu Hause ist, eine offene Frage. Um diese Therapie in großem Maßstab zu implementieren, ist eine Methodik zur automatischen Konfiguration von aDBS-Algorithmusparametern bei gleichzeitiger Fernüberwachung der Therapieergebnisse erforderlich. In diesem Artikel stellen wir einen Entwurf für eine Datenerfassungsplattform für zu Hause vor, die dem Feld helfen soll, beide Probleme anzugehen. Die Plattform besteht aus einem integrierten Hardware- und Software-Ökosystem, das Open Source ist und die Erfassung von neuronalen, Trägheits- und Multikamera-Videodaten zu Hause ermöglicht. Um den Datenschutz für patientenidentifizierbare Daten zu gewährleisten, verschlüsselt und überträgt die Plattform Daten über ein virtuelles privates Netzwerk. Zu den Methoden gehören die zeitliche Ausrichtung von Datenströmen und die Extraktion von Posenschätzungen aus Videoaufnahmen. Um die Verwendung dieses Systems zu demonstrieren, haben wir diese Plattform bei einer Person mit Parkinson zu Hause eingesetzt und Daten während selbstgesteuerter klinischer Aufgaben und Perioden freien Verhaltens über einen Zeitraum von 1,5 Jahren gesammelt. Die Daten wurden in subtherapeutischen, therapeutischen und supratherapeutischen Stimulationsamplituden aufgezeichnet, um den Schweregrad der motorischen Symptome unter verschiedenen therapeutischen Bedingungen zu bewerten. Diese zeitlich abgestimmten Daten zeigen, dass die Plattform in der Lage ist, zu Hause eine synchronisierte multimodale Datenerfassung für die therapeutische Bewertung durchzuführen. Diese Systemarchitektur kann verwendet werden, um die automatisierte aDBS-Forschung zu unterstützen, neue Datensätze zu sammeln und die langfristigen Auswirkungen der THS-Therapie außerhalb der Klinik für Patienten mit neurologischen Erkrankungen zu untersuchen.
Die Tiefe Hirnstimulation (THS) behandelt neurologische Erkrankungen wie die Parkinson-Krankheit (PD), indem elektrischer Strom direkt an bestimmte Regionen im Gehirn abgegeben wird. Weltweit gibt es schätzungsweise 8,5 Millionen Fälle von Parkinson, und die THS hat sich als wichtige Therapie erwiesen, wenn die Medikation zur Behandlung der Symptome nicht ausreicht 1,2. Die Wirksamkeit der THS kann jedoch durch Nebenwirkungen eingeschränkt werden, die manchmal bei einer Stimulation auftreten, die herkömmlicherweise mit fester Amplitude, Frequenz und Pulsbreite verabreicht wird3. Diese Open-Loop-Implementierung reagiert nicht auf Schwankungen des Symptomzustands, was zu Stimulationseinstellungen führt, die nicht angemessen auf die sich ändernden Bedürfnisse des Patienten abgestimmt sind. Erschwert wird die THS zusätzlich durch den zeitaufwändigen Prozess der Abstimmung der Stimulationsparameter, der derzeit von den Ärzten für jeden einzelnen Patienten manuell durchgeführt wird.
Die adaptive THS (aDBS) ist ein geschlossener Ansatz, der sich als effektive nächste Iteration der THS erwiesen hat, indem die Stimulationsparameter in Echtzeit angepasst werden, wenn symptombezogene Biomarker erkannt werden 3,4,5. Studien haben gezeigt, dass Beta-Oszillationen (10-30 Hz) im Nucleus subthalamicus (STN) während der Bradykinesie, einer Verlangsamung der Bewegung, die für PD 6,7 charakteristisch ist, konsistent auftreten. In ähnlicher Weise ist bekannt, dass High-Gamma-Oszillationen (50-120 Hz) im Kortex während Perioden der Dyskinesie auftreten, einer exzessiven und unwillkürlichen Bewegung, die auch häufig bei PD8 beobachtet wird. In neueren Arbeiten wurde aDBS erfolgreich über längere Zeiträume außerhalb der Klinik verabreicht5, die langfristige Wirksamkeit von aDBS-Algorithmen, die in der Klinik konfiguriert wurden, während ein Patient zu Hause ist, wurde jedoch nicht nachgewiesen.
Remote-Systeme werden benötigt, um die zeitlich variierende Wirksamkeit dieser dynamischen Algorithmen bei der Unterdrückung von Symptomen zu erfassen, die im täglichen Leben auftreten. Während der dynamische Stimulationsansatz der aDBS potenziell eine präzisere Behandlung mit reduzierten Nebenwirkungen ermöglicht3,9, leidet die aDBS immer noch unter einer hohen Belastung für Kliniker, die Stimulationsparameter für jeden Patienten manuell zu identifizieren. Zusätzlich zu den bereits großen Parametern, die bei herkömmlichen DBS programmiert werden müssen, führen aDBS-Algorithmen viele neue Parameter ein, die ebenfalls sorgfältig angepasst werden müssen. Diese Kombination von Stimulations- und Algorithmusparametern ergibt einen riesigen Parameterraum mit einer unüberschaubaren Anzahl möglicher Kombinationen, der eine Skalierung der aDBS auf viele Patienten verhindert10. Selbst in der Forschung erschwert der zusätzliche Zeitaufwand für die Konfiguration und Bewertung von aDBS-Systemen die aadäquate Optimierung von Algorithmen allein in der Klinik, und es ist eine Fernaktualisierung von Parametern erforderlich. Um aDBS zu einer skalierbaren Behandlung zu machen, müssen die Stimulation und die Abstimmung der Algorithmusparameter automatisiert werden. Darüber hinaus müssen die Ergebnisse der Therapie in wiederholten Studien analysiert werden, um die aTHS als praktikable Langzeitbehandlung außerhalb der Klinik zu etablieren. Es besteht ein Bedarf an einer Plattform, die Daten für die Fernbewertung der Therapiewirksamkeit und für die Remote-Bereitstellung von Aktualisierungen der aDBS-Algorithmusparameter sammeln kann.
Das Ziel dieses Protokolls ist es, ein wiederverwendbares Design für eine multimodale Datenerfassungsplattform für zu Hause bereitzustellen, um die Wirksamkeit der aDBS außerhalb der Klinik zu verbessern und diese Behandlung auf eine größere Anzahl von Personen zu übertragen. Unseres Wissens nach handelt es sich um die erste Datenerfassungsplattform, die therapeutische Ergebnisse mithilfe von Videokameras zu Hause, tragbaren Sensoren, chronischer neuronaler Signalaufzeichnung und patientengesteuertem Feedback aus der Ferne auswertet, um aDBS-Systeme bei kontrollierten Aufgaben und naturalistischem Verhalten zu bewerten.
Die Plattform ist ein Ökosystem von Hardware- und Softwarekomponenten, die auf zuvor entwickelten Systemenaufbauen 5. Es ist vollständig per Fernzugriff nach einer Erstinstallation minimaler Hardware wartbar, um eine multimodale Datenerfassung von einer Person bequem von zu Hause aus zu ermöglichen. Eine Schlüsselkomponente ist das implantierbare Neurostimulationssystem (INS)11 , das die neuronale Aktivität erfasst und die Stimulation an das STN abgibt und die Beschleunigung von Brustimplantaten aufzeichnet. Für das Implantat, das bei der anfänglichen Entfaltung verwendet wird, wird die neuronale Aktivität von bilateralen Elektroden, die in das STN implantiert werden, und von Elektrokortikographie-Elektroden, die über den motorischen Kortex implantiert werden, aufgezeichnet. Ein Videoaufzeichnungssystem hilft Ärzten, die Schwere der Symptome und die Wirksamkeit der Therapie zu überwachen, einschließlich einer grafischen Benutzeroberfläche (GUI), die eine einfache Löschung laufender Aufzeichnungen zum Schutz der Privatsphäre der Patienten ermöglicht. Videos werden verarbeitet, um kinematische Positionstrajektorien zweidimensional (2D) oder dreidimensional (3D) zu extrahieren, und Smartwatches werden an beiden Handgelenken getragen, um Winkelgeschwindigkeits- und Beschleunigungsinformationen zu erfassen. Wichtig ist, dass alle Daten verschlüsselt werden, bevor sie in einen langfristigen Cloud-Speicher übertragen werden, und auf den Computer mit patientenidentifizierbaren Videos kann nur über ein virtuelles privates Netzwerk (VPN) zugegriffen werden. Das System umfasst zwei Ansätze für die nachträgliche zeitliche Ausrichtung aller Datenströme, und die Daten werden verwendet, um die Bewegungsqualität des Patienten aus der Ferne zu überwachen und symptombezogene Biomarker für die Verfeinerung von aDBS-Algorithmen zu identifizieren. Der Videoteil dieser Arbeit zeigt den Datenerhebungsprozess und Animationen kinematischer Trajektorien, die aus den gesammelten Videos extrahiert wurden.
Bei der Entwicklung des Protokolls gab es eine Reihe von Designüberlegungen:
Gewährleistung der Datensicherheit und der Privatsphäre der Patienten: Das Sammeln identifizierbarer Patientendaten erfordert äußerste Sorgfalt bei der Übertragung und Speicherung, um dem Health Insurance Portability and Accountability Act (HIPAA) gerecht zu werden12,13 und die Privatsphäre des Patienten in seinem eigenen Zuhause zu respektieren. In diesem Projekt wurde dies durch die Einrichtung eines benutzerdefinierten VPN erreicht, um den Schutz des gesamten sensiblen Datenverkehrs zwischen Systemcomputern zu gewährleisten.
Sicherheitsgrenzen der Stimulationsparameter: Es ist wichtig, sicherzustellen, dass der Patient sicher bleibt, während er aDBS-Algorithmen ausprobiert, die unbeabsichtigte Auswirkungen haben können. Das INS des Patienten muss von einem Arzt so konfiguriert werden, dass es sichere Grenzen für Stimulationsparameter hat, die keine unsicheren Auswirkungen von Über- oder Unterstimulation zulassen. Mit dem INS-System11 Diese Funktion, die in dieser Studie verwendet wird, wird von einem klinischen Programmierer aktiviert.
Sicherstellung des Vetorechts des Patienten: Selbst innerhalb sicherer Parametergrenzen kann die tägliche Variabilität der Symptome und Stimulationsreaktionen zu unangenehmen Situationen für den Patienten führen, in denen er einen zu testenden Algorithmus nicht mag und zu einer normalen klinischen Open-Loop-THS zurückkehren möchte. Das ausgewählte INS-System enthält ein Patiententelemetriemodul (PTM), mit dem der Patient seine Stimulationsgruppe und Stimulationsamplitude in mA manuell ändern kann. Es gibt auch eine mit dem INS verbundene Forschungsanwendung, die für die Fernkonfiguration des INS vor der Datenerfassung verwendet wird14, was es dem Patienten auch ermöglicht, aDBS-Versuche abzubrechen und seine Therapie zu kontrollieren.
Komplexes und natürliches Verhalten erfassen: Videodaten wurden in die Plattform integriert, um es Klinikern zu ermöglichen, die Wirksamkeit der Therapie aus der Ferne zu überwachen und kinematische Trajektorien aus Posenschätzungen für die Verwendung in Forschungsanalysen zu extrahieren15. Tragbare Sensoren sind zwar weniger aufdringlich, aber es ist schwierig, den vollen dynamischen Bewegungsumfang eines gesamten Körpers allein mit tragbaren Systemen zu erfassen. Videos ermöglichen die gleichzeitige Erfassung des gesamten Bewegungsumfangs des Patienten und seiner Symptome im Zeitverlauf.
Benutzerfreundlichkeit des Systems für Patienten: Die Erfassung multimodaler Daten zu Hause erfordert, dass mehrere Geräte im Haus eines Patienten installiert und verwendet werden, was für die Patienten mühsam werden kann. Um die Bedienung des Systems zu vereinfachen und gleichzeitig die Kontrolle des Patienten zu gewährleisten, müssen nur die Geräte, die implantiert oder physisch am Patienten befestigt sind (in diesem Fall das INS-System und die Smartwatches), vor dem Starten einer Aufzeichnung manuell eingeschaltet werden. Bei Geräten, die vom Patienten getrennt sind (in diesem Fall handelt es sich um Daten, die von Videokameras aufgezeichnet wurden), beginnen und enden die Aufzeichnungen automatisch, ohne dass eine Interaktion mit dem Patienten erforderlich ist. Beim GUI-Design wurde darauf geachtet, die Anzahl der Schaltflächen zu minimieren und tiefe Menübäume zu vermeiden, damit die Interaktionen einfach sind. Nachdem alle Geräte installiert waren, zeigte ein Forschungskoordinator dem Patienten, wie er mit allen Geräten über patientenorientierte GUIs interagieren kann, die Teil jedes Geräts sind, z. B. wie man Aufzeichnungen auf einem beliebigen Gerät beendet und wie man seinen Medikationsverlauf und seine Symptomberichte eingibt.
Transparenz bei der Datenerfassung: Es ist unerlässlich, deutlich anzugeben, wann die Kameras eingeschaltet sind, damit die Leute wissen, wann sie aufgezeichnet werden, und die Aufnahme unterbrechen können, wenn sie einen Moment der Privatsphäre benötigen. Um dies zu erreichen, wird eine Kamerasystemanwendung verwendet, um Videoaufzeichnungen mit einer patientenorientierten GUI zu steuern. Die GUI öffnet sich automatisch, wenn die Anwendung gestartet wird, und listet die Uhrzeit und das Datum der nächsten geplanten Aufnahme auf. Wenn eine Aufzeichnung läuft, wird eine Meldung angezeigt, die angibt, wann die Aufzeichnung beendet werden soll. In der Mitte der GUI wird ein großes Bild eines roten Lichts angezeigt. Das Bild zeigt, dass das Licht hell leuchtet, wenn eine Aufnahme läuft, und wechselt zu einem nicht beleuchteten Bild, wenn die Aufzeichnungen ausgeschaltet sind.
Das Protokoll beschreibt Methoden für den Entwurf, den Aufbau und den Einsatz einer Datenerfassungsplattform für zu Hause, für die Qualitätsprüfung der gesammelten Daten auf Vollständigkeit und Robustheit und für die Nachbearbeitung von Daten für die Verwendung in zukünftigen Forschungsarbeiten.
Abbildung 1: Datenfluss. Die Daten für jede Modalität werden unabhängig vom Wohnort des Patienten gesammelt, bevor sie verarbeitet und in einem einzigen Remote-Speicherendpunkt aggregiert werden. Die Daten für jede Modalität werden automatisch an einen Remotespeicherendpunkt gesendet. Mit Hilfe eines der Teammitglieder kann es dann abgerufen, auf Gültigkeit geprüft, modalitätsübergreifend zeitlich abgestimmt sowie einer modalitätsspezifischeren Vorverarbeitung unterzogen werden. Der kompilierte Datensatz wird dann auf einen Remote-Speicherendpunkt hochgeladen, auf den alle Teammitglieder zur weiteren Analyse sicher zugreifen können. Alle Geräte mit Datenzugriff, insbesondere für sensible Daten wie Rohvideos, sind in einem VPN eingeschlossen, das sicherstellt, dass alle Daten sicher übertragen und gespeicherte Daten immer verschlüsselt sind. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Die Patienten werden im Rahmen einer größeren, vom IRB und IDE genehmigten Studie in das aDBS an der University of California, San Francisco, Protokoll # G1800975, aufgenommen. Der Patient, der in diese Studie aufgenommen wurde, gab zusätzlich eine Einverständniserklärung speziell für diese Studie ab.
1. Systemkomponenten für zu Hause
Abbildung 2: Komponenten für die Videoaufzeichnung. Die Hardwarekomponenten zur Unterstützung der Videodatenerfassung sind minimal, einschließlich eines einzelnen Tower-PCs, über USB angeschlossener Webcams und eines kleinen Monitors zur Anzeige der patientenorientierten GUI. Der Monitor ist Touchscreen-fähig, um eine einfache Beendigung laufender oder geplanter Aufzeichnungen durch Drücken der auf der GUI sichtbaren Tasten zu ermöglichen. In der Mitte der GUI wird ein Bild eines Aufnahmelichts angezeigt, das sich in ein helles Rot verwandelt, wenn Videokameras aktiv aufzeichnen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
2. In-Home-Konfiguration
3. Datenerhebung
4. Systemcharakterisierung
5. Post-hoc-Datenvorverarbeitung und -abgleich
Abbildung 3: Gestenbasierter Datenausgleich. Die obere Hälfte der Abbildung zeigt die grafische Benutzeroberfläche für die manuelle Ausrichtung nach dem Ausrichten der drei Datenströme. Die blaue Linie zeigt die Beschleunigungsdaten der Smartwatch, die orangefarbene Linie die Beschleunigungsdaten des INS und die grüne Linie die 2D-Posenposition der rechten Mittelfingerspitze von einer einzelnen Webcam. Oben rechts wird der Versatz zwischen der wahren Uhrzeit der Smartwatch und INS sowie verschiedene Warnflaggen angezeigt, um auftretende Probleme zu markieren. In diesem Beispiel lag die INS 20,8 s vor der Smartwatch. Das Diagramm unten links wird vergrößert, um die fünf Brustkorb-Taps zu zeigen, die der Patient für den Datenabgleich durchgeführt hat. Die fünf Peaks sind in jedem Datenstrom ausreichend deutlich, um eine korrekte Ausrichtung zu gewährleisten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Design und Bereitstellung von Prototyp-Plattformen
Wir entwarfen einen Prototyp einer Plattform und stellten ihn bei einem einzelnen Patienten zu Hause bereit (Abbildung 1). Nach der ersten Installation der Hardware im Haus kann die Plattform gewartet und die Daten vollständig per Fernzugriff gesammelt werden. Die INS-Geräte, Smartwatches und Kameras verfügen über patientenorientierte Anwendungen, mit denen Patienten Aufzeichnungen starten und stoppen können. Die Videoerfassungshardware ermöglicht automatische Videoaufzeichnungen, nachdem ein genehmigter Zeitplan konfiguriert wurde. Patienten können eine laufende Aufzeichnung ganz einfach abbrechen, indem sie einfach eine Taste auf der GUI der Videoaufzeichnungsanwendung drücken (Abbildung 2). Alle gesammelten Daten wurden verschlüsselt und an einen Cloud-Speicher übertragen, damit die Forscher sie verarbeiten und analysieren konnten.
Datensammlung
Für die ersten Bereitstellungen und Datenerfassungszyklen baten wir den Patienten, selbstgesteuerte klinische Aufgaben durchzuführen. Die Aufgaben wurden der einheitlichen Parkinson-Bewertungsskala (UPDRS)26 entnommen, nämlich Ruhetremor, Daumen-zu-Zeigefinger-Tippen, Handöffnen und -schließen, Pronationssupination des Handgelenks, Bewegung im Sitzen und Gehen sowie eine Tippaufgabe. Alle Aufgaben wurden an jedem Aufnahmetag dreimal wiederholt. Für jede Wiederholung wurde eine andere Stimulationsamplitude eingestellt, um mögliche stimulationsbedingte Symptome der Parkinson-Krankheit aufzudecken. Abbildung 4 zeigt ein schematisiertes Beispiel dafür, wie eine Woche mit dem System gesammelte Daten aussehen könnte.
Abbildung 4: Datenverfügbarkeit. Eine schematisierte Demonstration, wie eine Woche mit dem System gesammelten Daten aussehen könnte. Das obere Diagramm zeigt das Stimulationsniveau (blau) im Verlauf mehrerer Tag/Nacht-Zyklen. Die Stimulationsänderungen bei diesem Patienten sind abhängig von seinem Schlafrhythmus und den Zeiten der Medikamenteneinnahme (vertikale rote Linien). Zu beliebigen Zeiten im Laufe des Tages kann das Datenerfassungssystem aus der Ferne aktiviert werden, um Daten für mehrere Modalitäten zu sammeln, die als farbige Kästchen angezeigt werden. Ein Beispiel für alle parallelen, zeitlich ausgerichteten Datenströme, die nur auf der linken Seite des Körpers nach unten ausgewählt wurden, ist in der unteren Grafik dargestellt. Während dieser Aufzeichnung wurde der Patient gebeten, eine Reihe von klinischen Beurteilungen unter niedrigen, therapeutischen und hochamplitudenreichen Stimulationsbedingungen durchzuführen. Alle hier gezeigten Daten entsprechen den gesammelten realen Daten, wurden jedoch in separaten Experimenten komprimiert, um die Visualisierung zu erleichtern und die Vielfalt zu zeigen. Abkürzungen: LFP=lokales Feldpotential, STN=subthalamischer Kern, Accel=Beschleunigungsmesser, Gyro=Gyroskop, 2D=zweidimensional. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Manuelles Ausrichten
Die grafische Benutzeroberfläche für die manuelle Ausrichtung bietet eine einfach zu bedienende Plattform zum Ausrichten mehrerer Datenströme. Wie in Abbildung 3 dargestellt, stellen Brustabgriffe ein eindeutig identifizierbares Artefakt in allen Datenmodalitäten (INS, Smartwatches, Videos) dar, das bei der manuellen Ausrichtung verwendet werden kann. Die GUI war ein nützliches Mittel, um die Daten auszurichten, aber sie konnte gegen jedes andere Ausrichtungswerkzeug ausgetauscht werden, das die Forscher verwenden möchten. In einigen Fällen weisen die Datenströme eine leichte Drift auf. Eine mögliche zukünftige Lösung für dieses Problem wäre es, die Sitzungsdaten in verschiedene Versuche aufzuteilen, von denen jede ihre eigene Thorax-Tap-Sequenz hat. Jeder Versuch kann dann individuell ausgerichtet werden, um die Auswirkungen der Drift zu minimieren.
Zeitausrichtung der Null-normalisierten Kreuzkorrelation (ZNCC)
Die Methode für ZNCC funktioniert in einigen Fällen gut, weist aber einige kritische Schwachstellen auf. Zum Beispiel können die beiden Signale des Beschleunigungsmessers bei einigen Bewegungen gegeneinander phasenverschoben werden. Wenn sowohl eine phasenausgerichtete als auch eine phasenverschobene Bewegung in den analysierten Epochen enthalten sind, dann kann der ZNCC entweder mehrere oder sogar keinen eindeutigen Peak haben. Die Normalisierung von ZNCC ermöglicht es, diese Ausrichtungen automatisch zu identifizieren und bei Bedarf zu verwerfen. Diese Methode funktioniert am besten, wenn beide Signale relativ rauschfrei sind und auf eine Epoche mit großen, synchronisierten Effekten in beiden Spuren gefenstert sind. Die besten Ergebnisse wurden erzielt, wenn der Patient gebeten wurde, eine Reihe von starken Klopfbewegungen mit beiden Händen gegen die Brust durchzuführen. In der Praxis war jedoch in so vielen Fällen eine manuelle Überprüfung des automatisierten Abgleichs erforderlich, dass der Vorteil der Verwendung der automatisierten Methode vernachlässigbar war.
Datenqualität
Der Datenverlust während der automatisierten Übertragung war vernachlässigbar, da der Datenübertragungsprotokollprozess Rohkopien sichert, um sicherzustellen, dass alle Verluste wiederhergestellt werden können. Datenverluste aufgrund von Verbindungsproblemen traten regelmäßig auf, da Bluetooth und Funkfrequenz manchmal unerwartete Verbindungsabbrüche aufweisen und die Reichweite begrenzt ist. Kurze Intervalle von bis zu 2 Sekunden traten etwa einige Male pro Stunde auf, und längere Lücken von bis zu 2 Minuten traten etwa alle paar Stunden auf. Über den Datenverlust hinaus wurden signifikante Stimulationsartefakte in neuronalen Daten beobachtet, deren Schweregrad von der Aufzeichnung und den gewählten Stimulationsgruppen abhing. Die größten Artefakte treten in der Nähe der Stimulationsfrequenz auf, weit außerhalb der interessierenden Bereiche. In den Daten von Smartwatches wurden keine Artefakte beobachtet. Die Videos wurden mit einer konstanten Bildrate aufgenommen; In Videos wurden jedoch doppelte Frames identifiziert. Dies ergab eine tatsächliche Bildrate, die einige Bilder unter der theoretischen Bildrate lag, die in den Webcam-Spezifikationen angegeben ist. Auffälliger als die doppelten Frames waren jedoch die Einfrierphasen, die je nach Aufnahmetag in unterschiedlichen Intervallen in Videos identifiziert wurden. Einfrierphasen von ca. 10 Frames oder weniger wurden regelmäßig beobachtet; Es wurden jedoch auch längere Abschnitte von etwa 2 bis 30 Sekunden Länge in unregelmäßigen Zeiträumen beobachtet.
Längsschnitt-Datenerhebung
Tabelle 1 zeigt die Daten, die der Plattform-Prototyp im Laufe von 1,5 Jahren periodisch gesammelt hat. In dieser Zeit wurden Hunderte von Stunden an Daten gesammelt, mit insgesamt 293 Stunden INS-Daten auf beiden Seiten des Körpers, 224 Stunden Smartwatch-Daten für beide Uhren und 2.037 Stunden Videodaten auf drei Webcams. Dies zeigt, dass die Plattform die Datenerfassung zu Hause über längere Zeiträume unterstützt und gleichzeitig die seltene Möglichkeit bietet, longitudinale Veränderungen der neuronalen Daten und entsprechende Stimulationsanforderungen zu beobachten.
| Datentyp | Gesamtdauer (hh:mm:ss) | Gesamtzahl der Tage | Speichergröße |
| Neural | 293:17:33 | 90 | 28,94 GB |
| Uhr | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146.073,77 GB |
Tabelle 1: Längsschnittübersicht der erhobenen Daten. Die eingesetzte Plattform sammelte über einen Zeitraum von 1,5 Jahren in mehreren Experimenten Daten. Es wurden etwa 90 Tage aufgezeichnet, in denen neuronale, Video- und Smartwatch-Datenströme gesammelt wurden.
2D- und 3D-Posenschätzungen
Inzwischen sind mehrere Softwarepakete für die Posenschätzung verfügbar. Die Posenschätzung wurde mit OpenPose, einem Open-Source-Softwarepaket21, getestet. Dies wurde erfolgreich installiert, nachdem die Dokumentation auf GitHub der Organisation sowie viele andere inoffizielle Tutorials im Internet veröffentlicht wurden. Die Verarbeitungszeit für OpenPose hängt stark davon ab, wie die OpenPose-Bibliothek und ihre umfangreichen Abhängigkeiten installiert sind, wie groß die verwendete GPU ist und ob die optionalen Schlüsselpunkte "Hände" und "Gesicht" verarbeitet werden. Die 2D-Pose war relativ einfach zu implementieren, jedoch war die 3D-Pose deutlich schwieriger und die vorläufigen 3D-Ergebnisse ergaben eine inkonsistente Qualität, die der der 2D-Pose entsprach. Die Schätzung der minderwertigen 3D-Pose kann durch eine suboptimale Kamerakalibrierung, Zeiten, in denen der Kamera-Autofokus fälschlicherweise eingeschaltet wurde, oder durch die OpenPose-Software selbst negativ beeinflusst worden sein. Synchronisierte, qualitativ hochwertige Videos aus verschiedenen Blickwinkeln können jedoch umfangreiche Eingaben für eine Vielzahl verfügbarer Softwarepakete zur Posenschätzung liefern. Es wird empfohlen, einen Testaufbau außerhalb des Hauses des Patienten durchzuführen, mit manuellem Benchmarking verschiedener verfügbarer Softwarepakete zur Posenschätzung.
Ergänzende Abbildung 1: Video-Frame-Lag-Analyse. Bei der Systemcharakterisierung wurden Verzögerungen bei den von der Videoaufzeichnungs-App generierten Zeitstempeln festgestellt. Um die Ursache der Verzögerungen zu untersuchen, wurden die von jeder Kamera generierte Bildnummer und der Zeitstempel bestimmt, indem ein rotes LED-Licht aufgezeichnet wurde, das in zufälligen Intervallen blinkte, und dann wurden die Variationen der Zeitstempelverzögerungen zwischen den Kameras berechnet. (Nach oben) LED-Intensitäten (in RGB-Einheiten), die an jeder der drei Kameras gemessen wurden, zeigen die beobachteten Zeitverschiebungen zwischen den drei Kameras (gekennzeichnet mit roten Pfeilen). (Unten) Drei Diagramme zeigen die Zeitstempelverzögerungen zwischen den Kameras in der Anzahl der Frames für eine Reihe von LED-Blinken über die gesamte Aufzeichnung. Jede Aufnahme wurde in mehrere Segmente aufgeteilt und die Bildverzögerung war über die Zeit annähernd konstant. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Datei 1: Analysemethode für Videoframes und Zeitstempel. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Die Autoren haben keine Interessenkonflikte offenzulegen.
Das Protokoll zeigt einen Prototyp der multimodalen Datenerfassungsplattform für zu Hause, die die Forschung zur Optimierung der adaptiven tiefen Hirnstimulation (aDBS) für Menschen mit neurologischen Bewegungsstörungen unterstützt. Wir präsentieren auch wichtige Erkenntnisse aus der Bereitstellung der Plattform für über ein Jahr bei einer Person mit Parkinson-Krankheit.
Dieses Material basiert auf Arbeiten, die vom National Science Foundation Graduate Research Fellowship Program (DGE-2140004), dem Weill Neurohub und dem National Institute of Health (UH3NS100544) unterstützt werden. Alle Meinungen, Erkenntnisse, Schlussfolgerungen oder Empfehlungen, die in diesem Material zum Ausdruck gebracht werden, sind die des Autors/der Autoren und spiegeln nicht unbedingt die Ansichten der National Science Foundation, des Weill Neurohub oder des National Institute of Health wider. Wir danken Tianjiao Zhang für seine fachkundige Beratung zum Plattformdesign und zur Einbindung von Videodaten. Wir danken insbesondere den Patienten für ihre Teilnahme an dieser Studie und für das Feedback und die Ratschläge zur Netzwerksicherheit und zum Plattformdesign.
| Analyse RCS Datenverarbeitung | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, Open-Source-Apple | |
| Watches | Apple, Inc | Verwenden Sie 2 Uhren für jeden Patienten, eine an jedem Handgelenk | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Verwendet 3 in unserem Plattformdesign |
| DaVinci Resolve Videobearbeitungssoftware | DaVinci Resolve | zur Unterstützung der Kamerakalibrierung | |
| Dell XPS PC | Dell | 2T Festplatte, 500GB SSD | |
| Dropbox Dropbox | ffmpeg | ||
| N/A | Open-Source, installiere um die Video Recording App auszuführen | ||
| Schwanenhalshalterungen für Webcams | N/A | ||
| GPU Nvidia | Mindestens 8GB GPU-Speicher wird empfohlen, um OpenPose auszuführen, 12GB ist ideal | ||
| Java 11 | Oracle | Install, um die Video Recording App | |
| auszuführen Microsoft Surface Tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal für die Verwendung eines Linux-Betriebssystems, Open-Source-OpenPose | |
| N/A | Open-Source-Dateiübertragungsprogramm | ||
| Rclone | Verschlüsselt Daten und kopiert oder verschiebt Daten in einen Offsite-Speicher, Open-Source-App | ||
| StrivePD | RuneLabs | Wir haben die App auf den Apple Watches installiert, um Aufnahmen zu starten und Daten auf ein Online-Portal hochzuladen. | |
| Summit RC+S Neuromodulationssystem | Medtronic | Nur für Forschungszwecke | |
| Touchscreen-kompatibler Monitor | N/A | ||
| Video for Linux 2 API | Der Linux-Kernel | Installieren, wenn Sie ein Linux-Betriebssystem für Videoaufzeichnungen verwenden | |
| Wasabi | Wasabi | Langfristige Datenspeicherung in der Cloud | |
| WireGuard VPN-Protokoll | WireGuard | Open-Source |
