$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Die kinematische Bewertung der Trinktätigkeit wurde für die Anwendung in der Schlaganfallrehabilitationsforschung empfohlen6. Praktische Bedenken wurden jedoch als Hindernisse für die Nutzung von Kinematik in der Rehabilitationsforschung genannt, und diese Bedenken umfassen die Kosten und technischen Anforderungen für Motion-Capture-Technologien, die konventionell zur Messung dermenschlichen Biomechanik verwendet werden. Diese Bedenken behindern anschließend die klinische Aufnahme und Umsetzung der kinematischen Bewertung in die klinische Praxis. Alternativ kann ein praktischerer Ansatz zur Extraktion von Kinematik durch Computer Vision mit einer einzelnen Stereokamera, einem Personal Computer und Gegenständen realisiert werden, die üblicherweise in einer ambulanten Klinik16 verwendet werden. Wir präsentieren ein Protokoll, das für Kliniker entwickelt wurde und einen webbasierten Leitfaden verwendet, um Bilder und Videos aufzunehmen, die mit einem Computer-Vision-Workflow kompatibel sind, um kinematische Metriken der Trinkarbeit zu extrahieren. Das langfristige Ziel ist es, den Zugang zu diesen Kennzahlen zu erhöhen, die bereits entwickelt und für den Einsatz in der Schlaganfallrehabilitationsforschungempfohlen wurden 5,6,12,13,14.
Videosynchronisation ist wichtig für Dual-Camera-Ansätze im Bereich Computer Vision. Doppelkamera-Setups ahmen menschliche Augen nach, die gleichzeitig eine Szene in der realen Welt aus leicht unterschiedlichen Blickwinkeln wahrnehmen, um Tiefenwahrnehmung zu ermöglichen. Im Fall der Computer Vision ist die angemessene Synchronisation dann entscheidend für die Genauigkeit dreidimensionaler Informationen (z. B. Position des menschlichen Handgelenks in einem kartesischen Koordinatensystem), die aus zwei zweidimensionalen Quellen bestimmt werden (z. B. die Pixelposition des menschlichen Handgelenks auf einem Foto). Nach unserer Erfahrung können Dual-Kameras vernünftige Ergebnisse liefern, wenn sie auf 1 ms16 synchronisiert sind. Mehrere Faktoren können die Synchronisation verringern, darunter unzuverlässige Bildraten der Kamera, begrenzte Datenübertragungsraten in Kabeln, Softwareineffizienzen und begrenzte Hardwarespezifikationen (z. B. niedriger RAM oder niedrige Prozessoren). Um Synchronisationsprobleme zu vermeiden, verwendet dieses Protokoll eine handelsübliche Stereokamera, die von einer kleineren physischen Fläche profitiert und als Plug-and-Play-Gerät (z. B. eine einzelne USB-Verbindung zu einem Standard-PC) konzipiert ist, um automatisch synchronisierte Bilder von zwei eingebauten Bildsensoren zu erfassen.
Kameraeigenschaften erfordern eine sorgfältige Überlegung für jede Computer-Vision-Anwendung. Theoretisch bieten Bilder mit höherer Auflösung und höhere Bildratenaufzeichnungen menschlicher Bewegungen mehr Daten, um anatomische Schlüsselpunkte mit größerer räumlich-zeitlicher Genauigkeit zu erkennen. Es ist jedoch ein unvermeidliches Gleichgewicht zwischen der Datenmenge und den verfügbaren Rechenressourcen zur Datenverarbeitung notwendig. Das beschriebene Protokoll basiert auf einer Stereokamera, die Videos mit einer Auflösung von 1280 x 720 Pixel bei einer Bildrate von 60 Hz aufzeichnet, was vergleichbar ist mit früheren Studien zur Anwendung von Computer Vision für Trink-Aufgabe-Kinematik16,18. Für die Aufnahme dieser Videos haben wir zuverlässige Erfolge mit einem höherwertigen Consumer-Computer (z. B. 3,2 GHz CPU mit 128 GB RAM) und gemischten Erfolgen mit einem Laptop (z. B. 2,6 GHz CPU mit 16 GB RAM) erzielt. Beim Einsatz von Computern niedrigerer Stufen ist ein typisches Problem fehlende Videoframes, was oft als Ausgabevideo mit einer Dauer weniger als die beabsichtigte 20-Sekunden-Videoaufnahme angezeigt wird. Bemerkenswert ist, dass Datenverarbeitung zwar ein häufiger Übeltäter für fehlende Videoframes ist, die Datenübertragung jedoch ebenfalls von Bedeutung ist. Im Gesundheitswesen können beispielsweise Sicherheitseinstellungen für Computerzugangsanschlüsse (z. B. USB-Laufwerke) zu Datenübertragungsverzögerungen führen, die eine zuverlässige Videoaufnahme beeinträchtigen.
Sichtlinieninterferenzen werden wichtige Schritte in einem Computer-Vision-Workflow herausfordern, einschließlich Kalibrierung und Personenhaltungsabschätzung. Die Kalibrierung basiert auf digitalen Bildern eines standardmäßigen Schachbrettmusters, das es Computer Vision ermöglicht, Bildpixel den physischen Dimensionen der realen Welt zuzuordnen. Eine klare Visualisierung des Schachbrettmusters verbessert die Erfolgsrate dieser Kartierung. Optische Störungen können aus verschiedenen Gründen entstehen, darunter, aber nicht beschränkt auf folgende: (i) Lichtprobleme (z. B. helle Blendung durch ein nahegelegenes Fenster oder dunkle Schatten). (ii) übermäßig schnelle Bewegungen des Schachbretts (z. B. Bildunschärfe durch verlängerte Belichtungszeit der Kamera); oder (iii) ungeeignete intrinsische Kameraeigenschaften (z. B. falsche Brennweite oder starke Objektivverzerrung). Die menschliche Haltungsabschätzung nutzt künstliche Intelligenz, um anatomische Orientierungspunkte automatisch anhand von Bildern einer einzelnen Person (Einzelpose-Schätzung) oder mehrerer Personen (Multi-Pose-Schätzung) zu annotieren. Eine klare Visualisierung des Menschen ist dann entscheidend für die Erfolgsrate der Posenschätzung. Einige visuelle Interferenzen können je nach Computer-Vision-Parametern (z. B. KI-Architektur, Vorhersageschwellen) toleriert werden. Um jedoch die Eignung eines Videos für die menschliche Pose-Schätzung zu beurteilen, sind häufige Fallstricke, auf die man achten sollte: (i) Zuschauer im Sichtfeld bei Einzelpose-Schätzung; (ii) Körpersegmente, die intermittierend außerhalb des Kamerafelds liegen; und (iii) Selbstverschlüsse aufgrund überlappender Körpersegmente.
Die Entkopplung der Datenerhebung vom Computer-Vision-Workflow selbst bietet sowohl Vorteile als auch Nachteile. Ein bemerkenswerter Nachteil ist die Verzögerung klinisch relevanter Informationen, die Klinikern und Patienten zur Entscheidungsfindung zur Verfügung stehen. Ein potenzieller Vorteil ist die geringere Einmischung in die Interaktion zwischen Kliniker und Patient. Beispielsweise würde die Kalibrierung vor dem Patiententermin durchgeführt werden, die Videoaufnahme von 10 Wiederholungen der Trinkaufgabe, wie in der früheren Literatur12 beschrieben, idealerweise weniger als 4 Minuten Videoaufnahmezeit sowie die Zeit, die benötigt wird, um Patienten zu informieren, die sich mit dem Protokoll vertraut machen. Darüber hinaus kann diese Entkopplung die Akzeptanz durch Kliniker steigern, indem sie die Verantwortung für Informationen aufteilt. Innerhalb dieser Aufgabentrennung übernimmt der Kliniker Verantwortung dafür, wann und warum Video-Bewertungen stattfinden, und Data Scientists/Ingenieure übernehmen Verantwortung für die Verfeinerung des Computer-Vision-Arbeitsablaufs, der für genaue/zuverlässige klinische Kennzahlen verantwortlich ist (z. B. Kinematik für Trinkaufgaben). Tatsächlich lässt sich dies mit der aktuellen Realität vieler blutbasierter (z. B. vollständiger Stoffwechselpanels) und bildbasierter Tests (z. B. MRT-Untersuchungen) vergleichen, die routinemäßig von Klinikern angeordnet werden. Schließlich könnte diese Entkopplung vorteilhaft sein, da sich das Feld der KI weiter weiterentwickelt. Die heute erfassten Videodaten könnten von fortschrittlicheren Computer-Vision-Lösungen von morgen wiederholt analysiert werden, die möglicherweise schneller, präziser und zuverlässiger kinematische Metriken extrahieren.
Unser Ziel ist es, den Zugang zur Kinematik der oberen Gliedmaßen in der Rehabilitationsgemeinschaft weiter zu verbessern, zu der auch Kliniker in ambulanten Einrichtungen und voraussichtlich Personen im häuslichen Umfeld (z. B. Telerehabilitation) gehören. Dieses Protokoll und die webbasierte App sollten als frühe Entwicklungsphase betrachtet werden, die bisher eine sehr fokussierte Aktivität (also die Trinkaufgabe) und eine relativ fokussierte Gruppe von Interessengruppen (d. h. Kliniker, Nutzer und Probanden, die die Trink-Aufgabe problemlos ausführen können) berücksichtigt hat. Zukünftige Versionen werden notwendig sein, um eine vielfältigere Nutzergruppe, vielfältigere Aktivitäten und vielfältigere Probanden (z. B. Personen mit schweren Defiziten, die eine Aktivitätsanpassung benötigen) gerecht zu werden. Darüber hinaus werden zukünftige Entwicklungen wichtige Kontrollpunkte vor einer umfassenden Einführung umfassen, wie die Integration in elektronische Patientenakten und die Wahrung der Patientenprivatsphäre und Vertraulichkeit. Diese zukünftigen Versionen werden voraussichtlich auch neue Technologien integrieren und die derzeit verfügbare Technologie verfeinern. Zum Beispiel geht das aktuelle Protokoll von einem Computer-Vision-Workflow aus, der auf binokularem Sehen basiert (z. B. Stereokameras). Eine logische nächste Entwicklung ist ein Protokoll mit monokularem Sehen (z. B. grundlegendere Kameras), das durch die Nutzung von KI, die auf binokularen Datensätzen trainiert ist, erreichbar sein kann. Bemerkenswert ist, dass das aktuelle Protokoll Bild- und Videodaten liefert, die mit aktuellen modernen Computer-Vision-Lösungen kompatibel sind, die bereits in ihrer Leistung von neueren Lösungenabgelöst werden. Das hier beschriebene webbasierte Protokoll könnte es Klinikern ermöglichen, in ihre Praxis eine Grundlage für Computer Vision zu integrieren, die voraussichtlich dramatisch voranschreiten wird, da KI-Technologie die Gesundheitsbranche durchdringt.