Deep-Learning-basierte raumzeitliche Analyse von Katarakt-Operations-Videos zur chirurgischen Risikobewertung

Zusammenfassung

Diese Studie präsentiert eine Deep-Learning-Pipeline zur Vorhersage des chirurgischen Risikos aus intraoperativen Mikroskopievideos mittels cGAN-Vorverarbeitung, Segmentierung, GCN, ASFO und Transformatormodellierung. Hohe Leistung wird auf CaDIS- und SICS-105-Datensätzen erzielt, wobei die klinische Validität jedoch durch die indirekte Markierung begrenzt ist.

Zusammenfassung

Postoperative Komplikationen bleiben eine erhebliche Herausforderung bei der Vitrektomie, die oft zu beeinträchtigten Sehergebnissen und wiederholten Eingriffen führt. Diese Studie präsentiert einen Deep-Learning-Rahmen zur Vorhersage des chirurgischen Risikos, indem raumzeitliche Merkmale aus den Videos der intraoperativen Mikroskopie extrahiert werden. Während der Vorverarbeitung werden Videoverbesserungstechniken wie Bewegungsstabilisierung, Beleuchtungsnormalisierung und cGAN-basierte Artefaktunterdrückung eingesetzt, um die Eingabequalität zu verbessern. Konturadaptive Segmentierung wird eingesetzt, um relevante chirurgische Regionen abzugrenzen, gefolgt von Graph Convolutional Networks für strukturbewusste Merkmalsextraktion. Ein Ansatz zur adaptiven Sonnenblumenoptimierung ist integriert, um die Merkmalsauswahl zu verfeinern, und ein transformatorbasiertes Modell erfasst zeitliche Abhängigkeiten zur endgültigen Risikovorhersage. Das Framework wird auf zwei öffentlichen Datensätzen ausgewertet, CaDIS und SICS-105. Das Modell erreichte 98,9 % Genauigkeit, 97,5 % Genauigkeit, 98,2 % Rückruf, 97,9 % F1-Wert und 98,1 % AUC im CaDIS-Datensatz. Darüber hinaus erreichte das Segmentierungsmodul eine Pixelgenauigkeit von 98,9 %, 98,5 % pro Klasse und 96,6 % mIoU. Das Modell erreichte 99,1 % Genauigkeit, 98,5 % F1-Score, 98,7 % Sensitivität, 98,7 % Spezifität und einen ROC AUC von 99,10 % im SICS-105-Datensatz. Diese Ergebnisse zeigen konsistente Verbesserungen gegenüber den Basismodellen. Insgesamt erhöht die Integration von GAN-verbesserter Vorverarbeitung, graphbasiertem Feature-Learning, Optimierung und Transformer-Modellierung die prädiktive Zuverlässigkeit. Dieser Ansatz unterstreicht das Potenzial der intraoperativen Videoanalyse zur Echtzeit-Unterstützung klinischer Entscheidungsfindung und verbesserter postoperativer Risikostratifizierung.

Einleitung

Die Pars-Plana-Vitrektomie (PPV) ist eine Grundlage für chirurgische Eingriffe zur Behandlung verschiedener vitreoretinaler Erkrankungen, darunter Netzhautablösung, diabetische Retinopathie, Makulalöffnung und Glaskörperblutung¹. Trotz der Fortschritte bei chirurgischer Instrumentierung und Visualisierung bleiben postoperative Komplikationen eine bedeutende Quelle für Morbiditäten, mit Ergebnissen von leichten Sehstörungen bis hin zu sehbedrohenden Ereignissen wie wiederkehrender Netzhautablösung, Endophthalmitis oder unkontrolliertem Augendruck². Die Identifizierung von Patienten mit einem höheren Risiko für diese Komplikationen ist ein entscheidender unerfüllter Bedarf in der klinischen Praxis, da dies eine fundiertere chirurgische Planung, eine personalisierte postoperative Betreuung und zeitnahe Interventionen ermöglicht³. Traditionell basierte die Risikobewertung bei PPV auf statischen präoperativen Faktoren (wie Komorbiditäten und präoperativen Augenerkrankungen) sowie subjektives intraoperatives Urteil^des Chirurgen 4,5,6,7. Darüber hinaus wird die jüngste Vitrektomie-Operation ausführlich über ein hochauflösendes chirurgisches Mikroskopievideo dokumentiert, was eine reichhaltige, aber wenig genutzte Datenquelle bietet. Diese Aufzeichnungen erfassen somit nicht nur anatomische und pathologische Merkmale, sondern auch Chirurgen-Gewebe-Interaktionen, intraoperative Ereignisse und chirurgische Bewegungen, die voraussagen könnten für weitere Komplikationen 8,9,10,11.

Deep Learning hat bemerkenswerte Leistungen in verschiedenen Bereichen der Ophthalmologie gezeigt, darunter Fundusbildklassifikation, automatisierte chirurgische Fertigkeitsbewertung und Analyse der optischen Kohärenztomographie (OCT). Darüber hinaus haben einige Studien systematisch intraoperative Videodaten genutzt, um postoperative Ergebnisse vorherzusagen. Die räumlich-zeitliche Natur chirurgischer Videos stellt besondere Herausforderungen dar: hochdimensionale Daten, Variabilität zwischen Chirurgen, zeitliche Abhängigkeiten, Patientenanatomie und Geräte 13,14,15,16. Eine eloquente Integration des klinischen Bereichs erfordert jedoch nicht nur genaue oder präzise Vorhersagen, sondern auch Robustheit, Interpretierbarkeit und Generalisierbarkeit über chirurgische Umgebungen hinweg in Echtzeit¹⁷.

In den Bereichen Ophthalmologie und chirurgische Datenwissenschaft¹⁸ sind maschinelles Lernen (ML) und Deep Learning (DL) in letzter Zeit sehr populär geworden. Zu ihren Anwendungen gehören die Ergebnisvorhersage, die Bewertung chirurgischer Fähigkeiten und die Bildgebung^{der Diagnostik 19}. DL-basierte Rahmenwerke zum Verständnis intraoperativer chirurgischer Situationen wurden in mehreren Studien untersucht. Zum Beispiel zeigte Nespolo²⁰ die Generalisierbarkeit über Aufgaben hinweg, indem es eine DL-Pipeline für die semantische Interpretation von Geweben und Instrumenten in der vitreoretinalen Chirurgie vorschlug. Um eine objektive Leistungsbewertung zu erleichtern, wurde dies weiter ausgeweitet, um umfassende Daten zu chirurgischen Techniken und Instrument-Gewebe-Interaktionen zu gewinnen. In ähnlicher Weise demonstrierten Nespolo et ^al.21 die Machbarkeit chirurgischer Führung, indem sie ein Echtzeit-Detektions- und Segmentierungsmodell mit intraoperativer Mikroskopie und einem Instanzsegmentierungsnetzwerk (YOLACT++) entwickelten.

Darüber hinaus wurden KI-gesteuerte Methoden als nützliche Werkzeuge zur Verbesserung von Arbeitsablauf, Schulung und chirurgischer Bewertung anerkannt^22,23. Diese Techniken ermöglichen Phasensegmentierung, Echtzeit-Instrumentenverfolgung und erhöhte Sicherheit in der augenärztlichen Mikrochirurgie. Der zunehmende Einsatz von maschinellem Lernen (ML) bei der Analyse intraoperativer chirurgischer Aufzeichnungen wurde durch eine systematische Übersichtsarbeit von Mueller et ^al.23 weiter nachgewiesen, die ebenfalls aktuelle Probleme mit klinischer Übersetzung und Zuverlässigkeit hervorhob. Mehrere Studien haben DL-Modelle mit Bildgebung und klinischen Daten verwendet, um postoperative Ergebnisse vorherzusagen. So wurden beispielsweise Modelle auf Basis von OCT und klinischen Merkmalen verwendet, um visuelle Ergebnisse bei Fällen idiopathischer epiretinaler Membran²⁴ vorherzusagen, und ähnliche Methoden haben eine Wirksamkeit bei der Vorhersage postoperativer Ergebnisse bei Makulloch-Patienten über multizentrische Datensätze^{gezeigt 25}. Weitere Studien konzentrierten sich auf die Bestimmung des Schweregrads der proliferativen Vitreoretinopathie mittels multimodaler DL-Frameworks26 und die Vorhersage des Rückfalls der Netzhautablösung mittels Ultraweitfeldbildgebung²⁷. Darüber hinaus wurden visuelle Ergebnisse und zugrundeliegende Ätiologien bei Vitreoretinalen Erkrankungen mit Machine-Learning-Modellen vorhergesagt, die demographische, klinische und chirurgische Variablen^{einbeziehen (}28,29,30).

Trotz dieser Entwicklungen legen die meisten derzeitigen Methoden wenig Wert auf die intraoperative Dynamik und stützen sich hauptsächlich auf präoperative Daten oder statische postoperative Bildgebung. Obwohl einige Studien chirurgische Videoanalyse für Segmentierung und Evaluation^{verwenden, beziehen} sie nicht direkt raumzeitliche intraoperative Daten ein, um die Wahrscheinlichkeit von Komplikationen vorherzusagen. Daher besteht weiterhin eine erhebliche Lücke bei der Verwendung intraoperativer mikroskopischer Videodaten für die prädiktive Modellierung. Um präzise, klinisch signifikante Rahmenwerke zur Vorhersage postoperativer Komplikationen der Vitrektomie zu schaffen, muss diese Lücke geschlossen werden.

In dieser Studie wird ein neuartiges multimodales DL-Framework vorgestellt, das raumzeitliche Merkmale, die aus intraoperativen Vitrektomie-Videos extrahiert wurden, mit strukturierten klinischen Metadaten kombiniert, um das Risiko postoperativer Komplikationen vorherzusagen. Durch den Einsatz fortschrittlicher Video-Encoder (wie konvolutionale und transformatorbasierte Architekturen) zusammen mit Metadaten-Fusionsstrategien¹⁸ zielt dieses Schema darauf ab, risikoreiche intraoperative Ereignisse zu erkennen, kalibrierte Komplikationswahrscheinlichkeiten bereitzustellen und interpretierbare Visualisierungen für Ärzte zu erstellen. Durch multizentrische Schätzungen, Interpretierbarkeitsanalysen und vergleichende Studien wird die Machbarkeit der Verwendung intraoperativer Videos als prädiktiven Biomarker für das chirurgische Ergebnis nachgewiesen¹⁸. Das Hauptziel dieses Projekts ist die Entwicklung eines starken DL-Rahmens, der raumzeitliche Daten aus intraoperativen Mikroskopaufnahmen nutzt, um postoperative Komplikationen bei der Vitrektomie-Operation vorherzusagen. In Bezug auf prädiktive Genauigkeit und Verallgemeinerung wird erwartet, dass der vorgeschlagene integrierte Ansatz, der cGAN-basierte Vorverarbeitung, GCN-gesteuerte Merkmalextraktion, ASFO-basierte Optimierung und transformatorbasierte Modellierung kombiniert, Strommethoden übertrifft.

Diese Arbeit nutzt effizient Videos aus dem intraoperativen Mikroskop, um einen umfassenden DL-Rahmen zur Vorhersage postoperativer Vitrektomieprobleme zu präsentieren. Im Gegensatz zu den aktuellen Methoden, die hauptsächlich auf statischen Bildverfahren oder präoperativen klinischen Daten basieren, kombiniert die vorgeschlagene Methodik fortschrittliche maschinelle Lerntechniken mit raumzeitlicher Videoanalyse auf neuartige Weise. Insbesondere verwendet die Methodik Graph Convolutional Networks (GCNs), um strukturelle und relationale Beziehungen innerhalb chirurgischer Szenen zu erfassen, Contour Adaptive Segmentation (CAS) für eine genaue Regionenabgrenzung und ein cGAN-basiertes Video-Enhancement-Modul zur Artefaktunterdrückung. Darüber hinaus wird zur Verbesserung der Modellkonvergenz und Diskriminierungskraft ein Adaptive Sunflower Optimization (ASFO)-Algorithmus verwendet, um Exploration und Ausnutzung bei der Merkmalsauswahl auszubalancieren. Schließlich werden zeitliche Dynamiken über chirurgische Sequenzen hinweg mit einer transformatorbasierten Architektur mit raum-zeitlichem Aufmerksamkeitspooling modelliert. Eine wesentliche Verbesserung gegenüber den aktuellen Pipelines ist diese umfassende Integration von Vorverarbeitung, Segmentierung, graphbasiertem Feature-Learning, Optimierung und aufmerksamkeitsgetriebener Vorhersage, die eine präzisere, zuverlässigere und klinisch sinnvollere Risikovorhersage ermöglicht. Die CaDIS- und SICS-105-Datensätze werden in dieser Studie als Proxy-visuelle Datensätze verwendet, um intraoperative raumzeitliche Merkmale zu erfassen, obwohl ihr Hauptzweck die Analyse der Kataraktchirurgie ist. Anstatt explizit markierte Komplikationsetiketten zu verwenden, werden diese Merkmale dann genutzt, um das Risiko postoperativer Vitrektomieprobleme zu modellieren und abzuleiten.

Protokoll

Die in dieser Studie verwendeten Cadis- und SICS-105-Datensätze sind öffentlich zugänglich und wurden ursprünglich mit vorheriger Genehmigung des institutionellen Prüfungsausschusses und informierter Einwilligung erhoben, wie in den jeweiligen Publikationen berichtet. Diese Studie beinhaltet nur eine sekundäre Analyse vollständig anonymisierter Daten, weshalb keine zusätzliche ethische Zustimmung oder informierte Zustimmung erforderlich war.

Das vorgeschlagene Modell wurde entwickelt, um postoperative Vitrektomie-Komplikationen vorherzusagen, indem spatiotemporale Muster aus den Videos der intraoperativen Mikroskopie genutzt wurden. Die Pipeline besteht aus vier Hauptstufen: Vorverarbeitung, Segmentierung, Feature-Extraktion, Feature-Optimierung und Klassifikation, wie in Abbildung 1 dargestellt.

Die intraoperative Bewertung des Risikos postoperativer Komplikationen ist das Vorhersageziel der Studie. Das Modell kann innerhalb eines bestimmten Zeitfensters keine klinisch verifizierten postoperativen Ereignisse vorhersagen, da die Cadis- und SICS-105-Datensätze keine longitudinalen Nachbeobachtungsdaten enthalten. Stattdessen werden intraoperative chirurgische Muster verwendet, um die Wahrscheinlichkeit möglicher Probleme abzuschätzen. Operative Definitionen von "Komplikation" in diesem Zusammenhang umfassen unregelmäßige Phasenübergänge, anomale Instrument-Gewebe-Interaktionen und Variationen des chirurgischen Arbeitsablaufs, die mit größerer chirurgischer Komplexität einhergehen. Um Interpretierbarkeit und zuverlässige Bewertung sicherzustellen, ist die Vorhersageaufgabe als binäres Klassifikationsproblem konzipiert, das Fälle in Gruppen mit niedrigem und hohem Risiko einteilt. Anstatt als direktes klinisches Diagnosesystem zu dienen, ermöglicht diese Formulierung, dass der vorgeschlagene Rahmen als intraoperatives Entscheidungsunterstützungsinstrument dient.

Datensatzbeschreibung:

Das vorgeschlagene Modell wurde auf zwei Datensätzen ausgewertet: Datensatz A (CaDIS, Cataract Dataset for Image Segmentation) und dem SICS-105 (Small-Incision Cataract Surgery) Datensatz.

(i) CaDIS³¹: Dieser Datensatz wurde für die Aufgabe der Segmentierung in Katarakt-Operationsvideos entwickelt. Dies wird eingeführt, um den öffentlich verfügbaren CATARACTS-Challenge-Datensatz zu ergänzen und zielt somit darauf ab, die Entwicklung von DL-Schemata zur Analyse von chirurgischen Videos voranzutreiben. Der Datensatz besteht aus 25 Videoaufnahmen mit insgesamt 4.670 annotierten Bildern, die mehrere Stadien der Kataraktoperation darstellen (ergänzende Abbildung 1). Jeder Frame ist sorgfältig annotiert und liefert Pixel-Labels, die für das Training und die Schätzung des Segmentierungsschemas benötigt werden. Es dient als Maßstab zur Bewertung der Leistung des DL-Modells auf chirurgischen Videos.

(ii) SICS-105 (Kleinschnitt-Katarakt-Operation) Datensatz³²: Dieser Datensatz umfasst 105 Aufzeichnungen, die von Chirurgen durchgeführt und von vier Augenärzten über einen Zeitraum von 6 Monaten im Zeitraum 2023–2024 annotiert wurden und 20 Phasen abdecken (ergänzende Abbildung 2). Die gesamte Videodauer beträgt 22 Stunden und 39 Minuten, mit einer Auflösung von 1920 × 1080 Pixel (auf 960 × 540 Pixel reduziert) und 30 fps. Eine durchschnittliche Videolänge beträgt 12 Minuten und 57 Sekunden (σ=4:31 Min). Ein Datensatz ist im Zenodo-Repository unter der URL: https://doi.org/10.5281/zenodo.13847781 öffentlich zugänglich. Repräsentative Eingabestichproben sind in ergänzender Abbildung 1 und ergänzender Abbildung 2 dargestellt.Obwohl die Cadis- und SICS-105-Datensätze ursprünglich für die Erkennung und Segmentierung chirurgischer Phasen bei Kataraktoperationen entwickelt wurden, gibt es nur begrenzte Informationen zu Komplikationen postoperativer Vitrektomie. Um dem Mangel an Informationen zu postoperativen Vitrektomie-Komplikationen entgegenzuwirken, schlagen wir eine Reihe von Proxy-Labels für Risikoinformationen vor, die auf den visuellen Mustern und Ereignissen in der Videosequenz basieren. Die Frames und Videosequenzen in den Datensätzen wurden mit dreistufigen Risikoinformationen (niedrig, mittel, hoch) annotiert, basierend auf einer Reihe von Heuristiken, die von klinischem Verständnis inspiriert sind, darunter Instrument-Gewebe-Interaktionskomplexität, chirurgische Dauerauffälligkeiten, Okklusion, Instabilität und abnormale Bewegung. Die vorgeschlagene Formulierung verwendet klinische Ergebnisse nicht als Labels, sondern behandelt sie als Proxy-Labels für Risikoinformationen zu potenziellen postoperativen Komplikationen.

Vorverarbeitung mit cGAN-Ansatz

Typischerweise werden Rohbilder oft durch Beleuchtungsvariation, Unschärfe und spekulare Artefakte verschlechtert. Um dies zu beheben, wird ein bedingtes Generative-Adversarial-Netzwerk (cGAN) verwendet, um das Video zu verbessern. Rohbilder sind die ursprünglichen, unverarbeiteten Frames, die direkt aus intraoperativen Mikroskopie-Videoaufnahmen extrahiert wurden, bevor irgendeine Verbesserung oder Normalisierung erfolgt. Diese Bilder enthalten typischerweise Artefakte wie Beleuchtungsvariabilität, Bewegungsunschärfe, spiegelnde Reflexionen und Rauschen, die durch chirurgische Instrumente und Kamerabewegungen entstehen. Ein Generator stellt saubere Frames wieder her, während ein Diskriminator visuellen Realismus erzwingt. Die Zielfunktion, die Pixelrekonstruktion, adversariale und zeitliche Konsistenzverluste integriert und so artefakfreie, stabile Videosequenzen für weitere Analyse sicherstellt.

Ein degradierter Frame I_t im Zeitschritt t ist die Eingabe des Generators, während ein verbesserter Rahmen Y_t = G(I_t) seine Ausgabe ist. Unter der Bedingung des Eingangs I_t wird der Diskriminator darauf trainiert, zwischen dem erzeugten Output und dem Ground Truth Clean Frame Y_t zu unterscheiden. Das Trainingsziel umfasst mehrere Verlustfunktionen, um eine hochwertige Rekonstruktion zu gewährleisten: (i) adversarialer Verlust zur Erzwingung des Realismus; (ii) pixelweise Rekonstruktionsverlust (L1-Verlust) zur Aufrechterhaltung der Intensitätstreue; (iii) Wahrnehmungsverlust zur Erhaltung struktureller Konsistenz durch tiefe Merkmalsrepräsentationen; und (iv) zeitlichen Konsistenzverlust, um glatte Übergänge über aufeinanderfolgende Bilder zu gewährleisten und Flackernde Artefakte zu verhindern.

Um eine hochwertige Eingabe für die Feature-Extraktion zu gewährleisten, werden die intraoperativen Mikroskopievideos zunächst mit einem cGAN verbessert. Jeder rohe Frame I_t* gilt als degradierte Beobachtung eines sauberen Frames. Ein Generator G lernt eine Abbildung G(I_t) = I_t zur Wiederherstellung verbesserter Frames, während der Diskriminator D zwischen realen und generierten Samples unterscheidet. Ein Trainingsziel integriert adversarialen Verlust L_adv, , Wahrnehmungsverlust L_perc, pixelbasierte Rekonstruktionsverluste L_l1 und zeitliche Konsistenz _L-Temperatur. Dieses Modell unterdrückt Unschärfe, spekulare Artefakte und Rauschen, während zeitliche und strukturelle Kohärenz erhalten bleibt, wodurch stabile, artefakfreie Videosequenzen für die nachgelagerte Analyse entstehen. Die Formulierung von GAN wird in den Gleichungen [1-6] der Supplementary File 1 ausgedrückt.

Segmentierung mit Konturadaptiver Segmentierung (CAS)

Dabei wird die Segmentierung mit einem konturadaptiven Segmentierungsmodell durchgeführt. Dies definiert vorläufige Umrisse zur Segmentierung der betroffenen Vitrektomie-Bilder in Mikroskopiebildern und reduziert so die Energiefunktion, wie in den Gleichungen [7-12] in Supplementary File 1 gezeigt. Der niedrige Energiewert gewährleistet präzise Darstellungen und eine lokale Bewertung gefährdeter Regionen. Dies wiederum ermöglicht eine präzise Segmentierung der betroffenen Bereiche, was wiederum die Extraktion der Merkmale im folgenden Abschnitt erleichtert.

Feature-Extraktion mit dynamischem spatiotemporalem GCN(dGCN)

Sobald die Vorverarbeitungsphase abgeschlossen ist, besteht der nächste Schritt darin, diskriminierende raumzeitliche Merkmale zu extrahieren. Aus diesem Grund wird ein Graph Convolutional Network (GCN) verwendet, da es effektiv strukturierte Abhängigkeiten erfassen kann. Das übernommene Modell besteht aus gestapelten GCN-Schichten mit nichtlinearen Aktivierungen, die Überanpassungen mindern und das Gradientenverschwindungsproblem durch einen Normalisierungsmechanismus adressieren. Die GCN-Formulierung basiert auf einer spektralen Approximation erster Ordnung von Graphenfaltungen, was sie für groß angelegte, halbüberwachte Lernaufgaben geeignet macht. Darüber hinaus vereinfacht die linearisierte Darstellung die Optimierung und gewährleistet so effektives Parameterlernen. Die Operation des vereinfachten GCN wird in den Gleichungen [13–15] der ergänzenden Datei 1 ausgedrückt. Bei Anwendung extrahiert GCN effizient höherstufige strukturelle Darstellungen aus intraoperativen Videodaten. Anschließend werden nur die relevantesten oder passendsten Merkmale über einen optimierungsunterstützten Auswahlmechanismus erhalten, der im folgenden Abschnitt beschrieben wird.

Feature-Optimierung mit adaptiver Sonnenblumen-basierter Feature-Optimierung (ASFO)

Der Adaptive Sunflower Optimization Algorithm (ASFO) ist eine erweiterte Version des Classical Sunflower Optimization Approach (SFOA). Im vorgeschlagenen Modell wird dieser biologisch gesteuerte Prozess mathematisch modelliert, um Verfeinerungen und Merkmalsauswahl in einem hochdimensionalen Datensatz zu berücksichtigen. Konkret ist dieser Ansatz darauf ausgerichtet, die Konvergenzgeschwindigkeit zu verbessern, Exploration und Ausbeutung auszubalancieren, um die Lösungsvielfalt zu erhalten, und eine vorzeitige Konvergenz abzumildern. Die mathematische Formulierung von ASFO ist in den Gleichungen [16–21] der Supplementary File 1 dargelegt. Dieses Schema beschleunigt die Konvergenz, sobald die Lösungen nahe der Optimale sind. Der detaillierte Algorithmus ist in Supplementary File 1 bereitgestellt. In der vorgeschlagenen Pipeline wird ASFO verwendet, um den Merkmalsvektor nach der transformatorbasierten Fusion zu verfeinern. Die ausgewählten Merkmale sind texturbasiert, Farbe und Intensität, morphologisch und strukturell, bewegungs- und temporal, hochdimensionale und aufmerksamkeitsgewichtete Regionenbeschreibungen. Ziel ist es, die Funktion des Funktionsrelevanzverlusts zu minimieren und dadurch Features auszuwählen und zu gewichten, die die Klassifikationsgenauigkeit durch Redundanz verbessern.

Transformatorbasierter Klassifikationskopf mit raumzeitlichem Aufmerksamkeitspooling

Ein transformatorbasiertes Modell wird verwendet, um zeitliche Abhängigkeiten zwischen chirurgischen Videosequenzen zu erfassen. Das Modell ist mit Multi-Head-Self-Attention, Positionskodierung und vollständig verbundenen Schichten für die endgültige Risikoprognose konfiguriert. Die Hyperparameteroptimierung erfolgt mittels ASFO. Die integrierte Pipeline kombiniert Vorverarbeitung, Feature-Extraktion, Optimierung und transformatorbasierte Klassifikation, um eine genaue chirurgische Risikoprognose zu ermöglichen.

Ergebnisse

Um die Wirksamkeit des vorgeschlagenen Modells zu bewerten, wurden umfangreiche Experimente mit realen Vitrektomie-Datensätzen durchgeführt. Die Leistung wurde hinsichtlich der Vorverarbeitung, der Wirksamkeit der Merkmalsextraktion und der Vorhersagegenauigkeit bewertet.

Leistungsanalyse und vergleichende Schätzung

Die vorgeschlagene Methodik wurde mit Baseline-Modellen verglichen und verwendete Metriken wie Genaui...

Diskussion

Eine experimentelle Bewertung der Cadis- und SICS-105-Datensätze bestätigt die Robustheit und Überlegenheit des vorgeschlagenen Modells gegenüber traditionellen Ansätzen. Basismodelle wie ResNet-50, LSTM-CNN und segmentierungsgetriebene Netzwerke (UNet, DeepLabV3+, UPerNet, HRNetV2) schneiden recht gut ab, werden jedoch durch die inhärente intraoperative Videovariabilität behindert, einschließlich Veränderungen in Beleuchtung, Verschluss, Bewegungsunschärfe und Werkzeug-Gewebe-Interaktio...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Hochleistungs-Arbeitsstation	NVIDIA Corporation, USA	RTX-A6000	Für die Modellausbildung verwendet; 48 GB VRAM-GRAFIKKARTE mit Intel Core i9 CPU und 128 GB RAM
Python (v3.10)	Python Software Foundation	Open Source	Kernprogrammiersprache für Modellentwicklung und Experimente
TensorFlow (v2.15)	Google Research	Open Source	Framework, das zur Implementierung von cGAN-Vorverarbeitung und Transformer-Klassifikator verwendet wird
PyTorch (v2.2.0)	Meta-KI	Open Source	Verwendet zur Implementierung von GCN- und adaptiven Sonnenblumen-Optimierungsmodulen
CUDA Toolkit (v12.1)	NVIDIA Corporation	CUDA-12.1	Bietet GPU-Beschleunigung für alle Deep-Learning-Berechnungen
Bedingtes Generatives Adversariales Netzwerk (cGAN)	Adaptiert vom Pix2Pix-Framework	N/A	Verwendet zur Videoverbesserung und Artefaktentfernung während der Vorverarbeitung
Optischer Durchflussschätzer (RAFT)	Teed & Deng (ECCV 2020)	N/A	Gewährleistet zeitliche Konsistenz über Frames hinweg während der Vorverarbeitung
Konturadaptives Segmentierungsmodell (CAS)	Benutzerdefinierte Implementierung	N/A	Modifiziertes aktives Konturmodell für eine genaue Randsegmentierung in Vitrektomie-Videos
Dynamisches Graphen-Faltungsnetzwerk (GCN)	Benutzerdefinierte Implementierung (basierend auf Kipf & Welling, 2017)	N/A	Extrahiert räumliche Zeitbeziehungen zwischen Video-Feature-Knoten
Adaptiver Sonnenblumen-Optimierungsalgorithmus (ASFO)	Benutzerdefinierte Implementierung	N/A	Verwendet zur optimierten Merkmalauswahl und Dimensionsreduktion
Modell des Transformator-Encoders	Benutzerdefinierte Implementierung (basierend auf Vaswani et al., 2017)	N/A	Verwendet für die abschließende postoperative Komplikationsklassifikation mit spatiotemporalem Aufmerksamkeitspooling
Matplotlib (v3.8)	Python Software Foundation	Open Source	Verwendet zur Visualisierung von Leistungskennzahlen und Diagrammen
Seaborn (V0.13)	Python Software Foundation	Open Source	Verwendet für fortgeschrittene Visualisierungen und statistische Grafiken
Adam Optimizer	TensorFlow eingebaut	N/A	Für die Modellausbildung verwendet; Lernrate = 1e-4, & Beta; 1=0,9, β 2=0,999
Verlustfunktionssuite (L_adv, L_l1, L_perc, L_temp, L_G)	Benutzerdefinierte Implementierung	N/A	Definiert adversariale, wahrnehmbare, pixel- und zeitliche Verluste für GAN-Training
Betriebssystem	Ubuntu Linux 22.04 LTS	N/A	Basisumgebung für Deep-Learning-Experimente
Evaluationsmetrik-Paket	scikit-learn (v1.5.0)	Open Source	Verwendet zur Berechnung von Genauigkeit, Präzision, Rückruf, F1-Wert, AUC und mIoU