Artykuł badawczy

Filmy o analizie przestrzenno-czasowej operacji zaćmy opartej na głębokim uczeniu do oceny ryzyka chirurgicznego

DOI:

10.3791/70025

⸱

15 maja 2026

 ,  , 
1Associate Chief Physician and Director of Ophthalmology, North Sichuan Medical College, 2Attending Physician of Ophthalmology, Guangyuan Central Hospital, 3Associate Chief Physician, and Chief Technician of Health Management, North Sichuan Medical College

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie to przedstawia pipeline deep learning do przewidywania ryzyka chirurgicznego na podstawie filmów z mikroskopii śródoperacyjnej z wykorzystaniem preprocessingu, segmentacji, GCN, ASFO oraz modelowania transformatorów cGAN. Wysoka wydajność osiąga się na zbiorach danych CaDIS i SICS-105, choć ważność kliniczna jest ograniczona przez znakowanie pośrednie.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Powikłania pooperacyjne pozostają istotnym wyzwaniem w operacjach witrektomii, często prowadząc do upośledzenia wzroku i powtarzających się interwencji. Badanie przedstawia ramy głębokiego uczenia służące do przewidywania ryzyka chirurgicznego poprzez wyodrębnianie cech przestrzenno-czasowych z filmów mikroskopii śródoperacyjnej. Podczas wstępnego przetwarzania stosuje się techniki ulepszania wideo, w tym stabilizację ruchu, normalizację oświetlenia oraz tłumienie artefaktów oparte na cGAN, aby poprawić jakość danych wejściowych. Segmentacja adaptacyjna konturowa jest stosowana do wyznaczania odpowiednich regionów chirurgicznych, a następnie stosuje się sieci splotowe grafowe do ekstrakcji cech świadomych struktury. Zintegrowane jest podejście Adaptacyjnej Optymalizacji Słonecznika, aby udoskonalić wybór cech, a model oparty na transformatorze rejestruje zależności czasowe dla ostatecznej prognozy ryzyka. Ramy są oceniane na dwóch publicznych zbiorach danych: CaDIS i SICS-105. Model osiągnął dokładność 98,9%, precyzję 97,5%, 98,2% przypomnienia, 97,9% wynik F1 oraz 98,1% AUC na zbiorze danych CaDIS. Ponadto moduł segmentacji osiągnął 98,9% dokładności pikseli, 98,5% dokładności w każdej klasie oraz 96,6% mIoU. Model osiągnął dokładność 99,1%, 98,5% F1-score, 98,7% czułości, 98,7% specyficzności oraz AUC ROC na poziomie 99,10% na zbiorze danych SICS-105. Wyniki te wykazują stałą poprawę w porównaniu do modeli bazowych. Ogólnie rzecz biorąc, integracja wstępnego przetwarzania wzbogaconego GAN, uczenia cech opartego na grafach, optymalizacji oraz modelowania transformatorów zwiększa niezawodność predykcji. To podejście podkreśla potencjał intraoperacyjnej analizy wideo w celu wsparcia decyzji klinicznych w czasie rzeczywistym oraz poprawy stratyfikacji ryzyka pooperacyjnego.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Vitrektomia Pars plana (PPV) to podstawa do zabiegów chirurgicznych w leczeniu różnych chorób szklistosiatkówki, w tym odwarstwienia siatkówki, retinopatii cukrzycowej, dziury plamki żółtej oraz krwotokuszklistego 1. Pomimo postępu w instrumentacji chirurgicznej i wizualizacji, powikłania pooperacyjne pozostają istotnym źródłem zachorowalności, a skutki mogą obejmować drobne zaburzenia wzroku po zdarzenia zagrażające wzroku, takie jak nawracające odwarstwienie siatkówki, zapalenie błony oczkowej czy niekontrolowane ciśnienie wewnątrzgałkowe2. Identyfikacja pacjentów o wyższym ryzyku tych powikłań to kluczowa, niezaspokojona potrzeba w praktyce klinicznej, ponieważ umożliwia bardziej świadome planowanie operacji, spersonalizowaną opiekę pooperacyjną oraz terminowe interwencje3. Tradycyjnie ocena ryzyka w PPV opierała się na statycznych czynnikach przedoperacyjnych (takich jak choroby współistniejące i przedoperacyjne stany oka) oraz subiektywnej ocenie wewnątrzoperacyjnej przez chirurga 4,5,6,7. Ponadto niedawna operacja witrektomii jest szeroko udokumentowana na nagraniu z mikroskopii chirurgicznej w wysokiej rozdzielczości, co stanowi bogate, choć rzadko wykorzystywane źródło danych. Te zapisy rejestrują nie tylko cechy anatomiczne i patologiczne, ale także interakcje między chirurgem a tkanką, zdarzenia śródoperacyjne oraz ruchy chirurgiczne, które mogą przewidywać dalsze powikłania 8,9,10,11.

Deep Learning wykazał się niezwykłymi osiągnięciami w różnych dziedzinach okulistyki, w tym klasyfikacji obrazów w dnie dna, automatycznej ocenie umiejętności chirurgicznychoraz analizie optycznej tomografii koherencyjnej (OCT). Ponadto niektóre badania systematycznie wykorzystywały dane wideo wewnątrzoperacyjne do przewidywania wyników pooperacyjnych. Przestrzenno-czasowy charakter filmów chirurgicznych stawia przed sobą unikalne wyzwania: dane o wysokich wymiarach, zmienność między chirurgami, zależności czasowe, anatomia pacjenta oraz urządzenia 13,14,15,16. Jednak elokwentna integracja dziedziny klinicznej wymaga nie tylko dokładnych lub precyzyjnych prognoz, ale także odporności, interpretowalności i uogólnialności w różnych warunkach chirurgicznychw czasie rzeczywistym.

W dziedzinach okulistyki i chirurgicznej nauki o danych18 uczenie maszynowe (ML) i głębokie uczenie (DL) stały się ostatnio bardzo popularne. Ich zastosowania obejmują przewidywanie wyników, ocenę umiejętności chirurgicznych oraz diagnostykęobrazową 19. W kilku badaniach badane są ramy oparte na DL do zrozumienia sytuacji chirurgicznych wewnątrzoperacyjnych. Na przykład Nespolo20 wykazało uogólnialność między zadaniami, proponując pipeline DL do semantycznej interpretacji tkanek i narzędzi w chirurgii szklisto-oretotynkowej. Aby ułatwić obiektywną ocenę wydajności, rozszerzono ją o możliwość uzyskania kompleksowych danych dotyczących technik chirurgicznych oraz interakcji narzędzi–tkanka. W podobnym duchu Nespolo i in.21 wykazali wykonalność prowadzenia chirurgicznego, rozwijając model detekcji i segmentacji w czasie rzeczywistym wykorzystujący mikroskopię śródoperacyjną oraz sieć segmentacji instancji (YOLACT++).

Dodatkowo, metody oparte na AI zostały uznane za przydatne narzędzia do usprawniania przepływu pracy, szkoleń i oceny chirurgicznej22,23. Techniki te umożliwiają segmentację fazową, śledzenie instrumentów w czasie rzeczywistym oraz zwiększanie bezpieczeństwa w mikrochirurgii okulistycznej. Rosnące wykorzystanie uczenia maszynowego (ML) w analizie śródoperacyjnych zapisów chirurgicznych zostało dodatkowo potwierdzone przez przegląd systematyczny autorstwa Muellera i in.23, który również podkreślił obecne problemy z tłumaczeniem klinicznym i wiarygodnością. Kilka badań wykorzystało modele DL z obrazowaniem i danymi klinicznymi do przewidywania wyników pooperacyjnych. Na przykład modele oparte na OCT i cechach klinicznych były wykorzystywane do prognozowania wyników wzrokowych w przypadkach idiopatycznej błony nadorówki24, a podobne metody wykazały skuteczność w przewidywaniu wyników pooperacyjnych u pacjentów z dziurą plamki plamki w wieloośrodkowych zbiorach danych25. Inne badania koncentrowały się na określeniu nasilenia proliferacyjnej vitreoretinopatii przy użyciu wielomodalnych ram DL26 oraz przewidywaniu nawrotu odwarstwienia siatkówki za pomocą ultraszerokokątnegoobrazowania27. Ponadto przewidywano wyniki wzrokowe i leżące u podstaw etiologie chorób szklisto-retretinowych za pomocą modeli uczenia maszynowego, które uwzględniają zmienne demograficzne, kliniczne i chirurgiczne 28,29,30.

Pomimo tych osiągnięć, większość obecnych metod kładzie niewielki nacisk na dynamikę śródoperacyjną i opiera się głównie na danych przedoperacyjnych lub statycznym obrazowaniu pooperacyjnym. Chociaż niektóre badania wykorzystują analizę wideo chirurgicznego do segmentacji i oceny 20,21,22,23, nie uwzględniają bezpośrednio danych przestrzenno-czasowych wewnątrzoperacyjnych do przewidywania prawdopodobieństwa powikłań. W rezultacie wciąż istnieje znaczna luka w wykorzystaniu danych wideo mikroskopowego wewnątrzoperacyjnego do modelowania predykcyjnego. Aby stworzyć precyzyjne, klinicznie istotne ramy przewidywania powikłań po witrektomii pooperacyjnej, należy wypełnić tę lukę.

W tym badaniu przedstawiono nowatorski multimodalny framework DL, który integruje cechy przestrzenno-czasowe wyodrębnione z filmów o witrektomii wewnątrzoperacyjnej z ustrukturyzowanymi metadanymi klinicznymi w celu przewidywania ryzyka powikłań pooperacyjnych. Poprzez wykorzystanie zaawansowanych enkoderów wideo (takich jak architektury splotowe i oparte na transformatorach) oraz strategii fuzji metadanych18, ten schemat ma na celu rozpoznawanie ryzykownych zdarzeń śródoperacyjnych, dostarczanie skalibrowanych prawdopodobieństw powikłań oraz generowanie interpretowalnych wizualizacji dla lekarzy. Na podstawie wieloośrodkowych szacunków, analiz interpretowalności i badań porównawczych udowodniono wykonalność wykorzystania wideo śródoperacyjnego jako predykcyjnego biomarkera dla wyniku chirurgicznego18. Głównym celem tego projektu jest opracowanie silnych ram DL, które wykorzystują dane przestrzenno-czasowe z nagrań mikroskopu śródoperacyjnego do prognozowania powikłań pooperacyjnych podczas witrektomii. Pod względem dokładności predykcyjnej i uogólnienia, proponowane zintegrowane podejście, łączące wstępne przetwarzanie oparte na cGAN, ekstrakcję cech sterowanych GCN, optymalizację opartą na ASFO oraz modelowanie oparte na transformatorach, ma przewyższyć obecne metody.

Efektywnie wykorzystuje się materiały wideo z mikroskopu wewnątrzoperacyjnego, aby przedstawić kompleksowe ramy DL do przewidywania problemów po witrektomii po operacji. W przeciwieństwie do obecnych metod, które opierają się głównie na statycznych metodach obrazowania lub danych klinicznych przed operacją, proponowana metodologia łączy zaawansowane techniki uczenia maszynowego z analityką wideo przestrzenno-czasową w nowatorski sposób. W szczególności metodologia wykorzystuje sieci splotowe grafów (GCN) do rejestrowania relacji strukturalnych i relacyjnych w scenach chirurgicznych, segmentację konturową (CAS) do precyzyjnego wyznaczania regionów oraz moduł wideo oparty na cGAN do tłumienia artefaktów. Ponadto, aby poprawić zbieżność modelu i zdolność dyskryminacyjną, stosuje się algorytm Adaptive Sunflower Optimization (ASFO), który równoważy eksplorację i eksploatację przy wyborze cech. Na koniec, dynamika czasowa w sekwencjach chirurgicznych modelowana jest za pomocą architektury opartej na transformatorze z poolingiem uwagi przestrzenno-czasowej. To znacząca poprawa w stosunku do obecnych pipeline'ów, ta kompleksowa integracja preprocessingu, segmentacji, uczenia cech opartych na grafach, optymalizacji oraz prognozowania opartego na uwagi, umożliwia dokładniejsze, bardziej wiarygodne i klinicznie istotne prognozowanie ryzyka. Zbiory danych CaDIS i SICS-105 są wykorzystywane w tym badaniu jako zastępcze zbiory wizualne do poznawania wewnątrzoperacyjnych cech przestrzenno-czasowych, mimo że ich głównym celem jest analiza operacji zaćmy. Zamiast używać wyraźnie oznaczonych etykiet powikłań, cechy te są następnie wykorzystywane do modelowania i wnioskowania o ryzyku problemów z witrektomią po operacji.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Zbiory danych CaDIS i SICS-105 użyte w tym badaniu są publicznie dostępne i zostały pierwotnie zebrane za zgodą instytucjonalnej komisji przeglądowej oraz świadomą zgodą, zgodnie z ich publikacjami. Badanie to obejmuje jedynie analizę wtórną w pełni zanonimizowanych danych, dlatego nie wymagano dodatkowej zgody etycznej ani świadomej zgody.

Sugerowany model został zaprojektowany do przewidywania powikłań po witrektomii pooperacyjnej poprzez wykorzystanie wzorców przestrzenno-czasowych z filmów z mikroskopii śródoperacyjnej. Potok składa się z czterech głównych etapów: wstępnego przetwarzania, segmentacji, ekstrakcji cech, optymalizacji cech oraz klasyfikacji, jak pokazano na Rysunku 1.

Celem przewidywania badania jest śródoperacyjna ocena ryzyka powikłań pooperacyjnych. Model nie może prognozować klinicznie zweryfikowanych zdarzeń pooperacyjnych w określonym przedziale czasowym, ponieważ zbiory danych CaDIS i SICS-105 nie zawierają danych z podłużnej obserwacji. Zamiast tego wykorzystuje wzorce chirurgiczne wewnątrzoperacyjne, aby wywnioskować prawdopodobieństwo możliwych problemów. Definicje operacyjne "powikłania" w tym kontekście obejmują nieregularne przejścia fazowe, anomalne interakcje instrument–tkanka oraz zmiany w przebiegu pracy chirurgicznego związane z większą złożonością chirurgiczną. Aby zapewnić interpretowalność i wiarygodną ocenę, zadanie predykcyjne jest zaprojektowane jako problem klasyfikacji binarnej, klasyfikując przypadki na grupy niskiego i wysokiego ryzyka. Zamiast służyć jako bezpośredni system diagnostyki klinicznej, ta formuła pozwala sugerowanemu ramowi pełnić rolę narzędzia wsparcia decyzji wewnątrzoperacyjnego.

Opis zbioru danych:

Proponowany model został oceniony na dwóch zbiorach danych: zbiorze A (CaDIS, Cataract Dataset for Image Segmentation) oraz SICS-105 (Small-Cision Caceract Surgery).

(i) CaDIS31: Ten zbiór danych został opracowany do zadania segmentacji w filmach o operacjach zaćmy. Zostało ono wprowadzone jako uzupełnienie publicznie dostępnego zestawu danych wyzwań CATARACTS i tym samym ma na celu rozwój schematów DL do analizy filmów chirurgicznych. Zbiór danych składa się z 25 nagrań wideo o łącznej liczbie 4 670 klatek z adnotacjami, przedstawiających kilka etapów operacji zaćmy (Rysunek uzupełniający 1). Każda klatka jest skrupulatnie opatrzona, dostarczając etykiety na poziomie pikseli potrzebne do trenowania i szacowania schematu segmentacji. Stanowi ona punkt odniesienia do oceny wydajności modelu DL w filmach chirurgicznych.

(ii) Zestaw danych SICS-105 (mało-nacięciowa operacja zaćmy)32: Ten zbiór danych zawiera 105 nagrań wykonanych przez chirurgów i opatrzonych adnotacjami przez czterech okulistów w ciągu 6 miesięcy w latach 2023–2024, obejmujących 20 faz (Rysunek uzupełniający 2). Całkowity czas trwania wideo wynosi 22 godziny i 39 minut, rozdzielczość 1920 × 1080 pikseli (próbkowanie do 960 × 540) oraz 30 klatek na ps. Średnia długość wideo to 12 minut i 57 sekund (σ=4:31 min). Zbiór danych jest publicznie dostępny w repozytorium Zenodo pod adresem URL: https://doi.org/10.5281/zenodo.13847781. Reprezentatywne próbki wejściowe przedstawiono na Rysunku Uzupełniającym 1 oraz Rysunku Uzupełniającym 2. Chociaż zbiory danych CaDIS i SICS-105 zostały pierwotnie zaprojektowane do rozpoznawania fazy chirurgicznej i segmentacji w chirurgii zaćmy, informacje o powikłaniach po witrektomii pooperacyjnej są ograniczone. Aby zniwelować brak informacji o powikłaniach po witrektomii pooperacyjnej, proponujemy zestaw wskaźników zastępczych dla informacji o ryzyku opartych na wzorcach wzrokowych i zdarzeniach wewnątrzoperacyjnych w sekwencji wideo. Klatki i sekwencje wideo w zbiorach danych zostały opatrzone trzypoziomowymi informacjami o ryzyku (niskie, umiarkowane, wysokie) zgodnie z zestawem heurystyk inspirowanych zrozumieniem klinicznym, w tym złożoności interakcji instrument-tkanka, nieprawidłowościami w czasie operacji, zasłoną, niestabilnością oraz nieprawidłowym ruchem. Proponowana formuła nie wykorzystuje wyników klinicznych jako etykiet, lecz traktuje je jako etykiety zastępcze informacji o ryzyku potencjalnych powikłań pooperacyjnych.

Wstępne przetwarzanie przy użyciu podejścia cGAN

Zazwyczaj surowe klatki są często degradowane przez zmiany oświetlenia, rozmycie i artefakty zwierciane. Aby temu zaradzić, stosuje się warunkową Generatywną Sieć Przeciwnikadową (cGAN), która wzbogaca wideo. Surowe klatki to oryginalne, nieprzetworzone klatki wyodrębnione bezpośrednio z nagrań wideo mikroskopii wewnątrzoperacyjnej, przed jakimkolwiek ulepszeniem lub normalizacją. Te ramki zazwyczaj zawierają artefakty takie jak zmienność oświetlenia, rozmycie ruchu, refleksje zrcadłowe oraz szum powstający z instrumentów chirurgicznych i ruchu kamery. Generator przywraca czyste klatki, podczas gdy dyskryminator wymusza realizm wizualny. Funkcja celowa integruje rekonstrukcję pikseli, utraty spójności przeciwnikającej i czasowej, zapewniając sekwencje wideo wolne od artefaktów i stabilne do dalszej analizy.

Zdegradowana ramka It w kroku czasowym t jest wejściem generatora, natomiast ulepszona ramka Yt = G(It) jest jego wyjściem. Warunkowany na wejściu It, dyskryminator jest trenowany w rozróżnianiu wygenerowanego wyjścia od ramki Yt, która jest czysta z rzeczywistości. Cel szkolenia obejmuje kilka funkcji strat, aby zapewnić wysokiej jakości rekonstrukcję: (i) straty przeciwnika w celu wymuszenia realizmu; (ii) straty rekonstrukcji według pikseli (L1), aby zachować wierność intensywności; (iii) straty percepcji w celu zachowania spójności strukturalnej przy użyciu głębokich reprezentacji cech; oraz (iv) utratę spójności czasowej, aby zapewnić płynne przejścia między kolejnymi klatkami i zapobiec migotaniu artefaktów.

Aby zapewnić wysokiej jakości dane wejściowe do wyodrębniania cech, filmy z mikroskopii wewnątrzoperacyjnej są początkowo wzbogacane za pomocą cGAN. Każda surowa klatka It* jest uważana za zdegradowaną obserwację czystej klatki . Generator G uczy się odwzorowania G(It) = It dla przywrócenia rozszerzonych ram, podczas gdy dyskryminator D rozróżnia próbki rzeczywiste od generowanych. Cel treningowy integruje straty przeciwstawne Ladv, , straty percepcyjne Lperc straty rekonstrukcyjne oparte na pikselach LL1 oraz spójność czasową L temp.. Model ten tłumi rozmycie, artefakty zwierciaste i szumy, jednocześnie zachowując spójność czasową i strukturalną, co pozwala uzyskać stabilne, wolne od artefaktów sekwencje wideo do dalszej analizy. Formuła GAN została wyrażona w równaniach [1-6] Pliku Uzupełniającego 1.

Segmentacja za pomocą adaptacyjnej segmentacji konturowej (CAS)

W tym przypadku segmentacja jest realizowana za pomocą modelu segmentacji adaptacyjnej konturowej. Określa to wstępne kontury segmentacji obrazów witektomii dotkniętych w obrazach mikroskopowych, co zmniejsza funkcję energii, jak pokazano w równaniach [7-12] w pliku uzupełniającym 1. Niska wartość energetyczna zapewnia precyzyjne przedstawienia i lokalizowaną ocenę regionów zagrożonych. To z kolei umożliwia precyzyjną segmentację obszarów dotkniętych, co następnie ułatwia ekstrakcję cech w kolejnej sekcji.

Ekstrakcja cech z wykorzystaniem dynamicznego GCN przestrzenno-czasowego (dGCN)

Po zakończeniu etapu wstępnego przetwarzania kolejnym krokiem jest wyodrębnienie dyskryminacyjnych cech przestrzenno-czasowych. Z tego powodu stosuje się sieć grafową splotową (GCN), ponieważ jest ona skuteczna w przechwytywaniu zależności strukturalnych. Przyjęty model składa się ze warstw GCN z nieliniowymi aktywacjami, które łagodzą przespasowywanie i rozwiązują problem zanikania gradientu poprzez mechanizm normalizacyjny. Formuła GCN opiera się na przybliżeniu spektralnym pierwszego rzędu splotów grafów, co czyni ją odpowiednią do dużych zadań uczenia się półnadzorowanego. Ponadto linearyzowana reprezentacja upraszcza optymalizację, zapewniając tym samym efektywne uczenie parametrów. Działanie uproszczonego GCN zostało wyrażone w równaniach [13–15] Pliku Uzupełniającego 1. Po zastosowaniu GCN efektywnie wyodrębnia wyższe reprezentacje strukturalne z danych wideo wewnątrzoperacyjnych. Następnie tylko najbardziej istotne lub odpowiednie cechy są zachowywane w mechanizmie selekcji wspomaganej optymalizacją, który zostanie opisany w kolejnej sekcji.

Optymalizacja cech z wykorzystaniem adaptacyjnej optymalizacji cech opartej na słoneczniku (ASFO)

Adaptacyjny Algorytm Optymalizacji Słonecznika (ASFO) jest ulepszoną wersją Klasycznego Podejścia Optymalizacji Słonecznika (SFOA). W sugerowanym modelu ten biologicznie napędzany proces jest matematycznie modelowany, aby uwzględnić udoskonalenia i wybór cech w wysokowymiarowym zbiorze danych. Konkretnie, to podejście jest dostosowane do poprawy prędkości konwergencji, równoważenia eksploracji i eksploatacji w celu zachowania różnorodności rozwiązań oraz ograniczenia przedwczesnej konwergencji. Matematyczne sformułowanie ASFO zostało przedstawione w równaniach [16–21] Pliku Uzupełniającego 1. Ten schemat przyspiesza zbieżność, gdy rozwiązania są bliskie optymalnym. Szczegółowy algorytm znajduje się w Pliku Uzupełniającym 1. W proponowanym potoku ASFO służy do doprecyzowania wektora cech po fuzji opartej na transformatorze. Wybrane cechy opierają się na teksturze, kolorze i intensywności, morfologii i strukturze, ruchu oraz tempalnych, wysokowymiarowych oraz obszarach ważonych według uwagi. Celem jest zminimalizowanie funkcji utraty trafności cech, a tym samym wybór i ważenie cech zwiększających dokładność klasyfikacji poprzez redukcję redundancji.

Głowica klasyfikacyjna oparta na transformatorze z poolingiem uwagi przestrzenno-czasowej

Model oparty na transformatorze służy do rejestrowania zależności czasowych w sekwencjach wideo chirurgicznych. Model jest skonfigurowany z wielogłową samouwagą, kodowaniem pozycyjnym oraz w pełni połączonymi warstwami do ostatecznej prognozy ryzyka. Optymalizacja hiperparametrów jest wykonywana za pomocą ASFO. Zintegrowany pipeline łączy preprocessing, ekstrakcję cech, optymalizację oraz klasyfikację opartą na transformatorach, umożliwiając dokładne przewidywanie ryzyka chirurgicznego.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aby ocenić skuteczność proponowanego modelu, przeprowadzono szeroko zakrojone eksperymenty z wykorzystaniem rzeczywistych zbiorów danych z witrektomii. Oceniano wydajność w zakresie preprocessingu, skuteczności ekstrakcji cech oraz dokładności predykcji.

Analiza wydajności i porównawcze oszacowanie

Proponowana metodologia została porównana z modelami bazowymi z wykorzystaniem wskaźników takich jak dokładność, precyzja, przypomnienie, F1-score, mIoU,...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Eksperymentalna ocena zbiorów danych CaDIS i SICS-105 potwierdza odporność i wyższość proponowanego modelu nad tradycyjnymi podejściami. Modele bazowe, takie jak ResNet-50, LSTM-CNN oraz sieci sterowane segmentacją (UNet, DeepLabV3+, UPerNet, HRNetV2), działają stosunkowo dobrze, ale są ograniczone przez wrodzoną zmienność wideo wewnątrzoperacyjną, w tym zmiany oświetlenia, zasłony, rozmycie ruchu oraz interakcje narzędzi-tkanka22,23. Te ograniczenia prowadziły d...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają żadnych konfliktów interesów do ujawnienia.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy pragną podziękować North Sichuan Medical College za zapewnienie niezbędnego wsparcia instytucjonalnego i zasobów. Szczególne podziękowania dla personelu klinicznego Centralnego Szpitala Guangyuan za pomoc w zbieraniu nagrań z mikroskopii śródoperacyjnej.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Stacja robocza o wysokiej wydajnościNVIDIA Corporation, USARTX-A6000Wykorzystywane do treningu modeli; 48 GB GPU VRAM z procesorem Intel Core i9 i 128 GB RAM
Python (v3.10)Python Software FoundationOpen SourcePodstawowy język programowania do tworzenia modeli i eksperymentowania
TensorFlow (wersja 2.15)Google ResearchOpen SourceFramework używany do implementacji wstępnego przetwarzania cGAN i klasyfikatora Transformer
PyTorch (wersja 2.2.0)Meta AIOpen SourceWykorzystywane do implementacji modułów GCN i Adaptive Sunflower Optimization
CUDA Toolkit (wersja 12.1)NVIDIA CorporationCUDA-12.1Zapewnia przyspieszenie GPU dla wszystkich obliczeń związanych z głębokim uczeniem
Warunkowa Generatywna Sieć Adwersarna (cGAN)Adaptacja z Pix2Pix FrameworkNie maWykorzystywane do ulepszania obrazu i usuwania artefaktów podczas wstępnego przetwarzania
Optyczny estymator przepływu (RAFT)Teed & Deng (ECCV 2020)Nie maZapewnia spójność czasową między ramkami podczas wstępnego przetwarzania
Model adaptacyjnej segmentacji konturowej (CAS)Implementacja niestandardowaNie maZmodyfikowany aktywny model konturowy do dokładnej segmentacji granic w filmach o witrektomii
Dynamiczna sieć splotowa grafów (GCN)Niestandardowa implementacja (oparta na Kipf & Welling, 2017)Nie maEkstrakty wyodrębniają relacje czasoprzestrzenne między węzłami cech wideo
Adaptacyjny algorytm optymalizacji słonecznika (ASFO)Implementacja niestandardowaNie maWykorzystywane do optymalnego wyboru cech i redukcji wymiarowości
Model enkodera transformatoraImplementacja niestandardowa (na podstawie Vaswani i in., 2017)Nie maWykorzystywane do ostatecznej klasyfikacji powikłań pooperacyjnych z grupowaniem uwagi przestrzenno-czasowej
Matplotlib (v3.8)Python Software FoundationOpen SourceWykorzystywane do wizualizacji metryk wydajności i wykresów
Seaborn (wersja 0.13)Python Software FoundationOpen SourceWykorzystywane do zaawansowanej wizualizacji i grafiki statystycznej
Adam OptimizerTensorFlow wbudowanyNie maWykorzystywane do treningu modeli; tempo uczenia = 1e-4, β 1=0,9, β 2=0,999
Pakiet Loss Function (L_adv, L_l1, L_perc, L_temp, L_G)Implementacja niestandardowaNie maDefiniuje straty przeciwne, percepcyjne, pikselowe i czasowe dla treningu GAN
System operacyjnyUbuntu Linux 22.04 LTSNie maŚrodowisko bazowe do eksperymentów z głębokim uczeniem
Pakiet Metryk Ocenyscikit-learn (wersja 1.5.0)Open SourceUżywane do obliczania dokładności, precyzji, przywołania, wyniku F1, AUC i mIoU

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Zhang, Z. R., Li, J. J., Li, K. R. Artificial intelligence in individualized retinal disease management. Int. J. Ophthalmol. 17, 1519(2024).
  2. Liu, Y., et al. Automated detection of nine infantile fundus diseases and conditions in retinal images using a deep learning system. EPMA J. 15, 39-51 (2024).
  3. Wang, X. N., et al. A deep learning system for detection of optic disc neovascularization in diabetic retinopathy. Vis. Comput. 41, 1293-1302 (2025).
  4. Ni, L., et al. Prediction of postoperative macular hole status by automated preoperative retinal OCT analysis. Ophthalmic Surg. Lasers Imaging Retina. 56, 355-360 (2025).
  5. Mathews, M. R., Anzar, S. M. Advancing computer-assisted diabetic retinopathy grading. Int. J. Imaging Syst. Technol. 35, e70152(2025).
  6. Wu, X. Y., et al. Bibliometric analysis of global myopia research. Int. J. Ophthalmol. 17, 940(2024).
  7. Rahat, S. R. U. I., et al. Advancing diabetic retinopathy detection with AI and deep learning. Br. J. Nurs. Stud. 5, 1-13 (2025).
  8. Rezaei, A., et al. Automated multimodal severity assessment of diabetic retinopathy. SSRN. , (2024).
  9. Suzue, M., et al. Predicting visual outcomes after vitrectomy. Graefes Arch. Clin. Exp. Ophthalmol. 263, 2505-2513 (2025).
  10. Sabeena, A. S., Jeyakumar, M. K. Ensemble deep learning for diabetic retinopathy classification. Biomater. Devices. , (2025).
  11. Gencer, K., et al. GAN-based approach for diabetic retinopathy detection. Photodiagn. Photodyn. Ther. 53, 104552(2025).
  12. Huang, Z., et al. Risk prediction model for neovascular glaucoma. Front. Cell Dev. Biol. 13, 1604832(2025).
  13. Wang, Y., Liu, L., Wang, C. Trends in deep learning for biomedical prediction. Front. Neurosci. 17, 1256351(2023).
  14. Tang, J., et al. Ectopic inner foveal layer as prognostic predictor. Sci. Rep. 15, 25066(2025).
  15. Shamsan, A., et al. Predicting diabetic retinopathy stages using deep learning. PLoS One. 18, e0289555(2023).
  16. Baldi, P. F., et al. Vitreoretinal surgical instrument tracking. Transl. Vis. Sci. Technol. 12, 20(2023).
  17. Yuan, S., et al. Risk factors after vitrectomy with silicone oil. Sci. Rep. 13, 10423(2023).
  18. Wei, Y., et al. DRDB platform for diabetic retinopathy. Oxid. Med. Cell Longev. 2022, 1718353(2022).
  19. Yagin, F. H., et al. Explainable AI for metabolomics analysis. Diagnostics. 14, 1364(2024).
  20. Nespolo, R. G. Intraoperative artificial intelligence in ophthalmology. , University of Illinois Chicago. Doctoral dissertation (2024).
  21. Nespolo, R. G., et al. Real-time segmentation in vitreoretinal surgery. Ophthalmol. Retina. 7, 236-242 (2023).
  22. Mishra, K., Leng, T. Artificial intelligence and ophthalmic surgery. Curr. Opin. Ophthalmol. 32, 425-430 (2021).
  23. Mueller, S., et al. AI in cataract surgery: systematic review. Transl. Vis. Sci. Technol. 13, 20(2024).
  24. Wen, D., et al. Postoperative visual acuity prediction. BMC Ophthalmol. 23, 361(2023).
  25. Hu, Y., et al. Prediction of macular hole status. Ann. Transl. Med. 9, 51(2021).
  26. Catania, F., et al. Deep learning for retinal detachment recurrence. Acta Ophthalmol. 102, e984-e993 (2024).
  27. Gan, F., et al. AI-PVR Insight system. Quant. Imaging Med. Surg. 15, 2774(2025).
  28. Lee, S. S., et al. Prediction after diabetic vitrectomy. Transl. Vis. Sci. Technol. 11, 25(2022).
  29. Kamnig, R., et al. Neural network for visual acuity prediction. Ophthalmol. Sci. 5, 100762(2025).
  30. Kim, J., et al. Prediction of vitreous hemorrhage causes. Diagnostics. 15, 371(2025).
  31. Flouty, E., et al. CaDIS dataset. CoRR. abs/1905.08993, (2019).
  32. Mueller, S., et al. Phase recognition in cataract surgery. Sci. Rep. 15, 16886(2025).
  33. Aravinda, C. V., et al. Hybrid architecture for video frame prediction. J. Real-Time Image Process. 22, 50(2025).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Deep Learning FrameworkIntraoperative Video AnalysisVideo EnhancementContour Adaptive SegmentationGraph Convolutional NetworksTransformer ModelClinical Decision Support

Powiązane artykuły