Onderzoeksartikel
Deze studie presenteert een deep learning-pijplijn voor het voorspellen van chirurgisch risico uit intraoperatieve microscopievideo's met behulp van cGAN preprocessing, segmentatie, GCN, ASFO en transformatormodellering. Hoge prestaties worden behaald op CaDIS en SICS-105 datasets, hoewel de klinische validiteit beperkt is door indirecte labeling.
Postoperatieve complicaties blijven een aanzienlijke uitdaging bij een virectomie-operatie, wat vaak leidt tot verminderde visuele uitkomsten en herhaalde interventies. Deze studie presenteert een deep learning-kader om chirurgisch risico te voorspellen door ruimtelijke en temporele kenmerken uit intraoperatieve microscopievideo's te extraheren. Tijdens de voorverwerking worden videoverbeteringstechnieken toegepast, waaronder bewegingsstabilisatie, verlichtingsnormalisatie en cGAN-gebaseerde artefactonderdrukking, om de inputkwaliteit te verbeteren. Contour-adaptieve segmentatie wordt gebruikt om relevante chirurgische gebieden af te bakenen, gevolgd door Graph Convolutional Networks voor structuurbewuste feature-extractie. Een Adaptive Sunflower Optimization-benadering is geïntegreerd om de selectie van kenmerken te verfijnen, en een transformer-gebaseerd model legt temporele afhankelijkheden vast voor de definitieve risicovoorspelling. Het raamwerk wordt geëvalueerd op twee openbare datasets, CaDIS en SICS-105. Het model behaalde 98,9% nauwkeurigheid, 97,5% precisie, 98,2% recall, 97,9% F1-score en 98,1% AUC op de CaDIS-dataset. Bovendien behaalde de segmentatiemodule 98,9% pixelnauwkeurigheid, 98,5% per klasse nauwkeurigheid en 96,6% mIoU. Het model behaalde 99,1% nauwkeurigheid, 98,5% F1-score, 98,7% gevoeligheid, 98,7% specificiteit en een ROC AUC van 99,10% op de SICS-105 dataset. Deze resultaten tonen consistente verbeteringen ten opzichte van basismodellen. Over het algemeen verbetert het integreren van GAN-verbeterde preprocessing, grafgebaseerd feature learning, optimalisatie en transformermodellering de voorspellende betrouwbaarheid. Deze aanpak benadrukt het potentieel van intraoperatieve videoanalyse voor realtime klinische beslissingsondersteuning en verbeterde postoperatieve risicostratificatie.
Pars plana vitrectomie (PPV) is een basis voor chirurgische ingrepen bij de behandeling van diverse vitreoretinale aandoeningen, waaronder netvliesloslating, diabetische retinopathie, maculagat en glasvochtbloeding1. Ondanks de vooruitgang in chirurgische instrumentatie en visualisatie blijven postoperatieve complicaties een belangrijke bron van morbiditeit, met uitkomsten variërend van kleine visuele stoornissen tot gezichtsbedreigende gebeurtenissen zoals terugkerende netvliesloslating, endoftalmmitis of ongecontroleerde intraoculaire druk2. Het identificeren van patiënten met een hoger risico op deze complicaties is een cruciale, onvervulde behoefte in de klinische praktijk, omdat dit een beter geïnformeerde chirurgische planning, gepersonaliseerde postoperatieve zorg en tijdige interventies mogelijk maakt3. Traditioneel is de risicobeoordeling bij PPV gebaseerd op statische preoperatieve factoren (zoals comorbiditeiten en preoperatieve oogaandoeningen) en subjectief intraoperatief oordeel door de chirurg 4,5,6,7. Bovendien wordt recente vitrictomie-operaties uitgebreid gedocumenteerd via een hoge-resolutie chirurgische microscopievideo, wat een rijke, maar onderbenutte bron van gegevens biedt. Deze opnames leggen dus niet alleen anatomische en pathologische kenmerken vast, maar ook chirurg-weefselinteracties, intraoperatieve gebeurtenissen en chirurgische bewegingen die mogelijk verdere complicaties voorspellen 8,9,10,11.
Deep Learning heeft opmerkelijke prestaties getoond op verschillende gebieden binnen de oogheelkunde, waaronder fundusbeeldclassificatie, geautomatiseerde chirurgische vaardigheidsbeoordeling en Optical Coherence Tomography (OCT)-analyse12. Bovendien hebben sommige studies systematisch intraoperatieve videodata gebruikt om postoperatieve uitkomsten te voorspellen. De ruimtelijke en temporele aard van chirurgische video's brengt unieke uitdagingen met zich mee: hoogdimensionale data, variabiliteit tussen chirurgen, temporele afhankelijkheden, patiëntanatomie en apparaten 13,14,15,16. Een welsprekende integratie van het klinische domein vereist echter niet alleen nauwkeurige of precieze voorspellingen, maar ook robuustheid, interpreteerbaarheid en generaliseerbaarheid over chirurgische omgevingen in realtime17.
Op het gebied van oogheelkunde en chirurgische datawetenschapzijn machine learning (ML) en deep learning (DL) recentelijk erg populair geworden. Hun toepassingen omvatten uitkomstvoorspelling, evaluatie van chirurgische vaardigheden en diagnostische beeldvorming19. Op DL gebaseerde kaders voor het begrijpen van intraoperatieve chirurgische situaties zijn in verschillende studies onderzocht. Zo toonde Nespolo20 generaliseerbaarheid over taken aan door een DL-pijplijn voor te stellen voor de semantische interpretatie van weefsels en instrumenten in de vitreoretinale chirurgie. Om objectieve prestatie-evaluatie te vergemakkelijken, werd dit verder uitgebreid om uitgebreide gegevens over chirurgische technieken en instrument-weefselinteracties te kunnen extraheren. In een vergelijkbare lijn toonden Nespolo et al.21 de haalbaarheid van chirurgische begeleiding aan door een realtime detectie- en segmentatiemodel te ontwikkelen met gebruik van intraoperatieve microscopie en een instantiesegmentatienetwerk (YOLACT++).
Daarnaast zijn AI-gedreven methoden erkend als nuttige hulpmiddelen voor het verbeteren van workflow, training en chirurgische evaluatie 22,23. Deze technieken maken fasesegmentatie, realtime instrumenttracking en verhoogde veiligheid in oogheelkundige microchirurgie mogelijk. Het toenemende gebruik van machine learning (ML) bij de analyse van intraoperatieve chirurgische opnames werd verder aangetoond door een systematische review van Mueller et al.23, die ook actuele problemen met klinische vertaling en betrouwbaarheid benadrukte. Verschillende studies hebben DL-modellen met beeldvorming en klinische gegevens gebruikt om postoperatieve uitkomsten te voorspellen. Zo zijn modellen gebaseerd op OCT en klinische kenmerken gebruikt om visuele uitkomsten te voorspellen in gevallen van idiopathisch epiretinal membraan24, en vergelijkbare methoden hebben effectiviteit aangetoond bij het voorspellen van postoperatieve uitkomsten bij patiënten met maculaire gaten in multi-center datasets25. Andere studies hebben zich gericht op het bepalen van de ernst van proliferatieve vitreoretinopathie met behulp van multimodale DL-kaders26 en het voorspellen van terugval van netvliesloslating met ultra-grootveldbeeldvorming27. Bovendien zijn visuele uitkomsten en onderliggende etiologieën bij vitreoretinale aandoeningen voorspeld met behulp van machine learning-modellen die demografische, klinische en chirurgische variabelen meenemen 28,29,30.
Ondanks deze ontwikkelingen leggen de meeste huidige methoden weinig nadruk op intraoperatieve dynamiek en vertrouwen ze voornamelijk op preoperatieve data of statische postoperatieve beeldvorming. Hoewel sommige studies chirurgische videoanalyse gebruiken voor segmentatie en evaluatie 20,21,22,23, integreren ze niet direct ruimtelijke intraoperatieve gegevens om de kans op complicaties te voorspellen. Als gevolg hiervan is er nog steeds een aanzienlijke kloof in het gebruik van intraoperatieve microscopische videodata voor voorspellende modellering. Om precieze, klinisch significante kaders te creëren voor het voorspellen van complicaties van postoperatieve vitrectomie, moet deze kloof worden opgevuld.
In deze studie wordt een nieuw multimodaal DL-framework gepresenteerd dat ruimtelijke en temporele kenmerken uit intraoperatieve vitrictomievideo's integreert met gestructureerde klinische metadata om het risico op postoperatieve complicaties te voorspellen. Door gebruik te maken van geavanceerde video-encoders (zoals convolutionele en transformer-gebaseerde architecturen) samen met metadata fusion strategies18, is dit schema bedoeld om intraoperatieve gebeurtenissen met hoog risico te herkennen, gekalibreerde complicatiekansen te bieden en interpreteerbare visualisaties voor artsen te genereren. Door multi-center schatting, interpreteerbaarheidsanalyses en vergelijkende studies wordt de haalbaarheid aangetoond van het gebruik van intraoperatieve video als voorspellende biomarker voor het chirurgische resultaat18. Het ontwikkelen van een sterk DL-kader dat gebruikmaakt van ruimtelijke tijdsgegevens uit intraoperatieve microscoopopnames om postoperatieve complicaties bij een vitrictomie-operatie te voorspellen, is het primaire doel van dit project. Wat betreft voorspellende nauwkeurigheid en generalisatie wordt verwacht dat de voorgestelde geïntegreerde aanpak, die cGAN-gebaseerde preprocessing, GCN-gedreven feature-extractie, ASFO-gebaseerde optimalisatie en transformer-gebaseerde modellering combineert, stroommethoden zal overtreffen.
Dit werk maakt efficiënt gebruik van intraoperatieve microscoopvideo's om een uitgebreid DL-kader te presenteren voor het voorspellen van postoperatieve vitrectomieproblemen. In tegenstelling tot de huidige methoden, die voornamelijk steunen op statische beeldvormingsmodaliteiten of preoperatieve klinische gegevens, combineert de voorgestelde methodologie geavanceerde machine learning-technieken met ruimtelijke video-analyse op een nieuwe manier. In het bijzonder gebruikt de methodologie Graph Convolutional Networks (GCN's) om structurele en relationele relaties binnen chirurgische scènes vast te leggen, Contour Adaptive Segmentation (CAS) voor nauwkeurige regioafbakening, en een cGAN-gebaseerde video-verbeteringsmodule voor artefactonderdrukking. Bovendien wordt om modelconvergentie en discriminatievermogen te verbeteren, een Adaptive Sunflower Optimization (ASFO)-algoritme gebruikt om verkenning en exploitatie bij featureselectie in balans te brengen. Tot slot worden temporele dynamiek over chirurgische sequenties gemodelleerd met behulp van een transformer-gebaseerde architectuur met ruimtelijke aandachtspooling. Een grote verbetering ten opzichte van huidige pijplijnen, deze uitgebreide integratie van preprocessing, segmentatie, grafgebaseerd feature learning, optimalisatie en aandachtgerichte voorspelling maakt preciezere, betrouwbaardere en klinisch betekenisvolle risicovoorspelling mogelijk. De CaDIS- en SICS-105-datasets worden in deze studie gebruikt als proxy-visuele datasets om intraoperatieve ruimtelijke kenmerken te leren kennen, ondanks dat hun primaire doel de analyse van staarchirurgie is. In plaats van expliciet gemarkeerde complicatielabels te gebruiken, worden deze eigenschappen vervolgens gebruikt om het risico van postoperatieve vitrectomieproblemen te modelleren en af te leiden.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De CaDIS- en SICS-105-datasets die in deze studie worden gebruikt, zijn openbaar beschikbaar en zijn oorspronkelijk verzameld met eerdere goedkeuring van de institutionele beoordelingscommissie en geïnformeerde toestemming, zoals gerapporteerd in hun respectievelijke publicaties. Deze studie omvat alleen secundaire analyse van volledig geanonimiseerde gegevens, waardoor geen aanvullende ethische goedkeuring of geïnformeerde toestemming vereist was.
Het voorgestelde model was ontworpen om complicaties van postoperatieve vitrectomie te voorspellen door gebruik te maken van ruimtelijke temporele patronen uit intraoperatieve microscopievideo's. De pijplijn bestaat uit vier hoofdfasen: preprocessing, segmentatie, feature-extractie, feature-optimalisatie en classificatie, zoals weergegeven in Figuur 1.
De intraoperatieve beoordeling van het risico op postoperatieve complicaties is het voorspellingsdoel van de studie. Het model kan niet klinisch geverifieerde postoperatieve gebeurtenissen binnen een specifiek tijdsvenster voorspellen omdat de CaDIS- en SICS-105-datasets geen longitudinale follow-up data bevatten. In plaats daarvan gebruikt het intraoperatieve chirurgische patronen om de waarschijnlijkheid van mogelijke problemen af te leiden. Operationele definities van "complicatie" in deze context omvatten onregelmatige faseovergangen, afwijkende instrument-weefselinteracties en variaties in chirurgische workflow die gepaard gaan met een grotere chirurgische complexiteit. Om interpreteerbaarheid en betrouwbare evaluatie te waarborgen, is de voorspellingstaak ontworpen als een binaire classificatieprobleem dat gevallen classificeert in laag- en hoogrisicogroepen. In plaats van te dienen als een direct klinisch diagnostisch systeem, maakt deze formulering het voorgestelde kader mogelijk om te dienen als een intraoperatief besluitvormingshulpmiddel.
Beschrijving van de dataset:
Het voorgestelde model werd geëvalueerd op twee datasets: dataset A (CaDIS, Cataract Dataset for Image Segmentation) en de SICS-105 (Small-Incision Cataract Surgery) dataset.
(i) CaDIS31: Deze dataset is ontwikkeld voor segmentatie in staaroperatievideo's. Dit wordt geïntroduceerd ter aanvulling op de publiek beschikbare CATARACTS-uitdagingsdataset en heeft als doel de ontwikkeling van DL-schema's voor de analyse van chirurgische video's te bevorderen. De dataset bestaat uit 25 video-opnamen met in totaal 4.670 geannoteerde frames, die verschillende fasen van staaroperaties weergeven (aanvullende figuur 1). Elk frame is zorgvuldig geannoteerd, waarbij pixel-niveau labels worden geleverd die nodig zijn voor het trainen en schatten van het segmentatieschema. Het dient als maatstaf voor het evalueren van de prestaties van het DL-model op chirurgische video's.
(ii) SICS-105 (kleine incisie staaroperatie) dataset32: Deze dataset omvat 105 opnames uitgevoerd door chirurgen en geannoteerd door vier oogartsen over een periode van 6 maanden in 2023–2024, met 20 fasen (Aanvullende Figuur 2). De totale videoduur is 22 uur en 39 minuten, met een resolutie van 1920 × 1080 pixels (gedownsampled tot 960 × 540) en 30 fps. Een gemiddelde videolengte is 12 minuten en 57 seconden (σ=4:31 min). Een dataset is openbaar toegankelijk in de Zenodo-repository via de URL: https://doi.org/10.5281/zenodo.13847781. Representatieve inputsteekproeven zijn weergegeven in Aanvullende Figuur 1 en Aanvullende Figuur 2. Hoewel de CaDIS en SICS-105 datasets oorspronkelijk zijn ontworpen voor chirurgische faseherkenning en segmentatie bij staarchirurgie, is er beperkte informatie over complicaties na een vitrectomie. Om het gebrek aan informatie over complicaties na een vitrectomie aan te pakken, stellen we een set proxylabels voor voor risico-informatie gebaseerd op intraoperatieve visuele patronen en gebeurtenissen in de videosequentie. De frames en videosequenties in de datasets werden geannoteerd met risico-informatie op drie niveaus (laag, gemiddeld, hoog) volgens een set heuristieken geïnspireerd op klinisch inzicht, waaronder complexiteit van instrument-weefselinteractie, afwijkingen in de chirurgische duur, occlusie, instabiliteit en abnormale beweging. De voorgestelde formulering gebruikt klinische uitkomsten niet als labels, maar behandelt deze als proxylabels voor risico-informatie over mogelijke postoperatieve complicaties.
Preprocessing met behulp van cGAN-benadering
Typisch worden ruwe frames vaak verslechterd door verlichtingsvariatie, vervaging en speculaire artefacten. Om dit aan te pakken, wordt een conditioneel Generatief Adversarieel Netwerk (cGAN) gebruikt om de video te verbeteren. Ruwe frames zijn de originele, onbewerkte frames die rechtstreeks uit intraoperatieve microscopie-video-opnames zijn gehaald, voorafgaand aan enige verbetering of normalisatie. Deze frames bevatten doorgaans artefacten zoals verlichtingsvariabiliteit, bewegingsonscherpte, speculaire reflecties en ruis afkomstig van chirurgische instrumenten en camerabewegingen. Een generator herstelt schone frames terwijl een discriminator visuele realisme afdwingt. De objectieffunctie die pixelreconstructie, adversariële en temporele consistentieverliezen integreert, waardoor artefactvrije en stabiele videosequenties voor verdere analyse worden gegarandeerd.
Een degradeerd frame It op tijdstap t is de input van de generator, terwijl een verbeterd frame Yt = G(It) de output is. Afhankelijk van de input It wordt de discriminator getraind om onderscheid te maken tussen de gegenereerde output en het grondwaarheid clean frame Yt. Het trainingsdoel omvat verschillende verliesfuncties om hoogwaardige reconstructie te garanderen: (i) adversarieel verlies om realisme af te dwingen; (ii) pixelgewijze reconstructieverlies (L1-verlies) om intensiteitsnauwkeurigheid te behouden; (iii) perceptueel verlies om structurele consistentie te behouden met behulp van diepe feature-representaties; en (iv) verlies van temporele consistentie om soepele overgangen over opeenvolgende frames te garanderen en flikkerende artefacten te voorkomen.
Om hoogwaardige input voor feature-extractie te garanderen, worden intraoperatieve microscopievideo's aanvankelijk verbeterd met behulp van een cGAN. Elke ruwe frame It* wordt beschouwd als een degradatie van een schoon frame. Een generator G leert een mapping G(It) = It voor het herstellen van verbeterde frames, terwijl de discriminator D onderscheid maakt tussen reële en gegenereerde samples. Een trainingsdoel integreert adversarieel verlies Ladv, , perceptueel verlies Lperc pixel-gebaseerd reconstructieverlies Ll1 en temporele consistentie Ltemperatuur.. Dit model onderdrukt waasheid, speculaire artefacten en ruis terwijl het temporele en structurele coherentie behoudt, wat stabiele, artefactvrije videosequenties oplevert voor downstream analyse. De formulering van GAN wordt uitgedrukt in Vergelijkingen [1-6] van het Aanvullende Bestand 1.
Segmentatie met behulp van Contour Adaptive Segmentatie (CAS)
Hierbij wordt segmentatie uitgevoerd met behulp van een contouradaptief segmentatiemodel. Dit definieert voorlopige overzichten voor het segmenteren van getroffen virectomiebeelden in microscopiebeelden, waardoor de energiefunctie wordt verminderd, zoals getoond in vergelijkingen [7-12] in Supplementair bestand 1. De lage energiewaarde zorgt voor nauwkeurige weergaven en lokale evaluatie van risicogebieden. Dit maakt op zijn beurt een nauwkeurige segmentatie van de getroffen gebieden mogelijk, wat vervolgens het extraheren van kenmerken in het volgende gedeelte vergemakkelijkt.
Feature-extractie met behulp van dynamische ruimtelijke tijdsverhoudingen GCN(dGCN)
Zodra de preprocessingfase is voltooid, is de volgende stap het extraheren van discriminerende ruimtelijke kenmerken (spatiotemporale kenmerken). Om deze reden wordt een Graph Convolutioneel Netwerk (GCN) gebruikt, omdat het effectief is in het vastleggen van gestructureerde afhankelijkheden. Het aangenomen model bestaat uit gestapelde GCN-lagen met niet-lineaire activaties die overfitting beperken en het gradiëntverdwijningsprobleem aanpakken via een normalisatiemechanisme. De GCN-formulering is gebaseerd op een eerste-orde spectrale benadering van graafconvoluties, waardoor het geschikt is voor grootschalige semi-supervised leertaken. Bovendien vereenvoudigt de lineaire representatie optimalisatie, waardoor effectief parameterleren wordt gegarandeerd. De werking van vereenvoudigde GCN wordt uitgedrukt in Vergelijkingen [13–15] van Supplementair Bestand 1. Wanneer toegepast, extraheert GCN efficiënt structurele representaties op hoger niveau uit intraoperatieve videodata. Vervolgens worden alleen de meest relevante of geschikte kenmerken behouden via een optimalisatie-ondersteund selectiemechanisme, dat in de volgende sectie wordt beschreven.
Feature-optimalisatie met behulp van Adaptive Sunflower-based feature optimization (ASFO)
Het Adaptieve Zonnebloemoptimalisatie-algoritme (ASFO) is een verbeterde versie van de Klassieke Zonnebloemoptimalisatiebenadering (SFOA). In het voorgestelde model wordt dit biologisch gedreven proces wiskundig gemodelleerd om verfijning en featureselectie in een hoogdimensionale dataset aan te pakken. Specifiek is deze aanpak gericht op het verbeteren van de convergentiesnelheid, het balanceren van verkenning en exploitatie om de diversiteit van oplossingen te behouden en voortijdige convergentie te beperken. De wiskundige formulering van ASFO wordt weergegeven in Vergelijkingen [16–21] van Supplementair Dossier 1. Dit schema versnelt convergentie zodra oplossingen dicht bij optimaal zijn. Het gedetailleerde algoritme wordt verstrekt in Aanvullend Bestand 1. In de voorgestelde pijplijn wordt ASFO gebruikt om de featurevector te verfijnen na transformator-gebaseerde fusie. De geselecteerde kenmerken zijn textuurgebaseerd, kleur en intensiteit, morfologisch en structureel, bewegings- en temporeel, hoog-dimensionaal en aandachtsgewogen regio-descriptors. Het doel is om de feature-relevantieverliesfunctie te minimaliseren, waarbij features worden geselecteerd en wegend die de classificatienauwkeurigheid verbeteren door redundantie te verminderen.
Transformator-gebaseerde classificatiekop met ruimtelijke aandachtspooling
Een transformer-gebaseerd model wordt gebruikt om temporele afhankelijkheden over chirurgische videosequenties vast te leggen. Het model is geconfigureerd met multi-head self-attention, positionele codering en volledig verbonden lagen voor de definitieve risicovoorspelling. Hyperparameteroptimalisatie wordt uitgevoerd met behulp van ASFO. De geïntegreerde pijplijn combineert preprocessing, feature-extractie, optimalisatie en transformator-gebaseerde classificatie om nauwkeurige chirurgische risicovoorspelling mogelijk te maken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Om de effectiviteit van het voorgestelde model te evalueren, werden uitgebreide experimenten uitgevoerd met behulp van echte vitrectomiedatasets. De prestaties werden beoordeeld op basis van preprocessing, effectiviteit van feature-extractie en voorspellingsnauwkeurigheid.
Prestatieanalyse en vergelijkende schatting
De voorgestelde methodologie werd vergeleken met basislijnmodellen met behulp van metrics zoals nauwk...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Een experimentele evaluatie van de CaDIS- en SICS-105-datasets bevestigt de robuustheid en superioriteit van het voorgestelde model ten opzichte van traditionele benaderingen. Basismodellen zoals ResNet-50, LSTM-CNN en segmentatiegedreven netwerken (UNet, DeepLabV3+, UPerNet, HRNetV2) presteren redelijk goed, maar worden gehinderd door inherente intraoperatieve videovariabiliteit, waaronder veranderingen in verlichting, occlusies, bewegingsonscherpte en interacties tussen gereedschap
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De auteurs hebben geen belangenconflicten om te melden.
De auteurs willen North Sichuan Medical College bedanken voor het bieden van de noodzakelijke institutionele ondersteuning en middelen. Speciale dank aan het klinisch personeel van het Guangyuan Centraal Ziekenhuis voor hun hulp bij het verzamelen van de intraoperatieve microscopievideo's.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| High-Performance Workstation | NVIDIA Corporation, USA | RTX-A6000 | Gebazig voor modeltraining; 48 GB VRAM GPU met Intel Core i9 CPU en 128 GB RAM |
| Python (v3.10) | Python Software Foundation | Open Source | Kerntaal voor modelontwikkeling en experimenten |
| TensorFlow (v2.15) | Google Research | Open Source | Framework gebruikt voor het implementeren van cGAN-voorverwerking en Transformer-classifier |
| PyTorch (v2.2.0) | Meta AI | Open Source | Gebazig voor het implementeren van GCN en Adaptive Sunflower Optimization-modules |
| CUDA Toolkit (v12.1) | NVIDIA Corporation | CUDA-12.1 | Biedt GPU-versnelling voor alle deep learning-berekeningen |
| Conditional Generative Adversarial Network (cGAN) | Aangepast van Pix2Pix Framework | N/A | Gebazig voor videoverbetering en artefactverwijdering tijdens voorverwerking |
| Optical Flow Estimator (RAFT) | Teed & Deng (ECCV 2020) | N/A | Zorgt voor temporele consistentie tussen frames tijdens voorverwerking |
| Contour Adaptive Segmentation (CAS) Model | Aangepaste implementatie | N/A | Aangepaste active contour-model voor nauwkeurige grenssegmentatie in vitrectomie-video's |
| Dynamic Graph Convolutional Network (GCN) | Aangepaste implementatie (gebaseerd op Kipf & Welling, 2017) | N/A | Extracteert ruimtelijk-temporele relaties tussen video-featureknooppunten |
| Adaptive Sunflower Optimization Algorithm (ASFO) | Aangepaste implementatie | N/A | Gebazig voor geoptimaliseerde feature-selectie en dimensionaliteitsreductie |
| Transformer Encoder Model | Aangepaste implementatie (gebaseerd op Vaswani et al., 2017) | N/A | Gebazig voor de uiteindelijke classificatie van postoperatieve complicaties met ruimtelijk-temporele aandachtspooling |
| Matplotlib (v3.8) | Python Software Foundation | Open Source | Gebazig voor visualisatie van prestatiemetrieken en plots |
| Seaborn (v0.13) | Python Software Foundation | Open Source | Gebazig voor geavanceerde visualisatie en statistische grafieken |
| Adam Optimizer | TensorFlow Ingebouwd | N/A | Gebazig voor modeltraining; leersnelheid = 1e-4, β1=0.9, β2=0.999 |
| Loss Function Suite (L_adv, L_l1, L_perc, L_temp, L_G) | Aangepaste implementatie | N/A | Definiëert adversaristische, perceptuele, pixel- en temporele verliezen voor GAN-training |
| Besturingssysteem | Ubuntu Linux 22.04 LTS | N/A | Basisomgeving voor deep learning-experimenten |
| Evaluatiemetriekenpakket | scikit-learn (v1.5.0) | Open Source | Gebazig om nauwkeurigheid, precisie, herinnering, F1-score, AUC en mIoU te berekenen |
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken
Toestemming aanvragen