Een nieuwe dual-modale deep learning-benadering voor realtime verwijdering van leverfluorescentie in indocyanine groengeleide laparoscopische cholecystectomie

Samenvatting

Dit protocol biedt een dual-modale deep learning-benadering voor realtime verwijdering van hepatische fluorescentie tijdens indocyanine groengeleide laparoscopische cholecystectomie (ICGLC).

Samenvatting

Indocyanine groengeleide laparoscopische cholecystectomie (ICGLC) verbetert de galwegvisualisatie, maar wordt vaak belemmerd door leverfluorescentiebesmetting, die de anatomische structuren verstoort. Deze studie heeft als doel een nieuw dual-modal deep learning-framework te ontwikkelen en te evalueren om automatisch leverfluorescentiebesmetting in realtime te detecteren en te verwijderen tijdens ICGLC-procedures. Een dataset van 33.123 dual-modality chirurgische frames werd samengesteld uit 48 patiënten die electieve ICGLC ondergingen. Fluorescentie- en witlichtbeelden werden samengevoegd en geannoteerd. Verschillende deep learning-modellen werden vergeleken en een op DeepLabV3 gebaseerd mid-fusion netwerk werd geselecteerd. Morfologische naverwerking en gefaseerde trainingsstrategieën werden geïmplementeerd om de segmentatienauwkeurigheid en generaliseerbaarheid te verbeteren. Het voorgestelde model behaalde een dobbelsteencoëfficiënt van 0,838 en een terugroeping van 0,863 op de uiteindelijke testset. Bij subjectieve evaluaties beoordeelden 10 senior chirurgen consequent de door AI verwerkte video's als helderder, met duidelijk verbeterde visualisatie van galwegen en verminderde visuele vermoeidheid. Het model toonde realtime prestaties aan met 0,018 seconden per frame. Deze studie presenteert de eerste realtime AI-oplossing voor het verwijderen van leverfluorescentie in ICGLC. Het dual-modale deep learning-model verbetert de visuele helderheid aanzienlijk en biedt potentie om de chirurgische veiligheid, operationele efficiëntie en trainingseffectiviteit te verbeteren. Toekomstige prospectieve studies zijn gerechtvaardigd om het klinische effect op operatieve uitkomsten te beoordelen.

Inleiding

Cholelithiasis is een veelvoorkomende gastro-intestinale aandoening die wereldwijd consequent hoge incidentiecijfers vertoont in verschillende populaties, waarbij meer dan 4% van de wereldbevolking wordt getroffen ^1,2,3,4. Laparoscopische cholecystectomie (LC) wordt algemeen beschouwd als de 'gouden standaard' voor de behandeling van cholelithiasis vanwege de voordelen zoals minimale intraoperatieve trauma, milde postoperatieve pijn, gunstige cosmetische resultaten en korte ziekenhuisopnames ^5,6,7. Alleen al in de Verenigde Staten voeren algemene chirurgen jaarlijks tussen de 750.000 en 1.000.000 LC's uit. De complicatiegraad van LC overschrijdt echter die van traditionele open chirurgie⁸, waarbij het voorkomen van ernstige complicaties zoals galwegletsel (BDI) 2 tot 3 keer hoger is: ^9,10. Onderzoek wijst uit dat BDI tijdens laparoscopische ingrepen vaak ontstaat door technische fouten in de anatomische dissectiefase, waarbij anatomische misidentificaties bijzonder vaak voorkomen (tot 85%), vaak met verkeerde inschattingen over de gemeenschappelijke galweg (CBD) of variaties in de anatomie van de rechter achterste hepatische buis^11,12.

Om de prevalentie van chirurgische complicaties in de hedendaagse praktijk te verminderen, zijn er een reeks geavanceerde methoden en geavanceerde technologieën ontwikkeld, waaronder critical view of safety (CVS), intraoperatieve cholangiografie en nabij-infraroodfluorescentie (NIRF) technologie ^5,8. De CVS wordt steeds meer beschouwd als een standaardmethode voor het identificeren van galblaasstructuren ^5,13,14, waarbij bindweefsel in de cystoepatiedriehoek wordt verwijderd en het onderste derde deel van de galblaas van de cystische plaat wordt verwijderd, om een duidelijk zicht te krijgen op het cystische kanaal en de cystische arterie, waardoor vasculaire en galwegletsel tijdens laparoscopische cholecystectomie^{voorkomen 11. 15}.

Indocyanine green (ICG)-gebaseerde realtime intraoperatieve NIRF-cholangiografie was een andere bewezen oplossing, die voor het eerst klinisch werd gerapporteerd in 2008. ICG wordt uitsluitend door de lever gemetaboliseerd, bindt aan plasma-eiwitten en zendt een piekgolflengte van ongeveer 830 nm uit wanneer het wordt bestraald met nabij-infrarood licht¹⁷. Deze eigenschap maakt het mogelijk levertumoren en het galwegstelsel te visualiseren, met veelbelovende toepassingen in het verbeteren van de chirurgische veiligheid en het verkorten van operatietijden^van 18,19,20. Studies die het gecombineerde gebruik van CVS en NIRF met alleen CVS vergeleken, gaven voordelen aan voor obese patiënten en gevallen met ernstige ontsteking, waarbij de operatietijd niet alleen werd verkort, maar ook de incidentie van BDI^21,22 werd verminderd. De klinische toepassingen ondervinden echter verschillende beperkingen, waaronder het gebruik van diverse beeldvormingsapparaten²³, en vertraagde ICG-injectie of overmatige leverweefselabsorptie, wat resulteert in een hoge leverfluorescentieintensiteit en het besmetten van het gezichtsveld, waardoor cruciale beeldvorming van het galwegstelsel²⁴ wordt verduisterd. Als hulptechnologieën intraoperatief kunnen worden toegepast om leverfluorescentiebesmetting te verwijderen terwijl correcte biliaire fluorescentiebeeldvorming behouden blijft, zou dit kunnen helpen het chirurgische beeld te optimaliseren en de veiligheid en soepelheid van de operatie verder te verbeteren.

Kunstmatige intelligentie (AI)-technologie is een veelbelovend hulpmiddel om fluorescentie te optimaliseren. AI in medische beeldvorming en chirurgische operaties is de afgelopen jaren een onderzoekscentrum geweest, met talrijke technologische doorbraken en klinische toepassingen^geboekt. Bestaande studies en toepassingen van AI-deep learning-technologie in laparoscopische chirurgievideo's waren vaak gebaseerd op witlicht-enkelmodaliteit, inclusief het herkennen van diverse anatomische herkenningspunten zoals de terugkerende larynxzenuw, nierranden, bloedvaten en de galblaas 28,29,30,31. Momenteel is er een gebrek aan onderzoek naar het realtime verwijderen van leverfluorescentiebesmetting tijdens fluorescentie-geassisteerde LC. Dual-modale beeldsegmentatie, die veel wordt toegepast in de industrie, kan helpen deze kloof op te vullen. Deze studie heeft als doel toepassingen te onderzoeken in dual-modale beeldsegmentatie binnen ICGLC-scenario's en trainingsmethoden te ontwikkelen en te valideren voor realtime dynamische herkenning en afscherming van overmatige leverfluorescentie.

Protocol

Alle chirurgische video's die in deze studie zijn opgenomen, zijn verkregen van patiënten die een electieve ICG-geleide laparoscopische cholecystectomie (ICGLC) hebben ondergaan in het Peking Union Medical College Hospital. De studie werd goedgekeurd door de relevante ethische commissie, en er werd vooraf aan inschrijving geïnformeerde toestemming verkregen van alle deelnemers.

1. Datavoorbereiding en beeldannotatie

1. Achteraf verzamel ik chirurgische video's van 48 patiënten die tussen 2022 en 2024 ICGLC hebben ondergaan in het Peking Union Medical College Hospital.
   OPMERKING: De patiënten die in deze studie waren opgenomen, kregen 20 minuten voor de operatie intraveneus 0,5 mg ICG toegediend.
2. Geef een algemeen chirurg opdracht om alle chirurgische video's te bekijken en segmenten te extraheren die de kritieke dissectiestappen van Calots driehoek bevatten. Selecteer handmatig 76 chirurgische videoclips, met de nadruk op de dissectie van de Calot's driehoek. Haal fluorescentie- en witlichtbeeldkanalen uit elke clip. Verbind ze langs het RGB-kanaal.
3. Om redundantie te minimaliseren, neem je frames op een interval van 8:1, schaal je de resolutie terug van 1920 × 1080 naar 960 × 540, en importeer je de afbeeldingen in een aangepast annotatieplatform.
4. Wijs een algemeen chirurg aan om handmatig de fluorescentiecontouren van de lever af te bakenen en de kwaliteit van de annotatie te waarborgen onder toezicht van een senior chirurg.

2. Modelevaluatiemetrieken

1. Evalueer de segmentatieprestaties van het model met behulp van standaard computer vision-metrics, waaronder precisie, terugroepen en de Dice-coëfficiënt, op basis van de aangewezen testdataset.
2. Beoordeel realtime prestaties door de rekenbelasting tijdens inferentie te meten.
   1. Meet inferentietijd met behulp van de tijdmodule uit de Python/C-standaardbibliotheek.
   2. Noteer de starttijdstempel door time.perf_counter() te bellen voordat de gegevens worden geladen.
   3. Roep time.perf_counter() opnieuw aan nadat het model de voorspellingsresultaten heeft gegenereerd om de eindtijdstempel te verkrijgen.
   4. Definieer het verschil tussen de eind- en begintijdstempels als de inferentietijd voor een enkel monster.
   5. Herhaal deze procedure voor elke steekproef in de testdataset en bereken de gemiddelde inferentietijd over alle steekproeven om de totale inferentievertraging van het model weer te geven.
   6. Raadpleeg de volgende pseudocode die de bijbehorende procedure samenvat:
      Initialiseer Inference_time = 0 en ind = 0
      Laat X het opslagpad van de testset aanduiden en model het inferentiemodel
      Voor elke x_path in X :
      Synchroniseer CPU en GPU
      Start_timestamp = time.perf_counter() # begintijdstempel
      x = load(x_path) # data loading
      y = model(x) # modelinferentie
      Synchroniseer CPU en GPU
      End_timestamp = time.perf_counter() # eindtijdstempel
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Einde voor
      Inference_time = Inference_time / ind # gemiddelde inferentietijd
3. Stel het primaire doel van hepatische en galiaire fluorescentieherkenning in om het levergebied binnen het operatieveld te detecteren en de bijbehorende witlichtinformatie te vervangen, zodat interferentie door hepatische fluorescentie wordt geminimaliseerd.
4. Gebruik de Intersection over Union (IoU) om de voorspellende nauwkeurigheid van het model te kwantificeren.
   OPMERKING: Snijpunt over Unie (IoU) wordt gedefinieerd als de verhouding van het aantal pixels in het overlappende gebied tussen het voorspelde positieve gebied en het grond-waarheid positieve gebied tot het totale aantal pixels in de unie van de voorspelde en grond-waarheid positieve regio's.
5. Definieer een voorspelling als een True Positive (TP) als de IoU met de grondwaarheid een gespecificeerde drempel overschrijdt; anders classificeer het als een vals-negatief (FN).
6. Markeer elke voorspelde segmentatie zonder bijbehorende annotatie als een vals-positief (FP).
7. Na het berekenen van de Intersection over Union (IoU) tussen de voorspelde resultaten en de grondwaarheidslabels, stel je de IoU-drempel in op 0,1, rekening houdend met het diffuse en laag-contrast karakter van fluorescentiesignalen in chirurgische beeldvorming.
8. Definieer en bereken de evaluatiemetrieken als volgt:
   
   
   

3. Morfologische nabewerking

1. Verlaag alle lever- en galfluorescentieframes van 1920 × 1080 tot 960 × 540 resolutie met behulp van een interpolatie-gebaseerde methode, specifiek bilineaire interpolatie.
2. Pas nul-opvulling toe langs de breedte om een uiteindelijke invoerdimensie van 960 × 544 te verkrijgen door een 960 × 544 all-zero matrix te genereren en het huidige beeld daarin te centreren.
3. Verbind de witlicht- en fluorescentiebeelden langs de kanaaldimensie door hun overeenkomstige matrices in volgorde op te slaan binnen een tensor die is geconstrueerd met het PyTorch-framework voordat ze in het model worden ingevoerd.
4. Om ruisachtige voorspellingen te verminderen en de grenskwaliteit te verfijnen, voer je morfologische openings- en sluitingsoperaties uit op de initiële segmentatie-uitgangen om valse ruis te filteren en de randafbakening te verbeteren.
5. Begin met een openingsoperatie om kleine spikes en randartefacten in het voorspelde masker³² te elimineren.
6. Volg op een sluitingsoperatie om geïsoleerde gaten en gefragmenteerde gebieden te verwijderen.
7. Gebruik voor beide bewerkingen een 25 × 25 structuring kernel om effectieve verfijning van orgaangrenzen en vermindering van segmentatieruis te waarborgen.

4. Trainingsomgeving en hyperparameters

1. Train het model met een enkele NVIDIA A100 Tensor Core GPU.
2. Stel de batchgrootte in op 16.
3. Initialiseer de encoder (backbone) met behulp van ImageNet³³ voorgetrainde gewichten om transfer learning te benutten en convergentie te versnellen.
4. Gebruik de Stochastic Gradient Descent (SGD)³⁴ optimizer vanwege de robuustheid bij grootschalige beeldsegmentatietaken en het vermogen om ruisachtige gradiënten te beperken.
5. Stel de initiële leersnelheid in op 0,01 en pas een polynomiale vervalstrategie toe om de leersnelheid geleidelijk te verlagen, met een ondergrens van 0,0001.
6. Blijf trainen voor in totaal 50.000 iteraties om het uiteindelijke model te verkrijgen.

5. Driefasenmodeltraining

1. In de Model Selection Phase vergelijk je meerdere segmentatiemodellen met dual-modality input, waaronder DeeplabV3³⁵, DLinkNet34³⁶ en U-Net³⁷; Kies het optimale model op basis van segmentatienauwkeurigheid en rekenefficiëntie.
2. In de Algorithmic Structural Optimization Phase onderzoekt u verschillende functies van feature-fusie binnen het netwerk om de meest effectieve integratiestrategie voor witlicht- en fluorescentiedata te bepalen.
3. In de Generalisatie- en Klinische Validatiefase worden progressieve data-augmentatietechnieken toegepast om de robuustheid van het model te verbeteren; Valideer het uiteindelijke model in klinische scenario's om de toepasbaarheid in de praktijk te beoordelen.

6. Chirurgische videoverwerking

1. Haal videofragmenten uit die de intraoperatieve ICG-fluorescentievisualisatie van de galweganatomie weergeven, inclusief de gemeenschappelijke galgang (CBD) en cystische gang.
2. Verwerk de geselecteerde video's in realtime met behulp van het optimale model; bereken de gemiddelde verwerkingstijd per frame om realtime rekenprestaties te evalueren.

7. Verwijdering van leverfluorescentiebesmetting

1. Pas het model toe om leverfluorescentiebesmetting in realtime te detecteren en te onderdrukken tijdens ICGLC-procedures.
2. Zorg voor behoud van de visualisatie van galwegstructuren om efficiënte identificatie van galwegen te vergemakkelijken.
3. Behoud de verontreinigingsonderdrukkingsprestaties ondanks veelvoorkomende intraoperatieve uitdagingen zoals instrumentocclusie of camerabeweging.

8. Klinische evaluatie van videokwaliteit

1. Werf een panel van 10 senior algemene chirurgen van externe instellingen om de effectiviteit van de door AI verwerkte video's te evalueren.
2. Geef elke chirurg zowel originele als AI-verbeterde videoclips; Geef hen de opdracht een subjectieve beoordelingsvragenlijst in te vullen op basis van vijf vooraf gedefinieerde evaluatiecriteria.

Resultaten

In onze studie werden in totaal 48 patiënten die tussen 2022 en 2024 een electieve indocyanine groene laparoscopische cholecystectomie (ICGLC) ondergingen op de afdeling Algemene Chirurgie van het Peking Union Medical College Hospital met terugwerkende kracht ingeschreven. Alle patiënten kregen 20 minuten voor de operatie een intraveneuze injectie van 0,5 mg indocyanine green. Postoperatief pathologisch onderzoek bevestigde dat alle gevallen waren vastgesteld met calculeuze cholecystitis...

Discussie

Dit onderzoek maakte gebruik van AI deep learning om een belangrijke uitdaging bij ICGLC-operaties aan te pakken: het identificeren en maskeren van leverfluorescentiebesmetting. Chirurgen die NIRF gebruiken, melden vaak dat leverfluorescentie visuele vermoeidheid veroorzaakt en galiaire beeldvorming^bemoeilijkt. Door computer vision-technologie toe te passen, was deze studie bedoeld om deze problemen te beperken en mogelijk de incidentie van BDI te verminderen, een...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
4K Fluorescence Imaging Console	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Biedt drie beeldvormingsmodi: wit licht, fluorescentie en gefuseerde fluorescentie; Ondersteunt uitbreiding van AI-modules
4K Fluorescence Camera	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	Volledig gedigitaliseerde camera met instellingen voor multifunctionele knoppen; Ondersteunt video-opname, fotografie en schakelen tussen fluorescentiemodi
Cold Light Source System	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	LED-koude lichtbron en fluorescente LED-lichtbron met een fluorescentiegolflengte van 808 nm
NVIDIA A100 Tensor Core	NVIDIA Corporation	900-21001-0020-100	GPU