Un innovativo approccio di deep learning dual-modale per la rimozione in tempo reale della fluorescenza epatica nella colecistectomia laparoscopica guidata da indocianina

Sommario

Questo protocollo presenta un approccio di deep learning dual-modale per la rimozione della fluorescenza epatica in tempo reale durante la colecistectomia laparoscopica guidata da indocyanina green-guided (ICGLC).

Abstract

La colecistectomia laparoscopica guidata da indocyanina verde (ICGLC) migliora la visualizzazione biliare ma è spesso ostacolata dalla contaminazione da fluorescenza epatica, che interferisce con le strutture anatomiche. Questo studio mira a sviluppare e valutare un nuovo framework di deep learning dual-modale per rilevare e rimuovere automaticamente in tempo reale la contaminazione da fluorescenza epatica durante le procedure ICGLC. È stato costruito un dataset di 33.123 frame chirurgici dual-modality su 48 pazienti sottoposti a ICGLC elettiva. Le immagini a fluorescenza e a luce bianca venivano fuse e annotate. Sono stati confrontati diversi modelli di deep learning e è stata selezionata una rete mid-fusion basata su DeepLabV3. Sono state implementate strategie di post-elaborazione morfologica e di addestramento a fasi per migliorare la precisione e la generalizzazione della segmentazione. Il modello proposto ha raggiunto un coefficiente di Dice di 0,838 e un richiamo di 0,863 nel set finale di test. Nelle valutazioni soggettive, 10 chirurghi senior hanno costantemente valutato i video processati dall'IA come più chiari, con una visualizzazione dei dotti biliari notevolmente migliorata e una riduzione della fatica visiva. Il modello ha dimostrato prestazioni in tempo reale a 0,018 secondi per fotogramma. Questo studio presenta la prima soluzione AI in tempo reale per la rimozione della fluorescenza epatica nell'ICGLC. Il modello di deep learning dual-modale migliora significativamente la chiarezza visiva, offrendo potenzialità per migliorare la sicurezza chirurgica, l'efficienza operativa e l'efficacia della formazione. Sono necessari futuri studi prospettici per valutare l'impatto clinico sugli esiti operatori.

Introduzione

La colelitiasi è un disturbo gastrointestinale diffuso, che mostra costantemente alti tassi di incidenza a livello globale in varie popolazioni, colpendo oltre il 4% della popolazione^mondiale 1,2,3,4. La colecistectomia laparoscopica (LC) è ampiamente considerata il 'gold standard' per il trattamento della colelitiasi grazie ai suoi vantaggi come traumi intraoperatori minimi, dolore post-operatorio lieve, risultati estetici favorevoli e brevi ricoveri^{ospedalieri 5,6,7}. Solo negli Stati Uniti, i chirurghi generali eseguono tra 750.000 e 1.000.000 di LC all'anno. Tuttavia, il tasso di complicanze della LC supera quello della tradizionale chirurgia aperta⁸, con la comparsa di complicazioni gravi come lesioni dei dotti biliari (BDI) da 2 a 3 volte superiore^{a 9,10}. Le ricerche indicano che la BDI durante le procedure laparoscopiche spesso deriva da errori tecnici nella fase di dissezione anatomica, con identificazioni errate anatomiche particolarmente frequenti (fino all'85%), spesso che coinvolgono errori di valutazione riguardo al dotto biliare comune (CBD) o variazioni anatomiche dell'dotto epatico posteriore^{destro 11,12}.

Per ridurre la prevalenza delle complicanze chirurgiche nella pratica contemporanea, sono stati sviluppati diversi metodi sofisticati e tecnologie avanzate, tra cui la visione critica della sicurezza (CVS), la colangiografia intraoperatoria e la tecnologia di fluorescenza nel vicino infrarosso (NIRF^{) 5,8}. Il CVS è sempre più considerato un metodo standard per identificare le strutture della^{cistifellea 5,13,14}, richiedendo la rimozione del tessuto connettivo nel triangolo cistoepatico e la dissezione del terzo inferiore della cistifellea dalla placca cistica, per liberare una visione chiara del dotto cistico e dell'arteria cistica, prevenendo così lesioni vascolari e biliari durante la colecistectomia laparoscopica^{11. 15}.

La colangiografia intraoperatoria NIRF basata su indocyaninina verde (ICG) è stata un'altra soluzione comprovata, riportata clinicamente per la prima volta nel^{2008 16}. L'ICG è metabolizzata esclusivamente dal fegato, si lega alle proteine plasmatiche ed emette una lunghezza d'onda luminosa massima di circa 830 nm quando irradiata con luce^{infrarossa prossima 17}. Questa caratteristica consente la visualizzazione dei tumori epatici e del sistema biliare, mostrando applicazioni promettenti nel migliorare la sicurezza chirurgica e ridurre i tempi operatori^{18, 19, 20}. Studi che confrontano l'uso combinato di CVS e NIRF con il solo CVS hanno indicato benefici per pazienti obesi e casi con infiammazione grave, non solo accorciando il tempo chirurgico ma anche riducendo l'incidenza di^{BDI 21,22}. Tuttavia, le sue applicazioni cliniche incontrano diverse limitazioni, tra cui l'uso di vari dispositivi di imaging²³, e l'iniezione ICG ritardata o un assorbimento eccessivo di tessuto epatico che provocano un'elevata intensità di fluorescenza epatica e contaminano il campo visivo, oscurando così l'imaging cruciale del sistema^{biliare 24}. Se tecnologie ausiliarie potessero essere applicate intraoperatoriamente per rimuovere la contaminazione da fluorescenza epatica preservando al contempo una corretta immagine biliare a fluorescenza, ciò potrebbe aiutare a ottimizzare la visuale chirurgica, migliorando ulteriormente la sicurezza e la fluidità dell'intervento.

La tecnologia dell'intelligenza artificiale (IA) è uno strumento promettente per ottimizzare la fluorescenza. L'IA nell'imaging medico e nelle operazioni chirurgiche è stata un punto caldo della ricerca negli ultimi anni, raggiungendo numerose scoperte tecnologiche e applicazioni^{cliniche 25, 26, 27}. Gli studi e le applicazioni esistenti della tecnologia di deep learning AI nei video di chirurgia laparoscopica si basavano spesso su una singola modalità a luce bianca, inclusa la ricognizione di vari punti anatomici come il nervo laringeo ricorrente, i bordi renali, i vasi sanguigni e la cistifellea 28,29,30,31. Attualmente, manca la ricerca sulla rimozione in tempo reale della contaminazione da fluorescenza epatica durante la fluorescenza epatica assistita dalla fluorescenza. La segmentazione dual-modale delle immagini, ampiamente applicata nell'industria, potrebbe aiutare a colmare questa lacuna. Questo studio mira a esplorare applicazioni nella segmentazione d'immagine dual-modale all'interno di scenari ICGLC e a sviluppare e validare metodi di addestramento per il riconoscimento dinamico in tempo reale e la protezione di eccessiva fluorescenza epatica.

Protocollo

Tutti i video chirurgici inclusi in questo studio sono stati ottenuti da pazienti che hanno subito colecistectomia laparoscopica guidata elettivamente con ICG (ICGLC) presso il Peking Union Medical College Hospital. Lo studio è stato approvato dal comitato etico competente e il consenso informato di tutti i partecipanti è stato ottenuto prima dell'iscrizione.

1. Preparazione dei dati e annotazione delle immagini

1. Raccogliere retrospettivamente i video chirurgici di 48 pazienti che hanno sottoposto l'ICGLC presso il Peking Union Medical College Hospital tra il 2022 e il 2024.
   NOTA: I pazienti inclusi in questo studio sono stati iniettati per via endovenosa con 0,5 mg di ICG 20 minuti prima dell'intervento.
2. Istruisci un chirurgo generale a rivedere tutti i video chirurgici e a estrarre segmenti che comprendano le fasi critiche della dissezione del triangolo di Calot. Seleziona manualmente 76 video chirurgici, concentrandoti sulla dissezione del triangolo di Calot. Estrai i canali di imaging di fluorescenza e luce bianca da ogni clip. Concatenali lungo il canale RGB.
3. Per minimizzare la ridondanza, campionare i fotogrammi a intervalli 8:1, ridimensionare la risoluzione da 1920 × 1080 a 960 × 540 e importare le immagini su una piattaforma di annotazione personalizzata.
4. Assegnare un chirurgo generale per delineare manualmente i contorni di fluorescenza epatica e garantire la qualità delle annotazioni sotto la supervisione di un chirurgo senior.

2. Metriche di valutazione del modello

1. Valutare le prestazioni di segmentazione del modello utilizzando metriche standard di visione artificiale, tra cui precisione, richiamo e coefficiente di Dice, basandosi sul dataset di test designato.
2. Valutare le prestazioni in tempo reale misurando il carico computazionale durante l'inferenza.
   1. Misurare il tempo di inferenza utilizzando il modulo temporale della libreria standard Python/C.
   2. Registra il timestamp di inizio chiamando time.perf_counter() prima del caricamento dei dati.
   3. Invoca nuovamente time.perf_counter() dopo che il modello ha generato i risultati della previsione per ottenere il timestamp finale.
   4. Definisci la differenza tra i timestamp di fine e di inizio come il tempo di inferenza per un singolo campione.
   5. Ripeti questa procedura per ogni campione nel dataset di test e calcola il tempo medio di inferenza su tutti i campioni per rappresentare la latenza complessiva di inferenza del modello.
   6. Fai riferimento al seguente pseudocodice che riassume la procedura corrispondente:
      Inizializzare Inference_time = 0 e ind = 0
      Sia X il percorso di memoria del set di test e il modello il modello di inferenza
      Per ogni x_path in X :
      Sincronizzare CPU e GPU
      Start_timestamp = time.perf_counter() # timestamp di inizio
      x = carica(x_path) # caricamento dati
      y = modell(x) # inferenza del modello
      Sincronizzare CPU e GPU
      End_timestamp = time.perf_counter() # timestamp di fine
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Fine per
      Inference_time = Inference_time / ind # tempo medio di inferenza
3. Fissa come obiettivo principale il riconoscimento della fluorescenza epatica e biliare il rilevare la regione epatica all'interno del campo chirurgico e sostituire le relative informazioni di luce bianca, minimizzando così l'interferenza dalla fluorescenza epatica.
4. Utilizzare l'Intersezione su Unione (IoU) per quantificare l'accuratezza predittiva del modello.
   NOTA: L'intersezione sull'Unione (IoU) è definita come il rapporto tra il numero di pixel nell'area di sovrapposizione tra la regione positiva prevista e la regione positiva di verità di base e il numero totale di pixel nell'unione delle regioni di valutazione di terra e di verità di base.
5. Definire una previsione come True Positive (TP) se l'IoU con la verità fondamentale supera una soglia specificata; altrimenti, classificarlo come Falso Negativo (FN).
6. Segna qualsiasi segmentazione prevista senza una corrispondente annotazione come Falso Positivo (FP).
7. Dopo aver calcolato l'Intersezione su Unione (IoU) tra i risultati previsti e le etichette di realtà, si imposta la soglia IoU a 0,1, considerando la natura diffusa e a basso contrasto dei segnali di fluorescenza nell'imaging chirurgico.
8. Definire e calcolare le metriche di valutazione come segue:
   
   
   

3. Post-elaborazione morfologica

1. Ricampionare tutti i sistemi di fluorescenza epatica e biliare da 1920 × risoluzione 1080 a 960 × 540 utilizzando un metodo basato sull'interpolazione, in particolare l'interpolazione bilineare.
2. Applicare il riempimento a zero lungo la larghezza per ottenere una dimensione finale di input di 960 × 544 generando una matrice a zero 960 × 544 e centrando l'immagine corrente al suo interno.
3. Concatena le immagini a luce bianca e fluorescenza lungo la dimensione del canale memorizzando le loro corrispondenti matrici in sequenza all'interno di un tensore costruito utilizzando il framework PyTorch prima di inserirle nel modello.
4. Per ridurre le previsioni rumorose e affinare la qualità dei bordi, esegui operazioni morfologiche di apertura e chiusura sugli output iniziali di segmentazione per filtrare il rumore spurio e migliorare la delineazione dei bordi.
5. Inizia con un'operazione di apertura per eliminare piccoli picchi e artefatti di bordo nella^{maschera prevista 32}.
6. Segue con un'operazione di chiusura per rimuovere buchi isolati e regioni frammentate.
7. Utilizzare un kernel di strutturazione 25 × 25 per entrambe le operazioni, per garantire un efficace raffinamento dei confini dell'organo e la riduzione del rumore di segmentazione.

4. Ambiente di addestramento e iperparametri

1. Addestra il modello usando una singola GPU NVIDIA A100 Tensor Core.
2. Imposta la dimensione del lotto a 16.
3. Inizializza l'encoder (backbone) usando pesi pre-addestrati^{ImageNet 33} per sfruttare l'apprendimento tramite trasferimento e accelerare la convergenza.
4. Usa l'ottimizzatore Stocastic Gradient Descent (SGD)³⁴ per la sua robustezza nei compiti di segmentazione delle immagini su larga scala e per la sua capacità di mitigare gradienti rumorosi.
5. Imposta il tasso di apprendimento iniziale a 0,01 e applica una strategia di decadimento polinomiale per ridurre gradualmente il tasso di apprendimento, con un limite inferiore di 0,0001.
6. Continuare ad allenarsi per un totale di 50.000 iterazioni per ottenere il modello finale.

5. Addestramento modello trifasique

1. Nella Fase di Selezione del Modello, confrontare molteplici modelli di segmentazione usando input dual-modality, inclusi^{DeeplabV3 35}, DLinkNet34³⁶ e U-Net³⁷; Seleziona il modello ottimale in base all'accuratezza di segmentazione e all'efficienza computazionale.
2. Nella Fase di Ottimizzazione Strutturale Algoritmica, si indagano le diverse posizioni di fusione delle caratteristiche all'interno della rete per determinare la strategia di integrazione più efficace per i dati di luce bianca e fluorescenza.
3. Nella Fase di Generalizzazione e Validazione Clinica, applicare tecniche progressive di aumento dei dati per aumentare la robustezza del modello; Validare il modello finale in scenari clinici per valutarne l'applicabilità nel mondo reale.

6. Elaborazione video chirurgica

1. Estrae segmenti video che mostrano la visualizzazione intraoperatoria della fluorescenza ICG dell'anatomia biliare, inclusi il dotto biliare comune (CBD) e il dotto cistico.
2. Elaborare i video selezionati in tempo reale usando il modello ottimale; Calcola il tempo medio di elaborazione per frame per valutare le prestazioni computazionali in tempo reale.

7. Rimozione della contaminazione da fluorescenza epatica

1. Applicare il modello per rilevare e sopprimere la contaminazione da fluorescenza epatica in tempo reale durante le procedure ICGLC.
2. Garantire la conservazione della visualizzazione della struttura biliare per facilitare l'identificazione efficiente dei dotti biliari.
3. Mantenere le prestazioni di soppressione della contaminazione nonostante le sfide intraoperatorie comuni come l'occlusione degli strumenti o il movimento della telecamera.

8. Valutazione clinica della qualità video

1. Recluta un panel di 10 chirurghi generali senior provenienti da istituzioni esterne per valutare l'efficacia dei video processati dall'IA.
2. Fornire a ciascun chirurgo sia clip video originali che potenziate dall'IA; Istruisci loro a compilare un questionario di valutazione soggettiva basato su cinque criteri di valutazione predefiniti.

Risultati

Nel nostro studio, un totale di 48 pazienti che si sono sottoposti a colecistectomia laparoscopica elettiva con indocyanina verde (ICGLC) tra il 2022 e il 2024 nel Dipartimento di Chirurgia Generale del Peking Union Medical College Hospital sono stati iscritti retrospettivamente. Tutti i pazienti hanno ricevuto un'iniezione endovenosa di 0,5 mg di indocyanina verde 20 minuti prima dell'intervento. L'esame patologico postoperatorio ha confermato che tutti i casi sono stati diagnosticati c...

Discussione

Questa ricerca ha sfruttato il deep learning con IA per affrontare una sfida chiave negli interventi ICGLC: identificare e mascherare la contaminazione da fluorescenza epatica. I chirurghi che utilizzano la NIRF spesso riportano che la fluorescenza epatica causa affaticamento visivo e complica l'imaging^{biliare 38}. Applicando la tecnologia di visione artificiale, questo studio mirava a mitigare questi problemi e potenzialmente ridurre l'incidenza di BDI, una compli...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Consolle di imaging a fluorescenza 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Fornisce tre modalità di imgaging: luce bianca, fluorescenza e fluorescenza fusa; Supporto all'espansione dei moduli di IA
Fotocamera a fluorescenza 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	Fotocamera completamente digitalizzata con impostazioni multifunzione dei pulsanti; Supporta la registrazione video, la fotografia e la commutazione delle modalità fluorescenti
Sistema di Sorgenti di Luce Fredda	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	Sorgente di luce fredda LED e sorgente luminosa LED fluorescente con lunghezza d'onda di fluorescenza di 808 nm
NVIDIA A100 Tensor Core	NVIDIA Corporation	900-21001-0020-100	GPU