Nowatorskie podejście do głębokiego uczenia dwumodalnego do usuwania fluorescencji wątroby w czasie rzeczywistym podczas laparoskopowej cholecistektomii prowadzonej zieloną indocyjaniną

Podsumowanie

Protokół ten przedstawia podwójne podejście do głębokiego uczenia w czasie rzeczywistym do usuwania fluorescencji wątroby podczas laparoskopowej cholecystektomii prowadzonej indocyjaniną zielonym (ICGLC).

Streszczenie

Laparoskopowa cholecystektomia prowadzona zieloną indocyaniną (ICGLC) poprawia wizualizację dróg żółciowych, ale często jest utrudniona przez zanieczyszczenie fluorescencją wątroby, które zakłóca struktury anatomiczne. Celem tego badania jest opracowanie i ocena nowatorskiego ramowego systemu głębokiego uczenia dwumodalnego, który automatycznie wykrywa i usuwa zanieczyszczenie fluorescencją wątroby w czasie rzeczywistym podczas procedur ICGLC. Zestaw danych obejmujący 33 123 ramy chirurgiczne o podwójnej modalności został skonstruowany spośród 48 pacjentów, którzy przeszli planową ICGLC. Obrazy fluorescencji i światła białego były łączone i opatrzone adnotacjami. Porównano kilka modeli głębokiego uczenia i wybrano sieć opartą na DeepLabV3 w trakcie fuzji. Zastosowano morfologiczne strategie postprzetwarzania oraz fazowego szkolenia, aby zwiększyć dokładność segmentacji i uogólnialność. Proponowany model osiągnął współczynnik kości 0,838 oraz przywołanie 0,863 w końcowym zestawie testowym. W subiektywnych ocenach 10 starszych chirurgów konsekwentnie oceniało filmy przetwarzane przez AI jako bardziej przejrzyste, z wyraźnie lepszą wizualizacją przewodów żółciowych i zmniejszonym zmęczeniem wzroku. Model wykazał wydajność w czasie rzeczywistym z wynikiem 0,018 sekundy na klatkę. Niniejsze badanie przedstawia pierwsze rozwiązanie AI w czasie rzeczywistym do usuwania fluorescencji wątroby w ICGLC. Model głębokiego uczenia z podwójnym modalnym systemem znacząco zwiększa przejrzystość wzroku, oferując potencjał do poprawy bezpieczeństwa chirurgicznego, efektywności operacyjnej oraz skuteczności szkoleń. Przyszłe badania prospektywne są uzasadnione, aby ocenić wpływ kliniczny na wyniki operacji.

Wprowadzenie

Cholelitoza to powszechne zaburzenie przewodu pokarmowego, które konsekwentnie wykazuje wysokie wskaźniki zachorowalności na całym świecie w różnych populacjach, dotykając ponad 4% światowej populacji 1,2,3,4. Laparoskopowa cholecystektomia (LC) jest powszechnie uznawana za "złoty standard" leczenia cholelitozy ze względu na jej zalety, takie jak minimalne urazy śródoperacyjne, łagodny ból pooperacyjny, korzystne efekty kosmetyczne oraz krótkie pobyty^w szpitalu ^5,6,7. Tylko w Stanach Zjednoczonych chirurdzy ogólni wykonują od 750 000 do 1 000 000 zabiegów LC rocznie. Jednak wskaźnik powikłań LC przewyższa ten w tradycyjnej operacji otwartej⁸, a częstość poważnych powikłań, takich jak uszkodzenie dróg żółciowych (BDI), wynosi 2 do 3 razy wyższa^{– 9,10}. Badania wskazują, że BDI podczas zabiegów laparoskopowych często wynika z błędów technicznych w fazie rozwarstwienia anatomicznego, przy czym szczególnie częste są błędne identyfikacje anatomiczne (do 85%), często związane z błędnymi ocenami dotyczącymi wspólnego przewodu żółciowego (CBD) lub zmianami w anatomii prawego tylnego przewodu wątrobowego^11,12.

Aby zmniejszyć częstość występowania powikłań chirurgicznych we współczesnej praktyce, opracowano szereg zaawansowanych metod i zaawansowanych technologii, w tym krytyczny widok bezpieczeństwa (CVS), cholangiografię śródoperacyjną oraz technologię fluorescencji bliskiej podczerwieni (NIRF) ^5,8. CVS jest coraz częściej uznawany za standardową metodę identyfikacji struktur pęcherzyka^{żółciowego 5,13,14}, wymagającą usunięcia tkanki łącznej w trójkącie cystowątrzebowym oraz rozwarstwienia dolnej trzeciej części pęcherzyka żółciowego od płytki torbielowatej, aby umożliwić wyraźny widok przewodu torbielowatego i tętnicy torbielowatej, co zapobiega uszkodzeniom naczyń i dróg żółciowych podczas laparoskopowej cholecystektomii^{11, 15}.

Kolejnym sprawdzonym rozwiązaniem, które po raz pierwszy klinicznie zgłoszono w 2008 roku, było cholangiografia NIRF w czasie rzeczywistym oparta na zielonej indocyaninie (ICG). ICG jest metabolizowane wyłącznie przez wątrobę, wiąże się z białkami osocza i emituje szczytową długość fali światła około 830 nm podczas napromieniowania światłem bliskiej podczerwieni¹⁷. Ta cecha pozwala na wizualizację guzów wątroby i układu żółciowego, co świadczy o obiecującym zastosowaniu w zwiększaniu bezpieczeństwa chirurgicznego i skróceniu czasu operacji^{18, 19, 20}. Badania porównujące łączne stosowanie CVS i NIRF z samym CVS wykazały korzyści dla pacjentów otyłych oraz przypadków ciężkiego stanu zapalnego, nie tylko skracając czas operacji, ale także zmniejszając częstość występowania BDI^21,22. Jednak jego zastosowania kliniczne napotykają na kilka ograniczeń, w tym zastosowanie różnych urządzeń obrazujących²³ oraz opóźnione iniekcje ICG lub nadmierne wchłanianie tkanki wątroby, co skutkuje wysoką intensywnością fluorescencji wątroby i zanieczyszczeniem pola widzenia, przez co zaciemnia kluczowe obrazowanie układu żółciowego²⁴. Jeśli technologie pomocnicze można by zastosować wewnątrzoperacyjnie do usunięcia zanieczyszczenia fluorescencji wątroby przy zachowaniu prawidłowej obrazowania fluorescencji dróg żółciowych, mogłoby to pomóc zoptymalizować widok chirurgiczny, jeszcze bardziej zwiększając bezpieczeństwo i płynność operacji.

Technologia sztucznej inteligencji (AI) to obiecujące narzędzie do optymalizacji fluorescencji. AI w obrazowaniu medycznym i operacjach chirurgicznych stała się w ostatnich latach gorącym punktem badań, osiągając liczne przełomy technologiczne i zastosowania kliniczne 25,26,27. Istniejące badania i zastosowania technologii głębokiego uczenia AI w filmach chirurgii laparoskopowej często opierały się na pojedynczych metodach białego światła, w tym na rozpoznawaniu różnych punktów anatomicznych, takich jak nawrotowy nerw krtaniowy, krawędzie nerek, naczynia krwionośne oraz pęcherzyk żółciowy 28,29,30,31 . Obecnie brakuje badań nad usuwaniem zanieczyszczenia fluorescencją wątroby w czasie rzeczywistym podczas fluorescencyjnego LC. Segmentacja obrazów dual-modalnych, szeroko stosowana w przemyśle, może pomóc wypełnić tę lukę. Celem tego badania jest zbadanie zastosowań segmentacji obrazów dual-modalnych w scenariuszach ICGLC oraz opracowanie i walidacja metod treningowych umożliwiających dynamiczne rozpoznawanie i osłonę nadmiernej fluorescencji wątroby w czasie rzeczywistym.

Protokół

Wszystkie materiały chirurgiczne zawarte w tym badaniu pochodzą od pacjentów, którzy przeszli planową laparoskopową cholecystektomię (ICGLC) pod kierunkiem ICG w Pekin Union Medical College Hospital. Badanie zostało zatwierdzone przez odpowiednią komisję etyczną, a przed rozpoczęciem uzyskiwania wyrazistą świadomą zgodę wszystkich uczestników.

1. Przygotowanie danych i adnotacja obrazów

1. Zbierz retrospektywnie materiały chirurgiczne od 48 pacjentów, którzy przeszli ICGLC w Pekin Union Medical College Hospital w latach 2022–2024.
   UWAGA: Pacjenci biorący udział w tym badaniu byli dożylnie wstrzykiwani 0,5 mg ICG 20 minut przed operacją.
2. Polec chirurgowi ogólnemu przejrzeć wszystkie filmy chirurgiczne i fragmenty obejmujące kluczowe etapy sekcji trójkąta Calota. Wybierz 76 klipów chirurgicznych ręcznie, koncentrując się na rozcinaniu trójkąta Calota. Wyodrębnij kanały fluorescencji i obrazowania światła białego z każdego klipu. Łącz je wzdłuż kanału RGB.
3. Aby zminimalizować redundancję, próbkować klatki w odstępie 8:1, zmniejszyć rozdzielczość z 1920 × 1080 do 960 × 540 i importować obrazy do niestandardowej platformy adnotacji.
4. Przydziel chirurga ogólnego do ręcznego wyznaczania konturów fluorescencji wątroby i zapewnienia jakości adnotacji pod nadzorem starszego chirurga.

2. Metryki oceny modelu

1. Oceń wydajność segmentacji modelu za pomocą standardowych metryk widzenia komputerowego, w tym precyzji, przypomnienia oraz współczynnika Dice, na podstawie wyznaczonego zestawu danych testowych.
2. Ocena wydajności w czasie rzeczywistym, mierząc obciążenie obliczeniowe podczas wnioskowania.
   1. Mierz czas wnioskowania za pomocą modułu czasu ze standardowej biblioteki Python/C.
   2. Zarejestruj znacznik czasu rozpoczęcia, wywołując time.perf_counter() przed załadowaniem danych.
   3. Po wygenerowaniu wyników prognoz przez model ponownie wywołaj time.perf_counter(), aby uzyskać kończący znacznik czasu.
   4. Zdefiniuj różnicę między znacznikami czasu końcowego i początkowego jako czas wnioskowania dla pojedynczej próbki.
   5. Powtórz tę procedurę dla każdej próbki w zbiorze danych testowych i oblicz średni czas wnioskowania we wszystkich próbkach, aby oddać całkowite opóźnienie wnioskowania modelu.
   6. Należy odnieść się do następującego pseudokodu podsumowującego odpowiadającą procedurę:
      Inicjalizuj Inference_time = 0 oraz ind = 0
      Niech X oznacza ścieżkę pamięci w zbiorze testowym, a model wnioskowania
      Dla każdego x_path w X :
      Synchronizacja CPU i GPU
      Start_timestamp = time.perf_counter() # znacznik czasu startu
      x = ładowanie(x_path) # ładowanie danych
      y = model(x) # wnioskowanie modelowania
      Synchronizacja CPU i GPU
      End_timestamp = time.perf_counter() # koniec godziny
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Koniec dla
      Inference_time = Inference_time / ind # średni czas wnioskowania
3. Ustal główny cel rozpoznawania fluorescencji wątroby i dróg żółciowych wykrywanie obszaru wątroby w polu chirurgicznym oraz zastąpienie odpowiadających informacji o białym świetle, minimalizując tym samym interferencję fluorescencji wątroby.
4. Użyj przecięcia nad sumą (IoU), aby ilościowo określić dokładność predykcyjną modelu.
   UWAGA: Przecięcie przez sumę (IoU) definiuje się jako stosunek liczby pikseli w obszarze nakładających się między przewidywanym obszarem dodatnim a obszarem dodatnim z rzeczywistości do całkowitej liczby pikseli w sumie przewidywanych i pozytywnych obszarów z rzeczywistości.
5. Zdefiniuj prognozę jako True Dodatnia (TP), jeśli IoU z faktem podstawowym przekracza określony próg; w przeciwnym razie klasyfikuj go jako fałszywie negatywny (FN).
6. Oznacz każdą przewidywaną segmentację bez odpowiedniej adnotacji jako fałszywie pozytywny (FP).
7. Po obliczeniu przecięcia przez sumę (IoU) pomiędzy przewidywanymi wynikami a etykietami prawdziwości podstawowej, ustaw próg IoU na 0,1, uwzględniając rozproszony i niskokontrastowy charakter sygnałów fluorescencyjnych w obrazowaniu chirurgicznym.
8. Zdefiniuj i oblicz metryki oceny w następujący sposób:
   
   
   

3. Morfologiczne postprzetwarzanie

1. Zmniejszyć próbkę wszystkich klatek fluorescencyjnych wątroby i przewodów żółciowych od 1920 × 1080 do 960 × rozdzielczości 540, stosując metodę opartą na interpolacji, konkretnie interpolację biliniową.
2. Zastosuj zerowe wypełnienie wzdłuż szerokości, aby uzyskać ostateczny wymiar wejściowy 960 × 544, generując macierz 960 × 544 całkowicie zerową i centrując aktualny obraz w jej obrębie.
3. Łącz obrazy światła białego i fluorescencji wzdłuż wymiaru kanału, zapisując odpowiadające im macierze w sekwencji w tensorze skonstruowanym przy użyciu ramy PyTorch przed wprowadzeniem ich do modelu.
4. Aby zmniejszyć szumy i poprawić jakość granic, wykonuj morfologiczne operacje otwierania i zamykania na początkowych wyjściach segmentacji, aby filtrować fałszywe szumy i poprawić wyznaczanie krawędzi.
5. Rozpocznij od operacji otwarcia, aby wyeliminować małe kolce i artefakty krawędzi w przewidywanej masce³².
6. Następnie przeprowadzić operację zamykania, aby usunąć pojedyncze dziury i fragmentowane obszary.
7. Do obu operacji używaj jądra strukturalnego o średnicy 25 × 25, aby zapewnić skuteczne doprecyzowanie granic organów i redukcję szumu segmentacyjnego.

4. Środowisko treningowe i hiperparametry

1. Wytrenuj model na pojedynczej kartie NVIDIA A100 Tensor Core.
2. Ustaw rozmiar partii na 16.
3. Zainicjalizuj enkoder (szkielet szkieletowy) za pomocą wstępnie wytrenowanych wag ImageNet³³ , aby wykorzystać uczenie transferowe i przyspieszyć zbieżność.
4. Wykorzystaj optymalizator Stochastic Gradient Descent (SGD)³⁴ ze względu na jego odporność w zadaniach segmentacji obrazów na dużą skalę oraz zdolność do ograniczania szumowych gradientów.
5. Ustaw początkową szybkość uczenia na 0,01 i zastosuj strategię zaniku wielomianów, aby stopniowo zmniejszać szybkość uczenia, z dolnym ograniczeniem 0,0001.
6. Kontynuuj trening przez łącznie 50 000 iteracji, aby uzyskać ostateczny model.

5. Trening modelu trójfazowego

1. W fazie wyboru modelu porównaj modele segmentacji z wykorzystaniem wejścia z podwójną modalnością, w tym DeeplabV3³⁵, DLinkNet34³⁶ oraz U-Net³⁷; Wybierz optymalny model na podstawie dokładności segmentacji i efektywności obliczeniowej.
2. W fazie optymalizacji strukturalnej algorytmicznej zbadaj różne pozycje fuzji cech w sieci, aby określić najskuteczniejszą strategię integracji danych z białego światła i fluorescencji.
3. W fazie uogólnienia i walidacji klinicznej stosować techniki stopniowej augmentacji danych w celu zwiększenia odporności modelu; Weryfikacja ostatecznego modelu w scenariuszach klinicznych, aby ocenić jego zastosowanie w praktyce.

6. Chirurgiczne przetwarzanie wideo

1. Wyodrębniaj fragmenty wideo przedstawiające wewnątrzoperacyjną wizualizację fluorescencji ICG anatomii drużi żółciowej, w tym wspólnego przewodu żółciowego (CBD) i przewodu torbielowatego.
2. Przetwarzaj wybrane filmy w czasie rzeczywistym, korzystając z optymalnego modelu; Oblicz średni czas przetwarzania na klatkę, aby ocenić wydajność obliczeniową w czasie rzeczywistym.

7. Usuwanie zanieczyszczenia fluorescencji wątroby

1. Zastosowanie modelu do wykrywania i tłumienia zanieczyszczenia fluorescencji wątroby w czasie rzeczywistym podczas procedur ICGLC.
2. Zapewnienie zachowania wizualizacji struktury dróg żółciowych, aby ułatwić efektywną identyfikację przewodów żółciowych.
3. Utrzymanie wydajności tłumienia zanieczyszczeń pomimo typowych wyzwań wewnątrzoperacyjnych, takich jak zatykanie instrumentów czy ruch kamery.

8. Kliniczna ocena jakości wideo

1. Zrekrutować panel 10 starszych chirurgów ogólnych z zewnętrznych instytucji, aby ocenić skuteczność nagrań przetwarzanych przez AI.
2. Zapewnij każdemu chirurgowi zarówno oryginalne, jak i wideo wspierane przez AI; Polec im wypełnić subiektywny kwestionariusz oceny oparty na pięciu wcześniej określonych kryteriach oceny.

Wyniki

W naszym badaniu łącznie 48 pacjentów, którzy przeszli planowaną laparoskopię cholecystektomii z użyciem indocyjaniny (ICGLC) w latach 2022–2024 w Dziale Chirurgii Ogólnej w Pekin Union Medical College Hospital, zostało retrospektywnie zapisanych. Wszyscy pacjenci otrzymali dożylny zastrzyk 0,5 mg indocyjaniny green na 20 minut przed operacją. Badanie patologiczne pooperacyjne potwierdziło, że we wszystkich przypadkach zdiagnozowano kalkulozne zapalenie płęcherzyka żółciowego.

Po ręcznej segme...

Dyskusja

Badania te wykorzystały głębokie uczenie AI do rozwiązania kluczowego wyzwania w operacjach ICGLC: identyfikacji i maskowania zanieczyszczenia fluorescencji wątroby. Chirurdzy stosujący NIRF często zgłaszają, że fluorescencja wątroby powoduje zmęczenie wzrokowe i komplikuje obrazowanie dróg żółciowych³⁸. Dzięki zastosowaniu technologii widzenia komputerowego, badanie miało na celu złagodzenie tych problemów i potencjalne zmniejszenie częstości występowania BDI, częstego powikłania w ICGLC. Czas wn...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Konsola obrazowania fluorescencyjnego 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Zapewnia trzy tryby imgage: światło białe, fluorescencję i fluorescencję fuzję; Wspieraj rozszerzenie modułów AI
Kamera fluorescencyjna 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	W pełni zdigitalizowany aparat z wielofunkcyjnymi ustawieniami przycisków; Obsługa nagrywania wideo, fotografii i przełączania się w trybach fluorescencji
System Źródeł Zimnego Światła	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	Zimne źródło światła LED i światło fluorescenctowe LED o długości fali fluorescencyjnej 808 nm
Rdzeń tensor NVIDIA A100	NVIDIA Corporation	900-21001-0020-100	GPU