Ein neuartiger dualmodaler Deep-Learning-Ansatz zur Echtzeit-Entfernung der hepatischen Fluoreszenz bei der indocyanin grün-geführten laparoskopischen Cholezystektomie

Zusammenfassung

Dieses Protokoll bietet einen dualmodalen Deep-Learning-Ansatz für die Echtzeit-Entfernung der hepatischen Fluoreszenz während der indocyanin grüngeleiteten laparoskopischen Cholezystektomie (ICGLC).

Zusammenfassung

Die indocyanin-grüngeführte laparoskopische Cholezystektomie (ICGLC) verbessert die Sichtbarkeit der Gallengänge, wird jedoch häufig durch eine hepatische Fluoreszenzkontamination behindert, die anatomische Strukturen beeinträchtigt. Diese Studie zielt darauf ab, ein neuartiges dualmodales Deep-Learning-Framework zu entwickeln und zu evaluieren, das während der ICGLC-Verfahren automatisch die hepatische Fluoreszenzkontamination erkennt und entfernt. Ein Datensatz mit 33.123 dualmodalen chirurgischen Rahmen wurde aus 48 Patienten erstellt, die sich einer elektiven ICGLC unterzogen hatten. Fluoreszenz- und Weißlichtbilder wurden verschmolzen und annotiert. Mehrere Deep-Learning-Modelle wurden verglichen, und ein auf DeepLabV3 basierendes Mid-Fusion-Netzwerk wurde ausgewählt. Morphologische Nachbearbeitung und phasenweise Trainingsstrategien wurden implementiert, um die Segmentierungsgenauigkeit und Generalisierbarkeit zu verbessern. Das vorgeschlagene Modell erreichte einen Würfelkoeffizienten von 0,838 und einen Rückruf von 0,863 im finalen Testsatz. Bei subjektiven Bewertungen bewerteten zehn erfahrene Chirurgen die KI-verarbeiteten Videos durchweg als klarer, mit deutlich verbesserter Visualisierung der Gallengänge und reduzierter visueller Müdigkeit. Das Modell zeigte eine Echtzeitleistung von 0,018 Sekunden pro Frame. Diese Studie präsentiert die erste Echtzeit-KI-Lösung zur Leberfluoreszenzentfernung im ICGLC. Das dualmodale Deep-Learning-Modell verbessert die visuelle Klarheit erheblich und bietet das Potenzial, die chirurgische Sicherheit, die operative Effizienz und die Trainingseffektivität zu verbessern. Zukünftige prospektive Studien sind notwendig, um die klinischen Auswirkungen auf operative Ergebnisse zu bewerten.

Einleitung

Cholelithiasis ist eine weit verbreitete gastrointestinale Erkrankung und weist weltweit konstant hohe Inzidenzraten in verschiedenen Bevölkerungsgruppen auf und betrifft über 4 % der Weltbevölkerung 1,2,3,4. Die laparoskopische Cholezystektomie (LC) gilt aufgrund ihrer Vorteile wie minimaler intraoperativer Traumata, leichten postoperativen Schmerzen, günstigen kosmetischen Ergebnissen und kurzen Krankenhausaufenthalten^weithin als "Goldstandard" für die Behandlung der Cholelitiasis (^LC). Allein in den Vereinigten Staaten führen Allgemeinchirurgen jährlich zwischen 750.000 und 1.000.000 LCs durch. Die Komplikationsrate der LC übersteigt jedoch die der traditionellen offenen Chirurgie⁸, wobei das Auftreten schwerer Komplikationen wie einer Gallenwegsverletzung (BDI) 2 bis 3 Mal höher ist – ^9,10. Forschungen zeigen, dass BDI während laparoskopischer Eingriffe häufig durch technische Fehler in der anatomischen Dissektionsphase entsteht, wobei anatomische Fehlidentifikationen besonders häufig sind (bis zu 85 %), oft mit Fehleinschätzungen bezüglich des gemeinsamen Gallengangs (CBD) oder Variationen in der Anatomie des rechten hinteren Lebergangs^11,12.

Um die Häufigkeit chirurgischer Komplikationen in der modernen Praxis zu verringern, wurden eine Reihe ausgefeilter Methoden und fortschrittlicher Technologien entwickelt, darunter die Critical View of Safety (CVS), die intraoperative Cholangiographie und die Nahinfrarotfluoreszenz-(NIRF)-Technologie ^5,8. Das CVS gilt zunehmend als Standardmethode zur Identifizierung von Gallenblasenstrukturen ^5,13,14, bei der das Bindegewebe im zystohepatischen Dreieck entfernt und das untere Drittel der Gallenblase von der Platte entfernt wird, um eine klare Sicht auf den zystischen Gang und die zystische Arteria zu schaffen und so Gefäß- und Gallenschädigungen während der laparoskopischen Cholezystektomie 11 zu verhindern^{. 15}.

Die auf Indocyanin Green (ICG) basierende intraoperative NIRF-Cholangiographie war eine weitere bewährte Lösung, die erstmals 2008 klinisch berichtet^wurde. ICG wird ausschließlich von der Leber metabolisiert, bindet an Plasmaproteine und sendet bei Bestrahlung mit nahe-infrarotem Licht¹⁷ eine maximale Lichtwellenlänge von etwa 830 nm. Diese Eigenschaft ermöglicht die Sichtbarkeit von Lebertumoren und dem Gallenweis und zeigt vielversprechende Anwendungen zur Verbesserung der chirurgischen Sicherheit und zur Verkürzung der Operationszeiten^{um 18, 19 und 20}. Studien, die die kombinierte Anwendung von CVS und NIRF mit nur CVS verglichen, zeigten Vorteile für fettleibige Patienten und Fälle mit schwerer Entzündung, was nicht nur die Operationszeit verkürzte, sondern auch die Inzidenz von BDI^21,22 verringerte. Seine klinischen Anwendungen stoßen jedoch auf mehrere Einschränkungen, darunter den Einsatz verschiedener Bildgebungsgeräte²³ sowie verzögerte ICG-Injektion oder übermäßige Lebergewebeaufnahme, die zu hoher Fluoreszenzintensität der Leber führt und das Sichtfeld kontaminiert, wodurch die entscheidende Bildgebung des Gallensystems²⁴ verdeckt wird. Wenn Hilfstechnologien intraoperativ eingesetzt werden könnten, um die Fluoreszenzkontamination der Leber zu entfernen und gleichzeitig die korrekte galliäre Fluoreszenzbildgebung zu erhalten, könnte dies helfen, die chirurgische Sicht zu optimieren und die Sicherheit sowie die Geschmeidigkeit der Operation weiter zu verbessern.

Künstliche Intelligenz (KI)-Technologie ist ein vielversprechendes Werkzeug zur Optimierung der Fluoreszenz. KI in der medizinischen Bildgebung und chirurgischen Operationen war in den letzten Jahren ein Forschungshotspot und erzielte zahlreiche technologische Durchbrüche und klinische Anwendungen 25,26,27. Bestehende Studien und Anwendungen der KI-Deep-Learning-Technologie in laparoskopischen Chirurgievideos basierten oft auf einer White-Light-Einzelmodalität, einschließlich der Erkennung verschiedener anatomischer Wahrzeichen wie des reziven Kehlkopfnervs, Nierenkanten, Blutgefäße und der Gallenblase 28,29,30,31 . Derzeit fehlt es an Forschung zur Echtzeit-Entfernung der Leberfluoreszenzkontamination während fluoreszenzunterstützter LC. Die dualmodale Bildsegmentierung, die in der Industrie weit verbreitet eingesetzt wurde, könnte helfen, diese Lücke zu schließen. Diese Studie zielt darauf ab, Anwendungen der dualmodalen Bildsegmentierung innerhalb von ICGLC-Szenarien zu erforschen und Trainingsmethoden für die Echtzeit-dynamische Erkennung und Abschirmung übermäßiger Leberfluoreszenz zu entwickeln und zu validieren.

Protokoll

Alle in dieser Studie enthaltenen chirurgischen Videos stammen von Patienten, die sich einer elektiven, ICG-geführten laparoskopischen Cholezystektomie (ICGLC) im Peking Union Medical College Hospital unterzogen haben. Die Studie wurde vom zuständigen Ethikausschuss genehmigt, und vor der Einschreibung wurde die informierte Zustimmung aller Teilnehmer eingeholt.

1. Datenvorbereitung und Bildannotation

1. Sammeln Sie rückwirkend chirurgische Videos von 48 Patienten, die zwischen 2022 und 2024 eine ICGLC am Peking Union Medical College Hospital durchlaufen haben.
   HINWEIS: Die in dieser Studie eingeschlossenen Patienten wurden 20 Minuten vor der Operation intravenös mit 0,5 mg ICG injiziert.
2. Weisen Sie einen Allgemeinchirurgen an, alle chirurgischen Videos anzusehen und Segmente zu extrahieren, die die kritischen Dissektionsschritte des Calot-Dreiecks enthalten. Wählen Sie manuell 76 chirurgische Videoclips aus, mit Fokus auf die Zerlegung des Calot-Dreiecks. Entnehmen Sie Fluoreszenz- und Weißlichtbildaufnahmekanäle aus jedem Clip. Verbinde sie entlang des RGB-Kanals.
3. Um Redundanz zu minimieren, nehmen Sie Bilder im Abstand von 8:1 ab, reduzieren Sie die Auflösung von 1920 × 1080 auf 960 × 540 und importieren Sie die Bilder in eine benutzerdefinierte Annotationsplattform.
4. Weisen Sie einem Allgemeinchirurgen zu, der manuell die Leberfluoreszenzkonturen abzeichnet und die Qualität der Annotation unter Aufsicht eines leitenden Chirurgen sicherstellt.

2. Modellbewertungsmetriken

1. Bewertung der Segmentierungsleistung des Modells anhand von Standard-Computer-Vision-Metriken, einschließlich Präzision, Rückruf und des Dice-Koeffizienten, basierend auf dem vorgesehenen Testdatensatz.
2. Bewertung der Echtzeitleistung durch Messung der Rechenlast während der Inferenz.
   1. Misse die Inferenzzeit mit dem Zeitmodul aus der Python/C-Standardbibliothek.
   2. Notieren Sie den Startzeitstempel, indem Sie time.perf_counter() vor dem Datenladen anrufen.
   3. Rufen Sie time.perf_counter() erneut auf, nachdem das Modell die Vorhersageergebnisse generiert hat, um den Endzeitstempel zu erhalten.
   4. Definieren Sie die Differenz zwischen den End- und Startzeitstempeln als Inferenzzeit für eine einzelne Probe.
   5. Wiederholen Sie dieses Verfahren für jede Stichprobe im Testdatensatz und berechnen Sie die durchschnittliche Inferenzzeit aller Stichproben, um die Gesamtlatenz des Modells darzustellen.
   6. Beziehen Sie sich auf den folgenden Pseudocode, der das entsprechende Verfahren zusammenfasst:
      Initialisieren Sie Inference_time = 0 und ind = 0
      Sei X den Speicherpfad der Testmenge und das Modell das Inferenzmodell
      Für jedes x_path in X :
      CPU und GPU synchronisieren
      Start_timestamp = time.perf_counter() # Startzeitstempel
      x = load(x_path) # Datenladen
      y = model(x) # modellinferenz
      CPU und GPU synchronisieren
      End_timestamp = time.perf_counter() # Endzeitstempel
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Ende für
      Inference_time = Inference_time / ind# mittlere Schlusszeit
3. Setzen Sie das Hauptziel der hepatischen und biliären Fluoreszenzerkennung, die Leberregion im Operationsfeld zu erkennen und die entsprechenden Weißlichtinformationen zu ersetzen, um so die Interferenz durch hepatische Fluoreszenz zu minimieren.
4. Verwenden Sie die Intersection over Union (IoU), um die prädiktive Genauigkeit des Modells zu quantifizieren.
   HINWEIS: Schnitt über Union (IoU) ist definiert als das Verhältnis der Anzahl der Pixel im überlappenden Bereich zwischen dem vorhergesagten positiven Bereich und dem grundwahrheitspositiven Bereich zur Gesamtzahl der Pixel in der Vereinigung der vorhergesagten und grundwahrheitspositiven Regionen.
5. Definiere eine Vorhersage als True Positive (TP), wenn das IoU mit der Grundwahrheit einen festgelegten Schwellenwert überschreitet; ansonsten klassifizieren Sie es als falsch negativ (FN).
6. Markiere jede vorhergesagte Segmentierung ohne entsprechende Annotation als False Positive (FP).
7. Nach Berechnung des Intersection over Union (IoU) zwischen den vorhergesagten Ergebnissen und den Ground-Truth-Labels setzen Sie die IoU-Schwelle auf 0,1, wobei die diffuse und kontrastarme Natur der Fluoreszenzsignale in der chirurgischen Bildgebung berücksichtigt werden.
8. Definieren und berechnen Sie die Auswertungsmetriken wie folgt:
   
   
   

3. Morphologische Nachbearbeitung

1. Nehmen Sie alle hepatischen und biliären Fluoreszenzrahmen von 1920 × 1080 bis 960 × 540 Auflösung mit einer interpolationsbasierten Methode, speziell der bilinearen Interpolation, herunter.
2. Wenden Sie Nullpolsterung entlang der Breite an, um eine endgültige Eingabedimension von 960 × 544 zu erhalten, indem Sie eine 960 × 544 All-Zero-Matrix erzeugen und das aktuelle Bild darin zentrieren.
3. Verbinden Sie die Weißlicht- und Fluoreszenzbilder entlang der Kanaldimension, indem Sie ihre entsprechenden Matrizen in einer Reihenfolge innerhalb eines mit dem PyTorch-Rahmen konstruierten Tensors speichern, bevor sie ins Modell eingespeist werden.
4. Um verrauschte Vorhersagen zu reduzieren und die Grenzqualität zu verfeinern, führen morphologische Öffnungs- und Schließoperationen an den anfänglichen Segmentierungsausgaben durch, um unscheinbare Rauschen zu filtern und die Kantenabgrenzung zu verbessern.
5. Beginnen Sie mit einer Öffnungsoperation, um kleine Spitzen und Kantenartefakte in der vorhergesagten Maske³² zu eliminieren.
6. Anschließend wird eine Schließungsoperation durchgeführt, um isolierte Löcher und fragmentierte Bereiche zu entfernen.
7. Verwenden Sie für beide Operationen einen 25 × 25 Strukturierungskern, um eine effektive Verfeinerung der Organgrenzen und die Reduzierung von Segmentierungsrauschen sicherzustellen.

4. Trainingsumfeld und Hyperparameter

1. Trainiere das Modell mit einer einzelnen NVIDIA A100 Tensor Core GPU.
2. Stelle die Chargengröße auf 16 ein.
3. Initialisieren Sie den Encoder (Backbone) mit vortrainierten Gewichten von ImageNet³³ , um Transfer Learning zu nutzen und die Konvergenz zu beschleunigen.
4. Verwenden Sie den Stochastic Gradient Descent (SGD)³⁴ Optimierer wegen seiner Robustheit bei groß angelegten Bildsegmentierungsaufgaben und seiner Fähigkeit, verrauschte Gradienten zu mindern.
5. Setze die anfängliche Lernrate auf 0,01 und wende eine Polynom-Zerfallsstrategie an, um die Lernrate schrittweise zu reduzieren, mit einer unteren Grenze von 0,0001.
6. Trainiere weiter für insgesamt 50.000 Iterationen, um das endgültige Modell zu erhalten.

5. Dreiphasige Modellausbildung

1. In der Modellauswahlphase vergleichen Sie mehrere Segmentierungsmodelle mit dualmodaler Eingabe, darunter DeeplabV3³⁵, DLinkNet34³⁶ und U-Net³⁷; Wählen Sie das optimale Modell basierend auf Segmentierungsgenauigkeit und Recheneffizienz aus.
2. In der Phase der algorithmischen strukturellen Optimierung untersuchen Sie verschiedene Merkmalsfusionspositionen im Netzwerk, um die effektivste Integrationsstrategie für Weißlicht- und Fluoreszenzdaten zu bestimmen.
3. In der Generalisierungs- und Klinischen Validierungsphase werden fortschrittliche Datenaugmentierungstechniken angewendet, um die Modellrobustheit zu verbessern; Validieren Sie das endgültige Modell in klinischen Szenarien, um seine reale Anwendbarkeit zu bewerten.

6. Chirurgische Videoverarbeitung

1. Extrahiere Videosegmente, die die intraoperative ICG-Fluoreszenzvisualisierung der galliären Anatomie zeigen, einschließlich des gemeinsamen Gallengangs (CBD) und des zysischen Ganges.
2. Verarbeiten Sie die ausgewählten Videos in Echtzeit mit dem optimalen Modell; Berechnen Sie die durchschnittliche Verarbeitungszeit pro Frame, um die Echtzeit-Rechenleistung zu bewerten.

7. Entfernung der Leberfluoreszenz-Kontamination

1. Wenden Sie das Modell an, um Leberfluoreszenzkontamination in Echtzeit während ICGLC-Verfahren zu erkennen und zu unterdrücken.
2. Sicherstellung der Erhaltung der Visualisierung der Gallengänge, um eine effiziente Identifikation der Gallengänge zu ermöglichen.
3. Halte die Kontaminationsunterdrückung trotz häufiger intraoperativer Herausforderungen wie Instrumentenverschluss oder Kamerabewegung aufrecht.

8. Klinische Bewertung der Videoqualität

1. Rekrutieren Sie ein Gremium von 10 leitenden Allgemeinchirurgen aus externen Institutionen, um die Wirksamkeit der KI-verarbeiteten Videos zu bewerten.
2. Stellen Sie jedem Chirurgen sowohl originale als auch KI-optimierte Videoclips zur Verfügung; Weisen Sie sie an, einen subjektiven Bewertungsfragebogen auf Basis von fünf vordefinierten Bewertungskriterien auszufüllen.

Ergebnisse

In unserer Studie wurden insgesamt 48 Patienten, die zwischen 2022 und 2024 in der Abteilung für Allgemeinchirurgie am Peking Union Medical College Hospital eine elektive Indocyaningrün-laparoskopische Cholezystektomie (ICGLC) unterzogen hatten, rückwirkend eingeschrieben. Alle Patienten erhielten 20 Minuten vor der Operation eine intravenöse Injektion von 0,5 mg Indocyanin Green. Die postoperative pathologische Untersuchung bestätigte, dass bei allen Fällen eine kalkulöse Cholezystitis ...

Diskussion

Diese Forschung nutzte KI-Deep Learning, um eine zentrale Herausforderung bei ICGLC-Operationen anzugehen: die Identifizierung und Maskierung einer Leberfluoreszenzkontamination. Chirurgen, die NIRF verwenden, berichten oft, dass Leberfluoreszenz zu visueller Müdigkeit führt und die gallenwege Bildgebung^erschwert. Durch den Einsatz von Computer-Vision-Technologie zielte diese Studie darauf ab, diese Probleme zu mildern und möglicherweise die Häufigkeit von BDI, ei...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
4K Fluoreszenzbildbildgebungspult	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Bietet drei Imgierungsmodi: Weißlicht, Fluoreszenz und fusionierte Fluoreszenz; Unterstützung der Erweiterung von KI-Modulen
4K Fluoreszenzkamera	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	Voll digitalisierte Kamera mit Multifunktionstasten; Unterstützung von Videoaufnahme, Fotografie und Schalten des Fluoreszenzmoduses
Kaltlichtquellensystem	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	LED-Kaltlichtquelle und Leuchtstoffstofflampe mit einer Fluoreszenzwellenlänge von 808 nm
NVIDIA A100 Tensor-Kern	NVIDIA Corporation	900-21001-0020-100	GPU