Indocyanine Yeşil Rehberli Laparoskobik Kolesistektomide Hepatik Flüoresansın Gerçek Zamanlı Çıkarılması İçin Yeni Bir İki Modal Derin Öğrenme Yaklaşımı

Özet

Bu protokol, indosiyanin yeşil rehberliğinde laparoskopik kolesistektomi (ICGLC) sırasında gerçek zamanlı hepatik floresans çıkarımı için çift modlu derin öğrenme yaklaşımı sunmaktadır.

Özet

Indosiyanin yeşil rehberli laparoskopik kolesistektomi (ICGLC) safra görselleştirmesini iyileştirir, ancak anatomik yapılara müdahale eden karaciğer floresan kontaminasyonu nedeniyle sıklıkla engellenir. Bu çalışma, ICGLC prosedürleri sırasında hepatik floresan kontaminasyonunu gerçek zamanlı olarak otomatik olarak tespit edip ortadan kaldırmak için yeni bir çift modlu derin öğrenme çerçevesi geliştirmeyi ve değerlendirmeyi amaçlamaktadır. Seçmeli ICGLC geçiren 48 hastadan 33.123 çift modaliteli cerrahi çerçeve veri seti oluşturuldu. Floresans ve beyaz ışık görüntüleri birleştirilmiş ve notlandırılmıştır. Birkaç derin öğrenme modeli karşılaştırıldı ve DeepLabV3 tabanlı orta füzyon ağı seçildi. Segmentasyon doğruluğunu ve genellenebilirliğini artırmak için morfolojik sonra-işleme ve aşamalı eğitim stratejileri uygulandı. Önerilen model, son test setinde 0.838 zar katsayısı ve 0.863 geri çağırma oranı elde etti. Öznel değerlendirmelerde, 10 kıdemli cerrah yapay zeka ile işlenen videoları tutarlı olarak daha net olarak değerlendirdi; safra kanalı görselleştirmesi belirgin şekilde iyileşti ve görsel yorgunluk azaldı. Model, kare başına 0,018 saniye ile gerçek zamanlı performans gösterdi. Bu çalışma, ICGLC'de hepatik floresans çıkarımı için ilk gerçek zamanlı yapay zeka çözümünü sunmaktadır. Çift modal derin öğrenme modeli, görsel netliği önemli ölçüde artırır ve cerrahi güvenliği, operasyonel verimliliği ve eğitim etkinliğini artırma potansiyeli sunar. Ameliyat sonuçları üzerindeki klinik etkileri değerlendirmek için gelecekteki prospektif çalışmalar gerekmektedir.

Giriş

Kolelitiyoz, yaygın bir gastrointestinal bozukluktur ve çeşitli popülasyonlarda sürekli olarak yüksek insidans oranları göstermekte, küresel nüfusun %4'ünden fazlasını^{etkiler (}1,2,3,4). Laparoskopik kolesistektomi (LC), minimal ameliyat içi travma, hafif ameliyat sonrası ağrı, olumlu kozmetik sonuçlar ve kısa hastane yatışları gibi avantajlar nedeniyle kolelitiazis tedavisinde yaygın olarak 'altın standart' olarak kabul^{edilir 5,6,7}. Sadece Amerika Birleşik Devletleri'nde genel cerrahlar yılda 750.000 ile 1.000.000 arasında LC gerçekleştirmektedir. Ancak, LC'nin komplikasyon oranı geleneksel açık^{cerrahi 8'in} üzerindedir ve safra kanalı yaralanması (BDI) gibi ciddi komplikasyonların görülmesi 2 ila 3 kat daha fazladır^(9,10). Araştırmalar, laparoskopik işlemler sırasında BDI'nin genellikle anatomik diseksiyon aşamasındaki teknik hatalardan kaynaklandığını göstermektedir; anatomik yanlış tanımlamalar özellikle yaygın (%85'e kadar), genellikle safra kanalı (CBD) hakkında yanlış yargılar veya sağ arka karaciğer kanalının anatomisindeki değişiklikler^{içerir 11,12}.

Çağdaş uygulamada cerrahi komplikasyonların yaygınlığını azaltmak için, kritik güvenlik görünümü (CVS), ameliyat içi kolanjiyografi ve yakın kızılötesi floresans (NIRF) teknolojisi gibi gelişmiş yöntemler ve ileri teknolojiler^{geliştirilmiştir 5,8}. CVS, safra kesesi yapılarını tanımlamak için giderek daha fazla standart bir yöntem^{olarak kabul edilmektedir 5,13,14}; bu yöntem, sistohepatik üçgendeki bağ dokusunun çıkarılmasını ve safra kesesinin alt üçte birinin kistik plakadan ayrılmasını gerektirir; böylece kistik kanal ve kistik arterin net görüşünü serbest bırakmak ve böylece laparoskopik kolesistektomi sırasında damar ve safra hastalıkları önlenir. ¹⁵.

Indocyanine green (ICG) tabanlı gerçek zamanlı intraoperatif NIRF kolanjiyografisi de kanıtlanmış bir çözüm olup, ilk kez 2008 yılında klinik olarak^{bildirilmiştir 16}. ICG, yalnızca karaciğer tarafından metabolize edilir, plazma proteinlerine bağlanır ve yakın kızılötesi^{ışık 17} ile ışınlandığında yaklaşık 830 nm zirve ışık dalga boyu yayar. Bu özellik, karaciğer tümörlerinin ve safra sisteminin görselleştirilmesine olanak tanır ve cerrahi güvenliği artırmada ve ameliyat sürelerini azaltmada umut vadeden uygulamalar^gösterir 18,19,20. CVS ve NIRF'nin birleşik kullanımını yalnızca CVS ile karşılaştıran çalışmalar, obez hastalar ve şiddetli iltihaplı vakalar için faydalar gösterdi; bu da sadece ameliyat süresini kısaltmakla kalmadı, aynı zamanda BDI^21,22 sıklığını da azalttı. Ancak, klinik uygulamaları çeşitli görüntüleme^{cihazlarının kullanımı ve} gecikmeli ICG enjeksiyonu veya aşırı karaciğer dokusu emilimi gibi çeşitli sınırlamalarla karşılaşır; bu da karaciğer floresansının yüksek yoğunluğuna ve görüş alanını kirletmesine yol açar ve böylece kritik safra sistemi görüntülemesini^gizler. Eğer yardımcı teknolojiler ameliyat sırasında karaciğer floresans kontaminasyonunu gidererek doğru safra floresan görüntülemesini koruyarak uygulanabilirse, cerrahi görünümü optimize etmeye yardımcı olabilir ve ameliyatın güvenliğini ve akıcılığını daha da artırabilir.

Yapay zeka (YZE) teknolojisi, floresansı optimize etmek için umut vadeden bir araçtır. Tıbbi görüntüleme ve cerrahi operasyonlarda yapay zeka, son yıllarda birçok teknolojik atılım ve klinik uygulama elde ederek araştırma merkezi olmuştur 25,26,27. Laparoskopik cerrahi videolarında yapay zeka derin öğrenme teknolojisinin mevcut çalışmaları ve uygulamaları, genellikle beyaz ışık tek modalitesine dayanıyordu; bunlara tekrarlayan laringeal sinir, böbrek kenarları, kan damarları ve safra kesesi gibi çeşitli anatomik işaretlerin tanınması^{da dahildi} 28,29,30,31 . Şu anda, floresans destekli LC sırasında karaciğer floresans kontaminasyonunun gerçek zamanlı olarak giderilmesi üzerine araştırma eksikliği bulunmaktadır. Endüstride yaygın olarak uygulanan çift modal görüntü segmentasyonu bu boşluğu doldurmaya yardımcı olabilir. Bu çalışma, ICGLC senaryolarında çift modal görüntü segmentasyonundaki uygulamaları incelemeyi ve aşırı karaciğer floresansının gerçek zamanlı dinamik tanıma ve koruması için eğitim yöntemleri geliştirmek ve doğrulamayı amaçlamaktadır.

Protokol

Bu çalışmaya dahil edilen tüm cerrahi videolar, Pekin Union Tıp Koleji Hastanesi'nde seçmeli ICG rehberli laparoskobik kolesistektomi (ICGLC) geçiren hastalardan alınmıştır. Çalışma, ilgili etik komitesi tarafından onaylandı ve kayıttan önce tüm katılımcılardan bilgilendirilmiş onayı alındı.

1. Veri hazırlama ve görüntü açıklaması

1. 2022 ile 2024 yılları arasında Pekin Union Tıp Koleji Hastanesi'nde ICGLC geçiren 48 hastanın cerrahi videolarını geriye dönük olarak toplayın.
   NOT: Bu çalışmaya dahil edilen hastalara ameliyattan 20 dakika önce damar içi 0,5 mg ICG enjekte edildi.
2. Bir genel cerrahı, Calot üçgeninin kritik diseksiyon adımlarını kapsayan tüm cerrahi videoları incelemesini ve bölümleri çıkarmasını talimat edin. Calot üçgeninin diseksiyonuna odaklanarak 76 cerrahi video klipini manuel olarak seçin. Her klipten floresans ve beyaz ışık görüntüleme kanallarını çıkarın. Bunları RGB kanalı boyunca birleştirin.
3. Tekrarı en aza indirmek için, örnekleme karelerini 8:1 aralığında inceleyin, çözünürlüğü 1920'den 1080'e × 960 × 540'a düşürür ve görüntüleri özel bir açıklama platformuna aktarabilirsiniz.
4. Karaciğer floresans konturlarını manuel olarak belirlemek ve kıdemli bir cerrah tarafından gözetimle notlama kalitesini sağlamak için bir genel cerrah atamak.

2. Model değerlendirme metrikleri

1. Belirlenen test veri setine dayanarak standart bilgisayar görüşü metrikleri (hassasiyet, geri çağırma ve zar katsayısı) kullanılarak modelin segmentasyon performansını değerlendirin.
2. Çıkarım sırasında hesaplama yükünü ölçerek gerçek zamanlı performansı değerlendirin.
   1. Python/C standart kütüphanesinden zaman modülü kullanılarak çıkarım süresini ölçmek.
   2. Veri yüklemeden önce time.perf_counter() çağırarak başlangıç zaman damgasını kaydedin.
   3. Model tahmin sonuçlarını oluşturduktan sonra time.perf_counter() 'yi tekrar çağırarak bitiş zaman damgasını elde edin.
   4. Bitiş ve başlangıç zaman damgaları arasındaki farkı, tek bir örnek için çıkarım süresi olarak tanımlayın.
   5. Bu prosedürü test veri setindeki her örnek için tekrarlayın ve tüm örnekler boyunca ortalama çıkarım süresini hesaplayarak genel model çıkarım gecikmesini temsil edin.
   6. İlgili prosedürü özetleyen aşağıdaki sözde koda bakınız:
      Başlat Inference_time = 0 ve ind = 0
      X, test kümesi depolama yolunu, model ise çıkarım modelini belirtsin
      X'teki her x_path için :
      CPU ve GPU'yu senkronize et
      Start_timestamp = time.perf_counter() # Başlangıç zaman damgası
      x = yük(x_path) # veri yükleme
      y = model(x) # model çıkarımı
      CPU ve GPU'yu senkronize et
      End_timestamp = time.perf_counter() # bitiş zaman damgası
      Inference_time += (end_timestamp - start_timestamp)
      Bağımsız += 1
      Son
      Inference_time = Inference_time / ind # ortalama çıkarım süresi
3. Karaciğer bölgesini cerrahi alanda tespit etmek ve ilgili beyaz ışık bilgisini değiştirmek için karaciğer ve safra floresans tanımasının birincil hedefini belirleyin; böylece karaciğer floresansından kaynaklanan paraziti en aza indirin.
4. Modelin öngörü doğruluğunu nicelendirmek için Birleşik Üzerindeki Kesişimi (IoU) kullanın.
   NOT: Birlik (IoU) üzerindeki kesişim, tahmin edilen pozitif bölge ile yer gerçeği pozitif bölgesi arasındaki örtüşen alandaki piksel sayısının tahmin edilen ve yer doğruluğu pozitif bölgelerin birleşimindeki toplam piksel sayısına oranı olarak tanımlanır.
5. Eğer temel doğruluk ile IoU, belirli bir eşiği aşarsa, bir tahmini Gerçek Pozitif (TP) olarak tanımlayın; aksi takdirde, bunu Yanlış Negatif (FN) olarak sınıflandırın.
6. Karşılık gelen bir açıklama olmadan tahmin edilen herhangi bir segmentasyonu Yanlış Pozitif (FP) olarak işaretleyin.
7. Tahmin edilen sonuçlar ile yer-gerçeklik etiketleri arasındaki Union (IoU) üzerindeki kesişimi hesapladıktan sonra, cerrahi görüntülemede floresan sinyallerinin dağınık ve düşük kontrastlı doğasını göz önünde bulundurarak IoU eşiğini 0.1 olarak ayarlayın.
8. Değerlendirme metriklerini aşağıdaki şekilde tanımlayın ve hesaplayın:
   
   
   

3. Morfolojik post-işleme

1. 1920 × 1080 ile 96×0 çözünürlüğü arasındaki tüm karaciğer ve safra floresan çerçevelerini özellikle bilinear enterpolasyon yöntemiyle aşağıya alın.
2. Genişlik boyunca sıfır dolgu uygulayın; 960 ×× 544 sıfır matrisi oluşturarak 960 544 nihai giriş boyutu elde edin; bu, mevcut görüntüyü onun içinde ortalayarak.
3. Beyaz ışık ve floresan görüntülerini, PyTorch çerçevesi kullanılarak oluşturulmuş bir tensör içinde ardışık olarak depolayarak kanal boyutu boyunca birleştirin, ardından modele aktarılır.
4. Gürültülü tahminleri azaltmak ve sınır kalitesini artırmak için, sahte gürültüyü filtrelemek ve kenar ayırımı iyileştirmek için ilk segmentasyon çıktılarında morfolojik açılış ve kapanma işlemleri yapılabilir.
5. Tahmin edilen^{maske 32'deki} küçük dikenleri ve kenar artefaktlarını ortadan kaldırmak için açılış işlemiyle başlayın.
6. İzole delikleri ve parçalanmış bölgeleri çıkarmak için kapatma işlemi yapıldı.
7. Her iki işlem için de organ sınırlarının etkin şekilde incelenmesini ve segmentasyon gürültüsünün azaltılmasını sağlamak için 25 × 25 yapılandırma çekirdeği kullanın.

4. Eğitim ortamı ve hiperparametreler

1. Modeli tek bir NVIDIA A100 Tensor Core GPU ile eğitin.
2. Parti numarasını 16'ya ayarlayın.
3. Aktarım öğrenimini kullanmak ve yakınsamayı hızlandırmak için ImageNet³³ önceden eğitilmiş ağırlıkları kullanarak kodlayıcıyı (omurga) başlatın.
4. Büyük ölçekli görüntü segmentasyon görevlerindeki sağlamlığı ve gürültülü gradyanları azaltma kapasitesi nedeniyle Stokastik Gradient Descent (SGD)³⁴ optimizatorunu kullanın.
5. Başlangıç öğrenme hızını 0.01'e ayarlayın ve öğrenme hızını kademeli olarak azaltmak için polinom bozma stratejisi uygulayın, alt sınır 0.0001 olur.
6. Son modeli elde etmek için toplam 50.000 iterasyon boyunca eğitime devam edin.

5. Üç aşamalı model eğitimi

1. Model Seçim Aşamasında, DeeplabV3³⁵, DLinkNet34³⁶ ve U-Net³⁷ dahil olmak üzere çift modaliteli girdi kullanılarak birden fazla segmentasyon modelini karşılaştırın; Segmentasyon doğruluğu ve hesaplama verimliliğine göre optimal modeli seçin.
2. Algoritmik Yapısal Optimizasyon Aşamasında, ağ içindeki farklı özellik füzyon konumlarını inceleyerek beyaz ışık ve floresan verileri için en etkili entegrasyon stratejisini belirleyin.
3. Genelleştirme ve Klinik Doğrulama Aşamasında, model dayanıklılığını artırmak için aşamalı veri artırma teknikleri uygulanır; nihai modeli klinik senaryolarda doğrulamak ve gerçek dünyada uygulanabilirliğini değerlendirmek.

6. Cerrahi video işleme

1. Safra kanalı (CBD) ve kistik kanal dahil olmak üzere safra anatomisinin intraoperatif ICG floresans görselleştirmesini gösteren video bölümlerini çıkarın.
2. Seçilen videoları en iyi modeli kullanarak gerçek zamanlı işlemek; gerçek zamanlı hesaplama performansını değerlendirmek için ortalama kare başına işlem süresini hesaplayın.

7. Karaciğer floresans kontaminasyonunun giderilmesi

1. ICGLC işlemleri sırasında karaciğer floresans kontaminasyonunu gerçek zamanlı olarak tespit etmek ve bastırmak için modeli uygulayın.
2. Safra kanallarının etkin tanımlanmasını kolaylaştırmak için safra yapısı görselleştirmesinin korunmasını sağlamak.
3. Enstrüman tıkanması veya kamera hareketi gibi yaygın ameliyat içi zorluklara rağmen kontaminasyon bastırma performansını sürdürmek.

8. Video kalitesinin klinik değerlendirmesi

1. Yapay zeka ile işlenen videoların etkinliğini değerlendirmek için dış kurumlardan 10 kıdemli genel cerrahtan oluşan bir panel toplayın.
2. Her cerraha hem orijinal hem de yapay zeka ile geliştirilmiş video klipleri sağlamak; Onlara, önceden belirlenmiş beş değerlendirme kriterine dayalı bir öznel değerlendirme anketi doldurmalarını öğretin.

Sonuçlar

Çalışmamızda, 2022 ile 2024 yılları arasında Pekin Union Tıp Koleji Hastanesi Genel Cerrahi Bölümü'nde seçmeli indosiyanin yeşil laparoskopik kolesistektomi (ICGLC) geçiren toplam 48 hasta retrospektif olarak kayıtlandırıldı. Tüm hastalara ameliyattan 20 dakika önce 0,5 mg indocyanine yeşil damar içi enjeksiyon yapıldı. Ameliyat sonrası patolojik muayene, tüm vakaların kalküloz kolesistit teşhisi konduğunu doğruladı.

Manuel segmentasyon ve seçim sonucunda topl...

Tartışma

Bu araştırma, ICGLC ameliyatlarında önemli bir zorluğu çözmek için yapay zeka derin öğrenmesini kullandı: karaciğer floresans kontaminasyonunu belirlemek ve maskelemek. NIRF kullanan cerrahlar genellikle karaciğer floresansının görsel yorgunluğa neden olduğunu ve safra görüntülemeyi^{zorlaştırdığını bildirirler 38}. Bilgisayar görme teknolojisi uygulanarak, bu çalışma bu sorunları hafifletmeyi ve ICGLC'de yaygın bir komplikasyon olan BDI sidanlığını potansiyel olarak...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
4K Floresans Görüntüleme Konsolu	Hangzhou Kangji Tıbbi Aletler Şirketi Ltd.	KJ-EP4K-01	Üç imgaj modu sunar: beyaz ışık, floresans ve birleşmiş floresans; Yapay zeka modüllerinin genişletilmesini destekle
4K Floresans Kamera	Hangzhou Kangji Tıbbi Aletler Şirketi Ltd.	KJ-EC-4K	Çok fonksiyonlu düğme ayarlarına sahip tamamen dijitalleştirilmiş kamera; Video kaydı, fotoğrafçılık ve floresan modu anahtarlamasını destekleyin
Soğuk Işık Kaynağı Sistemi	Hangzhou Kangji Tıbbi Aletler Şirketi Ltd.	KJ-CLS-1	808 nm floresans dalga boyuna sahip LED soğuk ışık kaynağı ve floresan LED ışık kaynağı
NVIDIA A100 Tensör Core	NVIDIA Corporation	900-21001-0020-100	GPU