Çok görüşlü Görüş Mamba U-Şekilli Ağ Çerçevesi Tıbbi Görüntü Segmentasyonu İçin

Özet

Bu protokol, tıbbi görüntü segmentasyonu için çok görüşlü Vision Mamba U-Shaped Network çerçevesinin nasıl oluşturulacağını, eğitileceğini ve değerlendirileceğini açıklar; böylece standart veri seti hazırlama, model uygulaması ve performans değerlendirmesi yoluyla cilt lezyonları ve karın organlarının tekrarlanabilir segmentasyonunu mümkün kılar.

Özet

Tıbbi görüntü segmentasyonu, küresel bağlamı, yerel sınırları ve çok ölçekli anatomik yapıları doğru şekilde yakalayan ve farklı uygulamalarda tekrarlanabilir kalan hesaplamalı yöntemler gerektirir. Bu makale, iki boyutlu tıbbi görüntü segmentasyonu için Multi-view Vision Mamba U-Shaped Network çerçevesinin oluşturulması, eğitilmesi ve değerlendirilmesi için bir protokol sunmaktadır. Protokol, kamuya açık veri seti edinimi, görüntü ve maske ön işleme, ağ oluşturma, model eğitimi, kontrol noktası seçimi ve nicel ve niteliksel performans değerlendirmesini içeren tekrarlanabilir bir iş akışı sağlar. Çerçeve, tamamlayıcı mekânsal, kontur, ölçek ve sınır bilgilerini yakalamak için çoklu görünüm özellik taramasını içerir ve segmentasyon sırasında özellik entegrasyonunu iyileştirmek için U şeklinde kodlayıcı-kodlayıcı mimarisi içinde çok aşamalı özellik birleşimi uygular. Protokol, halka açık cilt lezyonu ve karın organı segmentasyon veri setleri kullanılarak gösterilmiştir. Tarif edilen uygulama iş akışı kapsamında, çerçeve standart değerlendirme metrikleri kullanarak rekabetçi segmentasyon performansı elde eder. Bu protokolde sunulan prosedürleri takip ederek, araştırmacular model uygulamasını yeniden üretebilir, tanımlanmış deneysel ayarlarla ağı eğitebilir, segmentasyon performansını değerlendirebilir ve tekrarlanabilir derin öğrenme tabanlı analiz gerektiren ilgili tıbbi görüntü segmentasyon görevlerine iş akışını uyarlayabilir.

Giriş

Tıbbi görüntü segmentasyonu, bilgisayar görme ve tıbbi görüntü analizi alanlarında^temel bir görevdir ^1,2,3. Bu, bir görüntünün daha fazla analiz ve işleme için birden fazla bölgeye veya nesneye bölünmesini içerir. Bu teknoloji, klinisyenlerin patolojik bölgeleri tanımlama ve lokalize etmelerine yardımcı olmasıyla tıbbi görüntülemede özellikle önemlidir; böylece tanı doğruluğunu ve tedavi planlamasını iyileştirir. Manyetik rezonans görüntüleme (MRI), bilgisayarlı tomografi (BT) ve pozitron emisyon tomografisi (PET) gibi tıbbi görüntüleme teknolojilerinin ilerlemesiyle birlikte, doğru tıbbi görüntü segmentasyon tekniklerine olan talep artmaya devam etmiştir. Tıbbi görüntü segmentasyonu için mevcut yöntemler genel olarak üç ana yaklaşıma ayrılabilir: konvolüsyon sinir ağı (CNN) tabanlı yöntemler⁴, Transformer tabanlı^{yöntemler 5} ve durum-uzay modeli (SSM) tabanlı^{yöntemler 6,7}. CNN tabanlı yöntemler genellikle tıbbi görüntü segmentasyonu için U şeklinde ağ mimarileri kullanır. Bu kategoride en yaygın kullanılan mimari, biyomedikal görüntü segmentasyonu için U şeklinde kodlayıcı–kodlayıcı mimarisinin etkinliğini gösteren U-Net^8'dir. U-Net3+, UNet+^+9'dan yoğun atlama bağlantılarını tam ölçekli atlama bağlantılarıyla birleştirerek çok ölçekli özellik toplamayı geliştirir. Ancak, CNN tabanlı yöntemlerin uzun vadeli bağımlılıkları yakalama yeteneği sınırlıdır ve bu nedenle uzun vadeli bağlamsal bilgiyi etkili şekilde modellemeyebilir.

Transformator tabanlı yöntemler, paralel hesaplamayı mümkün kılan ve ilgi alanlarına farklı dikkat ağırlıkları atayan öz-dikkat mekanizması aracılığıyla uzun menzilli bağımlılıkları etkili şekilde yakalar. UNETR+⁺¹⁰ , parametre sayısını ve hesaplama maliyetini azaltmak için Verimli Eşleştirilmiş Dikkat (EPA) modülünü tanıtır. nnFormer¹¹ , aralı yapraklı konvolüsyon ve öz-dikkat işlemlerini birleştirir ve üç boyutlu (3D) tıbbi görüntü segmentasyonunda hacimsel temsilleri öğrenmek için yerel-küresel hacim tabanlı öz-dikkat mekanizması sunar. H2Former¹² , dikkat mekanizmalarını kodlayıcıda CNN tabanlı özellik çıkarımı ile birleştiren verimli hiyerarşik hibrit bir Vizyon Dönüştürücüsü önerir. Ancak, Transformer tabanlı yöntemler, dizi uzunluğu arttıkça kuadratik hesaplama karmaşıklığı sergiler ve bu da hesaplama maliyetinin önemli ölçüde artmasına yol açar. Şekil 1 , MVM-UNet'in motivasyonunu göstermekte ve önerilen çoklu görüş tarama stratejisini mevcut SSM tabanlı segmentasyon çerçeveleriyle karşılaştırmaktadır.

Şekil 1. MVM-UNet'in mevcut saf durum uzayı modeli (SSM) tabanlı segmentasyon mimarileriyle karşılaştırılması. Geleneksel saf durum alanı modeli (SSM) tabanlı segmentasyon çerçevesi ile önerilen Multi-View Mamba U-Net (MVM-UNet) mimarisi arasında karşılaştırma. Üst panel, Multi-View 4-Yönlü (MV4D) modülünün, Spatial Fusion Mamba (SFusion Mamba) tarafından entegre edilen zigzag, hiyerarşik, spiral ve radyal tarama çiftleri kullanarak tamamlayıcı özellikleri çıkardığı MVM-UNet'i gösterirken, Multi-Stage Fusion Mamba (MFusion Mamba) çok ölçekli kodlayıcı özelliklerini çözmeden önce birleştirir. Alt panel, çapraz taramalı Selective Scan 2-Boyutlu (SS2D) modüller kullanılarak temsil eden saf SSM tabanlı bir mimariyi gösterir. Şekil, geleneksel SSM tabanlı segmentasyon ağları ile önerilen MVM-UNet arasındaki mimari farklılıkları vurgulamaktadır. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

SSM tabanlı yöntemler, Transformers'ın küresel modelleme yeteneğini doğrusal hesaplama karmaşıklığı ile birleştirir. Mamba mimarisi, seçmeli durum uzayı modeli (Selective-SSM) kullanarak giriş bilgisini seçici olarak işler; böylece model, girdiye göre parametrelerini dinamik olarak ayarlayabilir, alakasız bilgileri filtrelerek ve bilgilendirici özellikleri vurgular. Vim¹³ ve VMamba¹⁴ , Mamba mimarisini bilgisayar görüşü görevleri için uyarlar. U-Mamba¹⁵ , tıbbi görüntü segmentasyonunda SSM'lerin uygulamasını incelemek için hibrit CNN–SSM mimarisi kullanırken, Mamba-UNet¹⁶ tıbbi görüntü segmentasyonu için tamamen SSM tabanlı kodlayıcı-kodlayıcı mimarisi benimser. Bu yöntemler, önemli ölçüde daha az parametre kullanarak rekabetçi performans sağlar. Ancak mevcut SSM/Mamba tabanlı yöntemler, temel olarak basit görüntü yamaları ve SS2D tarama stratejileri kullanarak görüntü özelliklerini çıkarır ve bu da tıbbi görüntü segmentasyonu için çeşitli sınırlamalar sunar. Birincisi, SS2D ve yama tabanlı teknikler öncelikle genel bilgisayar görme görevleri için tasarlanmıştır. Yerel Mamba¹⁷ ve Motion Mamba¹⁸ , farklı tarama stratejilerinin farklı görsel bilgi türlerini yakaladığı için SS2D tarama stratejisinin tüm görsel görevler için yetersiz olduğunu öne sürmüştür. İkinci olarak, SS2D tarama stratejisi nispeten basittir ve yalnızca yatay ve dikey tarama yönlerine dayanır. Sonuç olarak, karmaşık mekansal ilişkileri ve ince yapısal detayları yeterince yakalayamayabilir. Tıbbi görüntü segmentasyonu, hem küresel mekansal bağlamın hem de kesin yerel anatomik özelliklerin eşzamanlı modellenmesini gerektirir. Ayrıca, mevcut SSM/Mamba tabanlı yöntemler, kodlayıcı ile çözücü arasında sınırlı özellik birleşimi sağlar. UNet++ ve FATNet gibi mimariler, gelişmiş özellik birleşmesiyle segmentasyon doğruluğunu artırır ve tıbbi görüntü segmentasyonu için etkili özellik entegrasyonunun önemini vurgular.

Bu sınırlamaları gidermek için, bu makale MVM-UNet olarak adlandırılan yeni bir Mamba tabanlı tıbbi görüntü segmentasyon çerçevesi önermektedir. Şekil 1'de gösterildiği gibi, önerilen Çok Görüşlü Dört Yönlü (MV4D) modülü, MVM-UNet'in temel özellik çıkarma bileşeni olarak hizmet verir ve dört farklı tarama stratejisinden gelen bilgilerin entegre edilmesiyle tıbbi görüntü segmentasyonu için özel olarak tasarlanmıştır. Her tarama stratejisi, tamamlayıcı görüntü özelliklerini çıkarır ve giriş görüntüsünün farklı bir görünümünü temsil eder. Zikzak tarama¹⁹ , her satırın veya sütunun sonunda geçiş yönünü değiştirerek yerel ve küresel mekânsal bilgiyi dengeler. Buna karşılık, spiral ve radyal tarama^{şemaları 20} , merkezden dışa veya çevreden içe doğru uzanarak kapsamlı kapsama sağlar. Hiyerarşik tarama¹⁸ , hem yerel hem de küresel özellikleri birden fazla ölçekte yakalar. Her tarama stratejisinin dayanıklılığını artırmak için, tarama çiftleri S6 Bloğuna girilmeden önce birleştirilir. Scan-view Fusion Mamba (SFusion Mamba) modülü, dört tarama modalitesinden çıkarılan özellikleri daha sonra entegre eder. Çok ölçekli kodlayıcı özelliklerini etkili bir şekilde kullanmak için, bu makale ayrıca çok ölçekli bir Mamba füzyon modülü (MFusion Mamba) önermektedir; bu modül, her kodlayıcı aşamasından çıkan çıktıları biriktirip birleştirir ve ardından füzülmüş özellikleri çözücüye aktarır. MVM-UNet, ISIC 2017, ISIC 2018 ve Synapse veri setleri üzerinde değerlendirildi. Deneysel sonuçlar, MVM-UNet'in ISIC 2017, ISIC 2018 ve Synapse veri setlerinde rekabetçi segmentasyon performansı elde ettiğini göstermektedir.

Temsilci segmentasyon mimarileri tıbbi görüntü segmentasyonunu daha da geliştirmiştir. U-Net, hücre sayma, tespit ve morfometri²¹ gibi biyomedikal görüntü analiz görevlerinde de başarıyla uygulanmıştır. ^{CA-Net 22} gibi dikkat artırılmış CNN mimarileri, kapsamlı dikkat mekanizmaları aracılığıyla özellik temsilini iyileştirir. ^{TransUNet 23}, Pyramid Medical Transformer²⁴, Swin U-Net²⁵, TransAttUNet²⁶ ve TransCUNet²⁷ gibi temsil Transformer tabanlı segmentasyon çerçeveleri, tıbbi görüntü segmentasyonu için dikkat temelli küresel özellik modellemesinin etkinliğini daha da göstermektedir.

MVM-UNet'in tasarımı, mevcut SSM/Mamba tabanlı segmentasyon yöntemlerinin iki sınırlaması nedeniyle motive edilmiştir. İlk olarak, günümüzdeki birçok Vision Mamba modeli, düzensiz lezyon sınırları, küçük hedef bölgeler ve çok ölçekli anatomik yapılar içeren tıbbi görüntüler için yetersiz olabilecek basit iki boyutlu tarama stratejilerine dayanır. İkinci olarak, geleneksel U şeklindeki kodlayıcı-kodlayıcı mimarileri, özellikleri öncelikle karşılık gelen atlama bağlantıları üzerinden aktarır ve dekodlama sırasında çok aşamalı kodlayıcı bilgisinin doğrudan kullanımını sınırlar. Bu nedenle, MVM-UNet çok görüşlü mekânsal modellemeyi geliştirmek için MV4D ve çok aşamalı kodlayıcı özelliklerini açıkça birleştirmek için MFusion Mamba'yı tanıtır. Bu tasarım, Mamba tabanlı uzun menzilli modellemeyi tıbbi görüntü segmentasyonunun özel gereksinimlerine uyarlamayı amaçlamaktadır.

MVM-UNet genel kodlayıcı–kodlayıcı paradigması ve Mamba tabanlı dizi modelleme üzerine inşa edilmiş olsa da, yeniliği, bu bileşenlerin tıbbi görüntü segmentasyonu için nasıl uyarlanıp entegre edildiğinde yatmaktadır. Standart bir Mamba bloğunu U-şeklindeki ağ omurgasına entegre etmek yerine, önerilen çerçeve, mekânsal modelleme sürecini birden fazla görev odaklı tarama çifti dalıyla yeniden tasarlar, taramaya özgü temsilleri entegre etmek için SFusion Mamba'yı tanıtır, MVV Bloğunu kalıntı ve projeksiyon yolları ile güçlendirir ve kodlayıcı ile çözücü arasına MFusion Mamba'yı ekleyerek çok aşamalı kodlayıcı özelliklerini dekodlamadan önce birleştirir. Bu mimari düzeydeki tasarım, tıbbi görüntülerde sıkça gözlemlenen düzensiz sınırları, küçük hedef bölgeleri ve çok ölçekli anatomik yapıları ele almayı amaçlar.

Bu protokol, iki boyutlu tıbbi görüntülerde uzun süreli bağlamsal bilginin, düzensiz nesne sınırlarının ve çok ölçekli anatomik yapıların eşzamanlı modellenmesini gerektiren segmentasyon görevleri için en uygundur. CNN tabanlı segmentasyon yöntemleriyle karşılaştırıldığında, Mamba tabanlı kodlayıcı–kodlayıcı tasarımı, tıbbi görüntü segmentasyon araştırmacılarına aşina olan U şeklindeki iş akışını korurken etkili bir bağlam modelleme mekanizması sunar. Transformer tabanlı yöntemlerle karşılaştırıldığında, önerilen çerçeve doğrudan kuadratik öz-dikkat kullanımından kaçınmakta ve nispeten verimli bir dizi modelleme mekanizması kullanarak küresel bağlamsal modelleme arayan araştırmacılar için tasarlanmıştır. Buna göre, bu protokol cilt lezyonu segmentasyonu, karın organı segmentasyonu ve küresel yapısal bilgilerin ve yerel sınır detaylarının önemli olduğu benzer iki boyutlu tıbbi görüntü segmentasyon görevleri için uygundur.

Bu protokolün ayrıca kullanımdan önce dikkate alınması gereken sınırlamaları vardır. Hafif bir CNN'in zaten yeterli performans sağladığı nispeten basit segmentasyon görevleri için gerekli olmayabilir. Ayrıca, mimari uyarlama olmadan tam üç boyutlu hacimsel segmentasyon için doğrudan tasarlanmamıştır. Çok sınırlı açıklamalı verilere, sınırlı grafik işlem birimi (GPU) kaynaklarına veya oldukça yorumlanabilir klasik modellere ihtiyaç duyan araştırmacılar da protokolü uygulamadan önce bu kısıtlamaları göz önünde bulundurmalıdır. Genel olarak, bu yöntem, uzun vadeli bağlam modellemesi, yerel sınır temsili ve çok aşamalı özellik birleşimini dengeleyen Mamba tabanlı U şeklinde segmentasyon çerçevesini yeniden üretip değerlendirmek isteyen araştırmacılar için tasarlanmıştır.

Başlıca katkılar şunlardır:

1. Bu makale, MVM-UNet olarak adlandırılan yeni bir Mamba tabanlı tıbbi görüntü segmentasyon çerçevesini sunmaktadır. Mevcut SS2D tabanlı veya standart Mamba bloklarını doğrudan dahil eden yaklaşımların aksine, MVM-UNet zikzak, hiyerarşik, spiral ve radyal tarama dahil olmak üzere dört tamamlayıcı tarama çifti görünümünden tıbbi görüntü özelliklerini modellemek için MV4D'yi tanıtır.

2. Bu makale, taramaya özgü temsilleri entegre etmek ve özellik dönüşümünü geliştirmek için SFusion Mamba ve MVV Bloğunu tasarlamaktadır. SFusion Mamba, farklı tarama çift dallarından çıkarılan özellikleri birleştirirken, MVV Bloğu içindeki kalıntı ve Yukarı-Aşağı Projeksiyon dalları, özellik temsillerini stabilize eden ve zenginleştiren tamamlayıcı özellik yolları sağlar.

3. Bu makale, MFusion Mamba'yı kodlayıcı ile çözücü arasında ara çok aşamalı bir füzyon modülü olarak tanıtmaktadır. Geleneksel atlama bağlantılarının aksine, özellikle karşılık gelen aşama özelliklerini aktarırken, MFusion Mamba çok aşamalı kodlayıcı özelliklerini kabaca ve ince füzyon yoluyla açıkça birleştirir ve kod çözme için zenginleştirilmiş bilgi sağlar.

4. Kapsamlı deneysel sonuçlar, önerilen MVM-UNet'in ISIC 2017 ve ISIC 2018 veri setlerinde rekabetçi segmentasyon performansı ve Synapse çoklu organ segmentasyon veri setinde güçlü performans sağladığını göstermektedir. Ayrıca, kapsamlı ablasyon çalışmaları MVM-UNet'teki her bileşenin katkısını doğrular.

Protokol

Bu çalışma, ISIC 2017, ISIC 2018 ve Synapse dahil olmak üzere yalnızca kamuya açık ve kimliği yok edilmiş tıbbi görüntü veri setlerini kullanmıştır. Bu çalışmada yeni insan katılımcılar, hayvan denek veya tanımlanabilir özel tıbbi kayıtlar toplanmadı. Bu çalışmada kullanılan ISIC 2017 veri seti, resmi Uluslararası Cilt Görüntüleme İşbirliyi meydan okuma veri deposundan (https://challenge.isic-archive.com/data/#2017) elde edilen ISIC 2017 Challenge cilt lezyonu segmentasyon veri setidir. Bu çalışmada kullanılan veri seti versiyonu, resmi eğitim, doğrulama ve test bölümlerini içeren ISIC 2017 lezyon segmentasyon görevine karşılık gelmektedir. Veri seti 15 Mart 2024'te indirildi. Bu çalışmada kullanılan ISIC 2018 veri seti, resmi Uluslararası Cilt Görüntüleme İşbirliği meydan okuma veri deposundan (https://challenge.isic-archive.com/data/#2018) elde edilen ISIC 2018 Challenge Görev 1 lezyon sınır segmentasyon veri setidir. Bu çalışmada kullanılan veri seti versiyonu, ISIC 2018 Görev 1: Lezyon Sınır Segmentasyonu'na karşılık gelmektedir. Veri seti 8 Temmuz 2024'te indirildi.

Bu çalışmada kullanılan Synapse veri seti, Synapse deposundan accession identifor syn3193805 (https://www.synapse.org/Synapse:syn3193805) altında elde edilen Multi-Atlas Etiketleme Beyond the Cranial Vault abdominal CT veri setidir. Bu çalışmada kullanılan veri seti, yaygın olarak kullanılan 30 vakalı abdominal BT çoklu organ segmentasyon veri setine karşılık gelir. İndirilen arşiv Abdomen/RawData.zip idi ve accession syn3193805 altında mevcut. İndirme sırasında depo tarafından ayrı bir sürüm numarası, yayın etiketi veya tarihli bir etiket sağlanmamıştır. Önceki çalışmalarda benimsenen standart bölünme taktiklerinde, 18 vaka eğitim için, 12 vaka ise test için kullanıldı. Veri paylaşımı, TransUNet²³ tarafından kullanılan vaka listesini takip etti. Özellikle eğitim davaları case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 ve case0037 idi; test vakaları ise case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 ve case0035 idi. Veri seti 9 Temmuz 2024'te indirildi. Bu çalışma yalnızca kamuya açık olan, kimliği yok veri setlerini kullandığı ve yeni insan-denek verileri veya tanımlanabilir özel bilgilerin toplanmasını içermediği için, bu protokolde tanımlanan hesaplamalı deneyler için kurumsal inceleme kurulu onayı gerekmemiştir. Resmi yazılı kurumsal muafiyet kararı alınmadı. Yerel kurumsal politika gereği gerekliyse, araştırmacılar kamuya açık veri setlerinin ikincil analizlerini yapmadan önce kurumsal muafiyet belirlemesi almalıdır. Bu çalışma için kurumsal etik muafiyet referans numarası veya resmi muafiyet belgeleri mevcut değildi.

1. Veri setlerinin hazırlanması

1. ISIC 2017 cilt lezyonu segmentasyon veri setini resmi Uluslararası Cilt Görüntüleme İşbirliği deposundan indirin. Resmi eğitim, doğrulama ve test bölümlerini kullanın. Veri setinin 2.000 eğitim görsesi, 150 doğrulama görüntüsü ve 600 test görsesi içerdiğini doğrulayın.
2. ISIC 2018 cilt lezyonu segmentasyon veri setini resmi Uluslararası Cilt Görüntüleme İşbirliği deposundan indirin. Resmi eğitim, doğrulama ve test bölümlerini kullanın. Segmentasyon veri setinin 2.594 eğitim görüntüsü, 100 doğrulama görüntüsü ve 1.000 test görsesi içerdiğini doğrulayın.
3. Synapse çoklu organ segmentasyon veri setini indirin. Eğitim için 18 vaka (2.212 eksenel dilim) ve test için 12 vaka (1.567 eksenel dilim) olan standart bölünmeyi kullanın. Ayrı bir doğrulama seti eklemeyin.
   1. 12 test vakasını yalnızca nihai değerlendirme için ayırın. Test vakalarını model eğitimi, hiperparametre ayarlaması veya model seçimi için kullanmayın. Segmentasyon görevi sekiz karın organını içerir: aorta, safra kesesi, dalak, sol böbrek, sağ böbrek, karaciğer, pankreas ve mide.
   2. Aşağıdaki Synapse veri seti bölünmesini kullanın. 18 eğitim vakası ise case0031, case0007, case0009, case0005, case0026, case0039, case0024, case0034, case0033, case0030, case0023, case0040, case0010, case0021, case0006, case0027, case0028 ve case0037 idi. 12 test vakası ise case0008, case0022, case0038, case0036, case0032, case0002, case0029, case0003, case0001, case0004, case0025 ve case0035 idi.
4. Her veri setini ayrı görsel ve maske klasörlerine düzenleyin. Her görüntünün aynı küçük harf tanımlayıcısına sahip bir segmentasyon maskesi olduğundan emin olun.
   1. Her cilt lezyonu maskesini ikili bir ön plan-arka plan segmentasyon haritasına dönüştürün. Synapse veri seti için orijinal çok sınıflı organ etiketlerini koruyun.
   2. ISIC 2017 ve ISIC 2018 veri setleri için, ikili maske dönüşümünden sonra arka plan piksellerine 0, lezyon (ön plan) piksellerine ise 1 etiket değeri atayın. Orijinal maske değerleri 0'dan büyük olan pikseller ön plan olarak kabul edilir ve 1'e dönüştürülürken, orijinal maske değerleri 0'a olan pikseller arka plan olarak kabul edilir ve 0 olarak korunur. Synapse veri seti için, orijinal tam sayı etiket değerlerini koruyun; 0 arka plan sınıfını, 1–8 ise sekiz ön plan organ sınıfını temsil eder.
5. ISIC 2017 ve ISIC 2018 görüntülerini ve maskelerini orijinal en-boy oranını korumadan 256 × 256 piksele yeniden boyutlandırmak. Kırpma veya dolgu uygulamayın.
   1. Her Synapse CT dilimini ve karşılık gelen etiket eşlemesini 224 × 224 piksel olarak yeniden boyutlandırın. RGB görüntüler için bilinezik enterpolasyon, CT dilimleri için üçüncü dereceden spline interpolasyonu ve segmentasyon maskeleri için en yakın komşu interpolasyonu kullanın.
   2. Python'da görüntüleri boyutlandırmak.
      1. ISIC 2017 ve ISIC 2018 veri setleri için, utils.py'de uygulanan özel myResize dönüşümünü kullanın; bu dönüşüm torchvision.transforms.functional.resize çağrısı ile hem görüntü hem de maske tensorlarını 256 × 256 piksele boyutlandırır. Bu dönüşümde açık bir interpolasyon modu veya anti-aliasing argümanı belirtmeyin.
      2. Synapse veri seti için datasets/dataset.py içinde scipy.ndimage.zoom kullanın. CT görüntü dilimlerini üçüncü dereceden spline interpolasyonu (düzen = 3) kullanarak 224 × 224 piksele boyutlandırılır ve en yakın komşu enterpolasyonu ile etiket haritalarını yeniden boyutlandırır (sıra = 0). Yeniden boyutlandırma sırasında ayrı bir anti-aliasing işlemi veya anti_aliasing=True ayarı uygulamayın.
6. Tenzor dönüşümünden önce her ISIC RGB görüntünü veri setine özgü ortalama ve standart sapma (SD) kullanarak Denklem 1 kullanılarak aşağıdaki şekilde normalleştirin:
   (1)
   Daha sonra normalize edilmiş görüntüyü minimum–maksimum normalizasyon kullanarak 0–255 aralığına yeniden ölçeklendirin.
   1. ISIC 2017 eğitim seti için μ = 159.922 ve σ = 28.871, ISIC 2017 doğrulama ve test setleri için ise μ = 148.429 ve σ = 25.748 kullanın. ISIC 2018 eğitim seti için μ = 157.561 ve σ = 26.706, ISIC 2018 doğrulama ve test setleri için ise μ = 149.034 ve σ = 32.022 kullanın.
   2. Her normalize edilmiş görüntüyü 256 × 256 × şekilli bir tensöre dönüştürün. Her ikili maske, 256 × 256 × şekilli bir tensöre dönüştürün.
   3. Veri setine özgü ortalama ve standart sapma normalizasyonundan sonra her görüntü için bağımsız olarak min–max normalizasyonu gerçekleştirilin. Özellikle, her görsemden veri setine özgü ortalamayı çıkarıp karşılık gelen standart sapmaya bölür.
   4. Normalize edilmiş görüntüden minimum ve maksimum yoğunluk değerlerini hesaplayın ve bu görüntü başına minimum ve maksimum değerleri kullanarak görüntüyü 0–255 aralığına yeniden ölçeklendirin. Bu mini–maksimum ölçeklendirme adımı için veri seti genelindeki minimum ve maksimum değerleri kullanmayın.
7. Her Synapse CT dilimi iki boyutlu gri tonlu bir görüntü olarak hazırlanır. Her CT dilimi float32'ye dönüştürün ve tekli bir kanal boyutu ekleyerek 1 × 224 × 224 şeklinde bir giriş tensoru elde edinin.
   1. Her Synapse etiket haritasını 224 × 224 şekline sahip tek kanallı bir tamsayı maskesi olarak koruyun. Veri yükleyicide ek veri seti seviyesinde ortalama-SD normalizasyonu uygulamayın.
   2. Dilimleri eğitmek için .npz formatında sağlanan önceden işlenmiş Synapse dosyalarını, hacimleri test etmek için ise .npy.h5 formatını kullanın. Eğitim sırasında her .npz dosyasından ve test sırasında doğrudan .npy.h5 dosyasından görüntü ve etiket dizilerini yükleyin. Serbest bırakılan veri yükleyicide ek yoğunluk kırpma, CT pencereleme, veri seti düzeyinde normalizasyon veya ham hacim yeniden örnekleme uygulaması uygulanmamalıdır.
   3. Model eğitimi sırasında, yüklenmiş her iki boyutlu dilimi float32'ye dönüştürün, scipy.ndimage.zoom kullanarak hedef mekansal boyutuna dönüştürün; görüntü dilimleri için sıra = 3, etiket haritaları için sıra = 0 ile ve ardından yeniden boyutlandırılmış dizileri tek kanal boyutuna sahip tensorlara dönüştürün.
8. Veri artırma sadece eğitim setine uygulanır. ISIC 2017 ve ISIC 2018 için, 0° ile 360° arasında örneklenen açı ile rastgele yatay çevirme (p = 0.5), rastgele dikey çevirme (p = 0.5) uygulanır.
   1. Her görüntü-maske çiftine aynı geometrik dönüşümü uygulayın. Doğrulama ve test sırasında yalnızca yeniden boyutlandırma, normalizasyon ve tensör dönüşümü uygulanır.
   2. Synapse veri seti için, eğitim sırasında rastgele dönüş ve rastgele çevirme uygulanır. Her görüntü-etiket çiftini k × 90° rastgele döndürün; burada k {0,1,2,3} ∈, görüntü-etiket çiftini bir uzamsal eksen boyunca rastgele çevirin veya görüntü-etiket çiftini −20°'den 20°'ye örneklenmiş bir açı ile rastgele döndürün.
   3. Test sırasında stokastik artırma uygulamayın.
   4. RandomGenerator dönüşümünde uygulanan karşılıklı dışlayıcı dallar kullanılarak Synapse veri setine veri artırımı uygulanır.
      1. Her eğitim örneği için, önce random.random() koşulu 0.5 > değerlendirin. Bu koşul sağlanırsa, rastgele 90° dönüş (k = 0, 1, 2 veya 3) ve ardından bir mekânsal eksen boyunca rastgele bir dönüşten oluşan random_rot_flip uygulanır.
      2. Birinci dal seçilmezse, ikinci bir koşul olan random.random() > 0.5 değerlendirin. Bu koşul sağlanırsa, −20° ile 20° arasında rastgele seçilmiş bir dönme açısı kullanarak random_rotate uygulanır. Hiçbir koşul karşılanmazsa, örnekle stokastik artırma uygulanmaz.
      3. Aynı dönüşümü hem giriş görüntüsüne hem de ilgili etiket haritasına uygulayın.
9. Veri seti yükleme, ön işleme ve eğitim öncesinde rastgele tohumu ayarlayın. Ana karşılaştırma deneyleri için rastgele tohum 1, 52 ve 100 kullanın, ablasyon çalışmaları için ise başka belirtilmedikçe tohum 100 kullanın.
   1. Veri yükleyicisini oluşturmadan önce Python, NumPy, PyTorch CPU, PyTorch CUDA ve cuDNN rastgele üreteçlerini başlatın. Tüm tohum çalışmalarında veri seti bölümlerini, ön işleme prosedürlerini, artırma ayarlarını, normalizasyon parametrelerini, boyutlandırma stratejisini ve değerlendirme ön işlemesini değiştirmeden tutun.
   2. Ana süreçte veri yükleme yapmak için hem ISIC hem de Synapse deneyleri için num_workers = 0 ayarlanır. Veri setini oluşturmadan ve DataLoader oluşturmadan önce, Python, NumPy, PyTorch CPU, PyTorch CUDA ve cuDNN rastgele sayı üreteçlerini tohumlamak için set_seed fonksiyonuyla küresel rastgele tohumu başlatın. Yayınlanan uygulamada kullanılmadığı için ayrı bir worker_init_fn veya DataLoader'a özgü rastgele üretici tanımlamayın.

2. MVM-UNet mimarisinin inşası

1. Önerilen Çok görüşlü Görüş Mamba UNet'i (MVM-UNet) U şeklinde kodlayıcı-çözücü mimarisi kullanarak inşa edin.
2. Giriş görüntü boyutunu H × W × 3 olarak ayarlayın. Giriş görüntüsünü patch gömme katmanından geçirin.
   1. Patch gömüleme katmanını, çekirdek boyutu 4 × 4, adımı 4, üç giriş kanalı ve 96 çıkış kanalı ile 2D bir konvolüsyon kullanarak uygulayın.
   2. Giriş özellik haritasını H/4 × W/4 mekansal çözünürlüğüne dönüştürün ve C = 96 çıkış kanalı ile değiştirilin.
3. Dört kodlayıcı aşaması ve dört kodlayıcı aşaması oluşturun. Her kodlayıcı aşamasından sonra mekansal çözünürlüğü yarıya düşürüp kanal boyutunu iki katına çıkar.
4. Simetrik kodlayıcı-kodlayıcı konfigürasyonu kullanın. Hem kodlayıcıda hem de kodlayıcıda MVV Blok sayısını {2, 2, 2, 2} olarak ayarlayın.
   1. Her kodlayıcı aşamasına iki MVV Bloğu, her kodlayıcı aşamasına ise iki MVV Bloğu yerleştirin.
5. Her kodlayıcı ve kodlayıcı aşamasına bir MVV Bloğu ekleyin. Her MVV Bloğu içinde temel özellik çıkarma modülü olarak MV4D modülünü kullanın.
6. MFusion Mamba modülünü kodlayıcı ile çözücü arasına yerleştirin. Bu modülü çok aşamalı kodlayıcı özelliklerini çözmeden önce birleştirmek için kullanın.
7. Genel MVM-UNet iş akışını yapılandırın. Encoder boyunca özellik çıkarımı için MV4D kullanın.
   1. Kodlayıcı çıkışlarını atlama bağlantıları olarak kalın. Kodlayıcı çıktılarını ilgili kodlayıcı aşamalarına iletin.
   2. Kodlayıcı özelliklerini çözmeden önce MFusion Mamba'ya geçirin. Birleştirilmiş temsilin dekoder üzerinden kademeli olarak yukarı örneklenmesi ve segmentasyon başlığı kullanılarak nihai segmentasyon haritasını oluşturulması.
8. I ∈ R ^B×H×W×3 giriş görüntüsünü patch gömüleme katmanından geçirerek burada, C = 96 elde edilir.
   1. Kodlayıcı özellik haritaları oluşturuldu: E₁ ∈^{R B×H/4×W/4×C}, E₂ ∈ R^{B×H/8×W/8×2C}, E₃ ∈ R^{B×H/16×W/16×4C}, ve E₄ ∈ R^{B×H/32×W/32×8C}. Her kodlayıcı aşamasında MV4D içeren MVV Blokları kullanın.
   2. İlgili atlama bağlantısı için tüm kodlayıcı özelliklerini koruyun. Tüm kodlayıcı özelliklerini çoklu aşamalı özelliklerin birleşmesi için MFusion Mamba'ya aktarın.
   3. MFusion Mamba içinde kaba ve ince füzyon öncesi kodlayıcı özelliklerini ortak bir özellik alanına hizalamak. Füzelenmiş temsilini kod çözücüye verin.
   4. Dekoder temsilini aşamalı olarak yukarı örnekleyin. Dekoder özelliklerini H/16 × W/₁₆ E 2, H/8 × W/8 ve H/4 × W/4 ile E₁ ile birleştirin.
   5. Son kod çözücü özelliğini orijinal görüntü çözünürlüğüne örnekleyin. Tahmin haritasını R^{B×H×W×K ∈} oluşturun. Burada, ikili lezyon segmentasyonu için K = 1 ve Sinaps çok organlı segmentasyonu için K = 8.
   6. Genel ağ mimarisi için Şekil 2'ye ve her aşama için işlemler, ana parametreler ve çıktı özellik boyutları dahil olmak üzere tam katman-katman mimari spesifikasyonu için Ek Tablo 1'e bakınız
   7. Kodlayıcı–kodlayıcı geçiş katmanları
      1. Downsample kodlayıcı özellikleri patch-birleştirme geçiş katmanları kullanır. Her geçiş için, 2 × 2 komşuluktan dört uzamsal olarak iç içe girmiş özellik grubu örneklerini alıp kanal boyutu boyunca birleştirin, Katman Normalizasyonu (LayerNorm) uygulanır ve ortaya çıkan 4C boyutlu özelliği önyargısız doğrusal katman kullanarak 2C kanallarına projeksiyon edin. Bu işlem, kanal boyutunu iki katına çıkarırken mekansal çözünürlüğü 2 kat azaltır.
      2. Upsample dekoder özellikleri yama-genişletici geçiş katmanları kullanır. Önyargısız doğrusal bir projeksiyon uygulayın, genişletilmiş özellikleri mekânsal olarak yeniden düzenleyerek çözünürlüğü 2 kat artırın ve mekânsal genişlemeden sonra LayerNorm uygulayın. Bu işlemi tekrarlayarak H/32 × W/32'den H/16'ya × W/16, H/8 × W/8 ve H/4 × W/4'e kadar olan özellikler haritalarını kademeli olarak yeniden inşa edin.
      3. MFusion Mamba modülündeki kodlayıcı özelliklerini, bilinear interpolasyon (align_corners = Yanlış) kullanarak hedef mekansal çözünürlüğe göre boyutlandırarak ve ardından özellik birleşiminden önce öğrenilebilir doğrusal kanal projeksiyonu uygulayarak hizalamak.
   8. Segmentasyon başlığı
      1. Son kod çözücü özellik haritasını H/4 × W/4'ten orijinal görüntü çözünürlüğüne (H × W) son patch-genişleme katmanı kullanarak yukarı örnekleyin. Doğrusal projeksiyon uygulayın, 4 genişleme faktörü ile mekânsal yeniden düzenleme yapın ve LayerNorm uygulayın.
      2. Yeniden oluşturulan özellik haritasını, tensörü kanal öncelikli formata dönüştürdükten sonra 1'e ×1 konvolüsyonuyla K çıkış kanalına projeksiyon yapın.
      3. Değerlendirme sırasında ikili lezyon segmentasyonu için sigmoid aktivasyon fonksiyonu veya softmax aktivasyonu uygulayarak ardından Synapse multiorgan segmentasyonu için argmax uygulanarak nihai tahmini oluşturun. Segmentasyon başının içinde aktivasyon fonksiyonu uygulama.

Şekil 2. Multi-View Mamba U-Net'in (MVM-UNet) genel mimarisi. Önerilen Multi-View Mamba U-Net (MVM-UNet) mimarisinin genel görünümü. Giriş görüntüsü, patch gömmelerine dönüştürülür ve patch-birleştirme işlemleriyle ayrılmış Multi-View Vision (MVV) Bloklarından oluşan dört kodlayıcı aşamasından geçer. Kodlayıcı özellikleri, Çok aşamalı Birleşme Mamba (MFusion Mamba) ile toplanır ve atlama bağlantıları aracılığıyla kodlayıcıya iletilir. Kodlayıcı, yama genişletme işlemleriyle mekânsal çözünürlüğü kademeli olarak geri kazanır ve projeksiyon katmanı boyunca nihai segmentasyon haritasını oluşturur. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

3. MV4D modülünün inşası

1. MVV Bloğunda temel özellik çıkarma birimi olarak MV4D modülünü kullanın. Giriş özellik yamalarını dört tarama çifti dalına besleyin. Mekânsal düzleştirme, tarama çifti indeks oluşturma, dizi toplama, S6/Mamba işleme, ters mekansal yeniden sıralama, tarama çifti birleşimi, SFusion Mamba füzyon, projeksiyon ve çıktı yeniden şekillendirme gibi tam sözde kod için Algoritma 1, Ek Dosya 1'e bakınız.
2. modeller/mvmunet/core.py'de uygulanan tam zigzag, hiyerarşik, spiral ve radyal tarama-indeks oluşturma prosedürlerini kullanın. Her tarama stratejisi için, ileri tarama sırasını ve onun ters sırasını tek bir çift yönlü tarama çifti olarak kullanın.
3. Zikzak tarama çiftini oluştur. Her satır veya sütunun sonunda görüntü özelliklerini dönüşümlü yönlerde gezdirin. Bu tarama desenini yerel ve küresel mekânsal bilgiyi dengelemek için kullanın.
4. Hiyerarşik tarama çiftini oluşturun. Özellikleri birden fazla mekansal ölçekte yakalayın. Bu tarama desenini hem yerel hem de küresel temsillerin çıkarımını güçlendirmek için kullanın.
5. Spiral tarama çiftini oluşturun. Görüntü özelliklerini merkezden sınıra doğru veya sınırdan merkeze doğru tara. Bu tarama desenini küresel kontur bilgisinin çıkarımını artırmak için kullanın.
6. Radyal tarama çiftini oluşturun. Görüntü özelliklerini birden fazla radyal yön boyunca tara. Bu tarama desenini yerel sınır ve kenar detaylarının çıkarımını geliştirmek için kullanın.
7. Her tarama çiftini birleştirin ve birleştirilen diziyi S6 bloğuna aktarın. Eşleştirilmiş tasarımı kullanarak her tarama stratejisinin dayanıklılığını artırırken hesaplama verimliliğini koruyabilirsiniz.
8. Her tarama çiftinin çıkış dizisini bir S6 bloğuna besleyin. Zigzag, hiyerarşik, spiral ve radyal tarama görünümlerine karşılık gelen dört özellik temsili elde edin.
9. Çıkarılan dört özellik temsili SFusion Mamba modülü kullanılarak birleştirin. İki paralel füzyon yolu kullanın. İlk yolda, dört özelliği eleman bazında ekleme yoluyla entegre edin.
10. İkinci SFusion Mamba yolunda, dört özelliği birleştirin. Birleştirilmiş temsili Conv1d ve Mamba ile işleyin. Kanal boyutunu, S6 blok çıkış boyutuna uyacak bir projeksiyon katmanı kullanarak küçültün.
11. Model boyutu olarak özellik boyutu C kullanılarak S6/Mamba bloğunu yapılandırın. Her birleşmiş tarama çifti özelliğini füzyondan önce kanal boyutu C'ye eşlemek için bir projeksiyon katmanı kullanın.
12. SFusion Mamba'da, ilk yolda eleman bazında toplama işlemi yapılabilir. Conv1d, Mamba ve doğrusal projeksiyondan önceki ikinci yolda dört tarama görünümü özelliğini birleştirin. Adımda belirtildiği gibi normalizasyon, doğrusal projeksiyon, derinlik açısından ayrılabilir konvolüsyon ve MV4D etrafındaki aktivasyon işlemlerini kullanın.
13. MV4D modülünün nihai çıktısını elde etmek için iki füzyon yolunun çıktılarını ekleyin.
14. Yalnızca yatay ve dikey tarama yönleri kullanmak yerine dört tamamlayıcı tarama çifti dalı oluşturun. Sürekli mekansal geçişi vurgulamak için zikzak tarama, çok ölçekli temsili güçlendirmek için hiyerarşik tarama, merkezden sınıra kontur bilgisini yakalamak için spiral tarama ve sınır odaklı yerel detay çıkarımı artırmak için radyal tarama kullanın.
15. Her tarama çiftini bağımsız olarak işleyin. Ortaya çıkan özellikleri SFusion Mamba ile birleştirin. Her işlenen diziyi füzyon öncesi orijinal mekansal sırasına geri eşle.
16. Bir giriş özellik haritası X ∈ R^B×H×W×C, onu X_dizili olarak düzleştirin ∈ R^B×L×C, burada L = H × W.
17. Her tarama çifti dalının tarama indekslerine göre düzleştirilmiş diziyi yeniden düzenleyin. Her yeniden sıralanmış diziyi S6 bloğunu kullanarak işleyin. İşlenen diziyi orijinal mekansal sıraya geri döndürün.
18. Dört tarama görünümü özelliğini ekleme yolu ve SFusion Mamba yolu üzerinden birleştirerek nihai MV4D çıktısını elde edin. MV4D mimarisi için Şekil 3'e ve tam tensör seviyesinde uygulama iş akışı için Algoritma 1, Ek Dosya 1'e bakınız.
19. Models/mvmunet/core.py içindeki tam yazılım uygulamasını kullanın. Bu dosya, tarama indeks üreteçleri PairwiseScanMamba, SequenceS6, SFusion Mamba ve MV4D wrapper modülünü içerir.
20. Çok görüşlü tarama indeksleri oluşturun
    1. Tarama indekslerini models/mvmunet/core.py içinde yayınlanan uygulamayı takip ederek oluşturun. H × W boyutlu bir giriş özellik haritası için, her piksel konumunu tek boyutlu bir indekse düzleştirin: index = r × W + c, burada are ve c sırasıyla satır ve sütun koordinatlarını gösterir.
    2. Zigzag taramayı sabit r + c ile görüntü çapagonlarını geçerek oluşturun. Her çapraz için geçerli piksel indekslerini toplayın ve her çift numaralı çaprazın sırasını tersine çevirerek geçiş yönünü dönüşümlü yapın.
    3. Hiyerarşik taramayı görüntüyü dört dörtre ayırarak oluşturun. Alt bölge yüksekliği veya genişliği 2 pikselden büyük olmayana kadar üst sol, üst-sağ, alt-sol ve alt-sağ dörtlükleri sırayla ziyaret edin ve ardından kalan pikselleri satır-majör sırayla gezin.
    4. Dış görüntü sınırını üst sıra boyunca soldan sağa, sağ sütun boyunca aşağıya, alt sıra boyunca sağdan sola ve sol sütun boyunca yukarı doğru ilerleyerek spiral taramayı oluşturun; sınırı görüntü merkezine doğru kademeli olarak küçültün.
    5. Radyal taramayı, her pikseli görüntü merkezinden kare mesafesine göre ve ardından atan2 fonksiyonu kullanılarak hesaplanan kutup açısına göre sıralayarak oluşturun.
    6. Her tarama stratejisi için karşılık gelen ileri tarama sırasını tersine çevirerek ters tarama oluşturun. Öndeki ve geri tarama dizilerini birleştirerek her tarama stratejisi için bir tarama çifti oluşturun ve ardından çiftleri MV4D modülüne aktarın.

Şekil 3. Multi-View 4-Yönlü (MV4D) modülünün mimarisi. Multi-View 4-Yönlü (MV4D) özellik çıkarma modülünün yapısı. Giriş yamaları, zigzag, hiyerarşik, spiral ve radyal tarama dahil olmak üzere dört tamamlayıcı tarama-çift dalı aracılığıyla işlenir. Dört daldan çıkarılan özellikler birleştirilir, durum-uzay blokları kullanılarak işlenir ve Spatial Fusion Mamba (SFusion Mamba) tarafından entegre edilerek çıktı özellik temsili oluşturulur. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

4. MVV Bloğunun İnşası

1. MVV Bloğunu bir ana dal ve iki yardımcı şube kullanarak inşa edin. Şekil 4'te gösterilen genel yapıyı kullanın.
2. Ana daldaki giriş özelliğine katman normalizasyonu uygulanır. Normalleştirilmiş özelliği doğrusal bir katmana besleyin. Dönüştürülmüş özelliği derinlik açısından ayrılabilir konvolüsiyona aktarın.
3. Dönüştürülmüş özelliği derinlik açısından ayrılabilir konvolüsyon kullanarak işleyin. GELU aktivasyon fonksiyonunu uygula. Etkinleştirilen özelliği MV4D modülüne besleyin.
4. İlk yardımcı dalı kimlik kalıntısı bağlantısı olarak inşa edin. Giriş özelliğini doğrudan nihai çıkışa bağlayın. Bu dalı orijinal temsilini korumak ve eğitimi stabilize etmek için kullanın.
5. İkinci yardımcı kolu bir projeksiyon aşağı-yukarı dal olarak inşa etmek. Giriş özelliğini aşağı projeksiyon katmanı kullanarak sıkıştırın. Özellik boyutunu yukarı projeksiyon katmanı kullanarak geri kazandırın.
6. Ana dalın ve her iki yardımcı dalın çıkışlarını birleştirin. Son MVV Blok çıkışını elde edin. Tam mimari için Şekil 4'e bakınız.
7. Ana dalın gizli boyutunu giriş kanalı boyutu C_s'ye eşit olarak ayarlayın. Ana doğrusal projeksiyondan önce LayerNorm(C_s) uygulayın ve boyutları C_s→C_s olan doğrusal bir katman kullanın. Derinlik açısından ayrılabilir bir konvolüsyon kullanın; 3×3 derinlik bazında konvolüsyon ile dolgu 1, gruplar = C_s ve önyargı yok, ardından 1×1 nokta başına konvolüsyon ile yanlışlıksız bir konvolüsyon uygulanır.
8. Derinlik açısından ayrılabilir konvolüsyondan sonra GELU aktivasyon fonksiyonunu uygulayın. Etkinleştirilmiş özelliği MV4D'ye besin ve C_s→C_s boyutlarında bir çıkış lineer projeksiyonu uygulayın. Projection down-up dalını LayerNorm(C_s) ile yapılandırın; projeksiyon oranı 4, aşağı projeksiyon C_s→C_s/4, GELU aktivasyonu ve yukarı projeksiyon C_s/4→C_s.
9. Kimlik dalını, projeksiyon aşağı-yukarı dalı ve drop-path işlenmiş ana dalı eleman bazında toplama ile birleştirerek nihai MVV Blok çıktısını elde edin.

Şekil 4. Çok Görüşlü Görüş (MVV) Bloğunun Mimarisi. Çok Görüşlü Görüş (MVV) Bloğunun Yapısı. Blok, Multi-View 4-Yönlü (MV4D) modülünü içeren ana özellik çıkarma dalından oluşur; derinlik olarak konvolüsyon, normalizasyon ve doğrusal projeksiyon katmanları içerir. Yardımcı yukarı-aşağı projeksiyon dalı, çıkış özellik temsili oluşturmak için kalıntı eklemeden önce elemanlar bazında çarpma yoluyla kapılı özellik modülasyonu sağlar. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

5. MFusion Mamba'nın İnşası

1. Tüm kodlayıcı aşamalarından özellik haritalarını toplayın. Kodlayıcı özelliklerini, gerektiğinde boyutlandırarak veya yansıtarak birleşik bir temsil alanına hizalayın. Tam tensör seviyesinde uygulama iş akışı için Algoritma 2, Ek Dosya 1'e bakınız.
2. Gerektiğinde kodlayıcı özelliklerini hedef mekansal çözünürlüğe göre boyutlandırın. Farklı kanal boyutlarına sahip proje özellikleri aynı kanal boyutuna girer. Çok aşamalı füzyon öncesi tüm kodlayıcı özelliklerini hizalayın.
3. Hizalanmış kodlayıcı özelliklerini Kaba, Birleşme bileşenine besleyin. Hadamard ürünü kullanarak kaba füzyon gerçekleştirin. Kabaca birleşmiş temsil oluşturun.
4. Kaba, füzyon temsili ince füzyon bileşenine beslenir. İki paralel ince füzyon yolu inşa edin. Her iki yolu bağımsız olarak işleyin.
5. İlk ince füzyon yolunu doğrusal bir katman kullanarak işleyin. İkinci İnce Füzyon yolunu yukarı projeksiyon, Conv1d, Mamba ve aşağı projeksiyon kullanarak işleyin. Aşağıya projeksiyondan sonra özellik boyutunu geri getirin.
6. İki İnce Füzyon yolunun çıktılarını Hadamard ürünü kullanarak birleştirin. Son doğrusal katmanı uygulayın. MFusion Mamba çıktısını elde edin.
7. MFusion Mamba çıkışını çözücüye besleyin. Birleştirilmiş çok aşamalı temsil, kodlayıcı-kodlayıcı atlama özellikleri ile birlikte çözülür. Son segmentasyon haritasını oluşturun.
8. Farklı aşamalardan kodlayıcı özelliklerini, kaba füzyondan önce birleşik bir özellik alanına hizalamak. Hizalanmış özellik temsillerini kaba ve ince füzyon aşamaları kullanarak işleyin. MFusion Mamba mimarisi için Şekil 5'e ve tam tensör seviyesinde uygulama iş akışı için Ek Algoritma 2'ye bakınız.
9. MFusion Mamba'nın uygulama parametrelerini aşağıdaki gibi kullanın. Her kodlayıcı özelliği E_i için, kanal boyutunu C_i'den C_t'ye yansıtın. Projeksiyon özelliklerini hedef mekansal boyuta göre align_corners=Yanlış olarak bilineşer enterpolasyon kullanarak yeniden boyutlandırın.
10. Hizalanmış kodlayıcı özellikleri arasında Kaba Füzyon gerçekleştirmek için Hadamard ürününü uygulayın. İlk İnce Füzyon yolunu C _t → C _t boyutlarında doğrusal bir katman kullanarak yapılandırın. İkinci İnce Füzyon yolunu yukarı projeksiyonlu C_t → 2C_t, Conv1d, model boyutu 2C_t, bir tarama yönü, durum boyutu 16 ve aşağı projeksiyon 2C_{t →} C_t ile yapılandırın.
11. İnce Füzyon yollarının çıkışlarını Hadamard ürünü kullanarak birleştirin. C_t'den C t'ye boyutlu nihai doğrusal bir projeksiyon _uygulayın. Birleşmiş çok aşamalı temsilini çözücüye besleyin.
12. MFusion Mamba kullanarak çok aşamalı kodlayıcı özellikleri sigortalamak
    1. Tüm dört kodlayıcı aşamasından (E₁, E₂, E₃ ve_{E 4}) kodlayıcı özelliklerini toplayın ve bunları MFusion Mamba modülüne giriş olarak kullanın. Dekoder füzyonu için yalnızca karşılık gelen aşama kodlayıcı özelliğini seçmeyin.
    2. Tüm kodlayıcı özelliklerini, mevcut dekoder aşaması için gereken mekânsal çözünürlüğe hizalayın. Kodlayıcı özelliklerini hedef çözünürlüğe göre yeniden boyutlandırın ve özellik birleşmeden önce gerekli kanal boyutuna yansıtın.
    3. Her kod çözücü aşaması için özellik hizalama prosedürünü tekrarlayın. Kodlayıcı H/16 × W/16, H/8 × W/8 ve H/4 × W/4 koordinatlarında çalıştığında, E₁, E₂, E₃ ve E_4'ü uygun hedef özellik alanına yeniden boyutlandırılıp projeksiyon yapın.
    4. MFusion Mamba modülünün Kabaca Füzyon ve İnce Füzyon işlemleriyle hizalanmış çok aşamalı kodlayıcı özelliklerini birleştirin ve birleşen temsil, ilgili ölçekte dekoder özellikleriyle birleştirin.
    5. Models/mvmunet/core.py'de yayınlanan uygulamaya göre özellik projeksiyonu, yeniden boyutlandırma ve füzyon işlemlerini gerçekleştirin.

Şekil 5. Çok aşamalı Fusion Mamba (MFusion Mamba) modülünün mimarisi. Çok aşamalı Füzyon Mamba (MFusion Mamba) modülünün yapısı. Çok ölçekli kodlayıcı özellikleri önce kaba füzyon ile birleştirilir ve ardından doğrusal projeksiyon, tek boyutlu konvolüsyon (Conv1d), bir Mamba bloğu ve özellik projeksiyon katmanlarından oluşan İnce Füzyon modülü aracılığıyla geliştirilir; bu modül çözücü tarafından kullanılan birleşmiş özellik temsili oluşturulur. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

6. Model eğitimi

1. MVM-UNet'i Ubuntu 22.04.1 üzerinde Linux çekirdeği 6.8.0 sürümüyle eğitin. 13. nesil Intel Core i9-13900K CPU ve NVIDIA A800 GPU ile donatılmış bir iş istasyonu kullanın. Eğitim ve değerlendirme boyunca aynı donanım konfigürasyonunu kullanın.
2. Modeli PyTorch 2.0.1 ile CUDA 11.8 kullanarak uygulayın ve eğitin. Eğitimden önce tüm gerekli yazılım bağımlılıklarını kurun.
3. AdamW optimizer'ini 3 × 10⁻⁵, β₁ = 0.9, β₂ = 0.999, ε = 1 × 10⁻⁸ ve ağırlık kaybı 0.01 olan AdamW optimizatorunu kullanın. Parti büyüklüğünü 32 olarak ayarlayın, aksi belirtilmedikçe.
4. Her modeli 300 dönem boyunca eğitin. η_min = 1 × 10⁻⁵ olan bir kosinüs tavlama öğrenme hızı takvimi kullanın. Giriş görüntü boyutunu ISIC 2017 ve ISIC 2018 için 256 × 256, Synapse için ise 224 × 224 olarak ayarlayın.
5. Ana karşılaştırma deneyleri için üç bağımsız rastgele tohum (1, 52 ve 100) kullanın. Her tohum için tam eğitim ve değerlendirme prosedürünü tekrarlayın. Nihai nicel sonuçları üç koşu boyunca ortalama ± SD olarak bildirin.
6. Tüm ablasyon çalışmaları için aksi belirtilmedikçe sabit rastgele 100 tohum kullanın. Tüm ablasyon deneylerinde veri seti bölümlerini, ön işlem stratejisini, ağ mimarisini, optimize edicisini, öğrenme hızını, parti büyüklüğünü ve eğitim dönemi sayısını değiştirmeden tutun.
7. ISIC 2017 ve ISIC 2018'de ikili lezyon segmentasyonu için BCE-Dice kaybını kullanın. BCE ve zar kaybı ağırlıklarını 1.0'a ayarlayın. Synapse için CE-Dice kaybını kullanın ve hem çapraz entropi hem de zar kaybı ağırlıklarını 1.0'a ayarlayın.
8. ISIC 2017 ve ISIC 2018 eğitim görüntülerini Adım 1'de tanımlanan ön işleme prosedürünü kullanarak yeniden boyutlandırın, normalize edin ve artırın. Adım 1'de açıklandığı gibi Synapse eğitim görgelerine yeniden boyutlandırma, rastgele dönüş ve rastgele çevirme uygulayın. Tüm antrenman çalışmalarında aynı ön işleme ayarlarını kullanın.
9. Veri setine özgü doğrulama protokolüne göre model kontrol noktalarını seçin. ISIC 2017 ve ISIC 2018 için en iyi doğrulama performansına sahip kontrol noktasını kaydedin ve her 30 dönemde bir doğrulama yapın. Synapse'ı 300 dönem boyunca doğrulama seti olmadan eğitin ve test için son eğitim kontrol noktasını kullanın.
10. ISIC 2017 ve ISIC 2018 modellerinde sadece resmi doğrulama setini kullanın. Synapse test setini eğitim, hiperparametre ayarlama veya kontrol noktası seçimi için kullanmayın. Tüm test verilerini yalnızca nihai değerlendirme için ayırın.
11. Tekrarlanabilirlik için aşağıdaki eğitim parametrelerini kullanın. Tüm veri setleri için toplu boyutu 32'ye ayarlayın. AdamW'yi 3 × 10⁻⁵, β₁ = 0.9, β₂ = 0.999, ε = 1 × 10⁻⁸ ve ağırlık kaybı 1 × 10⁻² ile kullanın.
12. ISIC 2017 ve ISIC 2018 için kosinüs tavlama öğrenme hızı zamanlayıcısını T_max = 50 ve η_min = 1×10⁻⁵ olarak yapılandırın. Zamanlayıcıyı T_max = 100 ve η_min = 1×10⁻⁵ olarak Synapse için yapılandırın. Tüm tekrarlanan deneyler için zamanlayıcı konfigürasyonunu değiştirmeden tutun.
13. Tüm modelleri tam hassasiyetli FP32 aritmetiği ile eğitin. Otomatik karma hassasiyetli eğitimi devre dışı bırakın. Optimizasyon sırasında gradyan krampası uygulamayın.
14. Tüm karşılaştırma deneylerinde, ablasyon çalışmalarında ve tekrarlanabilirlik çalışmalarında hassasiyet ayarlarını, gradyan güncelleme stratejisini, optimizator yapılandırmasını, öğrenme hızı takvimini ve rastgele tohum protokolünü değiştirmeden tutun.
15. En iyi model kontrol noktasını seçin
    1. ISIC 2017 ve ISIC 2018 veri setleri için her eğitim döneminden sonra doğrulama setinde modeli değerlendirin.
    2. Her doğrulama partisi için İkili Çapraz Entropi (BCE)-Zar kaybını hesaplayın ve tüm doğrulama seti boyunca ortalama doğrulama kaybını hesaplayın.
    3. Ortalama doğrulama kaybı daha önce kaydedilen minimum doğrulama kaybından daha düşük olduğunda mevcut modeli en iyi kontrol noktası olarak saklayın.
    4. Doğrulama sırasında sadece performans izleme için Union (mIoU), zar benzerlik katsayısı (DSC), doğruluk (Acc), özgüllük (Spe) ve hassasiyet (Sen) üzerinden ortalama kesişim kaydı yapın. Bu metrikleri kontrol noktası seçimi kriteri olarak kullanmayın.

7. Model değerlendirmesi

1. Her veri seti için resmi test seti kullanılarak eğitilen modeli değerlendirin. Test setini yalnızca nihai performans değerlendirmesi için kullanın.
2. ISIC 2017 ve ISIC 2018 için mIoU, DSC, Acc, Sen ve Spe hesaplanın. Tüm hesaplamalar için piksel düzeyinde gerçek pozitifler (TP), yanlış pozitifler (FP), gerçek negatifler (TN) ve yanlış negatifler (FN) kullanın.
3. ISIC 2017 ve ISIC 2018 için model çıktısına sigmoid aktivasyon fonksiyonu uygulan. Olasılık haritasını 0.5 eşik kullanarak ikili segmentasyon maskesine dönüştürün. Değerlendirme metriklerini Denklemler 2–6 kullanarak hesaplayın:
   (2)
   (3)
   (4)
   (5)
   (6)
4. Synapse için, model çıktısına softmax aktivasyon fonksiyonunu uygulayın. Her piksel veya voxel, argmax işlemini kullanarak en yüksek olasılıklı sınıfa atayın. Her ön plan organı için DSC ve 95. perdelik Hausdorff mesafesini (HD95) hesaplayın ve tüm test vakalarında ortalama değerleri raporlayın.
5. MVM-UNet'i temsil eden CNN tabanlı, Transformer tabanlı ve durum-uzay modeli (SSM) tabanlı segmentasyon yöntemleriyle karşılaştırın. Tüm yöntemler için aynı veri seti bölümlerini, ön işleme prosedürlerini, giriş çözünürlüklerini ve değerlendirme metriklerini kullanın.
6. ISIC 2017 ve ISIC 2018 için resmi eğitim, doğrulama ve test bölümlerini kullanın. Synapse için standart 18 eğitim vakası ve 12 test vakası bölünmesini kullanın. Giriş çözünürlüğünü ISIC veri setleri ve Synapse için ayarlayın.
7. Mevcut olan zaman resmi uygulamalarıyla temel yöntemleri yeniden üretin. Rapor, tekrarlanan çalışmalarda ortalama ± SD olarak sonuçları yeniden yayımladı. Orijinal olarak yayımlanan literatür verilerini koruyun ve ilgili tablo notlarında ayırt edin.
8. Aksi belirtilmedikçe sabit rastgele 100 tohum kullanarak ablasyon çalışmaları yapın. Tüm ablasyon deneylerinde veri seti bölümlerini, ön işleme prosedürü, giriş çözümlemesi, optimize edici, öğrenme hızı takvimi, parti büyüklüğü, epoch sayısı, kayıp fonksiyonu ve değerlendirme metriklerini değiştirmeden tutun.
9. MV4D, SFusion Mamba, MVV Bloğundaki Yukarı-Aşağı Projeksiyon dalı, MFusion Mamba, giriş görüntü boyutu, kopma değeri ve kodlayıcı-kodlayıcı katmanı yapılandırmasının katkılarını değerlendirin. Her ablasyon deneyinde yalnızca hedef bileşeni veya parametreyi değiştirin.
10. ISIC 2017 ve ISIC 2018 için eşleştirilmiş görüntü sonuçları ve Synapse için eşleştirilmiş vaka sonuçları kullanılarak Wilcoxon imzalı sıralama testini gerçekleştirin. İstatistiksel anlamlılığı belirtmek için 0.05'ten küçük bir p-değeri düşünün.
11. Tüm yöntemler için aynı donanım ortamı ve giriş çözünürlüğü kullanılarak hesaplama verimliliğini değerlendirin. Dönem başına eğitim süresini, görüntü başına çıkarım süresini, eğitim sırasında GPU belleğinin zirve kullanımını, model parametrelerinin sayısını ve kayan nokta işlemlerini (FLOP'lar) ölçün. Tek bir ileri pas kullanarak FLOP'ları hesaplayın.
12. Model değerlendirmesi tamamlandıktan sonra yalnızca test setinden temsil niteliksel örnekler seçin. Orijinal görüntü, gerçek gerçek maskesi ve tahmin edilen maske, tüm yöntemlerde aynı test vakalarını kullanarak karşılaştırın. Küçük hedefler, düzensiz sınırlar, belirsiz sınırlar ve temsil çok organlı yapıları içeren temsilci örnekleri seçin.
13. Değerlendirme metriklerini hesaplayın ve istatistiksel analiz yapın
    1. ISIC 2017 ve ISIC 2018 veri setleri için segmentasyon metriklerini Python ile NumPy ve sklearn.metrics.confusion_matrix kullanarak hesaplayın. Tahmin edilen olasılık haritasını 0.5'e eşik olarak belirleyin, piksel düzeyinde TP, FP, TN ve FN'yi alın ve bu değerlerden mIoU, DSC, Acc, Sen ve Spe'yi hesaplayın.
    2. Synapse veri seti için DSC ve HD95'i sırasıyla medpy.metric.binary.dc ve medpy.metric.binary.hd95 kullanarak hesaplayın. Değerlendirme metriklerini hesaplamadan önce model çıktısına softmax ve ardından argmax uygulayın.
    3. Tek bir ileri geçişle thop.profile kullanarak FLOP sayısını ve eğitilebilir parametreleri hesaplayın.
    4. Wilcoxon imzalı sıralama testini scipy.stats.wilcoxon kullanarak Python'da gerçekleştirin. ISIC 2017 ve ISIC 2018 veri setleri için eşleştirilmiş görüntü başına metrik değerleri ve Synapse veri seti için çiftleştirilmiş vaka başına metrik değerler kullanın.

8. Kayıp fonksiyonu tanımı

1. Çok sınıflı segmentasyon için standart Çapraz Entropi (CE) kaybını, ikili segmentasyon için ise standart BCE kaybını kullanın. Segmentasyon için standart Zar kaybı formülasyonunu kullanın. 7–11 denklemleri bu protokolde kullanılan kayıp fonksiyonlarını tanımlar.
   (7)
   (8)
   (9)
   (10)
   (11)
2. ISIC 2017 ve ISIC 2018 için BCE ve zar kaybı ağırlıklarını 1.0 olarak ayarlayın; _{böylece 1} = 1.0 ve ₂ = 1.0. Synapse için CE ve zar kaybetme ağırlıklarını 1.0 olarak ayarlayın, örneğin 1 = 1.0 ve φ ₂ = 1.0 gibi φ.
3. Kayıp fonksiyonlarını utils.py'de uygulayın. nn kullanın. BCE terimi ve nn için BCELoss. CE dönemi için CrossEntropyLoss (CrossEntropyLoss) için geçerlidir. İkili Zar kaybı, tahmin edilen maske ve zemin-doğruluk maskesini düzleştirerek, her örnek için zar kaybını hesaplayarak ve parti boyunca kaybın ortalamasını hesaplayın. Çok sınıflı zar kaybını, hedef etiket haritasını tek sıcak formata dönüştürerek, model çıktısına softmax uygulayarak, her sınıf için zar kaybını hesaplayarak ve tüm sınıflar arasında kaybı ortalamayı hesaplayarak hesaplayın.
4. İkili zar kaybı için yumuşatma sabitini 1 olarak, çok sınıflı zar kaybı için ise 1×10⁻⁵ olarak ayarlayın. BCE-Zar kaybını, wb = 1 ve wd = 1 ile BceDiceLoss sınıfını kullanarak uygulayın. CE-Zar kaybını CeDiceLoss sınıfı kullanarak loss_weight = [1, 1] ile uygulayın. Tüm veri setleri, rastgele tohumlar ve deneyler için yumuşatma sabitlerini, azaltma stratejisini ve yazılım uygulamasını değiştirmeden tutun.
5. Kayıp azaltma yapılandırılması
   1. Instantiate nn. BCELoss() ve nn. CrossEntropyLoss() ile birlikte indirgeme argümanını açıkça belirtmeden CrossEntropyLoss() ile karşılaşır.
   2. Her iki kayıp fonksiyonu için varsayılan PyTorch kayıp azaltma ayarını (azaltma = "ortalama") kullanın. İnredasyon = "toplam" veya azaltılmamış kayıp çıktısı kullanmayın.

9. Tekrarlanabilirlik ayarları ve uygulama

1. Yayınlanan uygulamayı https://github.com/LIXUEGUANG002/MVM-UNet'dan indirin. Depo, Materyaller Tablosu'nda listelenen yazılım paketleri, veri setleri, donanım özellikleri ve hesaplama kaynaklarıyla birlikte kullanın.
2. Depoyu klonlayın ve git clone https://github.com/LIXUEGUANG002/MVM-UNet.git çalıştırarak proje dizinine girin, ardından cd MVM-Unet ile devam edin.
3. ISIC 2017 veya ISIC 2018 deneyini, veri seti adı, veri seti yolu, giriş boyutu, parti büyüklüğü, epoch sayısı, kayıp fonksiyonu, optimizator, öğrenme hızı zamanlayıcısı ve rastgele tohumu configs/config_setting.py'de ayarlayarak yapılandırın. Eğitim betisini depo kökünden python train.py kullanarak çalıştırın.
4. Synapse deneyini, configs/config_setting_synapse.py'de veri seti adı, eğitim veri yolu, test hacmi yolu, liste dizini, giriş boyutu, sınıf sayısı, toplu büyüklüğü, epoch sayısı, kayıp fonksiyonu, optimizator, öğrenme hızı zamanlayıcısı ve rastgele tohum ayarları ile yapılandırmak/. Eğitim betesini depo kökünden python train_synapse.py kullanarak çalıştırın.
5. Yalnızca çıkarma değerlendirmesini gerçekleştirmek için only_test_and_save_figs = Doğru, best_ckpt_path eğitilmiş kontrol noktasına ve img_save_path ilgili yapılandırma dosyasındaki çıktı dizinine ayarlayın. ISIC 2017 veya ISIC 2018 için python train.py çalıştırın, tahmin sonuçları ve niteliksel rakamlar oluşturmak için Synapse için python train_synapse.py çalıştırın.
6. Yayınlanan kaynak kodu sürümünü kullanın
   1. Yayınlanan GitHub deposunu klonlayın ve veri setlerini, eğitim betiklerini ve değerlendirme ayarlarını yapılandırmadan önce master dalda commit ee891b42c2f2f1d4463adc5e103e üzerinde inceleyin.
   2. Bu taahhüdü kullanarak bu çalışmada bildirilen deneyleri tekrar edin. El yazması revizyonu sırasında depo için etiketlenmiş bir sürüm mevcut değildi.

Sonuçlar

Beklenen sonuçlar ve yorumlama
Bu protokol doğru uygulandığında, eğitilmiş MVM-UNet modelinin çoğu değerlendirme metrikinde farklı rastgele tohumlar arasında sadece küçük farklılıklarla tekrarlanan çalışmalar arasında istikrarlı segmentasyon performansı üretmesi beklenmektedir. ISIC 2017 ve ISIC 2018 için başarılı sonuçlar, yüksek DSC, mIoU, Acc, Sen ve Spe değerleri ile yer-gerçeklik lezyon sınırlarını yakından takip eden öngörülen lezyon maskeleriyle yansıtılır (Şekil 6 ve 7). Synapse için başarılı sonuçlar, ön plan organlarında yüksek ortalama DSC değerleri ve düşük HD95 değerleri ile yansıtılır (Şekil 8). Protokol yürütme sırasında, nicel metrikler ilgili nitel segmentasyon sonuçlarıyla birlikte yorumlanmalıdır. Yüksek DSC elde eden ancak sınır sızıntısı, küçük yapıların atlanması veya parçalanmış tahminler gösteren bir model yalnızca kısmen başarılı olarak kabul edilmeli ve ön işleme prosedürü, kontrol noktası seçimi ve çıkarım ayarları doğrulanmalıdır.

Şekil 6. ISIC 2017 veri seti üzerinde temsil nitel segmentasyon sonuçları. Uluslararası Cilt Görüntüleme İşbirliği (ISIC) 2017 cilt lezyonu segmentasyon veri setinde temsil nitel segmentasyon sonuçları elde edilmiştir. Her örnek, orijinal dermoskopik görüntü (Image), karşılık gelen yer-gerçeklik segmentasyon maskesi (GT) ve MVM-UNet (Pred) tarafından oluşturulan tahmini gösterir. Temsilci test vakaları, farklı boyut, morfoloji ve sınır karmaşıklığına sahip lezyonlar için segmentasyon performansını gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 7. ISIC 2018 veri setinde temsil nitel segmentasyon sonuçları. Uluslararası Cilt Görüntüleme İşbirliği (ISIC) 2018 cilt lezyonu segmentasyon veri setinde temsil nitel segmentasyon sonuçları elde edilmiştir. Her örnek, orijinal dermoskopik görüntü (Image), karşılık gelen yer-gerçeklik segmentasyon maskesi (GT) ve MVM-UNet (Pred) tarafından oluşturulan tahmini gösterir. Temsilci test vakaları, çeşitli lezyon görünümleri ve sınır özellikleri arasında segmentasyon performansını gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 8. Synapse çoklu organlı bilgisayarlı tomografi veri setinde temsil nitel segmentasyon sonuçları. Synapse Multi-Atlas Etiketleme Kranial Vault veri seti üzerinde temsil niteliksel çok organ segmentasyon sonuçları elde edildi. Her örnek, orijinal bilgisayarlı tomografi görüntüsünü (Image), karşılık gelen yer-gerçeklik organ açıklamalarını (GT) ve MVM-UNet (Pred) tarafından oluşturulan tahmini gösterir. Temsilci örnekler, birden fazla karın organı arasında tahmin edilen ve referans segmentasyonlar arasındaki uyumu gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

ISIC 2017'deki Performans
MVM-UNet'in tekrarlanabilirliğini değerlendirmek için, tüm ana karşılaştırma deneyleri üç bağımsız rastgele tohum (1, 52 ve 100) kullanılarak tekrarlandı ve sonuçlar ortalama SD ± olarak bildirildi. İstatistiksel anlamlılık, ISIC 2017 ve ISIC 2018 için eşleştirilmiş görüntü başına sonuçlara ve Synapse için eşleştirilmiş vaka sonuçlarına dayalı Wilcoxon imzalı sıralama testi kullanılarak değerlendirildi. İstatistiksel analiz, tohum seviyesindeki ortalamalar yerine eşleştirilmiş metrik değerleri kullanılarak gerçekleştirildi. Adil karşılaştırma için, ortalama SD olarak bildirilen sonuçlar aynı veri seti bölümleri, giriş çözünürlükleri ve değerlendirme metrikleri altında ±resmi uygulamalar kullanılarak mümkün olduğunca yeniden üretildi; tek değerli sonuçlar ise ilgili orijinal yayınlardan korundu.

MVM-UNet, ISIC 2017 cilt lezyonu segmentasyon veri seti üzerinde değerlendirildi ve UNet ^8,21, TransUNet²³, H-vmunet²⁸, MISSFormer³⁰, MaLUNet³¹, VM-UNet³², UNeXt-S³³, HResFormer³⁴, MedScale-Former³⁵, MCAFT³⁶ ve H2Former¹² gibi temsilli segmentasyon yöntemleriyle karşılaştırıldı (Tablo 1). MVM-UNet, üç bağımsız koşuda %80,94 ± %1,01, %91,32 ± %0,68 DSC, %96,58 doğruluk ± %0,27, %98,31 özgüllük ± %0,23 ve %91,65 ± %0,77 hassasiyet elde etti. Değerlendirilen yöntemlerle karşılaştırıldığında, MVM-UNet en yüksek mIoU, DSC ve hassasiyeti elde etti. Temsil eden nitel segmentasyon sonuçları, tahmin edilen maskelerin temsil test görüntülerindeki yer-gerçeklik lezyon sınırlarını yakından takip ettiği Şekil 6'da gösterilmiştir.

Model	Hakem.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	76.98	86.99	95.65	97.43	86.82
TransUNet	23	75.32	81.23	91.45	95.77	82.63
MaLUNet	31	78.78	88.13	96.18	98.47	84.78
VM-UNet	32	80.23	89.03	96.29	97.58	89.90
UNeXt-S	33	78.26	87.80	95.95	97.74	87.04
HResFormer	34	79.89 ± 1.05	88.82 ± 0.65	96.25 ± 0.24	97.73 ± 0.22	87.72 ± 0.79
H-vmunet	28	80.34 ± 1.02	90.68 ± 0.55	96.42 ± 0.18	98.23 ± 0.32	88.97 ± 0.88
MISSFormer	30	80.16 ± 0.78	89.27 ± 0.61	94.36 ± 0.28	97.52 ± 0.38	87.71 ± 0.69
H2Former	12	80.35 ± 0.95	88.56 ± 0.72	96.61 ± 0.19	98.15 ± 0.14	88.21 ± 0.81
MedScale-Former	35	80.31 ± 0.82	89.11 ± 0.59	95.68 ± 0.33	98.24 ± 0.21	89.96 ± 0.92
MCAFT	36	80.59 ± 0.93	89.27 ± 0.63	96.42 ± 0.20	97.95 ± 0.17	90.05 ± 0.84
MVM-UNet (Bizimki)	—	80.94 ± 1.01	91.32 ± 0.68	96.58 ± 0.27	98.31 ± 0.23	91.65 ± 0.77

Tablo 1: ISIC 2017 cilt lezyonu segmentasyon veri seti üzerinde performans karşılaştırması. MVM-UNet'in, temsil eden konvolüsyon sinir ağı (CNN), Transformer- ve durum-uzay modeli (SSM) tabanlı segmentasyon yöntemleriyle karşılaştırılması; ortalama Birlik Kesişimi (mIoU), zar benzerlik katsayısı (DSC), doğruluk (Acc.), özgülük (Spe.) ve hassasiyet (Sen.) kullanılıyor. MVM-UNet sonuçları, üç bağımsız rastgele tohum deneyinden ortalama ± standart sapma olarak bildirilmiştir. Tek değer olarak bildirilen sonuçlar, ilgili orijinal yayınlardan yeniden üretilmiştir.

Nitel örnekler, MVM-UNet'in hem küçük lezyonları hem de düzensiz sınırlı büyük lezyonları doğru şekilde segmentlere ayırdığını göstermektedir. Bu temsilci örneklerde, öngörülen maskeler, ilgili yer doğruluğu açıklamalarıyla yakından eşleşmiş ve minimum sızıntı veya parçalanma ile korunmuş lezyon sınırlarını oluşturmuştur.

Gözlemlenen iyileşmelerin istatistiksel olarak anlamlı olup olmadığını daha iyi değerlendirmek için, Wilcoxon imzalı sıralama testleri eşleştirilmiş görüntü başına segmentasyon sonuçları kullanılarak gerçekleştirildi. mIoU ölçütü için MVM-UNet, MCAFT'ye göre istatistiksel olarak anlamlı bir iyileşme gösterdi ve p-değeri 0.0114 oldu. DSC metrikinde MVM-UNet de H-vmunet'i önemli ölçüde geride bıraktı ve p-değeri 0.0031 oldu. Bu sonuçlar, ISIC 2017'de gözlemlenen iyileşmelerin rastgele varyasyondan kaynaklanmasının pek olası olmadığını desteklemektedir.

Genel olarak, MVM-UNet, ISIC 2017 veri setinde mIoU, DSC ve hassasiyet için karşılaştırılan yöntemler arasında en yüksek performansı elde etti (Tablo 1). Şekil 6'da gösterilen nitel segmentasyon örnekleri, bu nicel bulgularla tutarlıdır.

ISIC 2018'deki Performans
MVM-UNet, ISIC 2018 cilt lezyonu segmentasyon veri seti üzerinde ayrıca değerlendirildi ve UNet ^8,21, UNet+⁺⁹, UTNetV2³⁷, SANet³⁸, MaLUNet³¹, VM-UNet³², H-vmunet²⁸, MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ ve MCAFT³⁶ gibi temsilli segmentasyon yöntemleriyle karşılaştırıldı (Tablo 2). MVM-UNet, üç bağımsız denemede %82,47 ± %1,28, %90,65 ± %0,94 DSC, %96,02 doğruluk ± %0,36, %97,06 ± %0,31 özgüllük ve %91,80 ± %0,82 hassasiyet elde etti. Bu sonuçlar, MVM-UNet'in performansının farklı rastgele tohumlar arasında tutarlı kaldığını göstermektedir. Temsilci nitel segmentasyon sonuçları Şekil 7'de gösterilmiştir.

Model	Hakem.	mIoU (%)	DSC (%)	Acc (%)	Spe (%)	Sen (%)
UNet	8	77.86	87.55	94.05	96.69	85.86
UNet++	9	78.31	87.83	94.02	95.75	88.65
UTNetV2	37	78.97	88.25	94.32	96.48	87.60
SANet	38	79.52	88.59	94.39	95.97	89.46
MaLUNet	31	80.25	89.04	94.62	96.19	89.74
VM-UNet	32	81.35	89.71	94.91	96.13	91.12
H-vmunet	28	81.93 ± 1.45	90.46 ± 0.62	95.19 ± 0.30	96.82 ± 0.21	88.37 ± 1.13
MISSFormer	30	80.27 ± 1.21	89.91 ± 0.46	94.76 ± 0.27	97.22 ± 0.15	90.84 ± 1.07
H2Former	12	80.40 ± 0.83	90.26 ± 0.73	94.89 ± 0.38	96.98 ± 0.25	91.57 ± 0.54
HResFormer	34	81.12 ± 1.18	88.86 ± 0.84	94.96 ± 0.33	96.43 ± 0.22	91.86 ± 1.01
MedScale-Former	35	80.97 ± 0.74	90.47 ± 0.68	95.02 ± 0.41	95.89 ± 0.26	90.65 ± 0.92
MCAFT	36	81.46 ± 1.03	89.06 ± 0.76	95.23 ± 0.29	96.72 ± 0.17	91.82 ± 0.57
MVM-UNet (Bizimki)	—	82.47 ± 1.28	90.65 ± 0.94	96.02 ± 0.36	97.06 ± 0.31	91.80 ± 0.82

Tablo 2: ISIC 2018 cilt lezyonu segmentasyon veri seti üzerinde performans karşılaştırması. MVM-UNet'in, ortalama Kesişim (mIoU), Zar Benzerlik Katsayısı (DSC), doğruluk (Acc.), özgüllük (Spe.) ve hassasiyet (Sen.) kullanılarak temsil eden CNN-, Transformer- ve SSM tabanlı segmentasyon yöntemleriyle karşılaştırılması. MVM-UNet sonuçları, üç bağımsız rastgele tohum deneyinden ortalama ± standart sapma olarak bildirilmiştir. Tek değer olarak bildirilen sonuçlar, ilgili orijinal yayınlardan yeniden üretilmiştir.

H-vmunet ile karşılaştırıldığında, MVM-UNet mIoU'yu %0,54 oranında iyileştirdi. MedScale-Former ile karşılaştırıldığında, MVM-UNet DSC'yi %0,18 artırdı. MVM-UNet ayrıca karşılaştırılan yöntemler arasında en yüksek doğruluğu elde etti. Şekil 7'de gösterilen temsili nitel örnekler, küçük lezyon bölgeleri ve düzensiz sınırlı lezyonlar dahil olmak üzere temsil deri lezyonlarının doğru segmentasyonunu göstermektedir.

ISIC 2018 için, istatistiksel anlamlılık Wilcoxon imzalı sıralama testi kullanılarak eşleştirilmiş görüntü segmentasyon sonuçlarına dayanarak değerlendirildi. mIoU ölçütü için MVM-UNet, MCAFT'ye göre istatistiksel olarak anlamlı bir iyileşme elde etmiş ve p-değeri < 0.001 olmuştur. Bu sonuçlar, ISIC 2018'de gözlemlenen performans artışının rastgele varyasyondan kaynaklanmasının pek olası olmadığını desteklemektedir.

Genel olarak, MVM-UNet, ISIC 2018 veri setinde karşılaştırılan yöntemler arasında en yüksek mIoU, DSC ve doğruluğu elde etti (Tablo 2). Şekil 7'de gösterilen nitel örnekler, bu nicel iyileştirmelerle tutarlıdır.

Synapse üzerindeki performans
Önerilen yöntem ayrıca Synapse çoklu organ segmentasyon veri seti üzerinde değerlendirildi ve UNet ^8,21, Attention^{U-Net 39}, TransUNet²³, TransNorm⁴⁰, Swin U-Net²⁵, TransDeepLab⁴¹, MEW-UNet⁴², MISSFormer³⁰, H2Former¹², HResFormer³⁴, MedScale-Former³⁵ ve MCAFT³⁶ gibi temsil yöntemlerle karşılaştırıldı (Tablo 3). Synapse veri seti sekiz karın organını içeriyordu: aorta, safra kesesi, dalak, sol böbrek, sağ böbrek, karaciğer, pankreas ve mide. Standart deneysel protokole uygun olarak, eğitim için 18 vaka (2.212 eksenel dilim) ve test için 12 vaka (1.567 eksenel dilim) kullanıldı. Ayrı bir doğrulama seti tanıtılmamıştır. Test vakaları yalnızca nihai değerlendirme için kullanıldı ve model eğitimi, hiperparametre ayarlama veya model seçimi için kullanılmadı. Temsil niteliksel çok organlı segmentasyon sonuçları Şekil 8'de gösterilmekte olup, nicel karşılaştırma Tablo 3'te özetlenmiştir.

Model	Hakem.	DSC	HD95	Aor.	Gal.	Çocuk. (L)	Çocuk. (R)	Liv.	Pan.	Spl.	Sto.
UNet	8	76.85	39.78	89.07	69.72	77.77	68.69	93.43	54.01	86.66	75.59
Att-UNet	39	77.77	36.02	89.54	68.88	77.98	71.11	93.57	58.04	87.31	75.74
TransUNet	23	77.48	31.69	87.23	63.13	81.87	77.02	94.08	55.84	85.06	75.62
TransNorm	40	78.4	30.25	86.23	65.18	82.18	78.63	94.22	55.32	89.53	76.02
Swin U-Net	25	79.13	21.55	85.47	66.53	83.28	79.61	94.29	56.58	90.62	76.59
TransDeepLab	41	80.16	21.25	86.04	69.16	84.08	79.88	93.53	61.15	89.01	78.36
MEW-UNet	42	78.92	21.68	86.68	65.32	82.87	80.02	93.63	58.38	90.16	74.27
MISSFormer	30	80.92 ± 4.23	20.09 ± 1.89	86.43 ± 0.98	69.81 ± 4.56	84.29 ± 2.11	81.03 ± 3.34	93.85 ± 0.89	61.11 ± 4.67	90.05 ± 3.78	80.62 ± 1.02
H2Former	12	81.05 ± 2.56	20.13 ± 7.23	86.61 ± 3.21	69.32 ± 1.23	85.12 ± 4.78	82.01 ± 2.89	94.09 ± 2.45	61.16 ± 0.76	89.97 ± 4.12	80.94 ± 3.56
HResFormer	34	80.65 ± 4.02	17.48 ± 6.89	89.16 ± 2.78	66.94 ± 0.78	84.61 ± 4.34	82.15 ± 2.56	93.11 ± 1.34	59.92 ± 4.12	91.08 ± 3.45	80.75 ± 2.01
MedScale-Former	35	80.78 ± 1.34	20.02 ± 3.78	88.79 ± 4.02	69.82 ± 2.56	85.13 ± 0.87	81.63 ± 4.78	94.10 ± 2.78	60.72 ± 1.89	90.14 ± 1.56	80.93 ± 4.56
MCAFT	36	81.03 ± 3.45	19.98 ± 5.12	89.76 ± 0.76	68.96 ± 3.89	84.54 ± 2.56	81.98 ± 3.12	94.32 ± 4.01	60.85 ± 3.67	89.06 ± 4.89	80.91 ± 1.78
MVM-UNet (Bizimki)	—	81.26 ± 1.89	18.72 ± 2.16	88.53 ± 3.22	69.84 ± 4.23	85.37 ± 2.69	82.67 ± 1.67	94.41 ± 3.56	61.02 ± 2.78	90.19 ± 0.67	81.48 ± 3.12

Tablo 3: Synapse çoklu organ segmentasyon veri setinde performans karşılaştırması. MVM-UNet'in, Zar Benzerlik Katsayısı (DSC), 95. perdelik Hausdorff mesafesi (HD95) ve organa özgü Zar puanları kullanılarak temsil CNN-, Transformer- ve SSM tabanlı segmentasyon yöntemleriyle karşılaştırılması (Kid. (L)), sağ böbrek (Çocuk. (R)), karaciğer (Liv.), pankreas (Pan.), dalak (Spl.) ve mide (Sto.). MVM-UNet sonuçları, üç bağımsız rastgele tohum deneyinden ortalama ± standart sapma olarak bildirilmiştir. Tek değer olarak bildirilen sonuçlar, ilgili orijinal yayınlardan yeniden üretilmiştir.

MVM-UNet, üç bağımsız yayında ortalama %81,26 ± %1,89 ve ortalama HD95 oranı 18,72 ± 2,16 %'ye ulaştı. Sonuçlar, Synapse veri setinde stabil segmentasyon performansını göstermektedir. Değerlendirilen yöntemler arasında MVM-UNet en yüksek ortalama DSC ve ikinci en düşük ortalama HD95'i elde etti.

Synapse için, istatistiksel anlamlılık vaka başına eşleştirilmiş DSC değerlerine dayalı Wilcoxon işaretli sıralama testi kullanılarak değerlendirildi. MVM-UNet, H2Former'a göre istatistiksel olarak anlamlı bir iyileşme gösterdi ve p-değeri 0.026 oldu; bu da gözlemlenen segmentasyon performansındaki iyileşmenin istatistiksel olarak anlamlı olduğunu gösterdi.

Temsil eden başarılı ve yetersiz sonuçlar
Temsil eden başarılı nitel sonuçlar Şekiller 6–8'de gösterilmiştir. Başarılı sonuçlar, temel gerçek açıklamalarına yakından karşılık gelen ve birincil lezyon veya organ sınırlarını doğru şekilde belirleyen tahmini segmentasyon maskeleriyle karakterize edilir. Çok küçük hedeflerde, düşük kontrastlı sınırlarda, düzensiz lezyon şekillerinde, zayıf yoğunlukta kontrastlı organlarda veya anatomik olarak belirsiz sınırlarda temsil edici suboptimal sonuçlar ortaya çıkabilir ve genellikle alt segmentasyon, aşırı segmentasyon, sınır sızıntısı veya kesintisiz maske parçaları şeklinde görülebilir. Bu tür sonuçlar gözlemlendiğinde, kullanıcılar görüntü boyutlandırması, normalizasyon, maske enterpolasyonu, model kontrol noktası seçimi, çıkarım eşiği (ISIC veri setleri için) veya argmax tahmini (Synapse için) ve metrik hesaplama prosedürlerinin Protokol'de tanımlananlarla uyumlu olduğunu doğrulamalıdır.

MV4D modülünün ablasyon çalışması
MV4D modülünün katkısı, zikzak, hiyerarşik, spiral ve radyal tarama çiftlerinin kademeli olarak eklenmesiyle değerlendirildi; ardından SFusion Mamba modülü eklendi (Tablo 4; Şekil 9). Sadece zikzak tarama çifti kullanıldığında, segmentasyon performansı sınırlıydı. Hiyerarşik tarama çiftinin eklenmesi performansı önemli ölçüde artırdı ve çok ölçekli bilginin dahil edilmesinin faydasını gösterdi. Spiral ve radyal tarama çiftlerinin eklenmesi, kontur ve sınır temsilini geliştirerek segmentasyon performansını daha da iyileştirmiştir. SFusion Mamba modülünün dahil edilmesi, değerlendirilen konfigürasyonlar arasında en yüksek performansı sağladı.

Model	Zikzak tarama çifti	Hiyerarşik tarama çifti	Spiral tarama çifti	Radyal tarama çifti	SFusion Mamba	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓					56.75	72.46	58.03	73.45
MVM-UNet	✓	✓				72.38	84.01	73.45	84.7
MVM-UNet	✓	✓	✓			75.69	86.20	76.94	86.94
MVM-UNet	✓	✓	✓	✓		76.41	86.61	78.28	87.82
MVM-UNet	✓	✓	✓	✓	✓	80.94	91.32	82.47	90.65

Tablo 4: Çok Görüşlü 4-Yönlü (MV4D) modülünün ablasyon çalışması. Hiyerarşik, spiral ve radyal tarama çiftleri ile Spatial Fusion Mamba (SFusion Mamba) modülünün temel zikzak tarama çifti mimarisine kademeli olarak dahil edilmesiyle elde edilen performans. Performans, ISIC 2017 ve ISIC 2018 veri setlerinde Ortalama Birleşik Kesişimi (mIoU) ve Zar Benzerlik Katsayısı (DSC) kullanılarak raporlanmaktadır.

Şekil 9. Multi-View 4-Yönlü (MV4D) modülünün ablasyon çalışması. (A) Hiyerarşik tarama çifti, spiral tarama çifti, radyal tarama çifti ve Uzamsal Birleşme Mamba'nın (SFusion Mamba) temel mimariye ardışık olarak dahil edilmesinden sonra Birlik (mIoU) üzerinde ortalama kesişim değişikliği. (B) Hiyerarşik tarama çifti, spiral tarama çifti, radyal tarama çifti ve Uzamsal Füzyon Mamba (SFusion Mamba) temel mimariye ardışık olarak dahil edildikten sonra Zar Benzerlik Katsayısında (DSC) değişiklik. (C) İkinci deneysel ayarda hiyerarşik tarama çifti, spiral tarama çifti, radyal tarama çifti ve Uzaysal Birleşme Mamba'nın (SFusion Mamba) temel mimariye ardışık olarak dahil edilmesinden sonra mIoU'daki değişim. (D) İkinci deneysel ayarda hiyerarşik tarama çifti, spiral tarama çifti, radyal tarama çifti ve Spatial Fusion Mamba (SFusion Mamba) temel mimariye ardışık olarak dahil edildikten sonra DSC'deki değişiklik. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

ISIC 2017 veri setinde, tam MV4D modülü %80,94 mIoU ve %91,32 DSC elde etti. mIoU ve DSC için ilgili performans eğilimleri sırasıyla Şekil 9A ve Şekil 9B'de gösterilmiştir. ISIC 2018 veri setinde, tam MV4D modülü %82,47 mIoU ve %90,65 DSC elde etti. İlgili performans eğilimleri sırasıyla Şekil 9C ve Şekil 9D'de gösterilmiştir.

Aksi belirtilmedikçe, tüm ablasyon deneyleri sabit rastgele 100 tohum kullanılarak yapıldı; ana karşılaştırma sonuçları ise üç bağımsız rastgele tohum (1, 52 ve 100) üzerinde ortalama SD ± olarak bildirildi. Sonuç olarak, ablasyon sonuçları, ana karşılaştırma deneylerinde bildirilen nihai çoklu tohum performansını tekrarlamak yerine kontrollü tek tohumlu ortamda bireysel bileşenlerin göreceli katkılarını karşılaştırmayı amaçlamaktadır.

Genel olarak, ek tarama çiftleri ve SFusion Mamba modülünün kademeli olarak dahil edilmesi, segmentasyon performansını sürekli olarak iyileştirdi ve tam MV4D konfigürasyonu her iki veri setinde de en yüksek performansı elde etti.

Çok Görüşlü Görüş (MVV) Bloğunun ablasyon çalışması
MVV Bloğu, temel mimari, Yukarı-Aşağı Projeksiyon dalı içeren bir versiyonla karşılaştırılarak değerlendirildi (Tablo 5). ISIC 2017 veri setinde, Yukarı-Aşağı Projeksiyon dalı dahil edilmesiyle mIoU'yu %78,83'ten %80,96'ya, DSC'yi ise %88,15'ten %91,02'ye yükseltti. ISIC 2018 veri setinde mIoU %80,32'den %82,46'ya yükselirken, DSC %89,15'ten %90,57'ye yükseldi.

Model	Temel MVV Bloğu	Yukarı-Aşağı Projeksiyon	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	✓		78.83	88.15	80.32	89.15
MVM-UNet	✓	✓	80.96	91.02	82.46	90.57

Tablo 5: Çok Görüşlü Görüş (MVV) Bloğunun ablasyon çalışması. Temel Multi-View Vision (MVV) Bloğunun Yukarı-Aşağı Projeksiyon dalı ile ve olmadan performans karşılaştırması. Performans, ISIC 2017 ve ISIC 2018 veri setlerinde Ortalama Birleşik Kesişimi (mIoU) ve Zar Benzerlik Katsayısı (DSC) kullanılarak raporlanmaktadır.

MVV Blok ablasyon deneyleri, sabit rastgele tohum 100 kullanılarak gerçekleştirildi. Sonuç olarak, Yukarı-Aşağı Projeksiyon dalını içeren konfigürasyonun performansı, kontrollü tek tohum ablasyon ayarını yansıtır ve ana karşılaştırma deneylerinde tam MVM-UNet modeli için bildirilen üç tohumlu ortalama performanstan biraz farklı olabilir.

Genel olarak, Yukarı-Aşağı Projeksiyon dalanının dahil edilmesi, her iki veri setinde de segmentasyon performansını tutarlı şekilde iyileştirdi; hem mIoU hem de DSC için artışlar gözlemlendi.

Çok aşamalı Birleşme Mamba (MFusion Mamba) modülünün ablasyon çalışması
MFusion Mamba modülü, farklı kaba füzyon stratejileri ile İnce Füzyon bileşeni karşılaştırılarak değerlendirildi (Tablo 6; Şekil 10). MFusion Mamba olmadan, MVM-UNet ISIC 2017 veri setinde %75,47 mIoU ve %86,01 DSC, ISIC 2018 veri setinde ise %77,49 ve %87,29 DSC elde etti. Değerlendirilen kaba füzyon stratejileri arasında Hadamard ürünü en büyük gelişmeyi sağladı. İnce Füzyon bileşeninin dahil edilmesi, segmentasyon performansını daha da artırdı. Tam MFusion Mamba konfigürasyonu, ISIC 2017'de %80,95 mIoU ve %91,18 DSC, ISIC 2018'de %82,51 ve %90,58 DSC elde etti.

Model	Kaba füzyon Elementler açısından Maksimumum	Kabaca Füzyon Elementlere Göre Toplama	Kaba, Füzyon Hadamard Ürünü	İnce Füzyon Modülü	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet					75.47	86.01	77.49	87.29
MVM-UNet	✓				76.21	86.47	78.35	87.82
MVM-UNet		✓			76.83	86.86	79.11	88.30
MVM-UNet			✓		78.26	87.83	80.06	88.96
MVM-UNet			✓	✓	80.95	91.18	82.51	90.58

Tablo 6: Çok aşamalı Füzyon Mamba (MFusion Mamba) modülünün ablasyon çalışması. Farklı Kaba Füzyon stratejilerinin, maksimum füzyon (Max), eleman bazında toplama (⊕) ve Hadamard ürünü (⊙) dahil olmak üzere performans karşılaştırması, tam İnce Füzyon modülü ile birlikte. Performans, ISIC 2017 ve ISIC 2018 veri setlerinde Ortalama Birleşik Kesişimi (mIoU) ve Zar Benzerlik Katsayısı (DSC) kullanılarak raporlanmaktadır.

Şekil 10. Çok aşamalı Birleşme Mamba (MFusion Mamba) modülünün ablasyon çalışması. (A) Farklı kaba füzyon stratejileri (maksimum, eleman bazında toplama ve Hadamard çarpımı) ve tam İnce Füzyon modülü kullanılarak elde edilen Union (mIoU) üzerindeki ortalama kesişim değişimi. (B) Farklı kaba füzyon stratejileri (maksimum, eleman bazında toplama ve Hadamard çarpımı) ve tam İnce Füzyon modülü kullanılarak elde edilen Zar Benzerlik Katsayısı (DSC) değişimi. (C) Farklı kaba füzyon stratejileri (maksimum, element bazında toplama ve Hadamard çarpımı) ve ikinci deneysel ayarda tam İnce Füzyon modülü kullanılarak elde edilen mIoU değişimi. (D) Farklı kaba füzyon stratejileri (maksimum, element bazında toplama ve Hadamard çarpımı) kullanılarak elde edilen DSC'deki değişim ve ikinci deneysel ayarda tam İnce Füzyon modülü. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

ISIC 2017 veri setinde, tam MFusion Mamba yapılandırması %80,95 mIoU ve %91,18 DSC elde etti. mIoU ve DSC için ilgili performans eğilimleri sırasıyla Şekil 10A ve Şekil 10B'de gösterilmiştir. ISIC 2018 veri setinde, tam MFusion Mamba konfigürasyonu %82,51 mIoU ve %90,58 DSC elde etti. İlgili performans eğilimleri sırasıyla Şekil 10C ve Şekil 10D'de gösterilmiştir. MFusion Mamba ablasyon deneyleri, sabit rastgele 100 tohum kullanılarak gerçekleştirildi. Sonuç olarak, tam MFusion Mamba konfigürasyonu kontrollü tek tohum ablasyon sonucunu temsil eder ve ana karşılaştırma deneylerinde tam MVM-UNet modeli için bildirilen üç tohumlu ortalama performanstan biraz farklı olabilir.

Genel olarak, Hadamard ürünü kaba füzyon stratejisi ve Fine Fusion bileşeninin kademeli olarak entegre edilmesi, segmentasyon performansını sürekli olarak iyileştirdi ve tam MFusion Mamba konfigürasyonu her iki veri setinde de en yüksek performansı elde etti.

Ablasyon çalışmalarının özeti
Ablasyon deneyleri boyunca, hiyerarşik, spiral ve radyal tarama çift dallarının kademeli olarak entegre edilmesi, SFusion Mamba modülü ile birlikte segmentasyon performansını tutarlı şekilde iyileştirdi (Tablo 4; Şekil 9). Benzer şekilde, MVV Bloğuna Yukarı-Aşağı Projeksiyon dalının dahil edilmesi, ISIC 2017 ve ISIC 2018 veri setlerinde hem mIoU hem de DSC'yi iyileştirmiştir (Tablo 5). Tam MFusion Mamba konfigürasyonu, değerlendirilen çok aşamalı özellik füzyon stratejileri arasında en yüksek performansı da elde etti (Tablo 6; Şekil 10).

Hiperparametrelerin ablasyon çalışması
Girdi boyutu ve çıkış değerinin etkileri, ISIC 2017 ve ISIC 2018 veri setlerinde değerlendirildi (Tablo 7). Üç giriş çözünürlüğü (256 × 256, 384 × 384 ve 512 × 512) karşılaştırıldı. Değerlendirilen ayarlarda, 256 × 256 giriş çözünürlüğü her iki veri setinde de en yüksek segmentasyon performansını sağladı.

Model	Giriş boyutu 256 × 256	Giriş boyutu 384 × 384	Giriş boyutu 512 × 512	Dropout 0.0	Dropout 0.1	Dropout 0.2	Dropout 0.3	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet		✓				✓		80.02	88.91	81.76	89.92
MVM-UNet			✓			✓		79.96	88.87	80.97	89.47
MVM-UNet	✓			✓				77.48	87.28	78.76	88.11
MVM-UNet	✓				✓			79.36	88.53	81.13	89.62
MVM-UNet	✓					✓		80.94	90.15	82.49	90.50
MVM-UNet	✓						✓	79.71	88.71	80.46	89.18

Tablo 7: Giriş görüntü boyutu ve kesinti değerinin ablasyon çalışması. MVM-UNet'in farklı giriş görüntü boyutları ve kesilme değerleri kullanılarak performans karşılaştırması. Segmentasyon performansı, ISIC 2017 ve ISIC 2018 veri setlerinde ortalama Birlik Kesişimi (mIoU) ve Zar Benzerlik Katsayısı (DSC) kullanılarak rapor edilmiştir.

Farklı okuldan ayrılma değerleri de değerlendirildi. Test edilen yapılandırmalar arasında, 0.2 kesinti değeri her iki veri setinde de en yüksek segmentasyon performansını sağladı ve bu nedenle ana deneylerde kullanıldı.

Kodlayıcı-kodlayıcı katman konfigürasyonunun ablasyon çalışması
Farklı kodlayıcı-kodlayıcı katman konfigürasyonları, ağ derinliğinin segmentasyon performansı ve hesaplama maliyeti üzerindeki etkisini incelemek için değerlendirildi (Tablo 8). Değerlendirilen yapılandırmalar arasında, simetrik {2, 2, 2, 2}-{2, 2, 2, 2} mimarisi, nispeten düşük model karmaşıklığını koruyarak en yüksek genel segmentasyon performansını sağladı. Ağ derinliğini {2, 2, 9, 2}-{2, 9, 2, 2}'e yükseltmek, karşılaştırılabilir segmentasyon performansı sağlarken hem parametre sayısını hem de hesaplama maliyetini artırır.

Model	Kodlayıcı-dekoder katmanı yapılandırması	Parametreler (M)	FLOP'lar (G)	ISIC 2017 mIoU (%)	ISIC 2017 DSC (%)	ISIC 2018 mIoU (%)	ISIC 2018 DSC (%)
MVM-UNet	{2,2,2,1}-{2,2,2,2}	28.22	4.12	80.02	88.91	81.16	89.64
MVM-UNet	{2,2,2,2}-{2,2,2,2}	28.36	4.39	80.95	90.17	82.5	90.41
MVM-UNet	{2,2,2,3}-{2,3,2,2}	30.14	4.88	79.83	88.8	81.56	89.85
MVM-UNet	{2,4,2,2}-{2,2,4,2}	33.46	5.32	79.65	88.7	81.45	89.79
MVM-UNet	{2,2,9,2}-{2,9,2,2}	45.63	7.78	80.96	90.09	82.48	90.43

Tablo 8: Kodlayıcı-kodlayıcı katman konfigürasyonlarının ablasyon çalışması. Farklı kodlayıcı-kodlayıcı katman konfigürasyonlarının performans karşılaştırması. Tablo, ISIC 2017 ve ISIC 2018 veri setlerinde model parametrelerinin (Parametreler), kayan nokta işlemlerinin (FLOP'lar), Union üzerindeki ortalama kesişim (mIoU) ve Zar Benzerlik Katsayısının (DSC) sayısını rapor eder.

Hesaplamalı maliyet karşılaştırması
Nihai MVM-UNet modelinin hesaplama verimliliği, HResFormer, H-vmunet, MISSFormer, H2Former, MedScale-Former ve MCAFT gibi temsilli temel yöntemlerle aynı donanım ortamı ve giriş çözünürlüğü altında karşılaştırıldı (Tablo 9). Değerlendirilen metrikler arasında dönem başına eğitim süresi, görüntü başına çıkarım süresi, eğitim sırasında GPU belleği zirve kullanımı, eğitilebilir parametreler (Paramlar) sayısı ve FLOP'lar yer aldı. Eğitim süresi, bir eğitim dönemini tamamlamak için gereken süre olarak ölçüldü, çıkarım süresi test görüntüsü başına ortalama işleme süresi olarak ölçüldü ve FLOP'lar tek bir ileri geçiş için hesaplandı.

Yöntem	Hakem.	Eğitim süresi (s/epoch)	Çıkarım süresi (ms/image)	Zirve GPU belleği (GB)	Parametreler (M)	FLOP'lar (G)
HResFormer	34	520	213.08	19.2	117.00	131.70
H-vmunet	28	88	27.00	5.0	10.74	8.97
MISSFormer	30	355	92.86	12.6	42.33	109.45
H2Former	12	130	29.02	8.8	33.71	33.56
MedScale-Former	35	80	23.50	5.9	4.96	3.79
MCAFT	36	145	34.00	8.7	30.00	12.00
MVM-UNet (Bizimki)	—	104	26.80	7.9	28.36	4.39

Tablo 9: MVM-UNet ve temsilci temel yöntemlerin hesaplamalı maliyet karşılaştırması. Aynı donanım ortamı altında hesaplama verimliliği ve giriş çözünürlüğünün karşılaştırılması. Bildirilen metrikler arasında epoch başına eğitim süresi, görüntü başına çıkarım süresi, eğitim sırasında grafik işlem birimi (GPU) bellek kullanımı, model parametreleri sayısı (Parametreler) ve kayan nokta işlemleri (FLOP'lar) yer alır. Mevcut uygulamalara sahip yöntemler, mümkün olduğunda aynı deneysel ortamda değerlendirildi.

Tablo 9'da özetlendiği üzere, MVM-UNet eğitim epoşu başına 104 s, çıkarım için görüntü başına 26,8 ms, 7,9 GB maksimum GPU belleği, 28,36 milyon eğitilebilir parametre ve 4,39 GFLOP gerektiriyordu. HResFormer, MISSFormer, H2Former ve MCAFT ile karşılaştırıldığında, MVM-UNet daha kısa eğitim süresi, daha düşük çıkarım süresi, daha düşük GPU bellek kullanımı ve daha az FLOP gerektiriyordu. Hafif H-vmunet ve MedScale-Former modelleriyle karşılaştırıldığında, MVM-UNet daha fazla eğitim süresi ve bellek kullanımı gerektiriyordu ancak karşılaştırılabilir çıkarım hızını koruyarak nispeten düşük hesaplama karmaşıklığını koruyordu.

Veri ve Kod Erişilebilirliği
ISIC 2017 ve ISIC 2018 veri setleri Uluslararası Cilt Görüntüleme İşbirliği (ISIC) arşivinden, Synapse veri seti ise Synapse deposundan halka açık olarak erişilebilir durumdadır. Veri seti edinimi detayları Etik beyannamesinde verilmiştir. Kısaca, ISIC 2017 veri seti resmi ISIC 2017 Challenge veri deposundan (https://challenge.isic-archive.com/data/#2017), ISIC 2018 veri seti resmi ISIC 2018 Challenge Task 1 veri deposundan (https://challenge.isic-archive.com/data/#2018) ve Synapse veri seti ise erişim tanımlayıcısı syn3193805 (https://www.synapse.org/Synapse:syn3193805) ile Synapse deposundan alınmıştır. İlgili indirme tarihleri Etik bildirisinde bildirilmiştir. MVM-UNet kaynak kodunun ilk halka açık versiyonu https://github.com/LIXUEGUANG002/MVM-UNet'da mevcuttur. Depo, model uygulamasını, ana ağ modüllerini, yapılandırma dosyalarını, veri seti organizasyon talimatlarını, eğitim betiklerini ve değerlendirme betiklerini içerir. Tamamlanmış yapılandırma dosyaları, tam deney betikleri, ek dokümantasyon ve eğitilmiş model kontrol noktaları dahil olmak üzere tam tekrarlanabilirlik paketi, yayımlandığında kamuya açık hale getirilecektir.

Ek Tablo 1. Multi-view Vision Mamba UNet'in (MVM-UNet) katman katman mimarisi. Tablo, MVM-UNet'in ardışık ağ mimarisini özetlemektedir; giriş katmanı, patch gömme, kodlayıcı aşamaları, Multi-View Vision (MVV) Blokları, patch-birleştirme işlemleri, Çok aşamalı Fusion Mamba (MFusion Mamba), kod çözme aşamaları, son örnekleme ve segmentasyon başlığı dahildir. Her aşama için ilgili işlem, ana parametreler ve çıktı özellik boyutu listelenir. E1–E4, çok aşamalı özellik birleşmesi için kullanılan kodlayıcı aşaması özellik haritalarını gösterir. B, H ve W sırasıyla parti büyüklüğünü, görüntü yüksekliğini ve görüntü genişliğini gösterir; K ise çıktı sınıflarının sayısını gösterir (K = 1 ikili cilt lezyonu segmentasyonu için ve K = 9 Synapse çoklu sınıf segmentasyonu için, bir arka plan sınıfı ve sekiz ön plan organ sınıfını içerir). MFusion Mamba, dekoder yeniden yapılandırması sırasında ilgili çözücü özellikleriyle entegre edilen birleşmiş çok aşamalı kodlayıcı özellikleri üretir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 1. Multi-View Dört Yönlü (MV4D) modülünün ve Çok aşamalı Fusion Mamba'nın (MFusion Mamba) sözde kodu. Ek dosya, MVM-UNet'te kullanılan iki ana modülün algoritmik iş akışını sunar. Algoritma 1, Multi-View Dört Yönlü (MV4D) modülünün tam işleme hattını tanımlar; özelliklerin düzleştirilmesi, dört tarama çifti dizisinin (zigzag, hiyerarşik, spiral ve radyal) inşası, seçici durum uzayı (S6) işlemesi, tarama görünümü Fusion Mamba (SFusion Mamba) ve çıktı özellik haritasının yeniden inşası dahildir. Algoritma 2 , çok aşamalı kodlayıcı özellik hizası, kaba füzyon, ince füzyon, dekoder entegrasyonu ve birleşmiş kodlayıcı giriş özelliğinin oluşturulmasını içeren Çok aşamalı Fusion Mamba (MFusion Mamba) modülünü tanımlar. Değişkenler ve tensör boyutları algoritmalar içinde tanımlanır. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Kodlama Dosyası 1. MVM-UNet (MVM-UNet-master) için kaynak kod paketi. Ek ZIP arşivi, bu çalışmada kullanılan MVM-UNet'in tam kaynak kodu uygulamasını içerir. Paket, ağ mimarisi, Multi-View Dört Yönlü (MV4D) ve Çok aşamalı Fusion Mamba (MFusion Mamba) modüllerini, yapılandırma dosyalarını, ISIC 2017, ISIC 2018 ve Synapse veri setleri için eğitim ve değerlendirme betiklerini, yardımcı fonksiyonları ve bu protokolde tanımlanan deneylerin yeniden üretilmesi için gereken proje dokümantasyonunu içerir. Paket ayrıca kurulum talimatları, yazılım bağımlılıkları, veri seti organizasyonu ve eğitim ile çıkarım iş akışları içeren README dosyasını da içerir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

Bu protokol, Mamba tabanlı tıbbi görüntü segmentasyon çerçevesi olan MVM-UNet'i tanımlar. Yöntem, mevcut segmentasyon modellerinin iki sınırlamasını ele almak için tasarlandı. Birincisi, geleneksel CNN tabanlı yöntemler, karmaşık tıbbi görüntülerde uzun vadeli bağımlılıkları ve hiyerarşik bağlamsal bilgileri modelleme konusunda sınırlı bir yetkiye^{sahiptir 43}. İkinci olarak, Transformer tabanlı yöntemler küresel bağlamı modelleyebilir ancak genellikle daha yüksek hesaplama^{maliyeti gerektirir 23,25}. MVM-UNet, verimli uzun menzilli modelleme sağlamak için Mamba^mimarisi 13,14,15,16,17,18,19,20 kullanır ve segmentasyon doğruluğunu artırmak için çoklu görüş tarama ve çok aşamalı özelliklerin birleştirilmesini sunar. Protokol yürütme ve tekrarlanabilirlik açısından, bu çalışmada bildirilenlerle karşılaştırılabilir sonuçlar elde etmek için birkaç adım kritik öneme sahiptir. İlk olarak, veri seti bölünmesi, görüntü yeniden boyutlandırma, maske enterpolasyonu, normalleştirme stratejisi ve kanal dönüşümü protokolle tutarlı tutulmalıdır çünkü ön işlemedeki farklılıklar doğrudan giriş dağılımını ve maske sınırlarını değiştirebilir. Özellikle, segmentasyon maskeleri, tam sayı olmayan etiket^{değerlerinin 44} eklenmemesi için en yakın komşu interpolasyonu kullanılarak yeniden boyutlandırılmalıdır. İkinci olarak, giriş çözünürlüğü, parti büyüklüğü, optimizator ayarları, öğrenme hızı takvimi, rastgele tohum, kayıp ağırlık katsayıları, kontrol noktası seçim kuralı ve çıkarım eşiği veya argmax işlemi dahil olmak üzere eğitim yapılandırması sonuçları karşılaştırmadan önce kontrol edilmelidir. Eğer tekrarlanan sonuçlar bildirilen değerlerden açıkça daha düşükse, kullanıcılar önce veri seti yolunu, notlama formatını, ön plan arka plan etiket sözleşmesini, kontrol noktası yüklemesini, doğrulama veya test bölünmesini ve metrik hesaplama prosedürünü doğrulamalıdır. Sınır sızıntısı, parçalanmış maskeler veya eksik küçük yapılar genellikle ön işleme, maske enterpolasyonu, kontrol noktası seçimi veya çıkarım sonrası işlemlerde potansiyel tutarsızlıkları gösterir.

MVM-UNet'in ana katkısı MV4D modülüdür. Önceki durum-uzay-model tabanlı^{mimarilerde benimsenen basit iki boyutlu tarama stratejileri olan} 14,15,16,17,18,19,20'nin aksine, MV4D tamamlayıcı görsel bilgiyi yakalamak için zikzak, hiyerarşik, spiral ve radyal tarama çiftleri kullanır. Zikzak tarama çiftleri yerel ve küresel uzamsal bilgiyi dengelemeye yardımcı olur, hiyerarşik tarama çiftleri çok ölçekli özellik çıkarımı artırır, spiral tarama çiftleri küresel kontur temsilini güçlendirir ve radyal tarama çiftleri yerel kenar ve sınır özellik çıkarımı iyileştirir. SFusion Mamba bu tamamlayıcı tarama modalitelerini entegre eder. Temsil eden sonuçlar ve ablasyon deneyleri (Tablo 4 ve 5; Şekil 9) hem tarama desenlerinin çeşitliliğinin hem de füzyon mekanizmasının segmentasyon performansının artmasına katkıda bulunduğunu göstermektedir. Bir diğer önemli bileşen ise kodlayıcı ile çözücü arasında bir özellik birleştirme modülü olarak hizmet veren MFusion Mamba'dır. U-Net ^8,21,^{V-Net 44} ve sonraki birçok varyant ^9,23,25 gibi geleneksel U şeklindeki mimariler, öncelikle aşama bazında geçiş bağlantılarıyla bilgi aktarır. Bu strateji, tamamlayıcı çok aşamalı kodlayıcı temsillerini tam olarak kullanamayabilir. MFusion Mamba, kodlayıcı özelliklerini Coarse Fusion ve Fine Fusion ile birleştirerek bu sınırlamayı çözer. Temsilci sonuçlar (Tablo 6; Şekil 10) MFusion Mamba'nın segmentasyon performansını tutarlı şekilde iyileştirdiğini göstermek, bu da açık çok aşamalı özellik birleşiminin tıbbi görüntü segmentasyonu için faydalı olduğunu gösterir.

MVM-UNet'in metodolojik katkısı, her operasyonun sıfırdan icat edilmesi yerine mimari düzeyde bir yeniden tasarım olarak anlaşılmalıdır. U-şekilli kodlayıcı-dekoder mimarileri, kalıntı bağlantılar, projeksiyon katmanları ve Mamba/durum mekânı modeli (SSM) blokları önceki çalışmalarda^{kapsamlı şekilde incelenmiştir:} 8,13,14,15,16,17,18,19,20,21,23,24,25 ^,29,44. Ancak, bu bileşenleri doğrudan birleştirmek, tıbbi görüntü segmentasyonunun özel zorluklarını mutlaka çözmez. MVM-UNet'in yeniliği, üç yönün koordineli tasarımında yatıyor. İlk olarak, MV4D modülü tek veya sınırlı tarama desenini dört tamamlayıcı tarama çifti dalıyla değiştirerek modelin mekânsal sürekliliği, çok ölçekli yapıyı, küresel kontur bilgisini ve yerel sınır detaylarını yakalamasını sağlar. İkinci olarak, SFusion Mamba ve MVV Bloğu, taramaya özgü özellikleri birleştirir ve geliştirir, ardından bir sonraki ağ aşamasına geçirilir. Üçüncü olarak, MFusion Mamba çok aşamalı kodlayıcı özelliklerini kodlamadan önce açıkça bir şekilde birleştirir; bu da geleneksel atlama^{bağlantıları} 8,21,44'ü tamamlayarak hiyerarşik bilginin kullanımını iyileştirir. Ablasyon sonuçları (Tablo 4–6; Şekiller 9 ve 10) Bu tasarım gerekçesini daha da destekliyor; çoklu görüş taraması, taramaya özgü füzyon, Yukarı-Aşağı Projeksiyon dalı ve çok aşamalı özellik birleşiminin her birinin segmentasyon performansını iyileştirmeye katkıda bulunduğunu gösteriyor. Bu nedenle, MVM-UNet'in katkısı, tıbbi görüntü segmentasyonu için Mamba tabanlı mekânsal modelleme ile kodlayıcı-kodlayıcı özellik birleşiminin göreve özel ve deneysel olarak doğrulanmış entegrasyonunda yatmaktadır.

Güçlü performansına rağmen, MVM-UNet'in birkaç sınırlaması vardır. Birincisi, segmentasyon performansı daha büyük girdi görüntü boyutlarıyla tutarlı şekilde iyileşmedi; bu da mevcut mimarinin yüksek çözünürlüklü görüntü bilgilerini tam olarak kullanamayabileceğini düşündürüyor. İkinci olarak, model klinik uygulamada sıkça karşılaşılan ve segmentasyon dayanıklılığını etkileyebilecek yüksek gürültülü veya düşük kontrastlı görüntüleme koşullarında kapsamlı şekilde değerlendirilmemiştir. Üçüncü olarak, model üç kamuya açık veri setinde güçlü performans gösterse de, daha büyük ve çeşitli tıbbi görüntüleme veri setlerinde daha fazla doğrulama gerekmektedir. Protokol diğer tıbbi görüntü segmentasyon görevlerine uyarlanabilir, ancak birkaç değişiklik dikkatlice uygulanmalıdır. Yeni bir ikili segmentasyon görevi için, kullanıcılar veri seti yükleyicisini, normalizasyon parametrelerini, giriş çözünürlüğünü ve ön plan eşiğini değiştirirken, ikili BCE-Zar kaybı ve değerlendirme prosedürünü korumalıdır. Yeni bir çok sınıflı segmentasyon görevi için, kullanıcılar çıktı sınıflarının sayısını, sınıf-indeks eşlemesini, tek sıcak etiket dönüşümünü, CE-zar kaybı yapılandırmasını ve sınıf bazında değerlendirme metriklerini^{güncellemelidir 44}. Gri tonlu veri setleri için, giriş kanalı yapılandırması model mimarisiyle eşleştirilmelidir; ya tek kanallı giriş projeksiyonu kullanılarak ya da gri tonlu görüntü tekrarlanarak üç kanallı bir giriş oluşturulur; uygulamaya bağlı olarak. Yöntem, hedef yapılar çok küçük olduğunda, sınırlar zayıf veya belirsizse, görüntü kontrastı eğitim verisinden önemli ölçüde farklılaştığında veya hedef veri setinde önemli ölçüde alan kayması gösterdiğinde optimal olmayabilir. Bu koşullarda, kullanıcıların adil karşılaştırmalar için aynı değerlendirme protokolünü korurken girdi çözünürlüğünü, artırma stratejisini, sınıf dengesini, kayıp ağırlık veya ince ayar takvimini ayarlamaları gerekebilir.

Synapse veri setinde, MVM-UNet yaygın olarak kullanılan 18 vaka eğitim ve 12 vaka test bölünümünde güçlü çok organlı segmentasyon performansı elde etti. Önerilen yöntem, bu çalışmada değerlendirilen temsil taban yöntemler arasında en yüksek ortalama DSC'yi elde etmiş (Tablo 3), bazı daha yeni yöntemler farklı eğitim ortamları ve değerlendirme protokollerinde daha yüksek Synapse performansı bildirmiştir²⁹. Bu nedenle, MVM-UNet'i Synapse'ta genel en son teknoloji performans elde eden biri olarak tanımlamaktan kaçınıyor ve bunun yerine değerlendirilen deneysel ortamda güçlü performans elde ettiği şeklinde tanımlıyoruz. Bu bulgular, MVM-UNet'in performansının, tıbbi görüntü segmentasyonu için Mamba tabanlı modellemenin göreve özgü uyarlanmasından^{kaynaklandığını göstermektedir:} 13,14,15,16,17,18,19,20. MVM-UNet, tek bir tarama stratejisine dayanmak yerine, görsel özellik modellemesini birden fazla tamamlayıcı tarama görünümüne ayırır ve bunları SFusion Mamba aracılığıyla entegre eder. Ayrıca, MFusion Mamba, geleneksel atlama bağlantılarının ötesinde çok aşamalı kodlayıcı özelliklerini açıkça birleştirerek kodlayıcı ile kodlayıcı arasındaki bilgi akışını^{iyileştirir; 8,21,44}. Bu tasarım, önerilen modelin hem ikili cilt lezyonu segmentasyonu hem de çok organlı segmentasyon görevlerinde güçlü performans elde etmesini sağlar.

Gelecekteki çalışmalar, yüksek çözünürlüklü tıbbi görüntü segmentasyonu için MVM-UNet'in geliştirilmesine odaklanmalıdır. Daha derin veya uyarlanabilir çok ölçekli mimariler, modelin yüksek çözünürlüklü görüntü bilgisini daha etkili kullanmasını sağlayabilir. Gelecekteki çalışmalar ayrıca MVM-UNet'in gürültülü, düşük kontrastlı ve alan kaydırmalı görüntüleme koşullarında sağlamlığını değerlendirmelidir. Ayrıca, önerilen çoklu görüş tarama stratejisi, lezyon^{tespiti 4}, organ lokalizasyonu, tümör sınıflandırması ve üç boyutlu segmentasyon^10,11 gibi diğer tıbbi görüntü analiz görevlerine de genişletilebilir. Özetle, MVM-UNet tıbbi görüntü segmentasyonu için etkili ve tekrarlanabilir bir çerçeve sağlar. MV4D modülü ve MFusion Mamba'nın entegrasyonu, modelin tamamlayıcı mekansal bilgiyi, çok ölçekli bağlamı, küresel kontur bilgisini, yerel sınır detaylarını ve çok aşamalı anlamsal özellikleri yakalamasını sağlar. ISIC 2017, ISIC 2018 ve Synapse veri setlerinde elde edilen temsil sonuçları, önerilen mimarinin etkinliğini göstermektedir. Bu protokol, tıbbi görüntü segmentasyonu 13,14,15,16,17,18,19,20 için verimli SSM/Mamba tabanlı mimariler geliştiren araştırmacılar için pratik bir referans sağlar.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Hardware - GPU workstation or GPU server	Institutional computing platform / local workstation	Custom-built local GPU workstation; Ubuntu 22.04.1 with Linux kernel 6.8.0; Intel Core i9-13900K CPU; NVIDIA A800 GPU; 128 GB RAM; 512 GB local storage.	Training, validation, testing, ablation, and inference-only experiments için hesaplama platformu.
Hardware - Graphics processing unit (GPU)	NVIDIA Corporation	NVIDIA A800 GPU (80 GB bellek).	GPU hızlandırmalı model eğitimi ve çıkarımı.
Hardware - Central processing unit (CPU)	Intel Corporation / AMD	13. Nesil Intel Core i9-13900K CPU.	Veri yükleme, ön işleme ve deney yürütme için ana işlemci.
Hardware - System memory (RAM)	Institutional computing platform / local workstation	128 GB sistem RAM	Veri seti yükleme, ön işleme ve eğitim için bellek.
Hardware - Storage	Institutional computing platform / local workstation	2 TB NVMe katı hal sürücüsü.	Veri setleri, kontrol noktaları, günlükler ve oluşturulan tahmin şekilleri için depolama.
Software environment - Operating system	Canonical Ltd.	Önerilen: Ubuntu 22.04.1 LTS	Hesaplama ortamı için işletim sistemi.
Software environment - Conda environment	Anaconda, Inc. / Miniconda	Ortam adı: mvmunet	Bağımlılıkları yüklemek ve izole etmek için kullanılan Python ortamı.
Software environment - Python	Python Software Foundation	Python 3.8	Uygulama ve deney yürütme için kullanılan programlama dili.
Software environment - CUDA toolkit	NVIDIA Corporation	CUDA Toolkit 11.8	PyTorch ve Mamba ile ilgili paketler tarafından gerektirilen GPU hesaplama arka ucu.
Software environment - cuDNN	NVIDIA Corporation	cuDNN 8.7.0.	PyTorch aracılığıyla kullanılan GPU hızlandırmalı derin öğrenme ilkelileri.
Python package - PyTorch	PyTorch	torch == 2.0.1	Model eğitimi, kayıp hesaplaması, optimizasyon ve çıkarım için derin öğrenme çerçevesi.
Python package - Torchvision	PyTorch	torchvision == 0.14.0	Ön işleme ve artırma sırasında kullanılan görüntü dönüştürme yardımcı programları.
Python package - Torchaudio	PyTorch	torchaudio == 0.13.0	Önerilen PyTorch ortamı ile birlikte yüklenir.
Python package - timm	timm developers	timm == 0.4.12	Depolama ortamı talimatlarında listelenen model bileşeni veya yardımcı program bağımlılığı.
Python package - triton	OpenAI / Triton developers	triton == 2.0.0	GPU hızlandırmalı dizi modelleme bileşenleri tarafından kullanılan bağımlılık.
Python package - causal-conv1d	causal-conv1d developers	causal_conv1d == 1.0.0	Mamba uygulaması tarafından gerektirilen verimli nedensel evrişim bağımlılığı.
Python package - mamba-ssm	Mamba SSM developers	mamba_ssm == 1.0.1	Mamba/S6 ile ilgili bileşenler için kullanılan durum-uzay dizi modelleme paketi.
Python package - NumPy	NumPy developers	NumPy sürümü 1.24.3.	Sayısal hesaplama ve dizi işlemleri.
Python package - SciPy	SciPy developers	SciPy sürümü 1.10.1.	Bilimsel hesaplama; scipy.ndimage.zoom, utils.py'de içe aktarılır.
Python package - SimpleITK	Insight Software Consortium	SimpleITK sürümü 2.2.1.	utils.py'de içe aktarılan tıbbi görüntü giriş/çıkışı ve ön işleme yardımcı programı.
Python package - MedPy	MedPy developers	MedPy sürümü 0.4.0.	utils.py'de içe aktarılan tıbbi görüntü metrik hesaplama paketi.
Python package - scikit-image	scikit-image developers	scikit-image sürümü 0.21.0.	README'de listelenen görüntü işleme bağımlılığı.
Python package - scikit-learn	scikit-learn developers	scikit-learn sürümü 1.3.2.	README'de listelenen makine öğrenimi yardımcı programı paketi.
Python package - matplotlib	Matplotlib developers	Matplotlib sürümü 3.7.2.	Niteliksel görselleştirme şekillerini kaydetmek için kullanılır.
Python package - h5py	h5py developers	h5py sürümü 3.9.0.	Synapse test hacimleri için HDF5 dosya desteği.
Python package - thop	THOP developers	THOP sürümü 0.1.1.post2209072238.	FLOP'lar ve parametreyle ilgili hesaplama maliyeti hesaplanırken kullanılır.
Python package - packaging	Python Packaging Authority	packaging sürümü 23.1.	README'de listelenen bağımlılık.
Python package - pytest	pytest developers	pytest sürümü 7.4.0.	README'de listelenen bağımlılık.
Python package - chardet	chardet developers	chardet sürümü 5.2.0.	README'de listelenen bağımlılık.
Python package - yacs	YACS developers	yacs sürümü 0.1.8.	README'de listelenen yapılandırma yardımcı programı bağımlılığı.
Python package - termcolor	termcolor developers	termcolor sürümü 2.3.0.	README'de listelenen oturum açma/terminal yardımcı programı bağımlılığı.
Python package - submitit	submitit developers	submitit sürümü 1.4.5.	README'de listelenen deney/iş yardımcı programı bağımlılığı.
Python package - tensorboardX	tensorboardX developers	tensorboardX sürümü 2.6.2.2.	README'de listelenen eğitim günlüğü görselleştirme yardımcı programı.
Python package - ml-collections	ml_collections developers	ml-collections sürümü 0.1.1.	configs/config_setting_synapse.py tarafından içe aktarılır.
Dataset