Name: Swin-PSAxialNet: Verimli Bir Çoklu Organ Segmentasyon Tekniği (Video) | JoVE Journal
Uploaded: 2024-07-05T12:30:00.000+00:00
Duration: 4 min 48 s
Description: Keşfedin Swin-PSAxialNet ile çoklu organ segmentasyonunu. Bu hesaplamalı yöntem, görüntü analizinde üstün doğruluk sağlar ve makine öğrenimi uygulamalarında yeni olanaklar sunar.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Bu protokol Nantong Üniversitesi Etik Kurulu tarafından onaylanmıştır. Yapay zeka teknolojisini kullanarak insan tıbbi görüntüleri, uzuv hareketleri ve vasküler görüntüleme dahil olmak üzere elde edilen non-invaziv veya minimal invaziv multimodal verilerin akıllı değerlendirmesini ve araştırılmasını içerir. Şekil 3 , çoklu organ segmentasyonunun genel akış şemasını göstermektedir. Gerekli tüm web bağlantıları Malzeme Tablosunda verilmiştir.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66459/66459fig03.jpg"> 
Şekil 3: Çok organlı segmentasyonun genel akış şeması. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig03large.jpg" target="_blank">Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.</a>
1. Veri kümesi toplama
<ol>
	<li>AMOS2022 veri setini24 indirin (bkz. Malzeme Tablosu).</li>
	<li>Eğitim veri kümesi olarak 160 görüntü ve test veri kümesi olarak 40 görüntü seçin.</li>
	<li>Terminalde mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data yürütün.</li>
	<li>raw_data yolunu açın.</li>
	<li>Veri setini raw_data dizinine yerleştirin ve "imagesTr" ve "labelsTr" dizinlerindeki dosya adlarıyla doğru yazışmaları sağlayın.</li>
	<li>dataset.json dosyası oluşturun.</li>
	<li>numTraining, numTest ve etiket adı gibi veri kümesi bilgilerini "dataset.json" dosyasına ekleyin. NOT: Bu çalışmanın veri seti, eğitim ve test amacıyla AMOS2022 resmi 500 CT veri setinden seçilen 200 yüksek kaliteli CT veri setinden oluşmaktadır. Veri seti, dalak, sağ böbrek, sol böbrek, safra kesesi, yemek borusu, karaciğer, mide, aort, inferior vena kava, pankreas ve mesane dahil olmak üzere 11 organı kapsar.</li>
</ol>
2. Ortam yapılandırması
<ol>
	<li>Paddlepaddle ortamını ( Malzeme Tablosuna bakın) ve ilgili CUDA sürüm25'i kurun. NOT: Paddlepaddle sürüm 2.5.0 ve CUDA sürüm 11.7'nin kullanılması önerilir.</li>
	<li>Git, PaddleSeg deposunu klonlar25.</li>
	<li>Terminalde cd ~/PaddleSeg/contrib/MedicalSeg/ komutunu çalıştırın.</li>
	<li>pip install -r requirements.txt komutunu çalıştırın.</li>
	<li>Pip install medpy komutunu çalıştırın.</li>
</ol>
3. Veri ön işleme
<ol>
	<li>data_root, batch_size, model, train_dataset, val_dataset, optimize edici, lr_scheduler ve kayıp gibi parametreler dahil olmak üzere "yml" dosyasını değiştirin.</li>
	<li>"-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval vb. dahil olmak üzere yürütme için gerekli parametreleri belirtin. NOT: Orijinal "raw_data", üç tür veri dosyasına dönüştürülür: "Kırpılmış", "Decathlon" ve "Önceden İşlenmiş", model performansını ve eğitim etkinliğini artırmak için farklı eğitim ve değerlendirme gereksinimlerini karşılar.</li>
</ol>
4. Model eğitimi ve karşılaştırma
NOT: Görüntü segmentasyonu alanında yaygın olarak kullanılan bir temel olan nnU-Net23 , çalışmada bir temel model olarak hizmet vermektedir. Spesifik model karşılaştırma süreci aşağıdaki gibidir.
<ol>
	<li>nnU-Net'i eğitin<ol>
		<li>2 ve 80.000 yinelemelik toplu iş boyutuyla yapılandırın, her 20 yinelemede bir günlüğe kaydedin ve fp16 hassasiyetinden yararlanın.</li>
		<li>save_dir'yi çalışma dizini içinde "çıktı" klasörü olarak ayarlayın ve kaydetme aralığı 1.000 yineleme olarak ayarlayın.</li>
		<li>VisualDL parametre görselleştirmesi için --use_vdl parametresini ekleyin.</li>
		<li>train.py çalıştırın.</li>
		<li>Dört yml dosyası oluşturun, 1-4 arasındaki katları belirtin ve modeli beş katlı çapraz doğrulama ile eğitin.</li>
	</ol>
	</li>
	<li>Swin-UNet'i eğitin<ol>
		<li>Önceden belirlenmiş deneysel koşullarla tutarlılığı koruyun.</li>
		<li>--nnunet parametresini kaldırın ve --swinunet kullanın.</li>
		<li>train.py dosyasını çalıştırın.</li>
		<li>Tren 1-4'ü ayrı ayrı katlar ve ardından topluluk işlemeye tabi tutar.</li>
	</ol>
	</li>
	<li>TransUNet'i Eğitin<ol>
		<li>Adım 4.1'de belirtilen prosedürleri izleyin.</li>
		<li>Yml dosyasını açın.</li>
		<li>type: nnunet'i şu şekilde değiştirin: transunet.</li>
		<li>--nnunet parametresini --transunet olarak değiştirin.</li>
		<li>train.py dosyasını çalıştırın.</li>
		<li>Tren 1-4'ü ayrı ayrı katlar ve topluluk işlemeyi işler.</li>
	</ol>
	</li>
	<li>UNETR treni<ol>
		<li>Tutarlı deneysel değişkenleri koruyun.</li>
		<li>Swin-UNet ve TransUNet (adım 4.2 ve adım 4.3) gibi daha önce belirtilen prosedürleri tekrarlayın.</li>
		<li>train.py çalıştırın.</li>
		<li>Tren 1-4'ü ayrı ayrı katlar ve topluluk işlemeyi işler.</li>
	</ol>
	</li>
	<li>nnFormer treni<ol>
		<li>Swin-UNet ve TransUNet gibi parametreleri değiştirin.</li>
		<li>Tek kat train.py çalıştırın.</li>
		<li>Topluluk işlemeyi çalıştırın.</li>
	</ol>
	</li>
</ol>
5. Ablasyon deneyi
<ol>
	<li>Tüm ağ için PSAA bloğu<ol>
		<li>Değişkenleri adım 4.1 ile tutarlı tutun.</li>
		<li>volume_shape = (64,192,192) ve Axial_attention = Doğru olarak ayarlayın.</li>
		<li>Tek kat train.py çalıştırın.</li>
		<li>Beş kat boyunca topluluk işlemeyi işleyin.</li>
	</ol>
	</li>
	<li>Tüm ağ için SPD bloğu<ol>
		<li>Değişkenleri adım 4.1 ile tutarlı tutun.</li>
		<li>SPD_enable = Doğru ve Axial_attention = Yanlış olarak ayarlayın.</li>
		<li>Tek kat train.py çalıştırın.</li>
		<li>Beş kat boyunca topluluk işlemeyi işleyin.</li>
	</ol>
	</li>
	<li>Yukarı örnekleme için PSAA bloğu NOT: Altörnekleme için SPD bloğu kullanmayın.<ol>
		<li>Yukarı örnekleme için PSAA bloğunu kullanın.</li>
		<li>Değişkenleri adım 4.1 ile tutarlı tutun.</li>
		<li>Altörnekleme kısmında Axial_attention = False olarak ayarlayın ve SPD_enable = False olarak ayarlayın.</li>
		<li>Tek kat train.py çalıştırın.</li>
		<li>Beş kat topluluk işlemeyi işleyin.</li>
	</ol>
	</li>
	<li>Yukarı örnekleme için PSAA bloğu NOT: Altörnekleme için SPD bloğunu kullanın.<ol>
		<li>Altörnekleme için SPD bloğunu ve yukarı örnekleme için PSAA bloğunu kullanın.</li>
		<li>Değişkenleri adım 4.1 ile tutarlı tutun.</li>
		<li>Altörnekleme kısmında Axial_attention = False olarak ayarlayın ve SPD_enable = True olarak ayarlayın.</li>
		<li>Tek kat train.py çalıştırın.</li>
		<li>Beş kat topluluk işlemeyi işleyin.</li>
		<li>Üstün sonuçlar nedeniyle yineleme sayısını 2,00,000 olarak ayarlayın.</li>
	</ol>
	</li>
</ol>

<meta charset="utf8"></head><body>Swin-PSAxialNet: Birden Fazla Organı Segmentlere Ayırmak İçin Kolaylaştırılmış Bir Yaklaşım

<ol><li>Liu, X., Song, L., Liu, S., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+deep-learning-based+medical+image+segmentation+methods%5BTitle%5D)+AND+%22Sustain%22%5BJournal%5D)">A review of deep-learning-based medical image segmentation methods.</a> Sustain. 13 (3), 1224(2021).</li>
<li>Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+artifact+recognition+for+the+nuclear+technologist%5BTitle%5D)+AND+%22J+Nucl+Med+Technol%22%5BJournal%5D)">CT artifact recognition for the nuclear technologist.</a> J Nucl Med Technol. 36 (2), 79-81 (2008).</li>
<li>Rehman, A., Khan, F. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+based+review+on+abdominal+images%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">A deep learning based review on abdominal images.</a> Multimed Tools Appl. 80, 30321-30352 (2021).</li>
<li>Schenck, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+magnetic+susceptibility+in+magnetic+resonance+imaging%3A+Mri+magnetic+compatibility+of+the+first+and+second+kinds%5BTitle%5D)+AND+%22Med+Phys%22%5BJournal%5D)">The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds.</a> Med Phys. 23 (6), 815-850 (1996).</li>
<li>Palmisano, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Myocardial+late+contrast+enhancement+ct+in+troponin-positive+acute+chest+pain+syndrome%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome.</a> Radiol. 302 (3), 545-553 (2022).</li>
<li>Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automatic+diagnostic+system+for+CT+liver+image+classification%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">An automatic diagnostic system for CT liver image classification.</a> IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).</li>
<li>Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computed+tomography+of+the+kidney%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Computed tomography of the kidney.</a> Radiol. 124 (2), 359-370 (1977).</li>
<li>Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+of+congenital+and+acquired+abnormalities+of+the+spleen%5BTitle%5D)+AND+%22Radiographics%22%5BJournal%5D)">CT of congenital and acquired abnormalities of the spleen.</a> Radiographics. 13 (3), 597-610 (1993).</li>
<li>Almeida, R. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+pancreatic+CT+imaging%5BTitle%5D)+AND+%22AJR+Am+J+Roentgenol%22%5BJournal%5D)">Advances in pancreatic CT imaging.</a> AJR Am J Roentgenol. 211 (1), 52-66 (2018).</li>
<li>Eisen, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Guidelines+for+credentialing+and+granting+privileges+for+endoscopic+ultrasound%5BTitle%5D)+AND+%22Gastrointest+Endosc%22%5BJournal%5D)">Guidelines for credentialing and granting privileges for endoscopic ultrasound.</a> Gastrointest Endosc. 54 (6), 811-814 (2001).</li>
<li>Sykes, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reflections+on+the+current+status+of+commercial+automated+segmentation+systems+in+clinical+practice%5BTitle%5D)+AND+%22J+Med+Radiat+Sci%22%5BJournal%5D)">Reflections on the current status of commercial automated segmentation systems in clinical practice.</a> J Med Radiat Sci. 61 (3), 131-134 (2014).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Deep residual learning for image recognition.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale. arXiv.</a> arXiv. , 11929(2020).</li>
<li>Ramachandran, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stand-alone+self-attention+in+vision+models%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Stand-alone self-attention in vision models.</a> Adv Neural Inf Process Syst. 32, NIPS2019 (2019).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Attention is all you need.</a> Adv Neural Inf Process Syst. 30, NIPS2019 (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNET%3A+Transformers+make+strong+encoders+for+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TransUNET: Transformers make strong encoders for medical image segmentation.</a> arXiv. , arXiv:2102 04396(2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">Swin transformer: Hierarchical vision transformer using shifted windows.</a> Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).</li>
<li>Cao, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin-UNET%3A+Unet-like+pure+transformer+for+medical+image+segmentation%5BTitle%5D)+AND+%22Comput+Vis+ECCV%22%5BJournal%5D)">Swin-UNET: Unet-like pure transformer for medical image segmentation.</a> Comput Vis ECCV. , 205-218 (2022).</li>
<li>Zhou, H. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnformer%3A+Interleaved+transformer+for+volumetric+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnformer: Interleaved transformer for volumetric segmentation. arXiv.</a> arXiv. , arXiv:2109 03201(2021).</li>
<li>Sunkara, R., Luo, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((No+more+strided+convolutions+or+pooling%3A+A+new+CNN+building+block+for+low-resolution+images+and+small+objects%5BTitle%5D)+AND+%22Mach+Learn+Knowl+Discov+Databases%22%5BJournal%5D)">No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects.</a> Mach Learn Knowl Discov Databases. , 443-459 (2023).</li>
<li>Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+U-Net%3A+learning+dense+volumetric+segmentation+from+sparse+annotation%5BTitle%5D)+AND+%22Med+Comput+Vis+Bayesian+Graph+Models+Biomed+Imaging%22%5BJournal%5D)">3D U-Net: learning dense volumetric segmentation from sparse annotation.</a> Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).</li>
<li>Kim, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdominal+multi-organ+auto-segmentation+using+3D-patch-based+deep+convolutional+neural+network%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network.</a> Scientific reports. 10 (1), 6204(2020).</li>
<li>Isensee, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnu-net%3A+Self-adapting+framework+for+u-net-based+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnu-net: Self-adapting framework for u-net-based medical image segmentation.</a> arXiv. , arXiv:1809 10486(2018).</li>
<li>Ji, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+large-scale+abdominal+multi-organ+benchmark+for+versatile+medical+image+segmentation%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">A large-scale abdominal multi-organ benchmark for versatile medical image segmentation.</a> Adv Neural Inf Process Syst. 35, 36722-36732 (2022).</li>
<li>Liu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Paddleseg%3A+A+high-efficient+development+toolkit+for+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Paddleseg: A high-efficient development toolkit for image segmentation.</a> arXiv. , arXiv:2101 06175(2021).</li>
<li>Hatamizadeh, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UNETR%3A+Transformers+for+3D+medical+image+segmentation%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">UNETR: Transformers for 3D medical image segmentation.</a> Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).</li>
<li>Zhou, H., Zeng, D., Bian, Z., Ma, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+semi-supervised+network-based+tissue-aware+contrast+enhancement+method+for+ct+images%5BTitle%5D)+AND+%22Nan+Fang+Yi+Ke+Da+Xue+Xue+Bao%22%5BJournal%5D)">A semi-supervised network-based tissue-aware contrast enhancement method for ct images.</a> Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).</li>
<li>Ma, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdomenct-1k%3A+Is+abdominal+organ+segmentation+a+solved+problem%5BTitle%5D)+AND+%22IEEE+Trans+Pattern+Anal+Mach+Intell%22%5BJournal%5D)">Abdomenct-1k: Is abdominal organ segmentation a solved problem.</a> IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).</li>
<li>Galván, E., Mooney, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroevolution+in+deep+neural+networks%3A+Current+trends+and+future+challenges%5BTitle%5D)+AND+%22IEEE+Trans+Artif+Intell%22%5BJournal%5D)">Neuroevolution in deep neural networks: Current trends and future challenges.</a> IEEE Trans Artif Intell. 2 (6), 476-493 (2021).</li>
</ol>

Hastalıkların teşhisi, tedavi planlarının formülasyonu ve tedavi sonuçlarının izlenmesi dahil olmak üzere çağdaş klinik müdahale, tıbbi görüntülerin doğru segmentasyonuna dayanır1. Bununla birlikte, abdominal organlar arasındaki karmaşık yapısal ilişkiler2, birden fazla abdominal organın3 doğru segmentasyonunu elde etmeyi zorlu bir görev haline getirir. Son birkaç on yılda, tıbbi görüntüleme ve bilgisayarla görmedeki gelişmeler, abdominal çoklu organ segmentasyonu alanında hem yeni fırsatlar hem de zorluklar sunmuştur. Gelişmiş Manyetik Rezonans Görüntüleme (MRG)4 ve Bilgisayarlı Tomografi (BT)teknolojisi5 yüksek çözünürlüklü karın görüntüleri elde etmemizi sağlar. BT görüntülerinden birden fazla organın kesin segmentasyonu, karaciğer, böbrekler, dalak, pankreas vb. gibi hayati organların değerlendirilmesi ve tedavisi için önemli bir klinik değere sahiptir.6,7,8,9,10 Bununla birlikte, bu anatomik yapıların, özellikle radyologların veya radyasyon onkologlarının müdahalesini gerektirenlerin manuel olarak açıklanması hem zaman alıcıdır hem de öznel etkilere karşı hassastır11. Bu nedenle, abdominal çoklu organ segmentasyonu için otomatik ve doğru yöntemlerin geliştirilmesine acil ihtiyaç vardır.
Görüntü segmentasyonu ile ilgili önceki araştırmalar, ağırlıklı olarak, katmanları istifleyerek ve ResNet12'yi tanıtarak segmentasyon verimliliğini artıran Evrişimli Sinir Ağlarına (CNN'ler) dayanıyordu. 2020'de Google araştırma ekibi, bir dizi görsel görev için Transformer mimarisini geleneksel görsel alana dahil etmenin öncü bir örneği olan Vision Transformer (VIT) model13'ü tanıttı14. Evrişimli işlemler yalnızca yerel özellik bilgilerini düşünebilirken, Transformers'daki dikkat mekanizması, küresel özellik bilgilerinin kapsamlı bir şekilde değerlendirilmesini sağlar.
Transformer tabanlı mimarilerin geleneksel evrişimli ağlara15 göre üstünlüğü göz önüne alındığında, çok sayıda araştırma ekibi, Transformers'ın güçlü yönleri ile evrişimli ağlar arasındaki sinerjiyi optimize etmek için kapsamlı araştırmalar yapmıştır 16,17,18,19. Chen ve arkadaşları, görüntülerden global özellikler çıkarmak için Transformers'tan yararlanan tıbbi görüntü segmentasyon görevleri16 için TransUNet'i tanıttı. Ağ eğitiminin yüksek maliyeti ve özellik çıkarma hiyerarşisi kavramının kullanılamaması nedeniyle, Transformer'ın avantajları tam olarak gerçekleştirilememiştir.
Bu sorunları ele almak için, birçok araştırmacı, segmentasyon ağlarını eğitmek için omurga olarak Transformers'ı dahil etmeyi denemeye başladı. Liu ve ark.17 , katmanlı öznitelik çıkarımı için hiyerarşik bir yapı yöntemi kullanan Swin Transformatörü'nü tanıttı. Windows Çok Kafalı Kendi Kendine Dikkat (W-MSA) kavramı önerildi ve özellikle daha büyük sığ düzey özellik haritalarının varlığında hesaplama maliyetini önemli ölçüde azalttı. Bu yaklaşım hesaplama gereksinimlerini azaltırken, aynı zamanda farklı pencereler arasında bilgi aktarımını da izole etti. Bu sorunu çözmek için yazarlar, bitişik pencereler arasında bilgi yayılımını sağlayan Kaydırılmış Windows Çok Başlı Kendi Kendine Dikkat (SW-MSA) kavramını daha da tanıttılar. Bu metodoloji üzerine inşa edilen Cao ve ark. Swin-UNet18'i formüle etti, U-Net'teki 2D evrişimleri Swin modülleriyle değiştirdi ve W-MSA ve SW-MSA'yı kodlama ve kod çözme süreçlerine dahil ederek övgüye değer segmentasyon sonuçları elde etti.
Tersine, Zhou ve ark. yüksek çözünürlüklü görüntüleri işlerken conv işleminin avantajının göz ardı edilemeyeceğini vurguladı19. Önerdikleri nnFormer, çapraz şekilli bir yapı ile karakterize edilen bir Transformatör modeli oluşturan yerel üç boyutlu görüntü bloklarına dayalı bir öz dikkat hesaplama yöntemi kullanır. Yerel üç boyutlu bloklara dayalı dikkatin kullanılması, ağdaki eğitim yükünü önemli ölçüde azalttı.
Yukarıdaki çalışma ile ilgili sorunlar göz önüne alındığında, Swin-PSAxialNet olarak adlandırılan 3D tıbbi görüntü segmentasyonu için verimli bir hibrit hiyerarşik yapı önerilmiştir. Bu yöntem, küresel bilgileri 20 çıkarabilen bir altörnekleme bloğu olan Boşluktan derinliğe (SPD)21 içerir. Ek olarak, öğrenme parametresi sayısını ikinci dereceden doğrusala düşüren ve ağ eğitiminin doğruluğu ve eğitim modellerinin karmaşıklığı üzerinde iyi bir etkiye sahip olacak bir parametre paylaşılan eksenel dikkat (PSAA) modülü ekler22.
Swin-PSAxialNet ağı Ağın genel mimarisi, kodlayıcı ve kod çözücü yapılarından oluşan nnU-Net23'ün U şeklindeki yapısını benimser. Bu yapılar, Şekil 1'de gösterildiği gibi, büyük ve küçük ölçekli görüntülerden yerel özellik çıkarma ve özelliklerin birleştirilmesi ile ilgilenir.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66459/66459fig01.jpg"> 
Şekil 1: Ağ mimarisinin Swin-PSAxialNet şematik diyagramı. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig01large.jpg" target="_blank">Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.</a>
Enkoder yapısında, geleneksel Conv bloğu, bir altörnekleme hacmi oluşturmak için SPD bloğu20 ile birleştirilir. Kodlayıcının ilk katmanı, 3B verileri 3B yamalara <img alt="Equation 1" src="/files/ftp_upload/66459/66459eq01.jpg" style="margin: auto;">bölen bir modül olan Yama Gömmeyi içerir, (P1, P2, P3) bu bağlamda örtüşmeyen yamaları temsil eder, <img alt="Equation 2" src="/files/ftp_upload/66459/66459eq02.jpg" style="margin: auto;"> 3B yamaların sıra uzunluğunu belirtir. Gömme katmanını takiben, bir sonraki adım, hem evrişimli bir blok hem de bir SPD bloğu içeren, örtüşmeyen bir evrişimli altörnekleme birimini içerir. Bu kurulumda, evrişimli bloğun adımı 1 olarak ayarlanmıştır ve SPD bloğu görüntü ölçekleme için kullanılır, bu da çözünürlükte dört kat azalmaya ve kanallarda iki kat artışa yol açar.
Kod çözücü yapısında, Darboğaz Özelliği katmanından sonraki her yukarı örnekleme bloğu, bir yukarı örnekleme bloğu ve bir PSAA bloğunun bir kombinasyonundan oluşur. Özellik haritasının çözünürlüğü iki kat artırılır ve her bir kod çözücü aşaması çifti arasında kanal sayısı yarıya indirilir. Uzamsal bilgileri geri yüklemek ve özellik temsilini geliştirmek için, yukarı örnekleme blokları arasında büyük ve küçük ölçekli görüntüler arasında özellik füzyonu gerçekleştirilir. Sonuç olarak, yukarı örnekleme sonuçları, orijinal görüntü boyutunu geri yüklemek için (H × W × D × C, C = 3) çıktı boyutuyla Head katmanına beslenir.
SPD blok mimarisi Geleneksel yöntemlerde, altörnekleme bölümü, adım boyutu 2 olan tek bir adım kullanır. Bu, görüntüdeki yerel konumlarda evrişimli havuzlamayı, alıcı alanı sınırlamayı ve modeli küçük görüntü yamalarından özelliklerin çıkarılmasıyla sınırlamayı içerir. Bu yöntem, orijinal görüntüyü ince bir şekilde üç boyuta bölen SPD bloğunu kullanır. Orijinal 3D görüntü, x, y ve z eksenleri boyunca eşit olarak bölümlere ayrılır ve bu da dört alt hacim gövdesiyle sonuçlanır. (Şekil 2) Daha sonra, dört hacim "kedi" işlemiyle birleştirilir ve elde edilen görüntü, aşağı örneklenmiş görüntüyü20 elde etmek için 1 × 1 × 1 evrişime tabi tutulur.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66459/66459fig02.jpg"> 
Şekil 2: SPD blok diyagramı. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig02large.jpg" target="_blank">Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.</a>
PSAA blok mimarisi Geleneksel CNN ağlarının aksine, önerilen PSAA bloğu, küresel bilgi odağı yürütmede daha etkili ve ağ öğrenimi ve eğitiminde daha verimlidir. Bu, daha zengin görüntülerin ve uzamsal özelliklerin yakalanmasını sağlar. PSAA bloğu, üç boyutta parametre paylaşımına dayalı eksenel dikkat öğrenimini içerir: Yükseklik, Genişlik ve Derinlik. Görüntüdeki her piksel için dikkat öğrenimi gerçekleştiren geleneksel dikkat mekanizmasıyla karşılaştırıldığında, bu yöntem, üç boyutun her biri için bağımsız olarak dikkat öğrenimi yürütür ve kendi kendine dikkatin karmaşıklığını ikinci dereceden doğrusala azaltır. Ayrıca, öğrenilebilir bir anahtar-sorgu parametre paylaşım mekanizması mekanizması kullanılır, bu da ağın dikkat mekanizması işlemlerini üç boyutta paralel olarak gerçekleştirmesini sağlayarak daha hızlı, üstün ve daha etkili özellik gösterimi sağlar.

<table><tbody><tr><td>AMOS2022 veri kümesi</td><td>Hiç kimse</td><td>Hiç kimse</td><td>Ağ eğitimi ve testi için veri kümeleri. Web bağlantısı: https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb</td></tr><tr><td>ASUS ana bilgisayarı</td><td>ASUS</td><td></td><td>https://www.asusparts.eu/en/asus-13020-01910200</td></tr><tr><td>CUDA sürüm 11.7</td><td>NVIDIA</td><td></td><td>https://developer.nvidia.com/cuda-11-7-0-download-archive</td></tr><tr><td>NVIDIA GeForce RTX 3090</td><td>NVIDIA</td><td></td><td>https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/</td></tr><tr><td>Paddlepaddle çevresi&nbsp;</td><td>Baidu</td><td>Hiç kimse</td><td>Ağ eğitimi için çevresel hazırlık. Web bağlantısı: https://www.paddlepaddle.org.cn/</td></tr><tr><td>Kürek Seg</td><td>Baidu</td><td>Hiç kimse</td><td>Kullandığımız temel: https://github.com/PaddlePaddle/PaddleSeg</td></tr></tbody></table>

swin-psaxialnet: verimli bir Çoklu organ segmentasyon tekniği

Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique

Swin-PSAxialNet: Verimli Bir Çoklu Organ Segmentasyon Tekniği

Abdominal multi-organ segmentation is one of the most important topics in the field of medical image analysis, and it plays an important role in ...

Araştırmalarımız öncelikle tıbbi görüntü segmentasyonu, tıbbi çok modlu, büyük dil modelleri ve biyosensörler dahil olmak üzere tıbbi alanlarda yapay zekanın uygulanmasına odaklanmaktadır.Alanımızdaki en son gelişmeler arasında SAM gibi sıfır örnekli profesyonel tabanlı segmentasyon modelleri ve Wish üyesi gibi dizi modelleri yer alıyor.Mevcut derin öğrenme modellerinin karşılaştığı yaygın sorunlar arasında yetersiz veri hacmi ve düşük kalite ile modellerin genelleştirilmesini, yeteneklerini ve sağlamlığını iyileştirme ihtiyacı yer almaktadır.Protokolümüz, PSA Bloğu ve SPD Bloğunu, daha kapsamlı bilgi çıkarma yetenekleri ve diğer yöntemlere kıyasla daha düşük hesaplama maliyeti sunan bilgi çıkarma modülleri olarak tanıtmaktadır.Kütüphanemizin gelecekteki hedefleri arasında evrensel tıbbi büyük modellerin geliştirilmesi, çoklu model derin öğrenme algoritmaları üzerine araştırmalar ve akıllı tıbbi giyilebilir cihazların tasarımı yer almaktadır.[Anlatıcı] Başlamak için Amos-2022 veri setini indirin ve analiz için kullanılacak görüntüleri açıklayın. Eğitim veri kümesi için veri kümesinden 160 görüntü ve test veri kümesi için 40 görüntü seçin. Bir terminalde, ham verileri içeren dizini taşımak için bu komutu yürütün. Ardından ham veri dizini içinde bir dataset.json dosyası oluşturun ve eğitim ve test görüntülerinin sayısı ve etiket adı gibi veri kümesi bilgilerini girin. Ortam yapılandırması için PaddlePaddle ortamını ve ilgili Kunlun sürümünü yükleyin. PaddleSeg deposunu GitHub'dan kopyalayın. Bir terminalde, MedicalSeg dizinine gitmek için bu komutu yürütün. Proje gereksinimlerini kurmak için bu komutu kullanın. Ardından, yml yapılandırma dosyasını data_root, batch_size, model, train_dataset, val_dataset, optimize edici, LR_scheduler ve kayıp gibi parametreleri içerecek şekilde değiştirin. Bu komutu kullanarak yürütme için gerekli parametreleri belirtin. NNU net eğitim sürecini iki toplu iş boyutu ve 80.000 yineleme ile yapılandırın. Her 20 yinelemede bir günlüğe kaydedin ve FP 16 hassasiyetini kullanın. Kaydetme aralığını her 1000 yinelemede bir ayarlayın. Ardından Train.py çalıştırın. Görsel DL parametre görselleştirmesi için parametre use_VDL ekleyin. Dört yml dosyası oluşturun, birden dörde kadar katları belirtin ve modeli beş kat çapraz doğrulama ile eğitin. Ardından, eğitim adımıyla aynı şekilde PSAA Bloğunu tüm ağa dahil edin. Hacim şeklini ayarlayın ve eksenel dikkati true olarak etkinleştirin. Tek kat train.py komutunu çalıştırın. Tek bir katlamayı değerlendirin ve parametreleri yapılandırın. Beş kat boyunca grup işlemeyi işleyin. Swin-PSAxialNet, ana akım çoklu organ segmentasyon algoritmalarıyla karşılaştırıldığında karın organları için üstün segmentasyon performansı sergiliyor. Ayrıca Swin-PSAxialNet, karşılaştırılan tüm algoritmalar arasında en düşük ortalama HD 95 katsayısını elde ederek sınır segmentasyonunda başarılı oldu. Bir parametre paylaşım mekanizmasının tanıtılması ve transformatör yapısındaki geliştirmeler, diğer yöntemlere kıyasla model karmaşıklığında ve çıkarım hızında önemli gelişmelere katkıda bulundu. Kapsamlı ablasyon deneyleri, standart NNU ağına kıyasla daha yüksek segmentasyon performansı ortaya çıkardı ve bu da PSAA bloğunun üst örnekleme için faydalarını vurguladı.

swin-psaxialnet-an-efficient-multi-organ-segmentation-technique

Research

JoVE Journal

Engineering

Mühendislik

Segmentasyon birçok görüntüleme teknikleri üç boyutlu veri analizi karmaşık biyolojik sistemlerin büyük bir darboğaz var. Burada, biz SuRVoS tezgah yarı otomatik olarak çeşitli uzunluk-ölçeklerde hacimsel veri kesimi için nasıl kullanılacağını açıklar örnek veri kümeleri cryo-elektron tomografi, soguk yumuşak x-ışını tomografi ve faz kontrast x-ışını tomografi teknikleri kullanarak.

Birim segmentasyon ve SuRVoS (süper bölge birim segmentasyon) tezgah kullanarak biyolojik malzemelerin analizi

Açıklanan boru hattı, gigabaytlardan daha büyük elektron mikroskobu veri kümelerinin tüm hücre morfolojilerini ayıklamak için segmentasyonu için tasarlanmıştır. Hücreler 3B olarak yeniden oluşturulduktan sonra, bireysel ihtiyaçlar etrafında tasarlanmış özelleştirilmiş yazılım, görüntüleme tıkanıklığının üstesinden gelmek için sanal gerçekliği kullanarak doğrudan 3D olarak nitel ve nicel bir analiz yapmak için kullanılabilir.

Glial ve Nöronal Hücrelerin 3D Rekonstrüksiyonu ve Sanal Gerçeklik Analizi Için Bir Yöntem

Orbital bilgisayarlı tomografi (BT) görüntüleri için nesne segmentasyon protokolü tanıtıldı. Süper çözünürlük kullanarak yörüngesel yapıların temel gerçekliğini etiketleme, BT görüntülerinden ilgi hacmini çıkarma ve orbital BT görüntüleri için 2D sıralı U-Net kullanarak çok etiketli segmentasyonu modelleme yöntemleri denetimli öğrenme için açıklanmaktadır.

Orbital Bilgisayarlı Tomografi ile Derin Öğrenme Tabanlı Tıbbi Görüntü Segmentasyonunun Uygulanması

Koroid pleksusun beyindeki önemli rolüne rağmen, güvenilir otomatik segmentasyon araçlarının olmaması nedeniyle bu yapının nörogörüntüleme çalışmaları azdır. Mevcut protokol, gelecekteki nörogörüntüleme çalışmalarını bilgilendirebilecek koroid pleksusun altın standart manuel segmentasyonunu sağlamayı amaçlamaktadır.

Beyin MRG Kullanılarak İnsan Koroid Pleksusunun Manuel Segmentasyonu

Otomatik eklem alanı algılama iş akışının geliştirilmesi, vahşi tipli hayvanlarda farklı fare arka pence kemiklerinin yüksek verimli segmentasyonunu %&gt;98 doğrulukla mümkün kıldı. İltihap-erozivli artritli ön patiler ve patilere esnek uygulama sağlandı, ancak performans düşük olup, kamuya açık veriler kullanılarak gelecekteki çalışmalarda daha fazla optimizasyon yapılmasını gerektiriyor.

Otomatik Eklem Alanı Tespiti Kemik Segmentasyon Hassasiyetini Artırır

Optik kırılma limiti aşmak için bir yöntem sunulmuştur. Optik tekrarlayıcı Gerchberg-Saxton'dan algoritması kullanılarak faz alma ve ilk aşamanın tekrar takip görüntüleme sistemi vites: Bu yöntem, iki aşamalı bir süreci içerir. Bir sentetik lens açıklığı artan daha yüksek görüntü çözünürlüğü verimli, hareket yönü boyunca oluşturulur.

Bir Hareketli Platform Görüntüleme Zaman çoğullama Süper Çözme Tekniği

Farklı fiziksel parametrelerin çok kısa bir süre (bir milisaniyeden daha az onda biri) üzerinde dinamiklerini etkileyebilecek beri non-Newtonian akışkanların Bırak etkisi karmaşık bir süreçtir. Bir hızlı görüntüleme tekniği farklı non-Newtonian akışkanların etkisi davranışlarını karakterize etmek amacıyla tanıtıldı.

Non-Newtonian Akışkanlar Bırak Etkisi Dynamics Eğitim Hızlı Görüntüleme Tekniği

Islak kimyasal yaklaşımla üretilen çok işlevli Fe2O3-Au nanopartiküllerinin sentezini ve özelliklerini tanımlıyoruz ve lazer ışınlaması kullanarak fototermal özelliklerini araştırıyoruz. Kompozit Fe2O3-Au nanopartikülleri, mükemmel manyetik ve plazmonik özelliklere sahip çok işlevli bir yapı oluşturarak her iki malzemenin özelliklerini korur.

Çok fonksiyonlu Hibrid Fe<sub&gt; 2</sub&gt; O<sub&gt; 3</sub&gt; Verimli plasmonik Isıtma -Au Nanoparçacıklar

Burada, yüksek verimli perovskit güneş hücreleri elde etmek için tek değerli bir katyondur katkı maddelerinin dahil edilmesi yoluyla çözelti işleme CH3 NH3 PBI 3 özelliklerini ayarlamak için bir protokol mevcut.

CH tek değerlikli katyon doping<sub&gt; 3</sub&gt; NH<sub&gt; 3</sub&gt; PBI<sub&gt; 3</sub&gt; Verimli Perovskit Güneş Pilleri için

Tuning, tuning yeteneklilik ve kaçınma aygıt hatası ve stiction, değişiklik frekans ölçümü de dahil olmak üzere bir lazer Doppler vibrometer (LDV), kullanarak sabit-sabit ışın dizaynı için bir protokol sunulmuştur. LDV yöntemi ağ Çözümleyicisi üzerinde üstünlüğü nedeniyle daha yüksek modu kapasitesini gösterilmiştir.

Tasarım ve karakterizasyon yöntemleri verimli geniş sıra Tunable MEMS filtreler için

Keşfedin Swin-PSAxialNet ile çoklu organ segmentasyonunu. Bu hesaplamalı yöntem, görüntü analizinde üstün doğruluk sağlar ve makine öğrenimi uygulamalarında yeni olanaklar sunar.

Swin-PSAxialNet: Verimli Bir Çoklu Organ Segmentasyon Tekniği

Daha fazla video keşfet