Name: Swin-PSAxialNet: skuteczna technika segmentacji wielonarządowej (Wideo) | JoVE Journal
Uploaded: 2024-07-05T12:30:00.000+00:00
Duration: 4 min 48 s
Description: Poznaj metodę Swin-PSAxialNet do segmentacji wielonarządowej z wykorzystaniem głębokiego uczenia. Technika ta oferuje wyższą dokładność niż dotychczasowe rozwiązania w analizie obrazów medycznych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Badanie to było wspierane przez Projekt Inżynieryjny "333" prowincji Jiangsu ([2022]21-003), Program Ogólny Komisji Zdrowia Wuxi (M202205) oraz Fundusz Rozwoju Nauki i Technologii Wuxi (Y20212002-1), których wkład był nieoceniony dla sukcesu tej pracy". Autorzy dziękują wszystkim asystentom naukowym i uczestnikom badania za ich wsparcie.

Niniejszy protokół został zatwierdzony przez Komisję Etyczną Uniwersytetu Nantong. Obejmuje on inteligentną ocenę i badanie pozyskanych nieinwazyjnych lub małoinwazyjnych danych multimodalnych, w tym obrazów medycznych człowieka, ruchów kończyn oraz obrazowania naczyniowego, z wykorzystaniem technologii sztucznej inteligencji. Rysunek 3 przedstawia ogólny schemat blokowy segmentacji wielonarządowej. Wszystkie niezbędne linki internetowe znajdują się w Tabeli materiałów.
<img alt="Rycina 3" class="xfigimg" src="/files/ftp_upload/66459/66459fig03.jpg" /> 
Rysunek 3Ogólny schemat blokowy segmentacji wielu organów. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig03large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
1. Gromadzenie zbioru danych
<ol>
	<li>Pobierz zestaw danych AMOS20224 (patrz Tabela materiałów).</li>
	<li>Wybierz 160 obrazów jako zbiór treningowy i 40 obrazów jako zbiór testowy.</li>
	<li>Wykonaj końcowo mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data.</li>
	<li>Otwórz ścieżkę do raw_data.</li>
	<li>Umieść zestaw danych w dane surowe katalogu i upewnij się, że odpowiadają one nazwom plików wewnątrz niego &#34;obrazyTr&#34; i &#34;etykietyTr&#34; katalogi</li>
	<li>Utwórz zbiór_danych.json Plik.</li>
	<li>Dodaj informacje o zbiorze danych, takie jak liczbaTreningów, numTest, i nazwy etykiet do &#34;zbiordanych.json&#34; Proszę o dostarczenie tekstu źródłowego do tłumaczenia. 
	UWAGA: Zestaw danych dla niniejszego badania składa się z 20 wysokiej jakości zestawów danych CT, wybranych z oficjalnego zbioru 50 CT AMOS202 do celów treningowych i testowych. Zestaw danych obejmuje 1 organów, w tym śledzionę, prawą nerkę, lewą nerkę, pęcherzyk żółciowy, przełyk, wątrobę, żołądek, aortę, żyłę główną dolną, trzustkę oraz pęcherz moczowy.</li>
</ol>
2. Konfiguracja środowiska
<ol>
	<li>Zainstaluj środowisko Paddlepaddle (patrz Tabela materiałów) oraz odpowiednią wersję CUDA25. 
	UWAGA: Zaleca się korzystanie z wersji 2.5.0 Paddlepaddle oraz wersji 1.7 CUDA.</li>
	<li>Sklonuj repozytorium PaddleSeg za pomocą Git25.</li>
	<li>Wykonaj w terminalu polecenie cd ~/PaddleSeg/contrib/MedicalSeg/.</li>
	<li>Wykonaj polecenie pip install -r requirements.txt.</li>
	<li>Wykonaj polecenie pip install medpy.</li>
</ol>
3. Przetwarzanie wstępne danych
<ol>
	<li>Zmodyfikuj plik „yml”, uwzględniając parametry takie jak data_root, batch_size, model, train_dataset, val_dataset, optimizer, lr_scheduler, oraz loss.</li>
	<li>Określ wymagane parametry do uruchomienia, w tym „-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval, itp. 
	UWAGA: Oryginalne „raw_data” są przekształcane w trzy rodzaje plików danych: „Cropped”, „Decathlon” oraz „Preprocessed”, co pozwala na dostosowanie do różnych wymagań dotyczących uczenia i oceny w celu zwiększenia wydajności modelu i efektywności procesu uczenia.</li>
</ol>
4. Trenowanie i porównywanie modeli
UWAGA: Jako powszechnie stosowany punkt odniesienia w dziedzinie segmentacji obrazów, nnU-Net23 służy jako model bazowy w niniejszym badaniu. Szczegółowy proces porównania modeli przedstawia się następująco.
<ol>
	<li>Trenowanie nnU-Net
	<ol>
		<li>Skonfiguruj wielkość partii (batch size) na 2 i 80 00 iteracji, rejestruj logi co 20 iteracji oraz wykorzystaj precyzję fp16.</li>
		<li>Ustaw save_dir jako folder „output” w katalogu roboczym, z interwałem zapisu ustawionym na 1 00 iteracji.</li>
		<li>Dodaj parametr --use_vdl w celu wizualizacji parametrów w VisualDL.</li>
		<li>Uruchom plik train.py.</li>
		<li>Utwórz cztery pliki yml, określ foldy 1-4 i wytrenuj model z wykorzystaniem pięciokrotnej walidacji krzyżowej.</li>
	</ol>
	</li>
	<li>Trenowanie Swin-UNet
	<ol>
		<li>Zachowaj spójność z wcześniej ustalonymi warunkami eksperymentalnymi.</li>
		<li>Usuń parametr --nnunet i użyj --swinunet.</li>
		<li>Uruchom plik train.py.</li>
		<li>Wytrenuj foldy 1-4 indywidualnie, a następnie poddaj je przetwarzaniu zespołowemu (ensemble processing).</li>
	</ol>
	</li>
	<li>Trenowanie TransUNet
	<ol>
		<li>Postępuj zgodnie z procedurami opisanymi w kroku 4.1.</li>
		<li>Otwórz plik yml.</li>
		<li>Zmień type: nnunet na type: transunet.</li>
		<li>Zmień parametr --nnunet na --transunet.</li>
		<li>Uruchom plik train.py.</li>
		<li>Wytrenuj foldy 1-4 indywidualnie i przeprowadź przetwarzanie zespołowe.</li>
	</ol>
	</li>
	<li>Trenowanie UNETR
	<ol>
		<li>Zachowaj spójność zmiennych eksperymentalnych.</li>
		<li>Powtórz procedury opisane wcześniej dla Swin-UNet i TransUNet (krok 4.2 i krok 4.3).</li>
		<li>Uruchom plik train.py.</li>
		<li>Wytrenuj foldy 1-4 indywidualnie i przeprowadź przetwarzanie zespołowe.</li>
	</ol>
	</li>
	<li>Trenowanie nnFormer
	<ol>
		<li>Zmodyfikuj parametry analogicznie jak dla Swin-UNet i TransUNet.</li>
		<li>Uruchom plik train.py dla pojedynczego folda.</li>
		<li>Uruchom przetwarzanie zespołowe.</li>
	</ol>
	</li>
</ol>
5. Eksperyment ablacyjny
<ol>
	<li>Blok PSAA dla całej sieci
	<ol>
		<li>Zachowaj zmienne spójne z krokiem 4.1.</li>
		<li>Ustaw volume_shape = (64,192,192) oraz Axial_attention = True.</li>
		<li>Uruchom single fold train.py.</li>
		<li>Przeprowadź przetwarzanie ansamblowe dla pięciu foldów.</li>
	</ol>
	</li>
	<li>Blok SPD dla całej sieci
	<ol>
		<li>Zachowaj zmienne spójne z krokiem 4.1.</li>
		<li>Ustaw SPD_enable = True oraz Axial_attention = False.</li>
		<li>Uruchom single fold train.py.</li>
		<li>Przeprowadź przetwarzanie ansamblowe dla pięciu foldów.</li>
	</ol>
	</li>
	<li>Blok PSAA do upsamplingu 
	UWAGA: Nie używaj bloku SPD do downsamplingu.
	<ol>
		<li>Użyj bloku PSAA do upsamplingu.</li>
		<li>Zachowaj zmienne spójne z krokiem 4.1.</li>
		<li>Ustaw Axial_attention = False w części downsamplingu oraz SPD_enable = False.</li>
		<li>Uruchom single fold train.py.</li>
		<li>Przeprowadź przetwarzanie ansamblowe dla pięciu foldów.</li>
	</ol>
	</li>
	<li>Blok PSAA do upsamplingu 
	UWAGA: Użyj bloku SPD do downsamplingu.
	<ol>
		<li>Użyj bloku SPD do downsamplingu oraz bloku PSAA do upsamplingu.</li>
		<li>Zachowaj zmienne spójne z krokiem 4.1.</li>
		<li>Ustaw Axial_attention = False w części downsamplingu oraz SPD_enable = True.</li>
		<li>Uruchom single fold train.py.</li>
		<li>Przeprowadź przetwarzanie ansamblowe dla pięciu foldów.</li>
		<li>Ustaw liczbę iteracji na 2,0,00 ze względu na lepsze wyniki.</li>
	</ol>
	</li>
</ol>

Swin-PSAxialNet: A Streamlined Approach for Segmenting Multiple Organs

<ol><li>Liu, X., Song, L., Liu, S., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+deep-learning-based+medical+image+segmentation+methods%5BTitle%5D)+AND+%22Sustain%22%5BJournal%5D)">A review of deep-learning-based medical image segmentation methods.</a> Sustain. 13 (3), 1224(2021).</li>
<li>Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+artifact+recognition+for+the+nuclear+technologist%5BTitle%5D)+AND+%22J+Nucl+Med+Technol%22%5BJournal%5D)">CT artifact recognition for the nuclear technologist.</a> J Nucl Med Technol. 36 (2), 79-81 (2008).</li>
<li>Rehman, A., Khan, F. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+based+review+on+abdominal+images%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">A deep learning based review on abdominal images.</a> Multimed Tools Appl. 80, 30321-30352 (2021).</li>
<li>Schenck, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+magnetic+susceptibility+in+magnetic+resonance+imaging%3A+Mri+magnetic+compatibility+of+the+first+and+second+kinds%5BTitle%5D)+AND+%22Med+Phys%22%5BJournal%5D)">The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds.</a> Med Phys. 23 (6), 815-850 (1996).</li>
<li>Palmisano, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Myocardial+late+contrast+enhancement+ct+in+troponin-positive+acute+chest+pain+syndrome%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome.</a> Radiol. 302 (3), 545-553 (2022).</li>
<li>Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automatic+diagnostic+system+for+CT+liver+image+classification%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">An automatic diagnostic system for CT liver image classification.</a> IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).</li>
<li>Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computed+tomography+of+the+kidney%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Computed tomography of the kidney.</a> Radiol. 124 (2), 359-370 (1977).</li>
<li>Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+of+congenital+and+acquired+abnormalities+of+the+spleen%5BTitle%5D)+AND+%22Radiographics%22%5BJournal%5D)">CT of congenital and acquired abnormalities of the spleen.</a> Radiographics. 13 (3), 597-610 (1993).</li>
<li>Almeida, R. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+pancreatic+CT+imaging%5BTitle%5D)+AND+%22AJR+Am+J+Roentgenol%22%5BJournal%5D)">Advances in pancreatic CT imaging.</a> AJR Am J Roentgenol. 211 (1), 52-66 (2018).</li>
<li>Eisen, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Guidelines+for+credentialing+and+granting+privileges+for+endoscopic+ultrasound%5BTitle%5D)+AND+%22Gastrointest+Endosc%22%5BJournal%5D)">Guidelines for credentialing and granting privileges for endoscopic ultrasound.</a> Gastrointest Endosc. 54 (6), 811-814 (2001).</li>
<li>Sykes, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reflections+on+the+current+status+of+commercial+automated+segmentation+systems+in+clinical+practice%5BTitle%5D)+AND+%22J+Med+Radiat+Sci%22%5BJournal%5D)">Reflections on the current status of commercial automated segmentation systems in clinical practice.</a> J Med Radiat Sci. 61 (3), 131-134 (2014).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Deep residual learning for image recognition.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale. arXiv.</a> arXiv. , 11929(2020).</li>
<li>Ramachandran, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stand-alone+self-attention+in+vision+models%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Stand-alone self-attention in vision models.</a> Adv Neural Inf Process Syst. 32, NIPS2019 (2019).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Attention is all you need.</a> Adv Neural Inf Process Syst. 30, NIPS2019 (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNET%3A+Transformers+make+strong+encoders+for+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TransUNET: Transformers make strong encoders for medical image segmentation.</a> arXiv. , arXiv:2102 04396(2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">Swin transformer: Hierarchical vision transformer using shifted windows.</a> Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).</li>
<li>Cao, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin-UNET%3A+Unet-like+pure+transformer+for+medical+image+segmentation%5BTitle%5D)+AND+%22Comput+Vis+ECCV%22%5BJournal%5D)">Swin-UNET: Unet-like pure transformer for medical image segmentation.</a> Comput Vis ECCV. , 205-218 (2022).</li>
<li>Zhou, H. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnformer%3A+Interleaved+transformer+for+volumetric+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnformer: Interleaved transformer for volumetric segmentation. arXiv.</a> arXiv. , arXiv:2109 03201(2021).</li>
<li>Sunkara, R., Luo, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((No+more+strided+convolutions+or+pooling%3A+A+new+CNN+building+block+for+low-resolution+images+and+small+objects%5BTitle%5D)+AND+%22Mach+Learn+Knowl+Discov+Databases%22%5BJournal%5D)">No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects.</a> Mach Learn Knowl Discov Databases. , 443-459 (2023).</li>
<li>Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+U-Net%3A+learning+dense+volumetric+segmentation+from+sparse+annotation%5BTitle%5D)+AND+%22Med+Comput+Vis+Bayesian+Graph+Models+Biomed+Imaging%22%5BJournal%5D)">3D U-Net: learning dense volumetric segmentation from sparse annotation.</a> Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).</li>
<li>Kim, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdominal+multi-organ+auto-segmentation+using+3D-patch-based+deep+convolutional+neural+network%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network.</a> Scientific reports. 10 (1), 6204(2020).</li>
<li>Isensee, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnu-net%3A+Self-adapting+framework+for+u-net-based+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnu-net: Self-adapting framework for u-net-based medical image segmentation.</a> arXiv. , arXiv:1809 10486(2018).</li>
<li>Ji, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+large-scale+abdominal+multi-organ+benchmark+for+versatile+medical+image+segmentation%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">A large-scale abdominal multi-organ benchmark for versatile medical image segmentation.</a> Adv Neural Inf Process Syst. 35, 36722-36732 (2022).</li>
<li>Liu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Paddleseg%3A+A+high-efficient+development+toolkit+for+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Paddleseg: A high-efficient development toolkit for image segmentation.</a> arXiv. , arXiv:2101 06175(2021).</li>
<li>Hatamizadeh, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UNETR%3A+Transformers+for+3D+medical+image+segmentation%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">UNETR: Transformers for 3D medical image segmentation.</a> Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).</li>
<li>Zhou, H., Zeng, D., Bian, Z., Ma, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+semi-supervised+network-based+tissue-aware+contrast+enhancement+method+for+ct+images%5BTitle%5D)+AND+%22Nan+Fang+Yi+Ke+Da+Xue+Xue+Bao%22%5BJournal%5D)">A semi-supervised network-based tissue-aware contrast enhancement method for ct images.</a> Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).</li>
<li>Ma, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdomenct-1k%3A+Is+abdominal+organ+segmentation+a+solved+problem%5BTitle%5D)+AND+%22IEEE+Trans+Pattern+Anal+Mach+Intell%22%5BJournal%5D)">Abdomenct-1k: Is abdominal organ segmentation a solved problem.</a> IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).</li>
<li>Galván, E., Mooney, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroevolution+in+deep+neural+networks%3A+Current+trends+and+future+challenges%5BTitle%5D)+AND+%22IEEE+Trans+Artif+Intell%22%5BJournal%5D)">Neuroevolution in deep neural networks: Current trends and future challenges.</a> IEEE Trans Artif Intell. 2 (6), 476-493 (2021).</li>
</ol>

Autorzy deklarują brak konfliktu interesów.

Segmentacja narządów jamy brzusznej to skomplikowana praca. W porównaniu z innymi wewnętrznymi strukturami ludzkiego ciała, takimi jak mózg czy serce, segmentacja narządów jamy brzusznej wydaje się trudniejsza ze względu na niski kontrast i duże zmiany kształtu w obrazach TK27,28. W celu rozwiązania tego trudnego problemu zaproponowano tutaj Swin-PSAxialNet.
Na etapie zbierania danych w ramach tego badania pobrano 200 obrazów z oficjalnej strony internetowej AMOS202224. Na etapie konfiguracji środowiska konfiguracja eksperymentalna obejmowała środowisko Paddlepaddle wraz z odpowiadającą mu wersją CUDA. Na etapie wstępnego przetwarzania danych zastosowano losowe przycinanie i losowe przerzucanie w celu zwiększenia niezawodności danych. W krokach trenowania i porównywania modelu, w oparciu o model bazowy nnU-Net, w eksperymencie dodano blok SPD do próbkowania w dół i blok ekstrakcji cech PSAA do próbkowania w górę, osiągając doskonałe wyniki segmentacji. Swin-PSAxialNet porównano z różnymi popularnymi modelami segmentacji i uzyskano obiecujące wyniki na publicznym zbiorze danych AMOS2022. Osiągnięto wyższą dokładność segmentacji niż inne metody segmentacji wymienione w tym badaniu 16,17,18,19. W części dotyczącej eksperymentu ablacyjnego użycie bloku PSAA i bloku SPD zostało zróżnicowane w celu znalezienia optymalnej sieci segmentacji. Wyniki eksperymentu ablacyjnego wskazały, że użycie modułu PSAA tylko do upsamplingu pozwala osiągnąć o jeden punkt procentowy więcej niż użycie go dla całej sieci.
Innowacje tego badania są następujące: Po pierwsze, moduł SPD jest włączony do sieci, aby stanowić jednostkę próbkowania w dół obok bloku Conv, zwiększając w ten sposób możliwości ekstrakcji cech sieci. Po drugie, wprowadzenie bloku ekstrakcji cech PSAA skutecznie zmniejsza złożoność sieci, jednocześnie poprawiając dokładność trenowania. Wreszcie, wprowadzenie mechanizmu współdzielenia parametrów znacznie zmniejsza złożoność modelu treningowego.
To badanie ma ograniczenia w następujących aspektach: Zostało ono zastosowane tylko do AMOS2022 zbioru danych, a wyniki nie zostały zweryfikowane na innych zestawach danych. Ponownie, chociaż nnU-Net osiągnął wysoką wydajność w zadaniach segmentacji narządów jamy brzusznej po serii optymalizacji jako zautomatyzowana struktura segmentacji, niektóre parametry nadal mają pewien stopień subiektywizmu, takie jak początkowa szybkość uczenia się, liczba iteracji, architektura sieci itp. Przyszłe badania będą dotyczyły metod automatycznego obliczania tych parametrów29.
W ramach projektu Swin-PSAxialNet osiągnięto doskonałe wyniki segmentacji w zadaniach związanych z segmentacją narządów jamy brzusznej, wykazując duże możliwości uogólniania i stabilność. W przyszłych badaniach zostaną wykorzystane dodatkowe zestawy danych w celu dalszego zbadania możliwości uogólnienia algorytmu i wprowadzenia poprawek do modelu. Co więcej, struktura algorytmu może być poddawana dalszej optymalizacji w celu zwiększenia ogólnej dokładności i solidności sieci. Celem jest zintegrowanie sieci z możliwościami multimodalnymi w celu przekształcenia jej w medyczny model multimodalny.

Współczesna interwencja kliniczna, obejmująca diagnostykę chorób, opracowywanie planów leczenia oraz monitorowanie wyników terapii, opiera się na dokładnej segmentacji obrazów medycznych1. Jednak złożone zależności strukturalne między narządami jamy brzusznej2 sprawiają, że precyzyjna segmentacja wielu organów brzusznych jest zadaniem trudnym3. W ciągu ostatnich kilku dekad dynamiczny rozwój obrazowania medycznego i wizji komputerowej przyniósł zarówno nowe możliwości, jak i wyzwania w dziedzinie wielonarządowej segmentacji jamy brzusznej. Zaawansowana technologia obrazowania metodą rezonansu magnetycznego (MRI)4 oraz tomografii komputerowej (CT)5 umożliwia pozyskiwanie obrazów jamy brzusznej o wysokiej rozdzielczości. Precyzyjna segmentacja wielu narządów z obrazów CT ma istotną wartość kliniczną w ocenie i leczeniu kluczowych organów, takich jak wątroba, nerki, śledziona, trzustka itp.6,7,8,9,10 Jednak ręczna adnotacja tych struktur anatomicznych, zwłaszcza tych wymagających udziału radiologów lub radioterapeutów, jest czasochłonna i podatna na wpływ subiektywny1. W związku z tym istnieje pilna potrzeba opracowania zautomatyzowanych i dokładnych metod wielonarządowej segmentacji jamy brzusznej.
Poprzednie badania nad segmentacją obrazu opierały się głównie na konwolucyjnych sieciach neuronowych (CNN), które zwiększają wydajność segmentacji poprzez nakładanie warstw oraz wprowadzenie architektury ResNet12. W 2020 roku zespół badawczy Google wprowadził model Vision Transformer (VIT)13, co stanowiło pionierski przykład zastosowania architektury Transformer w tradycyjnej domenie wizualnej dla szeregu zadań związanych z obrazowaniem14. Podczas gdy operacje konwolucyjne mogą uwzględniać jedynie lokalne informacje o cechach, mechanizm uwagi w Transformerach umożliwia kompleksowe uwzględnienie globalnych informacji o cechach.
Biorąc pod uwagę przewagę architektur opartych na Transformerach nad tradycyjnymi sieciami splotowymi15, wiele zespołów badawczych podjęło szeroko zakrojone próby optymalizacji synergii między mocnymi stronami Transformerów a sieciami splotowymi16,17,18,19. Chen i wsp. wprowadzili model TransUNet do zadań segmentacji obrazów medycznych16, który wykorzystuje Transformery do wyodrębniania globalnych cech z obrazów. Ze względu na wysoki koszt trenowania sieci oraz brak wykorzystania koncepcji hierarchii ekstrakcji cech, zalety Transformerów nie zostały w pełni zrealizowane.
Aby rozwiązać te problemy, wielu badaczy zaczęło eksperymentować z wykorzystaniem Transformerów jako szkieletu do trenowania sieci segmentacyjnych. Liu i wsp.17 wprowadzili Swin Transformer, który wykorzystywał hierarchiczną metodę konstrukcji do warstwowej ekstrakcji cech. Zaproponowano koncepcję Windows Multi-Head Self-Attention (W-MSA), która znacząco zredukowała koszt obliczeniowy, szczególnie w przypadku większych map cech na niskim poziomie. Choć podejście to zmniejszyło wymagania obliczeniowe, doprowadziło jednocześnie do izolacji transmisji informacji między różnymi oknami. Aby rozwiązać ten problem, autorzy wprowadzili dodatkowo koncepcję Shifted Windows Multi-Head Self-Attention (SW-MSA), umożliwiającą propagację informacji pomiędzy sąsiednimi oknami. Opierając się na tej metodologii, Cao i wsp. opracowali Swin-UNet18, zastępując sploty 2D w U-Net modułami Swin oraz włączając W-MSA i SW-MSA do procesów kodowania i dekodowania, co pozwoliło osiągnąć satysfakcjonujące wyniki segmentacji.
Z kolei Zhou i wsp. podkreślili, że podczas przetwarzania obrazów o wysokiej rozdzielczości nie można zignorować zalet operacji splotu (conv)19. Zaproponowany przez nich model nnFormer wykorzystuje metodę obliczeń mechanizmu self-attention opartą na lokalnych trójwymiarowych blokach obrazu, tworząc model Transformer o strukturze w kształcie krzyża. Zastosowanie uwagi opartej na lokalnych blokach trójwymiarowych znacząco zredukowało obciążenie sieci podczas procesu trenowania.
Biorąc pod uwagę problemy związane z powyższą analizą, zaproponowano wydajną hybrydową strukturę hierarchiczną do segmentacji trójwymiarowych obrazów medycznych, nazwaną Swin-PSAxialNet. Metoda ta zawiera blok downsamplingu, blok Space-to-depth (SPD)20, który jest zdolny do ekstrakcji informacji globalnych21. Ponadto dodano moduł współdzielonej parametrami uwagi osiowej (PSAA), który redukuje liczbę parametrów uczenia z kwadratowej do liniowej, co pozytywnie wpływa na dokładność trenowania sieci oraz złożoność modeli treningowych2.
Sieć Swin-PSAxialNet 
Ogólna architektura sieci przyjmuje strukturę w kształcie litery U charakterystyczną dla nnU-Net23, składającą się ze struktur koder i dekoder. Struktury te służą do lokalnej ekstrakcji cech oraz konkatenacji cech z obrazów w dużej i małej skali, co przedstawiono na Rysunku 1.
<img alt="Rysunek 1" class="xfigimg" src="/files/ftp_upload/66459/66459fig01.jpg" /> 
Rycina 1Schemat architektury sieci Swin-PSAxialNet. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig01large.jpg" target="_blank">Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
W strukturze koderach tradycyjny blok Conv został połączony z blokiem SPD20 w celu utworzenia objętości podpróbkowanej. Pierwsza warstwa kodera zawiera Patch Embedding – moduł, który dzieli dane 3D na fragmenty (patche) 3D <img alt="Równanie 1" src="/files/ftp_upload/66459/66459eq01.jpg" style="margin: auto;" />, (P1, P2, P3) reprezentuje w tym kontekście niezachodzące na siebie fragmenty,&#160;<img alt="Równanie 2" src="/files/ftp_upload/66459/66459eq02.jpg" style="margin: auto;" /> oznacza długość sekwencji fragmentów 3D (patchy). Po warstwie osadzania (embedding layer) kolejnym krokiem jest jednostka zmniejszająca próbkowanie splotowe bez nakładania się, składająca się z bloku splotowego oraz bloku SPD. W tej konfiguracji blok splotowy ma ustawiony krok (stride) równy 1, a blok SPD służy do skalowania obrazu, co prowadzi do czterokrotnej redukcji rozdzielczości i dwukrotnego zwiększenia liczby kanałów.
W strukturze dekodera każdy blok upsamplingu po warstwie Bottleneck Feature składa się z kombinacji bloku upsamplingu i bloku PSAA. Rozdzielczość mapy cech jest dwukrotnie zwiększana, a liczba kanałów zmniejszana o połowę pomiędzy każdą parą etapów dekodera. W celu przywrócenia informacji przestrzennych i poprawy reprezentacji cech, pomiędzy blokami upsamplingu przeprowadza się fuzję cech obrazów o dużej i małej skali. Ostatecznie wyniki upsamplingu są przekazywane do warstwy Head w celu przywrócenia oryginalnego rozmiaru obrazu, z rozmiarem wyjściowym (H × W × D × C, C = 3).
Architektura bloku SPD 
W tradycyjnych metodach sekcja downsamplingu wykorzystuje pojedynczy krok o rozmiarze 2. Wiąże się to z pulowaniem splotowym w lokalnych pozycjach obrazu, co ogranicza pole recepcyjne i zmusza model do ekstrakcji cech z niewielkich fragmentów obrazu. Metoda ta wykorzystuje blok SPD, który precyzyjnie dzieli oryginalny obraz na trzy wymiary. Oryginalny obraz 3D jest równomiernie segmentowany wzdłuż osi x, y i z, co skutkuje powstaniem czterech podobjętości (Rysunek 2). Następnie cztery objętości są łączone za pomocą operacji „cat”, a otrzymany obraz poddawany jest splotowi 1 × 1 × 1 w celu uzyskania obrazu po downsamplingu20.
<img alt="Rycina 2" class="xfigimg" src="/files/ftp_upload/66459/66459fig02.jpg" /> 
Rysunek 2Schemat blokowy SPD. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Architektura bloku PSAA 
W przeciwieństwie do tradycyjnych sieci CNN, proponowany blok PSAA jest bardziej efektywny w koncentrowaniu informacji globalnych oraz wydajniejszy w procesie uczenia i trenowania sieci. Pozwala to na przechwycenie bogatszych cech obrazów i cech przestrzennych. Blok PSAA obejmuje uczenie uwagi osiowej (axial attention) oparte na współdzieleniu parametrów w trzech wymiarach: wysokości, szerokości i głębokości. W porównaniu do konwencjonalnego mechanizmu uwagi, który przeprowadza uczenie uwagi dla każdego piksela obrazu, metoda ta niezależnie realizuje uczenie uwagi dla każdego z trzech wymiarów, co redukuje złożoność samo-uwagi (self-attention) z kwadratowej do liniowej. Ponadto zastosowano mechanizm współdzielenia parametrów kluczy-zapytań (keys-queries) z możliwością uczenia, co pozwala sieci na równoległe wykonywanie operacji mechanizmu uwagi w trzech wymiarach, prowadząc do szybszej, lepszej i bardziej efektywnej reprezentacji cech.

<table><tbody><tr><td>AMOS2022 zestaw danych</td><td>Żaden</td><td>Żaden</td><td>Zestawy danych do trenowania i testowania sieci. Link do strony internetowej: https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb</td></tr><tr><td>Komputer mainframe ASUS</td><td>ASUS (Międzynarodowa Sieć AS</td><td></td><td>https://www.asusparts.eu/en/asus-13020-01910200</td></tr><tr><td>CUDA w wersji 11.7</td><td>Technologia NVIDIA</td><td></td><td>https://developer.nvidia.com/cuda-11-7-0-download-archive</td></tr><tr><td>NVIDIA GeForce RTX 3090</td><td>Technologia NVIDIA</td><td></td><td>https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/</td></tr><tr><td>Środowisko wiosła&nbsp;</td><td>Baidu (Język baidu</td><td>Żaden</td><td>Przygotowanie środowiskowe do szkolenia sieciowego. Link do strony internetowej: https://www.paddlepaddle.org.cn/</td></tr><tr><td>Wiosło Seg</td><td>Baidu (Język baidu</td><td>Żaden</td><td>Linia bazowa, której używamy: https://github.com/PaddlePaddle/PaddleSeg</td></tr></tbody></table>

swin-psaxialnet: skuteczna technika segmentacji wielonarządowej

Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique

Segmentacja wielonarządowa jamy brzusznej jest jednym z najważniejszych tematów w dziedzinie analizy obrazów medycznych i odgrywa ważną rolę we wspieraniu klinicznych przepływów pracy, takich jak diagnozowanie chorób i planowanie leczenia. W niniejszej pracy zaproponowano wydajną metodę segmentacji wielonarządowej o nazwie Swin-PSAxialNet opartą na architekturze nnU-Net. Został zaprojektowany specjalnie do precyzyjnej segmentacji 11 narządów jamy brzusznej na obrazach TK. Proponowana sieć wprowadziła następujące ulepszenia w porównaniu z nnU-Net. Po pierwsze, wprowadzono moduły SPD (Space-to-depth) i bloki ekstrakcji cech PSAA (Sharement-shared axial attention), zwiększając możliwości ekstrakcji cech obrazu 3D. Po drugie, zastosowano wieloskalowe podejście do fuzji obrazów w celu uchwycenia szczegółowych informacji i cech przestrzennych, poprawiając możliwości wyodrębniania subtelnych cech i cech krawędziowych. Na koniec wprowadzono metodę współdzielenia parametrów w celu zmniejszenia kosztów obliczeniowych modelu i szybkości trenowania. Proponowana sieć osiąga średni współczynnik Dice'a wynoszący 0,93342 dla zadania segmentacji obejmującego 11 narządów. Wyniki eksperymentalne wskazują na znaczną wyższość Swin-PSAxialNet nad poprzednimi metodami segmentacji głównego nurtu. Metoda wykazuje doskonałą dokładność i niskie koszty obliczeniowe w segmentacji głównych narządów jamy brzusznej.

W niniejszym protokole zastosowano dwie metryki do oceny modelu: współczynnik podobieństwa Dice'a (DSC) oraz 95% odległość Hausdorffa (HD95). DSC mierzy stopień pokrycia między przewidywaną segmentacją wokseli a prawdą obiektywną (ground truth), natomiast HD95 ocenia pokrycie granic między przewidywaną segmentacją wokseli a prawdą obiektywną, odfiltrowując 5% wartości odstających. Definicja DSC26 przedstawia się następująco:
<img alt="Równanie 3" src="/files/ftp_upload/66459/66459eq03.jpg" style="margin: auto;" />&#160; &#160; &#160; (1)
Gdzie T i P reprezentują odpowiednio wartości rzeczywiste (ground truth) oraz wartości przewidywane dla wszystkich wokseli. Definicja 95% HD26 przedstawia się następująco:
<img alt="Równanie 4" src="/files/ftp_upload/66459/66459eq04.jpg" style="margin: auto;" />&#160; &#160; &#160; (2)
Gdzie dT,P,&#160;jest odległością 95. percentyla maksymalnego HD95 między rzeczywistymi a przewidywanymi wokselami, a dT,P, reprezentuje odległość 95. percentyla maksymalnego HD95 między przewidywanymi wokselami a prawdą obiektywną.
Swin-PSAxialNet został porównany z różnymi głównymi algorytmami segmentacji wieloorganowej w Tabeli 1. Wyniki wykazują poprawę wydajności segmentacji organów jamy brzusznej w proponowanym algorytmie. Dokładność Dice metody segmentacji przewyższa średnią wartość Dice innych metod o 2-3 punkty procentowe i przewyższa nawet nnFormer o 1 punkt procentowy. Swin-PSAxialNet wykazuje również wysoką dokładność w segmentacji granic, ze średnim współczynnikiem HD95 wynoszącym 5,63, co jest najniższym wynikiem spośród wszystkich porównanych algorytmów.
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td colspan="2" rowspan="2" style="min-width: 40px;">Metody</td>
			<td rowspan="2" style="min-width: 40px;">Lkn</td>
			<td rowspan="2" style="min-width: 40px;">Spl</td>
			<td rowspan="2" style="min-width: 40px;">Liv</td>
			<td rowspan="2" style="min-width: 40px;">Patelnia</td>
			<td rowspan="2" style="min-width: 40px;">Aro</td>
			<td rowspan="2" style="min-width: 40px;">Bla</td>
			<td rowspan="2" style="min-width: 40px;">Zatrzymaj</td>
			<td rowspan="2" style="min-width: 40px;">Gbd</td>
			<td rowspan="2" style="min-width: 40px;">Pozytywne</td>
			<td rowspan="2" style="min-width: 40px;">Eso</td>
			<td rowspan="2" style="min-width: 40px;">Rkn</td>
			<td colspan="2" style="min-width: 40px;">Śr.</td>
		</tr>
		<tr>
			<td style="min-width: 40px;">DSC (skrót od różnicowej kalorymetrii skaningowej)</td>
			<td style="min-width: 40px;">HD95</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nnU-Net</td>
			<td style="min-width: 40px;">96.3</td>
			<td style="min-width: 40px;">96.8</td>
			<td style="min-width: 40px;">97.21</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">95.22</td>
			<td style="min-width: 40px;">86.57</td>
			<td style="min-width: 40px;">91.47</td>
			<td style="min-width: 40px;">84.7</td>
			<td style="min-width: 40px;">91.79</td>
			<td style="min-width: 40px;">82.5</td>
			<td style="min-width: 40px;">95.44</td>
			<td style="min-width: 40px;">91.2</td>
			<td style="min-width: 40px;">7.13</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">Swin-Unet</td>
			<td style="min-width: 40px;">96.03</td>
			<td style="min-width: 40px;">96.68</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">85.74</td>
			<td style="min-width: 40px;">95.3</td>
			<td style="min-width: 40px;">87.82</td>
			<td style="min-width: 40px;">91.77</td>
			<td style="min-width: 40px;">84.64</td>
			<td style="min-width: 40px;">91.67</td>
			<td style="min-width: 40px;">83.26</td>
			<td style="min-width: 40px;">96.14</td>
			<td style="min-width: 40px;">91.48</td>
			<td style="min-width: 40px;">9.68</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">TransUNet</td>
			<td style="min-width: 40px;">96.42</td>
			<td style="min-width: 40px;">96.74</td>
			<td style="min-width: 40px;">97.05</td>
			<td style="min-width: 40px;">85.09</td>
			<td style="min-width: 40px;">94.86</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">91.81</td>
			<td style="min-width: 40px;">83.33</td>
			<td style="min-width: 40px;">91.52</td>
			<td style="min-width: 40px;">82.22</td>
			<td style="min-width: 40px;">96.12</td>
			<td style="min-width: 40px;">90.94</td>
			<td style="min-width: 40px;">13.77</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">UNETR</td>
			<td style="min-width: 40px;">95.94</td>
			<td style="min-width: 40px;">96.48</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">84.14</td>
			<td style="min-width: 40px;">94.62</td>
			<td style="min-width: 40px;">85.01</td>
			<td style="min-width: 40px;">90.18</td>
			<td style="min-width: 40px;">81.16</td>
			<td style="min-width: 40px;">90.79</td>
			<td style="min-width: 40px;">80.34</td>
			<td style="min-width: 40px;">95.15</td>
			<td style="min-width: 40px;">90.06</td>
			<td style="min-width: 40px;">12.92</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nnFormer</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">97.33</td>
			<td style="min-width: 40px;">86.79</td>
			<td style="min-width: 40px;">95.31</td>
			<td style="min-width: 40px;">89.74</td>
			<td style="min-width: 40px;">92.82</td>
			<td style="min-width: 40px;">84.88</td>
			<td style="min-width: 40px;">92.43</td>
			<td style="min-width: 40px;">84.24</td>
			<td style="min-width: 40px;">96.32</td>
			<td style="min-width: 40px;">92.15</td>
			<td style="min-width: 40px;">6.59</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">Swin-PSAxialNet</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">97.67</td>
			<td style="min-width: 40px;">97.64</td>
			<td style="min-width: 40px;">88.39</td>
			<td style="min-width: 40px;">95.97</td>
			<td style="min-width: 40px;">92.03</td>
			<td style="min-width: 40px;">94.4</td>
			<td style="min-width: 40px;">87.78</td>
			<td style="min-width: 40px;">93.15</td>
			<td style="min-width: 40px;">86.24</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">93.34</td>
			<td style="min-width: 40px;">5.63</td>
		</tr>
	</tbody>
</table>
Tabela 1: Porównanie głównych algorytmów segmentacji. Skróty oznaczają następujące organy: Lkn dla lewej nerki, Spl dla śledziony, Liv dla wątroby, Pan dla trzustki, Aro dla aorty, Bla dla pęcherza moczowego, Sto dla żołądka, Gbd dla pęcherzyka żółciowego, Pos dla żyły głównej dolnej, Eso dla przełyku, Rkn dla prawej nerki, a DSC dla średniego współczynnika Dice, HD95 dla średniej 95% odległości Hausdorffa.
Ponadto wprowadzenie mechanizmu współdzielenia parametrów oraz ulepszenia struktury transformera zapewniają istotne korzyści zarówno w zakresie złożoności modelu, jak i szybkości wnioskowania (Tabela 2, Rysunek 4 oraz Rysunek 5).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Modele</td>
			<td>Parametry (M)</td>
			<td>FLOPs (G)</td>
			<td>Czas wnioskowania (s)</td>
		</tr>
		<tr>
			<td>nn-Unet</td>
			<td>17.96</td>
			<td>398.54</td>
			<td>9.07</td>
		</tr>
		<tr>
			<td>UNETR</td>
			<td>89.58</td>
			<td>39.67</td>
			<td>12.51</td>
		</tr>
		<tr>
			<td>nnFormer</td>
			<td>134.78</td>
			<td>152.43</td>
			<td>11.24</td>
		</tr>
		<tr>
			<td>Swin-PSAxialNet</td>
			<td>37.64</td>
			<td>43.15</td>
			<td>10.31</td>
		</tr>
	</tbody>
</table>
Tabela 2: Tabela porównawcza wskaźników modelu sieciowego.
<img alt="Rysunek 4" class="xfigimg" src="/files/ftp_upload/66459/66459fig04.jpg" /> 
Rycina 4Krzywa zmienności współczynnika Dice podczas trenowania sieci modelu. (A) Obecna sieć. (B) nnFormer. (C) nnU-Net. (D) UNETR. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig04large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
<img alt="Rysunek 5" class="xfigimg" src="/files/ftp_upload/66459/66459fig05.jpg" /> 
Rycina 5Porównanie wyników trenowania modelu. Rysunek przedstawia wyniki bieżącej sieci, wyniki nnFormer, wyniki nnU-Net oraz wyniki UNETR. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig05large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
W niniejszym badaniu przeprowadzono kompleksowe eksperymenty ablacyjne sieci algorytmicznej, przyjmując blok PSAA oraz blok SPD jako zmienne i porównując trening jednokrotny z treningiem pięciokrotnym. Współczynniki Dice uzyskane w wynikach eksperymentalnych przedstawiono w Tabeli 3. Wyniki te wykazują, że zastosowanie bloku SPD do downsamplingu oraz bloku PSAA do upsamplingu skutecznie poprawia wydajność segmentacji w porównaniu z niemodyfikowaną siecią nnU-Net (Rysunek 6).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Modele</td>
			<td>Blok PSAA dla całej sieci</td>
			<td>Blok SPD dla całej sieci</td>
			<td>Blok PSAA wyłącznie do upsamplingu</td>
			<td>Blok PSAA do nadpróbkowania, zastosuj SPD</td>
		</tr>
		<tr>
			<td>Trening z pojedynczym podziałem</td>
			<td>92.17</td>
			<td>90.51</td>
			<td>92.24</td>
			<td>92.39</td>
		</tr>
		<tr>
			<td>Pięciokrotne trenowanie</td>
			<td>92.82</td>
			<td>91.26</td>
			<td>92.79</td>
			<td>93.34</td>
		</tr>
	</tbody>
</table>
Tabela 3: Wyniki eksperymentu ablacyjnego Swin-PSAxialNet. Przedstawiono wyniki eksperymentu ablacyjnego modelu Swin PSAxialNet. W eksperymentzie ablacyjnym porównano zastosowanie bloków PSAA oraz SPD, a wyniki treningu dla wskaźnika DSC przedstawiono w tabeli.
<img alt="Rysunek 6" class="xfigimg" src="/files/ftp_upload/66459/66459fig06.jpg" /> 
Rycina 6Wyniki segmentacji. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig06large.jpg" target="_blank">Prosimy o kliknięcie tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>

Niniejszy protokół opisuje wydajną metodę segmentacji wielonarządowej o nazwie Swin-PSAxialNet, która osiągnęła doskonałą dokładność w porównaniu z poprzednimi metodami segmentacji. Kluczowe kroki tej procedury obejmują zbieranie zestawów danych, konfigurację środowiska, wstępne przetwarzanie danych, trenowanie i porównywanie modeli oraz eksperymenty ablacyjne.

Swin-PSAxialNet: skuteczna technika segmentacji wielonarządowej

Abdominal multi-organ segmentation is one of the most important topics in the field of medical image analysis, and it plays an important role in ...

Nasze badania koncentrują się przede wszystkim na zastosowaniu sztucznej inteligencji w dziedzinach medycznych, w tym na segmentacji obrazów medycznych, multimodalności medycznej, dużych modelach językowych i biosensorach.Najnowsze osiągnięcia w naszej dziedzinie obejmują modele segmentacji oparte na zerowej próbie pro, takie jak SAM i modele sekwencyjne, takie jak członek Wish.Typowe problemy, z którymi borykają się obecne modele uczenia głębokiego, obejmują niewystarczającą ilość danych i niską jakość oraz konieczność ulepszenia uogólnienia, możliwości i niezawodności modeli.Nasz protokół wprowadza blok PSA i blok SPD jako moduły ekstrakcji informacji oferujące bardziej wszechstronne możliwości ekstrakcji informacji i niższy koszt obliczeniowy w porównaniu z innymi metodami.Przyszłe cele naszej biblioteki obejmują rozwój uniwersalnych dużych modeli medycznych, badania nad wielomodelowymi algorytmami głębokiego uczenia oraz projektowanie inteligentnych medycznych urządzeń ubieralnych.[Narrator] Aby rozpocząć, pobierz zestaw danych Amos-2022 i wyjaśnij, jakie obrazy mają być używane do analizy. Wybierz 160 obrazów z zestawu danych dla zestawu danych szkoleniowych i 40 obrazów dla zestawu danych testowych. Na terminalu wykonaj to polecenie, aby przenieść katalog zawierający nieprzetworzone dane. Następnie utwórz plik dataset.json w katalogu danych pierwotnych i wprowadź informacje o zestawie danych, takie jak liczba obrazów treningowych i testowych oraz nazwa etykiety. Aby skonfigurować środowisko, zainstaluj środowisko PaddlePaddle i odpowiednią wersję Kunlun. Sklonuj repozytorium PaddleSeg z GitHub. W terminalu wykonaj to polecenie, aby przejść do katalogu MedicalSeg. Aby zainstalować wymagania projektu, użyj tego polecenia. Następnie zmodyfikuj plik konfiguracyjny yml, aby zawierał parametry, takie jak data_root, batch_size, model, train_dataset, val_dataset, optymalizator, LR_scheduler i strata. Określ wymagane parametry do wykonania za pomocą tego polecenia. Skonfiguruj proces trenowania sieci NNU z rozmiarem partii wynoszącym dwie i 80 000 iteracji. Rejestruj co 20 iteracji i wykorzystuj precyzję FP 16. Ustaw interwał zapisywania co 1000 iteracji. Następnie uruchom Train.py. Dodaj parametr use_VDL do wizualnej wizualizacji parametrów DL. Utwórz cztery pliki yml, określ fałdy od jednego do czterech i wytrenuj model za pomocą pięciokrotnej krzyżowej walidacji. Następnie włącz blok PSAA do całej sieci, zachowując to samo, co krok trenowania. Ustaw kształt woluminu i włącz uwagę osiową na wartość true. Uruchom polecenie pojedyncze składanie train.py. Oceń pojedyncze krotność i skonfiguruj parametry. Przetwarzanie zespołu procesowego w pięciu składaniach. Swin-PSAxialNet charakteryzuje się lepszą wydajnością segmentacji narządów jamy brzusznej w porównaniu z popularnymi algorytmami segmentacji wielonarządowej. Co więcej, projekt Swin-PSAxialNet osiągnął doskonałe wyniki w segmentacji granic, osiągając najniższy średni współczynnik HD 95 spośród wszystkich porównywanych algorytmów. Wprowadzenie mechanizmu współdzielenia parametrów i ulepszeń struktury transformatora przyczyniło się do znacznej poprawy złożoności modelu i szybkości wnioskowania w porównaniu z innymi metodami. Kompleksowe eksperymenty ablacyjne wykazały wyższą wydajność segmentacji w porównaniu ze standardową siatką NNU, podkreślając korzyści płynące z bloku PSAA do pobierania próbek.

swin-psaxialnet-an-efficient-multi-organ-segmentation-technique

Research

JoVE Journal

Engineering

Inżynieria

Segmentacja trójwymiarowych danych z wielu technik obrazowania jest głównym wąskim gardłem w analizie złożonych systemów biologicznych. W tym miejscu opisujemy zastosowanie SuRVoS Workbench do półautomatycznej segmentacji danych wolumetrycznych w różnych skalach długości przy użyciu przykładowych zestawów danych z techniki krioelektronowej tomografii, kriogenicznej miękkiej tomografii rentgenowskiej i tomografii rentgenowskiej z kontrastem fazowym.

Segmentacja objętościowa i analiza materiałów biologicznych za pomocą środowiska pracy SuRVoS (Super-region Volume Segmentation)

Opisany potok jest przeznaczony do segmentacji zestawów danych mikroskopii elektronowej większych niż gigabajty, w celu wyodrębnienia morfologii całych komórek. Po zrekonstruowaniu komórek w 3D, dostosowane do indywidualnych potrzeb oprogramowanie może być wykorzystane do przeprowadzenia analizy jakościowej i ilościowej bezpośrednio w 3D, wykorzystując również rzeczywistość wirtualną do pokonania okluzji widoku.

Metoda rekonstrukcji 3D i analizy w wirtualnej rzeczywistości komórek glejowych i neuronalnych

Wprowadzono protokół segmentacji obiektów dla obrazów z orbitalnej tomografii komputerowej (CT). Metody oznaczania podstawowej prawdy struktur orbitalnych za pomocą superrozdzielczości, wyodrębniania objętości zainteresowania z obrazów CT i modelowania segmentacji wieloznacznikowej przy użyciu sekwencyjnej sieci U-Net 2D dla orbitalnych obrazów CT są wyjaśnione dla uczenia nadzorowanego.

Zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej

Pomimo kluczowej roli splotu naczyniówkowego w mózgu, badania neuroobrazowe tej struktury są rzadkie z powodu braku niezawodnych narzędzi do automatycznej segmentacji. Obecny protokół ma na celu zapewnienie złotego standardu ręcznej segmentacji splotu naczyniówkowego, która może stanowić podstawę przyszłych badań neuroobrazowych.

Ręczna segmentacja ludzkiego splotu naczyniówkowego za pomocą rezonansu magnetycznego mózgu

Opracowanie zautomatyzowanego procesu wykrywania przestrzeni stawów umożliwiło segmentację o wysokiej przepustowości różnych kości tylnej łapy myszy z dokładnością &gt;98% u zwierząt typu dzikiego. Osiągnięto elastyczne zastosowanie na przednich łapach i łapach z zapalno-erozyjnym zapaleniem stawów, ale z osłabioną wydajnością, co wymaga dalszej optymalizacji w przyszłych badaniach na podstawie publicznie dostępnych danych.

Automatyczne wykrywanie przestrzeni stawowej poprawia dokładność segmentacji kości

Przedstawiono metodę pokonywania limitu dyfrakcji optycznej. Metoda obejmuje dwuetapowy proces: optyczne odzyskiwanie fazy za pomocą iteracyjnego algorytmu Gerchberga-Saxtona oraz przesunięcie systemu obrazowania, po którym następuje powtórzenie pierwszego kroku. Syntetycznie zwiększona apertura obiektywu jest generowana wzdłuż kierunku ruchu, co zapewnia wyższą rozdzielczość obrazowania.

Multipleksowanie czasowe Technika super rozdzielczości do obrazowania z ruchomej platformy

Wpływ kropli płynów nienewtonowskich jest złożonym procesem, ponieważ różne parametry fizyczne wpływają na dynamikę w bardzo krótkim czasie (mniej niż jedna dziesiąta milisekundy). Wprowadzono technikę szybkiego obrazowania w celu scharakteryzowania zachowań zderzeniowych różnych płynów nienewtonowskich.

Technika szybkiego obrazowania do badania dynamiki uderzeń kropli płynów nienewtonowskich

Opisujemy syntezę i właściwości wielofunkcyjnych nanocząstek Fe2O3-Au wytwarzanych metodą mokrej chemii i badamy ich właściwości fototermiczne za pomocą promieniowania laserowego. Kompozytowe nanocząstkiFe2O3-Au zachowują właściwości obu materiałów, tworząc wielofunkcyjną strukturę o doskonałych właściwościach magnetycznych i plazmonicznych.

Wielofunkcyjne hybrydowe nanocząstki Fe2O3-Au do wydajnego ogrzewania plazmonicznego

Tutaj prezentujemy protokół do dostosowania właściwości przetworzonego w roztworze CH3NH3PbI3 poprzez włączenie monowalentnych dodatków kationowych w celu uzyskania wysoce wydajnych perowskitowych ogniw słonecznych.

Domieszkowanie kationami monowalentnymiCH3, NH,3PbI3 dla wydajnych perowskitowych ogniw słonecznych

Przedstawiono protokół dla projektowania wiązki o stałej i stałej wiązce za pomocą laserowego wibrometru dopplerowskiego (LDV), w tym pomiar strojenia częstotliwości, modyfikację możliwości strojenia oraz unikanie awarii i problemów urządzenia. Wyższość metody LDV nad analizatorem sieci wynika z jej wyższej zdolności modalnej.

Metodologia projektowania i charakteryzacji wydajnych filtrów MEMS o szerokim zakresie

Poznaj metodę Swin-PSAxialNet do segmentacji wielonarządowej z wykorzystaniem głębokiego uczenia. Technika ta oferuje wyższą dokładność niż dotychczasowe rozwiązania w analizie obrazów medycznych.

Swin-PSAxialNet: skuteczna technika segmentacji wielonarządowej

Przeglądaj więcej filmów