Name: Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה (וידאו) | JoVE Journal
Uploaded: 2024-07-05T12:30:00.000+00:00
Duration: 4 min 48 s
Description: למד את שיטת Swin-PSAxialNet לפילוח רב-איברים בדיוק גבוה באמצעות למידה עמוקה. שיטה זו משפרת ניתוח תמונות רפואיות ומציעה יישומים קליניים עתידיים.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

הפרוטוקול הנוכחי אושר על ידי ועדת האתיקה של אוניברסיטת ננטונג. זה כרוך בהערכה ומחקר חכמים של נתונים מולטי-מודאליים לא פולשניים או זעיר פולשניים שנרכשו, כולל תמונות רפואיות אנושיות, תנועות גפיים והדמיית כלי דם, תוך שימוש בטכנולוגיית בינה מלאכותית. איור 3 מתאר את תרשים הזרימה הכולל של פילוח מרובה איברים. כל קישורי האינטרנט הדרושים מסופקים בטבלת החומרים.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66459/66459fig03.jpg"> 
איור 3: תרשים זרימה כולל של פילוח רב-איברים. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig03large.jpg" target="_blank">אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.</a>
1. איסוף מערכי נתונים
<ol>
	<li>הורד את מערך הנתונים של AMOS202224 (ראה טבלת חומרים).</li>
	<li>בחר 160 תמונות כמערך נתוני האימון ו-40 תמונות כמערך נתוני הבדיקה.</li>
	<li>בצע באופן סופי mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data.</li>
	<li>פתח את הנתיב של raw_data.</li>
	<li>מקם את מערך הנתונים בספריית raw_data , וודא התאמה נכונה עם שמות הקבצים בספריות "imagesTr" ו-"labelsTr".</li>
	<li>צור קובץ dataset.json .</li>
	<li>הוסף מידע על ערכת נתונים כגון numTraining, numTest ושם תוויות לקובץ "dataset.json". הערה: מערך הנתונים למחקר זה מורכב מ-200 מערכי נתונים איכותיים של CT שנבחרו ממערך הנתונים הרשמי של AMOS2022 500 CT למטרות אימון ובדיקה. מערך הנתונים מקיף 11 איברים, כולל הטחול, הכליה הימנית, הכליה השמאלית, כיס המרה, הוושט, הכבד, הקיבה, אבי העורקים, הווריד הנבוב התחתון, הלבלב ושלפוחית השתן.</li>
</ol>
2. תצורת סביבה
<ol>
	<li>התקן את סביבת ההנעה (ראה טבלת חומרים) ואת ה-CUDA המתאים גרסה25. הערה: מומלץ להשתמש ב-Paddlepaddle גרסה 2.5.0 וב-CUDA גרסה 11.7.</li>
	<li>Git שיבוט את מאגר PaddleSeg25.</li>
	<li>בצע באופן סופי את cd ~/PaddleSeg/contrib/MedicalSeg/.</li>
	<li>בצע התקנת pip -r requirements.txt.</li>
	<li>בצע את pip install medpy.</li>
</ol>
3. עיבוד מקדים של נתונים
<ol>
	<li>שנה את קובץ "yml", כולל פרמטרים כגון data_root, batch_size, דגם, train_dataset, val_dataset, אופטימיזציה, lr_scheduler ואובדן.</li>
	<li>ציין את הפרמטרים הנדרשים לביצוע, כולל "-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval וכו'. הערה: ה-"raw_data" המקורי הופך לשלושה סוגים של קבצי נתונים: "חתוך", "דקטלון" ו"מעובד מראש", הנותן מענה לדרישות הדרכה והערכה שונות כדי לשפר את ביצועי המודל ויעילות האימון.</li>
</ol>
4. הדרכה והשוואה של מודלים
הערה: כבסיס בשימוש נרחב בתחום פילוח התמונות, nnU-Net23 משמש כמודל בסיס במחקר. תהליך השוואת הדגמים הספציפי הוא כדלקמן.
<ol>
	<li>רכבת nnU-Net<ol>
		<li>הגדר עם גודל אצווה של 2 ו-80,000 איטרציות, רשום כל 20 איטרציות והשתמש בדיוק fp16.</li>
		<li>הגדר את save_dir כתיקיית "פלט" בתוך ספריית העבודה, עם מרווח שמירה מוגדר ל-1,000 איטרציות.</li>
		<li>הוסף פרמטר --use_vdl עבור תצוגה חזותית של פרמטר VisualDL.</li>
		<li>הפעל train.py.</li>
		<li>צור ארבעה קבצי yml , ציין קיפולים 1-4 ואמן את המודל עם אימות צולב פי חמישה.</li>
	</ol>
	</li>
	<li>רכבת Swin-UNet<ol>
		<li>שמור על עקביות עם תנאי הניסוי שנקבעו בעבר.</li>
		<li>הסר את הפרמטר --nnunet והשתמש ב --swinunet.</li>
		<li>הפעל את קובץ train.py.</li>
		<li>הרכבת מתקפלת 1-4 בנפרד ולאחר מכן עוברת עיבוד אנסמבל.</li>
	</ol>
	</li>
	<li>רכבת TransUNet<ol>
		<li>בצע את ההליכים המתוארים בשלב 4.1.</li>
		<li>פתח קובץ yml .</li>
		<li>שינוי סוג: nnunet להקלדה: transunet.</li>
		<li>שנה את הפרמטר --nnunet ל --transunet.</li>
		<li>הפעל את קובץ train.py.</li>
		<li>אימון מתקפל 1-4 בנפרד ועיבוד אנסמבל.</li>
	</ol>
	</li>
	<li>רכבת UNETR<ol>
		<li>שמור על משתני ניסוי עקביים.</li>
		<li>חזור על ההליכים שתוארו קודם לכן כמו Swin-UNet ו- TransUNet (שלב 4.2 ושלב 4.3).</li>
		<li>רוץ train.py.</li>
		<li>אימון מתקפל 1-4 בנפרד ועיבוד אנסמבל.</li>
	</ol>
	</li>
	<li>Train nnFormer<ol>
		<li>שנה את הפרמטרים כמו Swin-UNet ו- TransUNet.</li>
		<li>הפעל קיפול יחיד train.py.</li>
		<li>הפעל עיבוד אנסמבל.</li>
	</ol>
	</li>
</ol>
5. ניסוי אבלציה
<ol>
	<li>בלוק PSAA עבור הרשת כולה<ol>
		<li>שמור על עקביות המשתנים עם שלב 4.1.</li>
		<li>הגדר volume_shape = (64,192,192) ו- Axial_attention = True.</li>
		<li>הפעל קיפול יחיד train.py.</li>
		<li>עיבוד אנסמבל תהליכים על פני חמישה קיפולים.</li>
	</ol>
	</li>
	<li>בלוק SPD לכל הרשת<ol>
		<li>שמור על עקביות המשתנים עם שלב 4.1.</li>
		<li>הגדר SPD_enable = True ו- Axial_attention = False.</li>
		<li>הפעל קיפול יחיד train.py.</li>
		<li>עיבוד אנסמבל תהליכים על פני חמישה קיפולים.</li>
	</ol>
	</li>
	<li>בלוק PSAA לדגימה נוספת הערה: אל תשתמש בבלוק SPD להפחתת דגימה.<ol>
		<li>השתמש בבלוק PSAA לדגימה נוספת.</li>
		<li>שמור על עקביות המשתנים עם שלב 4.1.</li>
		<li>הגדר Axial_attention = False בחלק של הפחתת הדגימה ו- SPD_enable = False.</li>
		<li>הפעל קיפול יחיד train.py.</li>
		<li>עיבוד אנסמבל חמישה קיפולים.</li>
	</ol>
	</li>
	<li>בלוק PSAA לדגימה נוספת הערה: השתמש בבלוק SPD להפחתת דגימה.<ol>
		<li>השתמש בבלוק SPD להפחתת דגימה ובבלוק PSAA לדגימה.</li>
		<li>שמור על עקביות המשתנים עם שלב 4.1.</li>
		<li>הגדר Axial_attention = False בחלק של הפחתת הדגימה ו- SPD_enable = True.</li>
		<li>הפעל קיפול יחיד train.py.</li>
		<li>עיבוד אנסמבל חמישה קיפולים.</li>
		<li>הגדר את מספר החזרות ל- 2,00,000 עקב התוצאות המעולות.</li>
	</ol>
	</li>
</ol>

<meta charset="utf8"></head><body>Swin-PSAxialNet: גישה יעילה לפילוח איברים מרובים

<ol><li>Liu, X., Song, L., Liu, S., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+review+of+deep-learning-based+medical+image+segmentation+methods%5BTitle%5D)+AND+%22Sustain%22%5BJournal%5D)">A review of deep-learning-based medical image segmentation methods.</a> Sustain. 13 (3), 1224(2021).</li>
<li>Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+artifact+recognition+for+the+nuclear+technologist%5BTitle%5D)+AND+%22J+Nucl+Med+Technol%22%5BJournal%5D)">CT artifact recognition for the nuclear technologist.</a> J Nucl Med Technol. 36 (2), 79-81 (2008).</li>
<li>Rehman, A., Khan, F. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+based+review+on+abdominal+images%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">A deep learning based review on abdominal images.</a> Multimed Tools Appl. 80, 30321-30352 (2021).</li>
<li>Schenck, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+magnetic+susceptibility+in+magnetic+resonance+imaging%3A+Mri+magnetic+compatibility+of+the+first+and+second+kinds%5BTitle%5D)+AND+%22Med+Phys%22%5BJournal%5D)">The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds.</a> Med Phys. 23 (6), 815-850 (1996).</li>
<li>Palmisano, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Myocardial+late+contrast+enhancement+ct+in+troponin-positive+acute+chest+pain+syndrome%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome.</a> Radiol. 302 (3), 545-553 (2022).</li>
<li>Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automatic+diagnostic+system+for+CT+liver+image+classification%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">An automatic diagnostic system for CT liver image classification.</a> IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).</li>
<li>Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computed+tomography+of+the+kidney%5BTitle%5D)+AND+%22Radiol%22%5BJournal%5D)">Computed tomography of the kidney.</a> Radiol. 124 (2), 359-370 (1977).</li>
<li>Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CT+of+congenital+and+acquired+abnormalities+of+the+spleen%5BTitle%5D)+AND+%22Radiographics%22%5BJournal%5D)">CT of congenital and acquired abnormalities of the spleen.</a> Radiographics. 13 (3), 597-610 (1993).</li>
<li>Almeida, R. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+pancreatic+CT+imaging%5BTitle%5D)+AND+%22AJR+Am+J+Roentgenol%22%5BJournal%5D)">Advances in pancreatic CT imaging.</a> AJR Am J Roentgenol. 211 (1), 52-66 (2018).</li>
<li>Eisen, G. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Guidelines+for+credentialing+and+granting+privileges+for+endoscopic+ultrasound%5BTitle%5D)+AND+%22Gastrointest+Endosc%22%5BJournal%5D)">Guidelines for credentialing and granting privileges for endoscopic ultrasound.</a> Gastrointest Endosc. 54 (6), 811-814 (2001).</li>
<li>Sykes, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reflections+on+the+current+status+of+commercial+automated+segmentation+systems+in+clinical+practice%5BTitle%5D)+AND+%22J+Med+Radiat+Sci%22%5BJournal%5D)">Reflections on the current status of commercial automated segmentation systems in clinical practice.</a> J Med Radiat Sci. 61 (3), 131-134 (2014).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+residual+learning+for+image+recognition%5BTitle%5D)+AND+%222016+IEEE+Conference+on+Computer+Vision+and+Pattern+Recognition+%28CVPR%29%22%5BJournal%5D)">Deep residual learning for image recognition.</a> 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).</li>
<li>Dosovitskiy, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+image+is+worth+16x16+words%3A+Transformers+for+image+recognition+at+scale.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">An image is worth 16x16 words: Transformers for image recognition at scale. arXiv.</a> arXiv. , 11929(2020).</li>
<li>Ramachandran, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stand-alone+self-attention+in+vision+models%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Stand-alone self-attention in vision models.</a> Adv Neural Inf Process Syst. 32, NIPS2019 (2019).</li>
<li>Vaswani, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+is+all+you+need%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">Attention is all you need.</a> Adv Neural Inf Process Syst. 30, NIPS2019 (2017).</li>
<li>Chen, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((TransUNET%3A+Transformers+make+strong+encoders+for+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">TransUNET: Transformers make strong encoders for medical image segmentation.</a> arXiv. , arXiv:2102 04396(2021).</li>
<li>Liu, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin+transformer%3A+Hierarchical+vision+transformer+using+shifted+windows%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">Swin transformer: Hierarchical vision transformer using shifted windows.</a> Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).</li>
<li>Cao, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Swin-UNET%3A+Unet-like+pure+transformer+for+medical+image+segmentation%5BTitle%5D)+AND+%22Comput+Vis+ECCV%22%5BJournal%5D)">Swin-UNET: Unet-like pure transformer for medical image segmentation.</a> Comput Vis ECCV. , 205-218 (2022).</li>
<li>Zhou, H. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnformer%3A+Interleaved+transformer+for+volumetric+segmentation.+arXiv%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnformer: Interleaved transformer for volumetric segmentation. arXiv.</a> arXiv. , arXiv:2109 03201(2021).</li>
<li>Sunkara, R., Luo, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((No+more+strided+convolutions+or+pooling%3A+A+new+CNN+building+block+for+low-resolution+images+and+small+objects%5BTitle%5D)+AND+%22Mach+Learn+Knowl+Discov+Databases%22%5BJournal%5D)">No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects.</a> Mach Learn Knowl Discov Databases. , 443-459 (2023).</li>
<li>Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+U-Net%3A+learning+dense+volumetric+segmentation+from+sparse+annotation%5BTitle%5D)+AND+%22Med+Comput+Vis+Bayesian+Graph+Models+Biomed+Imaging%22%5BJournal%5D)">3D U-Net: learning dense volumetric segmentation from sparse annotation.</a> Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).</li>
<li>Kim, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdominal+multi-organ+auto-segmentation+using+3D-patch-based+deep+convolutional+neural+network%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network.</a> Scientific reports. 10 (1), 6204(2020).</li>
<li>Isensee, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((nnu-net%3A+Self-adapting+framework+for+u-net-based+medical+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">nnu-net: Self-adapting framework for u-net-based medical image segmentation.</a> arXiv. , arXiv:1809 10486(2018).</li>
<li>Ji, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+large-scale+abdominal+multi-organ+benchmark+for+versatile+medical+image+segmentation%5BTitle%5D)+AND+%22Adv+Neural+Inf+Process+Syst%22%5BJournal%5D)">A large-scale abdominal multi-organ benchmark for versatile medical image segmentation.</a> Adv Neural Inf Process Syst. 35, 36722-36732 (2022).</li>
<li>Liu, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Paddleseg%3A+A+high-efficient+development+toolkit+for+image+segmentation%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">Paddleseg: A high-efficient development toolkit for image segmentation.</a> arXiv. , arXiv:2101 06175(2021).</li>
<li>Hatamizadeh, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UNETR%3A+Transformers+for+3D+medical+image+segmentation%5BTitle%5D)+AND+%22Proc+IEEE+Int+Conf+Comput+Vis%22%5BJournal%5D)">UNETR: Transformers for 3D medical image segmentation.</a> Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).</li>
<li>Zhou, H., Zeng, D., Bian, Z., Ma, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+semi-supervised+network-based+tissue-aware+contrast+enhancement+method+for+ct+images%5BTitle%5D)+AND+%22Nan+Fang+Yi+Ke+Da+Xue+Xue+Bao%22%5BJournal%5D)">A semi-supervised network-based tissue-aware contrast enhancement method for ct images.</a> Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).</li>
<li>Ma, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Abdomenct-1k%3A+Is+abdominal+organ+segmentation+a+solved+problem%5BTitle%5D)+AND+%22IEEE+Trans+Pattern+Anal+Mach+Intell%22%5BJournal%5D)">Abdomenct-1k: Is abdominal organ segmentation a solved problem.</a> IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).</li>
<li>Galván, E., Mooney, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuroevolution+in+deep+neural+networks%3A+Current+trends+and+future+challenges%5BTitle%5D)+AND+%22IEEE+Trans+Artif+Intell%22%5BJournal%5D)">Neuroevolution in deep neural networks: Current trends and future challenges.</a> IEEE Trans Artif Intell. 2 (6), 476-493 (2021).</li>
</ol>

התערבות קלינית עכשווית, כולל אבחון מחלות, גיבוש תוכניות טיפול ומעקב אחר תוצאות הטיפול, מסתמכת על פילוח מדויק של תמונות רפואיות1. עם זאת, היחסים המבניים המורכבים בין איברי הבטן2הופכים את זה למשימה מאתגרת להשיג פילוח מדויק של איברי בטןמרובים 3. במהלך העשורים האחרונים, ההתפתחויות המשגשגות בהדמיה רפואית וראייה ממוחשבת הציגו הזדמנויות ואתגרים חדשים בתחום הסגמנטציה של איברים מרובי איברים בבטן. הדמיית תהודה מגנטית מתקדמת (MRI)4 וטכנולוגיית טומוגרפיה ממוחשבת (CT)5 מאפשרות לנו לרכוש תמונות בטן ברזולוציה גבוהה. לפילוח המדויק של איברים מרובים מתמונות CT יש ערך קליני משמעותי להערכה וטיפול באיברים חיוניים כגון הכבד, הכליות, הטחול, הלבלב וכו'.6,7,8,9,10 עם זאת, ביאור ידני של מבנים אנטומיים אלה, במיוחד אלה הדורשים התערבות של רדיולוגים או אונקולוגים קרינתיים, הוא גם גוזל זמן וגם רגיש להשפעות סובייקטיביות 11. לכן, יש צורך דחוף בפיתוח שיטות אוטומטיות ומדויקות לפילוח רב איברים בבטן.
מחקר קודם על פילוח תמונות הסתמך בעיקר על רשתות עצביות קונבולוציוניות (CNNs), המשפרות את יעילות הפילוח על ידי ערימת שכבות והצגת ResNet12. בשנת 2020, צוות המחקר של גוגל הציג את דגם Vision Transformer (VIT)13, וסימן מופע חלוצי של שילוב ארכיטקטורת שנאי בתחום הוויזואלי המסורתי עבור מגוון משימות חזותיות14. בעוד שפעולות קונבולוציוניות יכולות להרהר רק במידע על תכונות מקומיות, מנגנון הקשב ב-Transformers מאפשר התייחסות מקיפה למידע על תכונות גלובליות.
בהתחשב בעליונותן של ארכיטקטורות מבוססות רובוטריקים על פני רשתות קונבולוציוניות מסורתיות15, צוותי מחקר רבים ביצעו מחקר מקיף באופטימיזציה של הסינרגיה בין נקודות החוזק של רובוטריקים ורשתות קונבולוציוניות 16,17,18,19. צ'ן ועמיתיו הציגו את TransUNet למשימות פילוח תמונות רפואיות16, הממנף רובוטריקים כדי לחלץ תכונות גלובליות מתמונות. בשל העלות הגבוהה של אימון הרשת והכישלון לנצל את הרעיון של היררכיית חילוץ תכונות, היתרונות של Transformer לא מומשו במלואם.
כדי לטפל בבעיות אלה, חוקרים רבים החלו להתנסות בשילוב רובוטריקים כעמוד השדרה של רשתות פילוח הדרכה. ליו ואחרים הציגו את שנאי סווין, שהשתמש בשיטת בנייה היררכית לחילוץ תכונות שכבות. הרעיון של תשומת לב עצמית מרובת ראשים של Windows (W-MSA) הוצע, והפחית משמעותית את עלות החישוב, במיוחד בנוכחות מפות תכונות גדולות יותר ברמה רדודה. בעוד שגישה זו הפחיתה את הדרישות החישוביות, היא גם בודדה העברת מידע בין חלונות שונים. כדי לטפל בבעיה זו, המחברים הציגו עוד את הרעיון של תשומת לב עצמית מרובת ראשים של חלונות מוסטים (SW-MSA), המאפשר הפצת מידע בין חלונות סמוכים. בהתבסס על מתודולוגיה זו, Cao et al. ניסחו את Swin-UNet18, החליפו את הפיתולים הדו-ממדיים ב-U-Net במודולי Swin ושילבו W-MSA ו-SW-MSA בתהליכי הקידוד והפענוח, והשיגו תוצאות פילוח ראויות לשבח.
לעומת זאת, ג'ואו ואחרים הדגישו כי לא ניתן להתעלם מהיתרון של פעולת המרה בעת עיבוד תמונות ברזולוציה גבוהה19. nnFormer המוצע שלהם משתמש בשיטת חישוב תשומת לב עצמית המבוססת על בלוקים מקומיים של תמונה תלת מימדית, המהווים מודל שנאי המאופיין במבנה בצורת צלב. ניצול הקשב המבוסס על בלוקים תלת מימדיים מקומיים הפחית משמעותית את עומס האימון ברשת.
בהתחשב בבעיות במחקר הנ"ל, מוצע מבנה היררכי היברידי יעיל לפילוח תמונות רפואיות תלת מימדיות, המכונה Swin-PSAxialNet. שיטה זו משלבת בלוק דגימה, בלוק מרחב לעומק (SPD)20 , המסוגל לחלץ מידע גלובלי21. בנוסף, הוא מוסיף מודול קשב צירי משותף (PSAA), המפחית את ספירת פרמטרי הלמידה מריבועי לליניארי וישפיע לטובה על הדיוק של אימון הרשת ועל המורכבות של מודלים של אימון22.
רשת Swin-PSAxialNet הארכיטקטורה הכוללת של הרשת מאמצת את המבנה בצורת U של nnU-Net23, המורכב ממבני מקודד ומפענח. מבנים אלה עוסקים בחילוץ תכונות מקומיות ובשרשור של תכונות מתמונות בקנה מידה גדול וקטן, כפי שמודגם באיור 1.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66459/66459fig01.jpg"> 
איור 1: דיאגרמה סכמטית של Swin-PSAxialNet של ארכיטקטורת רשת. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig01large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
במבנה המקודד, בלוק הקונב המסורתי משולב עם בלוק SPD20 ליצירת נפח דגימה. השכבה הראשונה של המקודד משלבת Patch Embedding, מודול המחלק את נתוני התלת מימד לתיקונים תלת מימדיים <img alt="Equation 1" src="/files/ftp_upload/66459/66459eq01.jpg" style="margin: auto;">, (P1, P2, P3) מייצג טלאים לא חופפים בהקשר זה, <img alt="Equation 2" src="/files/ftp_upload/66459/66459eq02.jpg" style="margin: auto;"> מסמן את אורך הרצף של טלאים תלת מימדיים. לאחר שכבת ההטמעה, השלב הבא כולל יחידת דגימה קונבולוציונית לא חופפת הכוללת גם בלוק קונבולוציוני וגם בלוק SPD. במערך זה, לבלוק הקונבולוציוני יש צעד מוגדר ל-1, ובלוק ה-SPD משמש לשינוי קנה מידה של תמונה, מה שמוביל להפחתה של פי ארבעה ברזולוציה ולעלייה כפולה בערוצים.
במבנה המפענח, כל בלוק דגימה לאחר שכבת תכונת צוואר הבקבוק מורכב משילוב של בלוק דגימה ובלוק PSAA. הרזולוציה של מפת התכונות גדלה פי שניים, וספירת הערוצים מצטמצמת בחצי בין כל זוג שלבי מפענח. כדי לשחזר מידע מרחבי ולשפר את ייצוג התכונות, מיזוג תכונות בין תמונות בקנה מידה גדול וקטן מתבצע בין גושי הדגימה. בסופו של דבר, תוצאות ההגדלה מוזנות לשכבת הראש כדי לשחזר את גודל התמונה המקורי, עם גודל פלט של (H × W × D × C, C = 3).
ארכיטקטורת בלוקים SPD בשיטות מסורתיות, קטע הפחתת הדגימה משתמש בצעד בודד עם גודל צעד של 2. זה כרוך באיגום קונבולוציוני במיקומים מקומיים בתמונה, הגבלת שדה הקליטה והגבלת המודל לחילוץ תכונות מטלאי תמונה קטנים. שיטה זו משתמשת בבלוק SPD, המחלק דק את התמונה המקורית לתלת מימד. התמונה התלת-ממדית המקורית מחולקת באופן שווה לאורך צירי x, y ו-z, והתוצאה היא ארבעה גופים תת-נפחיים. (איור 2) לאחר מכן, ארבעת הכרכים משורשרים באמצעות פעולת "חתול", והתמונה המתקבלת עוברת פיתול של 1 × 1 × 1 כדי לקבל את התמונה שנדגמה למטה20.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66459/66459fig02.jpg"> 
איור 2: דיאגרמת בלוקים SPD. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig02large.jpg" target="_blank">אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.</a>
ארכיטקטורת בלוק PSAA בניגוד לרשתות CNN מסורתיות, בלוק ה-PSAA המוצע יעיל יותר בניהול מיקוד מידע גלובלי ויעיל יותר בלמידה והדרכה ברשת. זה מאפשר ללכוד תמונות עשירות יותר ותכונות מרחביות. בלוק ה-PSAA כולל למידת קשב צירית המבוססת על פרמטרים החולקים בשלושה ממדים: גובה, רוחב ועומק. בהשוואה למנגנון הקשב המקובל המבצע למידת קשב עבור כל פיקסל בתמונה, שיטה זו מבצעת באופן עצמאי למידת קשב עבור כל אחד משלושת הממדים, ומפחיתה את מורכבות הקשב העצמי מריבועית לליניארית. יתר על כן, נעשה שימוש במנגנון שיתוף פרמטרים של שאילתות מפתחות הניתן ללמידה, המאפשר לרשת לבצע פעולות מנגנון קשב במקביל על פני שלושת הממדים, וכתוצאה מכך ייצוג תכונות מהיר, מעולה ויעיל יותר.

<table><tbody><tr><td>מערך נתונים AMOS2022</td><td>ללא</td><td>ללא</td><td>מערכי נתונים להדרכה ובדיקות רשת. הקישור הוא: https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb</td></tr><tr><td>מחשב מרכזי של ASUS</td><td>אסוס</td><td></td><td>https://www.asusparts.eu/en/asus-13020-01910200</td></tr><tr><td>CUDA גרסה 11.7</td><td>NVIDIA</td><td></td><td>https://developer.nvidia.com/cuda-11-7-0-download-archive</td></tr><tr><td>NVIDIA GeForce RTX 3090</td><td>NVIDIA</td><td></td><td>https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/</td></tr><tr><td>סביבת משוטים&nbsp;</td><td>באידו</td><td>ללא</td><td>הכנה סביבתית להכשרת רשתות. הקישור הוא: https://www.paddlepaddle.org.cn/</td></tr><tr><td>PaddleSeg</td><td>באידו</td><td>ללא</td><td>קו הבסיס בו אנו משתמשים: https://github.com/PaddlePaddle/PaddleSeg</td></tr></tbody></table>

swin-psaxialnet: טכניקת פילוח רב-איברים יעילה

Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique

פרוטוקול זה משתמש בשני מדדים כדי להעריך את המודל: ציון דמיון בקוביות (DSC) ומרחק האוסדורף 95% (HD95). DSC מודד את החפיפה בין תחזיות פילוח ווקסל לאמת הקרקע, בעוד ש-95% HD מעריך את החפיפה בין גבולות חיזוי סגמנטציה של ווקסל לבין האמת הקרקעית, ומסנן 5% מהחריגים. ההגדרה של DSC26 היא כדלקמן:
<img alt="Equation 3" src="/files/ftp_upload/66459/66459eq03.jpg" style="margin: auto;">(1)
כאשר T ו-P מייצגים את ערכי האמת הבסיסיים ואת הערכים החזויים עבור כל הווקסלים, בהתאמה. ההגדרה של 95% HD26 היא כדלקמן:
<img alt="Equation 4" src="/files/ftp_upload/66459/66459eq04.jpg" style="margin: auto;">(2)
כאשר d T,P, הוא מרחק האחוזון ה-95 של ה-HD 95 המקסימלי בין האמת הקרקעית לווקסלים החזוי, ו-d T,P, מייצג את מרחק האחוזון ה-95 של ה-HD95 המקסימלי בין הווקסלים החזויים לאמת הקרקע.
Swin-PSAxialNet מושווה לאלגוריתמים שונים של פילוח רב-איברים מיינסטרים בטבלה 1. התוצאות מדגימות ביצועי פילוח משופרים עבור איברי הבטן באלגוריתם המוצע. דיוק הקוביות של שיטת הפילוח עולה על ערך הקוביות הממוצע של שיטות אחרות ב-2-3 נקודות אחוז ואף עולה על nnFormer בנקודת אחוז אחת. Swin-PSAxialNet מציגה גם דיוק גבוה בפילוח גבולות, עם מקדם HD95 ממוצע של 5.63, הנמוך ביותר מבין כל האלגוריתמים המושווים.
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td colspan="2" rowspan="2" style="min-width: 40px;">שיטות</td>
			<td rowspan="2" style="min-width: 40px;">Lkn</td>
			<td rowspan="2" style="min-width: 40px;">ספל</td>
			<td rowspan="2" style="min-width: 40px;">ליב</td>
			<td rowspan="2" style="min-width: 40px;">פאן</td>
			<td rowspan="2" style="min-width: 40px;">ארו</td>
			<td rowspan="2" style="min-width: 40px;">בלה</td>
			<td rowspan="2" style="min-width: 40px;">סטו</td>
			<td rowspan="2" style="min-width: 40px;">ג'י.בי.די</td>
			<td rowspan="2" style="min-width: 40px;">נקודות מכירה</td>
			<td rowspan="2" style="min-width: 40px;">אסו</td>
			<td rowspan="2" style="min-width: 40px;">רקן</td>
			<td colspan="2" style="min-width: 40px;">ממוצע</td>
		</tr>
		<tr>
			<td style="min-width: 40px;">DSC</td>
			<td style="min-width: 40px;">HD95</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nnU-Net</td>
			<td style="min-width: 40px;">96.3</td>
			<td style="min-width: 40px;">96.8</td>
			<td style="min-width: 40px;">97.21</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">95.22</td>
			<td style="min-width: 40px;">86.57</td>
			<td style="min-width: 40px;">91.47</td>
			<td style="min-width: 40px;">84.7</td>
			<td style="min-width: 40px;">91.79</td>
			<td style="min-width: 40px;">82.5</td>
			<td style="min-width: 40px;">95.44</td>
			<td style="min-width: 40px;">91.2</td>
			<td style="min-width: 40px;">7.13</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">סווין-יונט</td>
			<td style="min-width: 40px;">96.03</td>
			<td style="min-width: 40px;">96.68</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">85.74</td>
			<td style="min-width: 40px;">95.3</td>
			<td style="min-width: 40px;">87.82</td>
			<td style="min-width: 40px;">91.77</td>
			<td style="min-width: 40px;">84.64</td>
			<td style="min-width: 40px;">91.67</td>
			<td style="min-width: 40px;">83.26</td>
			<td style="min-width: 40px;">96.14</td>
			<td style="min-width: 40px;">91.48</td>
			<td style="min-width: 40px;">9.68</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">TransUNet</td>
			<td style="min-width: 40px;">96.42</td>
			<td style="min-width: 40px;">96.74</td>
			<td style="min-width: 40px;">97.05</td>
			<td style="min-width: 40px;">85.09</td>
			<td style="min-width: 40px;">94.86</td>
			<td style="min-width: 40px;">85.2</td>
			<td style="min-width: 40px;">91.81</td>
			<td style="min-width: 40px;">83.33</td>
			<td style="min-width: 40px;">91.52</td>
			<td style="min-width: 40px;">82.22</td>
			<td style="min-width: 40px;">96.12</td>
			<td style="min-width: 40px;">90.94</td>
			<td style="min-width: 40px;">13.77</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">UNETR</td>
			<td style="min-width: 40px;">95.94</td>
			<td style="min-width: 40px;">96.48</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">84.14</td>
			<td style="min-width: 40px;">94.62</td>
			<td style="min-width: 40px;">85.01</td>
			<td style="min-width: 40px;">90.18</td>
			<td style="min-width: 40px;">81.16</td>
			<td style="min-width: 40px;">90.79</td>
			<td style="min-width: 40px;">80.34</td>
			<td style="min-width: 40px;">95.15</td>
			<td style="min-width: 40px;">90.06</td>
			<td style="min-width: 40px;">12.92</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">nnלשעבר</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">97.22</td>
			<td style="min-width: 40px;">97.33</td>
			<td style="min-width: 40px;">86.79</td>
			<td style="min-width: 40px;">95.31</td>
			<td style="min-width: 40px;">89.74</td>
			<td style="min-width: 40px;">92.82</td>
			<td style="min-width: 40px;">84.88</td>
			<td style="min-width: 40px;">92.43</td>
			<td style="min-width: 40px;">84.24</td>
			<td style="min-width: 40px;">96.32</td>
			<td style="min-width: 40px;">92.15</td>
			<td style="min-width: 40px;">6.59</td>
		</tr>
		<tr>
			<td colspan="2" style="min-width: 40px;">סווין-PSAxialNet</td>
			<td style="min-width: 40px;">96.85</td>
			<td style="min-width: 40px;">97.67</td>
			<td style="min-width: 40px;">97.64</td>
			<td style="min-width: 40px;">88.39</td>
			<td style="min-width: 40px;">95.97</td>
			<td style="min-width: 40px;">92.03</td>
			<td style="min-width: 40px;">94.4</td>
			<td style="min-width: 40px;">87.78</td>
			<td style="min-width: 40px;">93.15</td>
			<td style="min-width: 40px;">86.24</td>
			<td style="min-width: 40px;">96.59</td>
			<td style="min-width: 40px;">93.34</td>
			<td style="min-width: 40px;">5.63</td>
		</tr>
	</tbody>
</table>
טבלה 1: השוואה בין אלגוריתמי פילוח מיינסטרים. הקיצורים מייצגים את האיברים הבאים: Lkn לכליה שמאלית, Spl לטחול, Liv לכבד, Pan ללבלב, Aro לאבי העורקים, Bla לשלפוחית השתן, Sto לקיבה, Gbd לכיס המרה, Pos לפוסטקאווה, Eso לוושט, Rkn לכליה ימנית ו-DSC למקדם הקוביות הממוצע, HD95 למרחק האוסדורף הממוצע של 95%.
יתר על כן, הכנסת מנגנון שיתוף פרמטרים ושיפורים במבנה השנאי מספקים יתרונות משמעותיים הן במורכבות המודל והן במהירות ההסקה (טבלה 2, איור 4 ואיור 5).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>מודלים</td>
			<td>פרמטרים (M)</td>
			<td>FLOPs (G)</td>
			<td>זמן הסקה (ים)</td>
		</tr>
		<tr>
			<td>nn-יונט</td>
			<td>17.96</td>
			<td>398.54</td>
			<td>9.07</td>
		</tr>
		<tr>
			<td>UNETR</td>
			<td>89.58</td>
			<td>39.67</td>
			<td>12.51</td>
		</tr>
		<tr>
			<td>nnלשעבר</td>
			<td>134.78</td>
			<td>152.43</td>
			<td>11.24</td>
		</tr>
		<tr>
			<td>סווין-PSAxialNet</td>
			<td>37.64</td>
			<td>43.15</td>
			<td>10.31</td>
		</tr>
	</tbody>
</table>
טבלה 2: טבלת השוואה של אינדיקטורים למודל רשת.
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66459/66459fig04.jpg"> 
איור 4: עקומת וריאציה של קוביות של רשת אימון מודלים. (A) הרשת הנוכחית. (ב) nn לשעבר. (C) nnU-Net. (ד) UNETR. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig04large.jpg" target="_blank">אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/66459/66459fig05.jpg"> 
איור 5: השוואת תוצאות אימון מודל. האיור מדגיש את התוצאות של הרשת הנוכחית, את התוצאות של nnFormer, את התוצאות של nnU-Net ואת התוצאות של UNETR. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig05large.jpg" target="_blank">אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.</a>
מחקר זה ערך ניסויי אבלציה מקיפים ברשת האלגוריתמים, תוך שימוש בבלוק PSAA ובלוק SPD כמשתנים, והשווה אימון חד פעמי עם אימון פי חמישה. מקדמי הקוביות מתוצאות הניסוי מוצגים בטבלה 3. תוצאות אלו מדגימות כי שימוש בבלוק SPD לדגימה למטה ובלוק PSAA לדגימה משפר ביעילות את ביצועי הפילוח בהשוואה ל- nnU-Net ללא שינוי (איור 6).
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>מודלים</td>
			<td>בלוק PSAA עבור הרשת כולה</td>
			<td>בלוק SPD עבור הרשת כולה</td>
			<td>בלוק PSAA רק לדגימה נוספת</td>
			<td>בלוק PSAA לדגימה נוספת, השתמש ב- SPD</td>
		</tr>
		<tr>
			<td>אימון חד פעמי</td>
			<td>92.17</td>
			<td>90.51</td>
			<td>92.24</td>
			<td>92.39</td>
		</tr>
		<tr>
			<td>הכשרה מחומשת</td>
			<td>92.82</td>
			<td>91.26</td>
			<td>92.79</td>
			<td>93.34</td>
		</tr>
	</tbody>
</table>
טבלה 3: תוצאות ניסוי האבלציה של Swin-PSAxialNet. מוצגות תוצאות ניסוי האבלציה של Swin PSAxialNet. בניסוי האבלציה הושוו השימוש בבלוק PSAA ובלוק SPD, ותוצאות האימון של DSC מוצגות בטבלה.
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/66459/66459fig06.jpg"> 
איור 6: תוצאות הפילוח. <a href="https://www.jove.com/files/ftp_upload/66459/66459fig06large.jpg" target="_blank">לחץ כאן לצפייה בגרסה מוגדלת של תרשים זה.</a>

Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

Abdominal multi-organ segmentation is one of the most important topics in the field of medical image analysis, and it plays an important role in ...

המחקר שלנו מתמקד בעיקר ביישום בינה מלאכותית בתחומים הרפואיים, כולל פילוח תמונות רפואיות, מולטי-מודלים רפואיים, מודלים של שפה גדולה וחיישנים ביולוגיים.ההתקדמות האחרונה בתחום שלנו כוללת מודלים של פילוח מבוסס אפס מדגם מקצועי כמו SAM ומודלים של רצף כמו חבר Wish.הבעיות הנפוצות העומדות בפני מודלים נוכחיים של למידה עמוקה כוללות נפח נתונים לא מספיק ואיכות ירודה עם צורך לשפר את הכללת המודלים, היכולות והחוסן.הפרוטוקול שלנו מציג את בלוק PSA ובלוק SPD כמודולים לחילוץ מידע המציעים יכולות חילוץ מידע מקיפות יותר, ועלות חישובית נמוכה יותר בהשוואה לשיטות אחרות.המטרות העתידיות של הספרייה שלנו כוללות פיתוח מודלים רפואיים גדולים אוניברסליים, מחקר על אלגוריתמים של למידה עמוקה מרובת מודלים ותכנון מכשירים לבישים רפואיים חכמים.[קריין] כדי להתחיל, הורד את מערך הנתונים של Amos-2022 והסביר את התמונות שישמשו לניתוח. בחר 160 תמונות ממערך הנתונים עבור מערך נתוני האימון ו-40 תמונות עבור מערך הנתונים של הבדיקה. בטרמינל בצע פקודה זו כדי להעביר את הספרייה המכילה את הנתונים הגולמיים. לאחר מכן צור קובץ dataset.json בתוך ספריית הנתונים הגולמיים והזן מידע על מערך נתונים כגון מספר תמונות ההדרכה והבדיקה ושם התווית. לתצורת סביבה, התקן את סביבת PaddlePaddle ואת גרסת Kunlun המתאימה. שכפל את מאגר PaddleSeg מ-GitHub. בטרמינל בצע פקודה זו כדי לנווט לספריית MedicalSeg. כדי להתקין את דרישות הפרויקט, השתמש בפקודה זו. לאחר מכן, שנה את קובץ התצורה של yml כך שיכלול פרמטרים כגון data_root, batch_size, דגם, train_dataset, val_dataset, אופטימיזציה, LR_scheduler ואובדן. ציין את הפרמטרים הנדרשים לביצוע באמצעות פקודה זו. הגדר את תהליך ההדרכה נטו של NNU עם גודל אצווה של שניים ו- 80,000 חזרות. רשום כל 20 איטרציות והשתמש בדיוק FP 16. הגדר את מרווח השמירה לכל 1000 חזרות. ואז לרוץ Train.py. הוסף את הפרמטר use_VDL עבור תצוגה חזותית של פרמטר DL. צור ארבעה קבצי yml, ציין קיפולים אחד עד ארבעה, ואמן את המודל עם אימות צולב פי חמישה. לאחר מכן, שלב את בלוק ה-PSAA ברשת כולה תוך שמירה על אותו שלב האימון. הגדר את צורת הנפח, ואפשר תשומת לב צירית לאמת. הפעל את הפקודה בקיפול אחד train.py. הערך קיפול יחיד והגדר פרמטרים. עיבוד אנסמבל תהליכים על פני חמישה קיפולים. Swin-PSAxialNet מציג ביצועי פילוח מעולים עבור איברי הבטן בהשוואה לאלגוריתמים של פילוח רב-איברים מיינסטרים. יתר על כן, Swin-PSAxialNet הצטיינה בפילוח גבולות, והשיגה את מקדם ה-HD 95 הממוצע הנמוך ביותר מבין כל האלגוריתמים שהושוו. הכנסת מנגנון שיתוף פרמטרים ושיפורים במבנה השנאי תרמו לשיפורים משמעותיים במורכבות המודל ובמהירות ההסקה בהשוואה לשיטות אחרות. ניסויי אבלציה מקיפים חשפו ביצועי פילוח גבוהים יותר בהשוואה לרשת NNU הסטנדרטית, והדגישו את היתרונות של בלוק ה-PSAA לדגימה.

swin-psaxialnet-an-efficient-multi-organ-segmentation-technique

Research

JoVE Journal

Engineering

הנדסה

פילוח נתונים תלת-ממדיים של טכניקות הדמיה רבות הוא שמכבידות בניתוח של מערכות ביולוגיות מורכבות. כאן, אנו מתארים את השימוש SuRVoS עבודה, שעליו מונחים באופן אוטומטי למחצה קטע נתונים נפחי-אורך-סולמות שונים באמצעות דוגמה datasets מ טומוגרפיה הקפאה אלקטרונים, הקפאה רך רנטגן טומוגרפיה וטכניקות שלב ניגודיות רנטגן טומוגרפיה.

נפח פילוח וניתוח של חומרים ביולוגיים באמצעות SuRVoS (סופר-אזור אחסון פילוח) עבודה, שעליו מונחים

קו הצינור המתואר מיועד לפילוח של נתונים מיקרוסקופ אלקטרונים הגדולים יותר מאשר ג'יגה-בתים, כדי לחלץ מורפולוגיות תא שלם. לאחר התאים משוחזרים ב-3D, תוכנה מותאמת אישית שתוכננה סביב צרכים בודדים ניתן להשתמש כדי לבצע ניתוח איכותי כמותי ישירות ב-3D, גם באמצעות מציאות וירטואלית כדי להתגבר על החסימה השקפה.

שיטה לניתוח שחזור תלת מימד ומציאות וירטואלית של תאים גליאל ונוירוונאליות

פרוטוקול סגמנטציה של אובייקטים עבור תמונות טומוגרפיה ממוחשבת מסלולית (CT) מוצג. השיטות לתיוג האמת הקרקעית של מבנים מסלוליים באמצעות רזולוציית-על, חילוץ נפח העניין מתמונות CT, ומידול סגמנטציה מרובת תוויות באמצעות U-Net רציף דו-ממדי עבור תמונות CT מסלוליות מוסברות ללמידה מפוקחת.

יישום של פילוח תמונות רפואיות מבוססות למידה עמוקה באמצעות טומוגרפיה ממוחשבת מסלולית

למרות התפקיד המכריע של מקלעת הכורואיד במוח, מחקרי דימות מוחי של מבנה זה נדירים בשל היעדר כלי סגמנטציה אוטומטיים אמינים. הפרוטוקול הנוכחי נועד להבטיח פילוח ידני סטנדרטי של מקלעת הכורואיד שיכול לשמש בסיס למחקרי דימות מוחי עתידיים.

פילוח ידני של מקלעת הכורואיד האנושית באמצעות MRI מוח

פיתוח תהליך אוטומטי לזיהוי מרחב מפרקי אפשר סגמנטציה בתפוקה גבוהה של עצמות כפות אחורית מובחנת של עכברים, בדיוק של &gt;98% בבעלי חיים מסוג בר. הושג יישום גמיש לכפות הקדמיות ולכפות עם דלקת מפרקים דלקתית-שחיקה, אך עם ביצועים ירודים שדורשים אופטימיזציה נוספת במחקרים עתידיים באמצעות נתונים זמינים לציבור.

זיהוי אוטומטי במרחב מפרקים משפר את דיוק חלוקת העצם

שיטה להתגברות על גבול ההשתברות האופטית מוצגת. השיטה כוללת תהליך בן שני שלבים: שלב אחזור אופטי באמצעות אלגוריתם Gerchberg-סקסטון חוזר ונשנה, והסטת מערכת הדמיה ואחריו חזרה על הצעד הראשון. צמצם עדשה מוגברת סינטטי מופק לאורך כיוון התנועה, מניב הדמיה ברזולוציה גבוהה יותר.

טכניקת ריבוב הזמן Super פתרון הדמיה מפלטפורמה נעה

השפעת הירידה של נוזלים שאינם הניוטונית היא תהליך מורכב שכן פרמטרים פיזיים שונים להשפיע על הדינמיקה לאורך זמן קצר מאוד (פחות מעשירית מאלפית שני). טכניקת הדמיה מהר הוא הציג במטרה לאפיין את התנהגויות ההשפעה של נוזלים שאינם הניוטונית שונים.

טכניקת הדמיה מהירה ללמוד טיפת השפעת דינמיקה של נוזלים ללא הניוטונית

אנו מתארים את הסינתזה והתכונות של ננו-חלקיקי Fe2O3-Au רב-תכליתיים המיוצרים בגישה כימית רטובה וחוקרים את תכונותיהם הפוטותרמיות באמצעות קרינת לייזר. הננו-חלקיקים המרוכבים Fe2O3-Au שומרים על התכונות של שני החומרים, ויוצרים מבנה רב תכליתי עם תכונות מגנטיות ופלזמוניות מצוינות.

Fe ההיברידי משולב<sub&gt; 2</sub&gt; O<sub&gt; 3</sub&gt; חלקיקי -Au עבור חימום יעיל Plasmonic

כאן, אנו מציגים פרוטוקול כדי להתאים את המאפיינים של CH פתרון מעובד 3 NH 3 PBI 3, באמצעות שילוב של תוספים קטיון חד ערכי על מנת להשיג תאים סולריים יעילים perovskite מאוד.

חד ערכי חילוף קטיונים סימום של CH<sub&gt; 3</sub&gt; NH<sub&gt; 3</sub&gt; PBI<sub&gt; 3</sub&gt; עבור תאים סולריים יעילים perovskite

פרוטוקול עבור עיצוב קרן קבועה-קבוע באמצעות של לייזר דופלר ממדי רטט (LDV), כולל את המדידה של תדירות כוונון, שינוי של כוונון יכולת, והימנעות של כשל בהתקן, stiction, מוצג. העליונות של השיטה LDV מעל במנתח רשת הוא הפגין בשל היכולת למצב גבוה יותר.

עיצוב, אפיון מתודולוגיה למסננים Tunable MEMS יעיל לטווח רחב

למד את שיטת Swin-PSAxialNet לפילוח רב-איברים בדיוק גבוה באמצעות למידה עמוקה. שיטה זו משפרת ניתוח תמונות רפואיות ומציעה יישומים קליניים עתידיים.

Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

גלה סרטונים נוספים