Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

Lei Ma; Dian Zhang; Zhaoxin Wang; Jincong Han; Xing Wang; Xin Zhou; Wenwen Yang; Peihua Lu

doi:10.3791/66459

מאמר שיטה

Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

DOI:

10.3791/66459

⸱

5 ביולי 2024

Lei Ma¹ , Dian Zhang¹ , Zhaoxin Wang¹ , Jincong Han¹ , Xing Wang¹ , Xin Zhou² , Wenwen Yang¹ , Peihua Lu²

¹School of Information Science and Technology, Nantong University, ²The Oncology and Hematology Department of Wuxi People's Hospital of Nanjing Medical University, Wuxi Medical Center, Nanjing Medical University

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול הנוכחי מתאר שיטת פילוח יעילה מרובת איברים הנקראת Swin-PSAxialNet, שהשיגה דיוק מצוין בהשוואה לשיטות פילוח קודמות. השלבים העיקריים של הליך זה כוללים איסוף מערכי נתונים, תצורת סביבה, עיבוד מקדים של נתונים, אימון והשוואה של מודלים וניסויי אבלציה.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פילוח רב איברים בבטן הוא אחד הנושאים החשובים ביותר בתחום ניתוח תמונות רפואיות, והוא ממלא תפקיד חשוב בתמיכה בתהליכי עבודה קליניים כגון אבחון מחלות ותכנון טיפול. במחקר זה מוצעת שיטת פילוח יעילה מרובת איברים הנקראת Swin-PSAxialNet המבוססת על ארכיטקטורת nnU-Net. הוא תוכנן במיוחד לפילוח מדויק של 11 איברי בטן בתמונות CT. הרשת המוצעת ביצעה את השיפורים הבאים בהשוואה ל-nnU-Net. ראשית, הוצגו מודולי מרחב לעומק (SPD) ובלוקים לחילוץ תכונות תשומת לב צירית משותפת לפרמטרים (PSAA), מה ששיפר את היכולת של חילוץ תכונות תמונה תלת מימדית. שנית, נעשה שימוש בגישת היתוך תמונה רב-קנה מידה כדי ללכוד מידע מפורט ותכונות מרחביות, ולשפר את היכולת לחלץ תכונות עדינות ותכונות קצה. לבסוף, הוצגה שיטת שיתוף פרמטרים כדי להפחית את עלות החישוב ומהירות האימון של המודל. הרשת המוצעת משיגה מקדם קוביות ממוצע של 0.93342 עבור משימת הפילוח הכוללת 11 איברים. תוצאות ניסיוניות מצביעות על העליונות הבולטת של Swin-PSAxialNet על פני שיטות פילוח מיינסטרים קודמות. השיטה מציגה דיוק מצוין ועלויות חישוביות נמוכות בפילוח איברי בטן עיקריים.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

התערבות קלינית עכשווית, כולל אבחון מחלות, גיבוש תוכניות טיפול ומעקב אחר תוצאות הטיפול, מסתמכת על פילוח מדויק של תמונות רפואיות¹. עם זאת, היחסים המבניים המורכבים בין איברי הבטן²הופכים את זה למשימה מאתגרת להשיג פילוח מדויק של איברי בטן^{מרובים 3}. במהלך העשורים האחרונים, ההתפתחויות המשגשגות בהדמיה רפואית וראייה ממוחשבת הציגו הזדמנויות ואתגרים חדשים בתחום הסגמנטציה של איברים מרובי איברים בבטן. הדמיית תהודה מגנטית מתקדמת (MRI)⁴ וטכנולוגיית טומוגרפיה ממוחשבת (CT)⁵ מאפשרות לנו לרכוש תמונות בטן ברזולוציה גבוהה. לפילוח המדויק של איברים מרובים מתמונות CT יש ערך קליני משמעותי להערכה וטיפול באיברים חיוניים כגון הכבד, הכליות, הטחול, הלבלב וכו'.6,7,8,9,10 עם זאת, ביאור ידני של מבנים אנטומיים אלה, במיוחד אלה הדורשים התערבות של רדיולוגים או אונקולוגים קרינתיים, הוא גם גוזל זמן וגם רגיש להשפעות סובייקטיביות ¹¹. לכן, יש צורך דחוף בפיתוח שיטות אוטומטיות ומדויקות לפילוח רב איברים בבטן.

מחקר קודם על פילוח תמונות הסתמך בעיקר על רשתות עצביות קונבולוציוניות (CNNs), המשפרות את יעילות הפילוח על ידי ערימת שכבות והצגת ResNet¹². בשנת 2020, צוות המחקר של גוגל הציג את דגם Vision Transformer (VIT)¹³, וסימן מופע חלוצי של שילוב ארכיטקטורת שנאי בתחום הוויזואלי המסורתי עבור מגוון משימות חזותיות¹⁴. בעוד שפעולות קונבולוציוניות יכולות להרהר רק במידע על תכונות מקומיות, מנגנון הקשב ב-Transformers מאפשר התייחסות מקיפה למידע על תכונות גלובליות.

בהתחשב בעליונותן של ארכיטקטורות מבוססות רובוטריקים על פני רשתות קונבולוציוניות מסורתיות¹⁵, צוותי מחקר רבים ביצעו מחקר מקיף באופטימיזציה של הסינרגיה בין נקודות החוזק של רובוטריקים ורשתות קונבולוציוניות 16,17,18,19. צ'ן ועמיתיו הציגו את TransUNet למשימות פילוח תמונות רפואיות¹⁶, הממנף רובוטריקים כדי לחלץ תכונות גלובליות מתמונות. בשל העלות הגבוהה של אימון הרשת והכישלון לנצל את הרעיון של היררכיית חילוץ תכונות, היתרונות של Transformer לא מומשו במלואם.

כדי לטפל בבעיות אלה, חוקרים רבים החלו להתנסות בשילוב רובוטריקים כעמוד השדרה של רשתות פילוח הדרכה. ליו ואחרים ^הציגו את שנאי סווין, שהשתמש בשיטת בנייה היררכית לחילוץ תכונות שכבות. הרעיון של תשומת לב עצמית מרובת ראשים של Windows (W-MSA) הוצע, והפחית משמעותית את עלות החישוב, במיוחד בנוכחות מפות תכונות גדולות יותר ברמה רדודה. בעוד שגישה זו הפחיתה את הדרישות החישוביות, היא גם בודדה העברת מידע בין חלונות שונים. כדי לטפל בבעיה זו, המחברים הציגו עוד את הרעיון של תשומת לב עצמית מרובת ראשים של חלונות מוסטים (SW-MSA), המאפשר הפצת מידע בין חלונות סמוכים. בהתבסס על מתודולוגיה זו, Cao et al. ניסחו את Swin-UNet¹⁸, החליפו את הפיתולים הדו-ממדיים ב-U-Net במודולי Swin ושילבו W-MSA ו-SW-MSA בתהליכי הקידוד והפענוח, והשיגו תוצאות פילוח ראויות לשבח.

לעומת זאת, ג'ואו ואחרים הדגישו כי לא ניתן להתעלם מהיתרון של פעולת המרה בעת עיבוד תמונות ברזולוציה גבוהה¹⁹. nnFormer המוצע שלהם משתמש בשיטת חישוב תשומת לב עצמית המבוססת על בלוקים מקומיים של תמונה תלת מימדית, המהווים מודל שנאי המאופיין במבנה בצורת צלב. ניצול הקשב המבוסס על בלוקים תלת מימדיים מקומיים הפחית משמעותית את עומס האימון ברשת.

בהתחשב בבעיות במחקר הנ"ל, מוצע מבנה היררכי היברידי יעיל לפילוח תמונות רפואיות תלת מימדיות, המכונה Swin-PSAxialNet. שיטה זו משלבת בלוק דגימה, בלוק מרחב לעומק (SPD)²⁰ , המסוגל לחלץ מידע גלובלי²¹. בנוסף, הוא מוסיף מודול קשב צירי משותף (PSAA), המפחית את ספירת פרמטרי הלמידה מריבועי לליניארי וישפיע לטובה על הדיוק של אימון הרשת ועל המורכבות של מודלים של אימון²².

רשת Swin-PSAxialNet
הארכיטקטורה הכוללת של הרשת מאמצת את המבנה בצורת U של nnU-Net²³, המורכב ממבני מקודד ומפענח. מבנים אלה עוסקים בחילוץ תכונות מקומיות ובשרשור של תכונות מתמונות בקנה מידה גדול וקטן, כפי שמודגם באיור 1.

figure-introduction-1
איור 1: דיאגרמה סכמטית של Swin-PSAxialNet של ארכיטקטורת רשת. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

במבנה המקודד, בלוק הקונב המסורתי משולב עם בלוק SPD²⁰ ליצירת נפח דגימה. השכבה הראשונה של המקודד משלבת Patch Embedding, מודול המחלק את נתוני התלת מימד לתיקונים תלת מימדיים figure-introduction-2 , (P₁, P₂, P₃) מייצג טלאים לא חופפים בהקשר זה, figure-introduction-3 מסמן את אורך הרצף של טלאים תלת מימדיים. לאחר שכבת ההטמעה, השלב הבא כולל יחידת דגימה קונבולוציונית לא חופפת הכוללת גם בלוק קונבולוציוני וגם בלוק SPD. במערך זה, לבלוק הקונבולוציוני יש צעד מוגדר ל-1, ובלוק ה-SPD משמש לשינוי קנה מידה של תמונה, מה שמוביל להפחתה של פי ארבעה ברזולוציה ולעלייה כפולה בערוצים.

במבנה המפענח, כל בלוק דגימה לאחר שכבת תכונת צוואר הבקבוק מורכב משילוב של בלוק דגימה ובלוק PSAA. הרזולוציה של מפת התכונות גדלה פי שניים, וספירת הערוצים מצטמצמת בחצי בין כל זוג שלבי מפענח. כדי לשחזר מידע מרחבי ולשפר את ייצוג התכונות, מיזוג תכונות בין תמונות בקנה מידה גדול וקטן מתבצע בין גושי הדגימה. בסופו של דבר, תוצאות ההגדלה מוזנות לשכבת הראש כדי לשחזר את גודל התמונה המקורי, עם גודל פלט של (H × W × D × C, C = 3).

ארכיטקטורת בלוקים SPD
בשיטות מסורתיות, קטע הפחתת הדגימה משתמש בצעד בודד עם גודל צעד של 2. זה כרוך באיגום קונבולוציוני במיקומים מקומיים בתמונה, הגבלת שדה הקליטה והגבלת המודל לחילוץ תכונות מטלאי תמונה קטנים. שיטה זו משתמשת בבלוק SPD, המחלק דק את התמונה המקורית לתלת מימד. התמונה התלת-ממדית המקורית מחולקת באופן שווה לאורך צירי x, y ו-z, והתוצאה היא ארבעה גופים תת-נפחיים. (איור 2) לאחר מכן, ארבעת הכרכים משורשרים באמצעות פעולת "חתול", והתמונה המתקבלת עוברת פיתול של 1 × 1 × 1 כדי לקבל את התמונה שנדגמה למטה²⁰.

figure-introduction-4
איור 2: דיאגרמת בלוקים SPD. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

ארכיטקטורת בלוק PSAA
בניגוד לרשתות CNN מסורתיות, בלוק ה-PSAA המוצע יעיל יותר בניהול מיקוד מידע גלובלי ויעיל יותר בלמידה והדרכה ברשת. זה מאפשר ללכוד תמונות עשירות יותר ותכונות מרחביות. בלוק ה-PSAA כולל למידת קשב צירית המבוססת על פרמטרים החולקים בשלושה ממדים: גובה, רוחב ועומק. בהשוואה למנגנון הקשב המקובל המבצע למידת קשב עבור כל פיקסל בתמונה, שיטה זו מבצעת באופן עצמאי למידת קשב עבור כל אחד משלושת הממדים, ומפחיתה את מורכבות הקשב העצמי מריבועית לליניארית. יתר על כן, נעשה שימוש במנגנון שיתוף פרמטרים של שאילתות מפתחות הניתן ללמידה, המאפשר לרשת לבצע פעולות מנגנון קשב במקביל על פני שלושת הממדים, וכתוצאה מכך ייצוג תכונות מהיר, מעולה ויעיל יותר.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול הנוכחי אושר על ידי ועדת האתיקה של אוניברסיטת ננטונג. זה כרוך בהערכה ומחקר חכמים של נתונים מולטי-מודאליים לא פולשניים או זעיר פולשניים שנרכשו, כולל תמונות רפואיות אנושיות, תנועות גפיים והדמיית כלי דם, תוך שימוש בטכנולוגיית בינה מלאכותית. איור 3 מתאר את תרשים הזרימה הכולל של פילוח מרובה איברים. כל קישורי האינטרנט הדרושים מסופקים בטבלת החומרים.

figure-protocol-1
איור 3: תרשים זרימה כולל של פילוח רב-איברים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

1. איסוף מערכי נתונים

הורד את מערך הנתונים של AMOS2022²⁴ (ראה טבלת חומרים).
בחר 160 תמונות כמערך נתוני האימון ו-40 תמונות כמערך נתוני הבדיקה.
בצע באופן סופי mkdir ~/PaddleSeg/contrib/MedicalSeg/data/raw_data.
פתח את הנתיב של raw_data.
מקם את מערך הנתונים בספריית raw_data , וודא התאמה נכונה עם שמות הקבצים בספריות "imagesTr" ו-"labelsTr".
צור קובץ dataset.json .
הוסף מידע על ערכת נתונים כגון numTraining, numTest ושם תוויות לקובץ "dataset.json".
הערה: מערך הנתונים למחקר זה מורכב מ-200 מערכי נתונים איכותיים של CT שנבחרו ממערך הנתונים הרשמי של AMOS2022 500 CT למטרות אימון ובדיקה. מערך הנתונים מקיף 11 איברים, כולל הטחול, הכליה הימנית, הכליה השמאלית, כיס המרה, הוושט, הכבד, הקיבה, אבי העורקים, הווריד הנבוב התחתון, הלבלב ושלפוחית השתן.

2. תצורת סביבה

התקן את סביבת ההנעה (ראה טבלת חומרים) ואת ה-CUDA המתאים גרסה²⁵.
הערה: מומלץ להשתמש ב-Paddlepaddle גרסה 2.5.0 וב-CUDA גרסה 11.7.
Git שיבוט את מאגר PaddleSeg²⁵.
בצע באופן סופי את cd ~/PaddleSeg/contrib/MedicalSeg/.
בצע התקנת pip -r requirements.txt.
בצע את pip install medpy.

3. עיבוד מקדים של נתונים

שנה את קובץ "yml", כולל פרמטרים כגון data_root, batch_size, דגם, train_dataset, val_dataset, אופטימיזציה, lr_scheduler ואובדן.
ציין את הפרמטרים הנדרשים לביצוע, כולל "-config, --log_iters, --precision, --nnunet, --save_dir, --save_interval וכו'.
הערה: ה-"raw_data" המקורי הופך לשלושה סוגים של קבצי נתונים: "חתוך", "דקטלון" ו"מעובד מראש", הנותן מענה לדרישות הדרכה והערכה שונות כדי לשפר את ביצועי המודל ויעילות האימון.

4. הדרכה והשוואה של מודלים

הערה: כבסיס בשימוש נרחב בתחום פילוח התמונות, nnU-Net²³ משמש כמודל בסיס במחקר. תהליך השוואת הדגמים הספציפי הוא כדלקמן.

רכבת nnU-Net
1. הגדר עם גודל אצווה של 2 ו-80,000 איטרציות, רשום כל 20 איטרציות והשתמש בדיוק fp16.
2. הגדר את save_dir כתיקיית "פלט" בתוך ספריית העבודה, עם מרווח שמירה מוגדר ל-1,000 איטרציות.
3. הוסף פרמטר --use_vdl עבור תצוגה חזותית של פרמטר VisualDL.
4. הפעל train.py.
5. צור ארבעה קבצי yml , ציין קיפולים 1-4 ואמן את המודל עם אימות צולב פי חמישה.
רכבת Swin-UNet
1. שמור על עקביות עם תנאי הניסוי שנקבעו בעבר.
2. הסר את הפרמטר --nnunet והשתמש ב --swinunet.
3. הפעל את קובץ train.py.
4. הרכבת מתקפלת 1-4 בנפרד ולאחר מכן עוברת עיבוד אנסמבל.
רכבת TransUNet
1. בצע את ההליכים המתוארים בשלב 4.1.
2. פתח קובץ yml .
3. שינוי סוג: nnunet להקלדה: transunet.
4. שנה את הפרמטר --nnunet ל --transunet.
5. הפעל את קובץ train.py.
6. אימון מתקפל 1-4 בנפרד ועיבוד אנסמבל.
רכבת UNETR
1. שמור על משתני ניסוי עקביים.
2. חזור על ההליכים שתוארו קודם לכן כמו Swin-UNet ו- TransUNet (שלב 4.2 ושלב 4.3).
3. רוץ train.py.
4. אימון מתקפל 1-4 בנפרד ועיבוד אנסמבל.
Train nnFormer
1. שנה את הפרמטרים כמו Swin-UNet ו- TransUNet.
2. הפעל קיפול יחיד train.py.
3. הפעל עיבוד אנסמבל.

5. ניסוי אבלציה

בלוק PSAA עבור הרשת כולה
1. שמור על עקביות המשתנים עם שלב 4.1.
2. הגדר volume_shape = (64,192,192) ו- Axial_attention = True.
3. הפעל קיפול יחיד train.py.
4. עיבוד אנסמבל תהליכים על פני חמישה קיפולים.
בלוק SPD לכל הרשת
1. שמור על עקביות המשתנים עם שלב 4.1.
2. הגדר SPD_enable = True ו- Axial_attention = False.
3. הפעל קיפול יחיד train.py.
4. עיבוד אנסמבל תהליכים על פני חמישה קיפולים.
בלוק PSAA לדגימה נוספת
הערה: אל תשתמש בבלוק SPD להפחתת דגימה.
1. השתמש בבלוק PSAA לדגימה נוספת.
2. שמור על עקביות המשתנים עם שלב 4.1.
3. הגדר Axial_attention = False בחלק של הפחתת הדגימה ו- SPD_enable = False.
4. הפעל קיפול יחיד train.py.
5. עיבוד אנסמבל חמישה קיפולים.
בלוק PSAA לדגימה נוספת
הערה: השתמש בבלוק SPD להפחתת דגימה.
1. השתמש בבלוק SPD להפחתת דגימה ובבלוק PSAA לדגימה.
2. שמור על עקביות המשתנים עם שלב 4.1.
3. הגדר Axial_attention = False בחלק של הפחתת הדגימה ו- SPD_enable = True.
4. הפעל קיפול יחיד train.py.
5. עיבוד אנסמבל חמישה קיפולים.
6. הגדר את מספר החזרות ל- 2,00,000 עקב התוצאות המעולות.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרוטוקול זה משתמש בשני מדדים כדי להעריך את המודל: ציון דמיון בקוביות (DSC) ומרחק האוסדורף 95% (HD95). DSC מודד את החפיפה בין תחזיות פילוח ווקסל לאמת הקרקע, בעוד ש-95% HD מעריך את החפיפה בין גבולות חיזוי סגמנטציה של ווקסל לבין האמת הקרקעית, ומסנן 5% מהחריגים. ההגדרה של DSC²⁶ היא כדלקמן:

figure-results-1 (1)

כאשר T ו-P מייצגים את ערכי האמת הבסיסיים ואת הערכים החזויים עבור כל הווקסלים, בהתאמה. ההגדרה של 95% HD²⁶ היא כדלקמן:

figure-results-2 (2)

כאשר d ^T,P^, הוא מרחק האחוזון ה-95 של ה-HD ₉₅ המקסימלי בין האמת הקרקעית לווקסלים החזוי, ו-d ^T,P^, מייצג את מרחק האחוזון ה-95 של ה-HD₉₅ המקסימלי בין הווקסלים החזויים לאמת הקרקע.

Swin-PSAxialNet מושווה לאלגוריתמים שונים של פילוח רב-איברים מיינסטרים בטבלה 1. התוצאות מדגימות ביצועי פילוח משופרים עבור איברי הבטן באלגוריתם המוצע. דיוק הקוביות של שיטת הפילוח עולה על ערך הקוביות הממוצע של שיטות אחרות ב-2-3 נקודות אחוז ואף עולה על nnFormer בנקודת אחוז אחת. Swin-PSAxialNet מציגה גם דיוק גבוה בפילוח גבולות, עם מקדם HD95 ממוצע של 5.63, הנמוך ביותר מבין כל האלגוריתמים המושווים.

שיטות	Lkn	ספל	ליב	פאן	ארו	בלה	סטו	ג'י.בי.די	נקודות מכירה	אסו	רקן	ממוצע
שיטות	Lkn	ספל	ליב	פאן	ארו	בלה	סטו	ג'י.בי.די	נקודות מכירה	אסו	רקן	DSC	HD95
nnU-Net	96.3	96.8	97.21	85.2	95.22	86.57	91.47	84.7	91.79	82.5	95.44	91.2	7.13
סווין-יונט	96.03	96.68	97.22	85.74	95.3	87.82	91.77	84.64	91.67	83.26	96.14	91.48	9.68
TransUNet	96.42	96.74	97.05	85.09	94.86	85.2	91.81	83.33	91.52	82.22	96.12	90.94	13.77
UNETR	95.94	96.48	96.85	84.14	94.62	85.01	90.18	81.16	90.79	80.34	95.15	90.06	12.92
nnלשעבר	96.59	97.22	97.33	86.79	95.31	89.74	92.82	84.88	92.43	84.24	96.32	92.15	6.59
סווין-PSAxialNet	96.85	97.67	97.64	88.39	95.97	92.03	94.4	87.78	93.15	86.24	96.59	93.34	5.63

טבלה 1: השוואה בין אלגוריתמי פילוח מיינסטרים. הקיצורים מייצגים את האיברים הבאים: Lkn לכליה שמאלית, Spl לטחול, Liv לכבד, Pan ללבלב, Aro לאבי העורקים, Bla לשלפוחית השתן, Sto לקיבה, Gbd לכיס המרה, Pos לפוסטקאווה, Eso לוושט, Rkn לכליה ימנית ו-DSC למקדם הקוביות הממוצע, HD95 למרחק האוסדורף הממוצע של 95%.

יתר על כן, הכנסת מנגנון שיתוף פרמטרים ושיפורים במבנה השנאי מספקים יתרונות משמעותיים הן במורכבות המודל והן במהירות ההסקה (טבלה 2, איור 4 ואיור 5).

מודלים	פרמטרים (M)	FLOPs (G)	זמן הסקה (ים)
nn-יונט	17.96	398.54	9.07
UNETR	89.58	39.67	12.51
nnלשעבר	134.78	152.43	11.24
סווין-PSAxialNet	37.64	43.15	10.31

טבלה 2: טבלת השוואה של אינדיקטורים למודל רשת.

figure-results-3
איור 4: עקומת וריאציה של קוביות של רשת אימון מודלים. (A) הרשת הנוכחית. (ב) nn לשעבר. (C) nnU-Net. (ד) UNETR. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-results-4
איור 5: השוואת תוצאות אימון מודל. האיור מדגיש את התוצאות של הרשת הנוכחית, את התוצאות של nnFormer, את התוצאות של nnU-Net ואת התוצאות של UNETR. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

מחקר זה ערך ניסויי אבלציה מקיפים ברשת האלגוריתמים, תוך שימוש בבלוק PSAA ובלוק SPD כמשתנים, והשווה אימון חד פעמי עם אימון פי חמישה. מקדמי הקוביות מתוצאות הניסוי מוצגים בטבלה 3. תוצאות אלו מדגימות כי שימוש בבלוק SPD לדגימה למטה ובלוק PSAA לדגימה משפר ביעילות את ביצועי הפילוח בהשוואה ל- nnU-Net ללא שינוי (איור 6).

מודלים	בלוק PSAA עבור הרשת כולה	בלוק SPD עבור הרשת כולה	בלוק PSAA רק לדגימה נוספת	בלוק PSAA לדגימה נוספת, השתמש ב- SPD
אימון חד פעמי	92.17	90.51	92.24	92.39
הכשרה מחומשת	92.82	91.26	92.79	93.34

טבלה 3: תוצאות ניסוי האבלציה של Swin-PSAxialNet. מוצגות תוצאות ניסוי האבלציה של Swin PSAxialNet. בניסוי האבלציה הושוו השימוש בבלוק PSAA ובלוק SPD, ותוצאות האימון של DSC מוצגות בטבלה.

figure-results-5
איור 6: תוצאות הפילוח. לחץ כאן לצפייה בגרסה מוגדלת של תרשים זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פילוח איברי הבטן הוא עבודה מורכבת. בהשוואה למבנים פנימיים אחרים של גוף האדם, כגון המוח או הלב, פילוח איברי הבטן נראה מאתגר יותר בגלל הניגודיות הנמוכה ושינויי הצורה הגדולים בתמונות CT^27,28. Swin-PSAxialNet מוצע כאן כדי לפתור בעיה קשה זו.

בשלב איסוף הנתונים, מחקר זה הוריד 200 תמונות מהאתר הרשמי של AMOS2022²⁴. בשלב תצורת הסביבה, ההתקנה הניסיונית כללה את סביבת ההנעה יחד עם גרסת ה-CUDA המתאימה לה. במהלך שלב העיבוד המקדים של הנתונים, הוחלו חיתוך אקראי והיפוך אקראי כדי לשפר את חוסן הנתונים. בשלבי ההדרכה וההשוואה של המודל, המבוססים על מודל הבסיס nnU-Net, הניסוי הוסיף את בלוק ה-SPD לדגימה למטה ואת בלוק חילוץ תכונת ה-PSAA לדגימה, והשיג תוצאות פילוח מצוינות. Swin-PSAxialNet הושווה למודלים שונים של פילוח מיינסטרים והראה תוצאות מבטיחות במערך הנתונים הציבורי AMOS2022. הוא השיג דיוק פילוח גבוה יותר משיטות הפילוח האחרות שהוזכרו במחקר זה 16,17,18,19. בסעיף ניסוי האבלציה, השימוש בבלוק PSAA ובלוק SPD היה שונה כדי למצוא את רשת הפילוח האופטימלית. תוצאות ניסוי האבלציה הצביעו על כך ששימוש במודול PSAA רק לדגימה משיג נקודת אחוז אחת גבוהה יותר מהשימוש בו עבור הרשת כולה.

החידושים במחקר זה הם כדלקמן: ראשית, מודול ה-SPD משולב ברשת כדי להוות את יחידת הדגימה לצד בלוק ה-Conv, ובכך משפר את יכולות חילוץ התכונות של הרשת. שנית, הכנסת בלוק חילוץ תכונות PSAA מפחיתה ביעילות את מורכבות הרשת תוך שיפור דיוק האימון. לבסוף, הכנסת מנגנון שיתוף פרמטרים מפחיתה משמעותית את המורכבות של מודל האימון.

למחקר זה יש מגבלות בהיבטים הבאים: הוא יושם רק על מערך הנתונים של AMOS2022, והתוצאות לא אומתו על מערכי נתונים אחרים. שוב, למרות ש- nnU-Net השיגה ביצועים גבוהים במשימות פילוח איברי הבטן לאחר סדרה של אופטימיזציות כמסגרת פילוח אוטומטית, לחלק מהפרמטרים עדיין יש מידה מסוימת של סובייקטיביות, כגון קצב למידה ראשוני, מספר איטרציות, ארכיטקטורת רשת וכו '. מחקר עתידי יבחן שיטות לחישוב אוטומטי של פרמטרים אלה²⁹.

Swin-PSAxialNet השיגה תוצאות פילוח מצוינות במשימות פילוח איברי הבטן, והדגימה יכולות הכללה חזקות ויציבות. במחקר עתידי, מערכי נתונים נוספים ישמשו כדי לחקור עוד יותר את יכולות ההכללה של האלגוריתם ולבצע התאמות למודל. יתר על כן, מבנה האלגוריתם יכול לעבור אופטימיזציה נוספת כדי לשפר את הדיוק והחוסן הכוללים של הרשת. המטרה היא לשלב את הרשת עם יכולות מולטי-מודאליות כדי להפוך אותה למודל מולטי-מודאלי רפואי.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין ניגודי אינטרסים.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה נתמך על ידי פרויקט ההנדסה '333' של מחוז ג'יאנגסו ([2022]21-003), התוכנית הכללית של ועדת הבריאות של וושי (M202205) וקרן פיתוח המדע והטכנולוגיה של וושי (Y20212002-1), שתרומתם לא תסולא בפז להצלחת עבודה זו". המחברים מודים לכל עוזרי המחקר ומשתתפי המחקר על תמיכתם.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שם	חברה	מספר קטלוג	הערות
מערך נתונים AMOS2022	ללא	ללא	מערכי נתונים להדרכה ובדיקות רשת. הקישור הוא: https://pan.baidu.com/s/1x2ZW5FiZtVap0er55Wk4VQ?pwd=xhpb
מחשב מרכזי של ASUS	אסוס		https://www.asusparts.eu/en/asus-13020-01910200
CUDA גרסה 11.7	NVIDIA		https://developer.nvidia.com/cuda-11-7-0-download-archive
NVIDIA GeForce RTX 3090	NVIDIA		https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3090-3090ti/
סביבת משוטים	באידו	ללא	הכנה סביבתית להכשרת רשתות. הקישור הוא: https://www.paddlepaddle.org.cn/
PaddleSeg	באידו	ללא	קו הבסיס בו אנו משתמשים: https://github.com/PaddlePaddle/PaddleSeg

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Liu, X., Song, L., Liu, S., Zhang, Y. A review of deep-learning-based medical image segmentation methods. Sustain. 13 (3), 1224(2021).
Popilock, R., Sandrasagaren, K., Harris, L., Kaser, K. A. CT artifact recognition for the nuclear technologist. J Nucl Med Technol. 36 (2), 79-81 (2008).
Rehman, A., Khan, F. G. A deep learning based review on abdominal images. Multimed Tools Appl. 80, 30321-30352 (2021).
Schenck, J. F. The role of magnetic susceptibility in magnetic resonance imaging: Mri magnetic compatibility of the first and second kinds. Med Phys. 23 (6), 815-850 (1996).
Palmisano, A., et al. Myocardial late contrast enhancement ct in troponin-positive acute chest pain syndrome. Radiol. 302 (3), 545-553 (2022).
Chen, E. -L., Chung, P. -C., Chen, C. -L., Tsai, H. -M., Chang, C. -I. An automatic diagnostic system for CT liver image classification. IEEE Trans Biomed Eng. 45 (6), 783-794 (1998).
Sagel, S. S., Stanley, R. J., Levitt, R. G., Geisse, G. J. R. Computed tomography of the kidney. Radiol. 124 (2), 359-370 (1977).
Freeman, J. L., Jafri, S., Roberts, J. L., Mezwa, D. G., Shirkhoda, A. CT of congenital and acquired abnormalities of the spleen. Radiographics. 13 (3), 597-610 (1993).
Almeida, R. R., et al. Advances in pancreatic CT imaging. AJR Am J Roentgenol. 211 (1), 52-66 (2018).
Eisen, G. M., et al. Guidelines for credentialing and granting privileges for endoscopic ultrasound. Gastrointest Endosc. 54 (6), 811-814 (2001).
Sykes, J. Reflections on the current status of commercial automated segmentation systems in clinical practice. J Med Radiat Sci. 61 (3), 131-134 (2014).
He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , Vegas, NV, USA. 770-778 (2016).
Dosovitskiy, A., et al. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv. arXiv. , 11929(2020).
Ramachandran, P., et al. Stand-alone self-attention in vision models. Adv Neural Inf Process Syst. 32, NIPS2019 (2019).
Vaswani, A., et al. Attention is all you need. Adv Neural Inf Process Syst. 30, NIPS2019 (2017).
Chen, J., et al. TransUNET: Transformers make strong encoders for medical image segmentation. arXiv. , arXiv:2102 04396(2021).
Liu, Z., et al. Swin transformer: Hierarchical vision transformer using shifted windows. Proc IEEE Int Conf Comput Vis. , 10012-10022 (2021).
Cao, H., et al. Swin-UNET: Unet-like pure transformer for medical image segmentation. Comput Vis ECCV. , 205-218 (2022).
Zhou, H. -Y., et al. nnformer: Interleaved transformer for volumetric segmentation. arXiv. arXiv. , arXiv:2109 03201(2021).
Sunkara, R., Luo, T. No more strided convolutions or pooling: A new CNN building block for low-resolution images and small objects. Mach Learn Knowl Discov Databases. , 443-459 (2023).
Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. 3D U-Net: learning dense volumetric segmentation from sparse annotation. Med Comput Vis Bayesian Graph Models Biomed Imaging. 2016, 424-432 (2016).
Kim, H., et al. Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network. Scientific reports. 10 (1), 6204(2020).
Isensee, F., et al. nnu-net: Self-adapting framework for u-net-based medical image segmentation. arXiv. , arXiv:1809 10486(2018).
Ji, Y., et al. A large-scale abdominal multi-organ benchmark for versatile medical image segmentation. Adv Neural Inf Process Syst. 35, 36722-36732 (2022).
Liu, Y., et al. Paddleseg: A high-efficient development toolkit for image segmentation. arXiv. , arXiv:2101 06175(2021).
Hatamizadeh, A., et al. UNETR: Transformers for 3D medical image segmentation. Proc IEEE Int Conf Comput Vis. , https://api.semanticscholar.org/CorpusID:232290634 574-584 (2022).
Zhou, H., Zeng, D., Bian, Z., Ma, J. A semi-supervised network-based tissue-aware contrast enhancement method for ct images. Nan Fang Yi Ke Da Xue Xue Bao. 43 (6), 985-993 (2023).
Ma, J., et al. Abdomenct-1k: Is abdominal organ segmentation a solved problem. IEEE Trans Pattern Anal Mach Intell. 44 (10), 6695-6714 (2021).
Galván, E., Mooney, P. Neuroevolution in deep neural networks: Current trends and future challenges. IEEE Trans Artif Intell. 2 (6), 476-493 (2021).

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

CT nnU Net Space To Depth Dice Coefficient

Swin-PSAxialNet: טכניקת פילוח רב-איברים יעילה

במאמר זה

סיכום

תקציר

מבוא

פרוטוקול

תוצאות

דיון

גילויים

תודות

חומרים

מקורות

הדפסות חוזרות והרשאות

תגיות

מאמרים קשורים