מאמר שיטה

מסגרת למידה עמוקה רב-מודלית עם כמה שמות לאבחון מדויק של בלוטת הפרוטיד

DOI:

10.3791/70231

⸱

8 במאי 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מאמר זה מציג מסגרת למידה עמוקה רב-מודלית עם מספר תמונות לסיווג מדויק של גידולי בלוטות הפרוטיד באמצעות רצפי הדמיה מגנטית בתהודה מגנטית.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הבחנה מדויקת בין גידולים פרוטידיים שפירים לממאירים היא חיונית לתחזית המטופל. עם זאת, בשל רמת ההטרוגניות הגבוהה של גידולי פרוטידים והזמינות המוגבלת של נתוני הדמיה, אבחון לפני הניתוח נותר אתגר משמעותי. כדי להתמודד עם בעיה זו, המחקר הנוכחי מציע מסגרת למידה עמוקה רב-מודלית המבוססת על למידה במדגם קטן. מסגרת זו משלבת מידע MRI רב-רצפי ומשלבת מנגנון תשומת לב מרחבי רב-קנה מידה לשיפור ביצועי חילוץ וסיווג תכונות במצבים שבהם הדגימה מוגבלת. המודל הוערך באופן שיטתי באמצעות קבוצה שנאספה רטרוספקטיבית של 198 מטופלים עם גידולים ראשוניים בבלוטת הפרוטיד המאושרת היסטופתולוגית (107 שפירים, 91 ממאירים) שעברו MRI מלא לפני הניתוח—כולל דימות משוקלל T1, משוקלל T2 ודיפוזיה—במוסד שלנו, ללא טיפול מוקדם בנגע הפרוטידי. הקבוצה חולקה ברמת המטופלים לקבוצות אימון (70%), אימות (15%) ובדיקות (15%) באמצעות דגימה אקראית שכבתית לשמירה על יחס שפיר לממאירים, תוך הבטחת תת-קבוצות סותריות ומניעת דליפת נתונים. המודל השיג שטח מתחת לעקומה (AUC) של 0.9822. ממצא זה מדגיש את יכולת המערכת להבחין בין גידולים שפירים לממאירים. יתרה מזאת, המודל הראה יתרונות משמעותיים מבחינת דיוק האבחון בהשוואה לרדיולוגים מנוסים, מה שמדגיש את יישומו הפוטנציאלי בהבדלה שפירה-ממאירת לפני ניתוח ובתמיכה בהחלטות קליניות לגידולי פארוטיד.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

נתונים אפידמיולוגיים מצביעים על כך ששיעור הגידולים בבלוטות הפרוטיד עולה. בלוטת הפרוטיד, בלוטת הרוק הגדולהביותר בגוף האדם, היא אחד האתרים בעלי השכיחות הגבוהה לגידולי ראש וצוואר. בעוד שגידולי בלוטות הפרוטיד הם יחסית נדירים, ומהווים כ-5% מהגידולים בראש ובצוואר, נגעים שפירים עולים בהרבה על אלו הממאירים, ומהווים כ-80% מכלל גידולי בלוטות הפרוטיד 2,3. גידולים פרוטידיים שפירים וממאירים מציגים הבדלים משמעותיים בהתנהגות ביולוגית, אסטרטגיות טיפול ותחזית. גידולים שפירים בדרך כלל גדלים לאט, מציגים גדילה מתרחבת, ולעיתים רחוקות מתפשטים. תוצאות חיוביות מתרחשות לאחר כריתה כירורגית מלאה. לעומת זאת, גידולים ממאירים מראים דפוסי גדילה פולשניים מובחנים ופולשים לעיתים קרובות לרקמות הסובבות, כגון עצב הפנים, העור והעצם. הם גם מסוגלים לגרורות מרוחקות, מה שמוביל לתחזית גרועהיותר 4,5.

עם זאת, ההבחנה לפני הניתוח בין גידולים שפירים לממאירים בפרוטיד נותרה אתגר אבחוני קליני. עקב היעדר תסמינים קליניים ספציפיים, התסמין הראשוני של רוב הגידולים הפרוטידיים (ללא קשר לממאירות) הוא גוש ללא כאב, שמקשה על ההבדלה בהתבסס רק על סימנים או תסמינים 6,7. למרות שתסמינים כמו כאב או שיתוק פנים נחשבים לעיתים קרובות לסימנים פוטנציאליים לממאירות, הם נדירים בנגעים ממאירים מוקדמים. לעומת זאת, חלק מהגידולים שפירים עם תגובות דלקתיות עשויים להציג תופעות דומות. הערכה טרום-ניתוחית של גידולי פארוטיד מתבצעת בעיקר באמצעות בדיקות דימות, המייצגות את השיטה הלא פולשנית העיקרית להערכה כזו. עם זאת, יש לציין שלכל שיטת הדמיה יש מגבלות. הדמיית תהודה מגנטית (MRI) נחשבת לשיטה האופטימלית להערכת גידול פארוטיד בזכות רזולוציית הרקמות הרכות יוצאות הדופן שלה, כאשר מחקרים מראים דיוק מקסימלי של 93% בהבחנה בין נגעים שפירים לממאירים8. עם זאת, רצפים קונבנציונליים מציגים חפיפה משמעותית במאפייני האות9. CT משמש בעיקר להערכת מעורבות העצם; עם זאת, הרגישות שלו נמוכה מזו של MRI בכל הנוגע להבחנה בין גידולים שפירים לממאירים 10,11. אולטרסאונד הוא שיטה יעילה להערכה ראשונית של נגעים שטחיים; עם זאת, יעילותו תלויה במומחיות המפעיל12. PET-CT מאופיין ברגישות מטבולית גבוהה; עם זאת, העלות הגבוהה שלו ושיעור החיובי השגוי שלו מגבילים את השימוש בו באבחון הראשוני, מה שהופך אותו למתאים יותר לשלב ולמעקב אחר גידולים ממאירים. כתוצאה מכך, שיטות הדמיה בודדות לעיתים קרובות אינן מצליחות להשיג אבחנות מדויקות, והבחנה טרום-ניתוחית בין נגעים שפירים לממאירים מתבססת בדרך כלל על ניתוח מקיף של מידע רב-מודלי.

בשנים האחרונות, תחום הבינה המלאכותית (AI), ובמיוחד תת-הקבוצה של טכנולוגיות למידה עמוקה (DL) המיוצגת על ידי רשתות עצביות קונבולוציונליות (CNNs), הפך לתורם משמעותי להתקדמות באבחון דימות גידולים. הסיבה לכך היא היכולות החזקות של חילוץ תכונות תמונה וזיהוי דפוסים שמספקות טכנולוגיות אלו. מודלים של למידה עמוקה מחלצים אוטומטית תכונות מורכבות רב-קנה מידה דרך רשתות עצביות רב-שכבתיות, מה שמפחית משמעותית את התלות בעיצוב ידני של תכונות תוך שיפור ביצועי האבחון. גוף מחקר משמעותי אישר את הפוטנציאל שלהם בהדמיה רפואית רב-מודלית. גו ג'יונגחוי ואח' פיתחו מערכת למידה עמוקה רב-מודלית המשלבת אולטרסונוגרפיה של השד ו-MRI, שחזו ביעילות תגובה לכימותרפיה ניאואדג'ובנטית, תוך שיפור בשיטות המסורתיות. Lu G ואח' השיגו הבחנה מדויקת בין גידולי שד שפירים לממאירים על ידי שילוב תמונות אולטרסאונד, ממוגרפיה ו-MRI עם אסטרטגיות למידת העברה, והניבו AUC של 0.947. הוראסן א' ואח' ביצעו ניתוח היתוך של MRI רב-פרמטרי של ערמונית (mpMRI) באמצעות CNNים תלת-ממדיים עם ארכיטקטורות ResNet ו-Inception, והשיגו דיוק של כ-91.3%. בהדמיית פארוטידים, ג'אנג ג' ואחרים בנו מודל למידה עמוקה המשלב אולטרסאונד ונתונים קליניים להבדלה שפירה-ממאירה; Hu X ו-Wang H.17 השיגו דיוק סיווג של 92.3% (AUC=0.96) באמצעות מודל aResNet50 המבוסס על תמונות CT. הראיות הקולקטיביות ממחקרים אלו מצביעות על היתרונות המשמעותיים של שימוש במודלים של למידה עמוקה לניתוח תמונות פארוטיד ותמונות גידול מוצק אחרות.

עם זאת, שיטות למידה עמוקה מסורתיות תלויות לעיתים קרובות במאגרי נתונים משמעותיים כדי להשיג ביצועים מיטביים. סרטן הפרוטיד, כגידול בעל שכיחות נמוכה, מחזיק בנתונים מוגבלים יחסית18. בנוסף, גידולים פרוטידיים מראים הטרוגניות דימותית גבוהה, המסומנת בשינויים מורכבים בעוצמת האות, במבנה המורפולוגי ובקשרים עם רקמת בלוטות הסובבות. תכונות אלו משתרעות על פני רמות מרחביות מגוונות — לדוגמה, מורפולוגיית גידולים גלובלית והגדרת גבולות, וכן מאפיינים מקומיים כמו הטרוגניות פנימית של אותות ודפוסי חדירה — מה שמקשה על שיטות חילוץ תכונות בקנה מידה יחיד או פשוט ללכוד במלואן את ההבדלים המרכזיים בין נגעים שפירים לממאירים. יתרה מזאת, מחקרים קודמים הסתמכו לעיתים קרובות על רצפי MRI בודדים (למשל, הדמיה מבנית או פונקציונלית בלבד), מה שמגביל את היכולת לקבל ייצוגים מקיפים של מאפייני הגידול, כפי שדווח בעבודות קודמות19,20.

כדי להתמודד עם אתגרים אלו, אנו מציעים כי מסגרת למידה עמוקה רב-מודלית במדגם קטן המשלבת MRI רב-רצפי ומנגנון קשב מרחבי רב-קנה מידה יכולה להבחין ביעילות בין גידולים פרוטידיים שפירים לממאירים בתנאי נתונים מוגבלים, ולעלות על גישות מסורתיות והערכות רדיולוג. באופן ספציפי, מסגרת זו משתמשת באסטרטגיית למידה21 של מספר קצר כדי ללמוד תכונות מבחינות ממספר מוגבל של מקרים מייצגים שפירים וממאירים. המודל עושה שימוש במנגנון תשומת לב מרחבי כדי להתמקד באזורים מרכזיים של נגעים, ובכך משפר את דיוק המודל בהבחנה בין גידולים שפירים לצמחים פרוטידיים ממאירים. המודל הוערך באמצעות קבוצה שנאספה רטרוספקטיבית של 198 מטופלים עם גידולי בלוטות פארוטיד מאומתים פתולוגית במוסד שלנו. מחקר זה משלב רצפי MRI מבניים (T1WI, T2WI) ופונקציונליים (DWI) כדי לתמוך במידע מורפולוגי ופונקציונלי. המסגרת המוצעת נועדה להקל על הבחנה טרום-ניתוחית בין גידולים שפירים לממאירים של הפרוטיד.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

כל נתוני המטופלים ששימשו במחקר זה נאספו בלעדית בבית החולים ווקסי וכללו 198 מקרים של גידול פארוטיד שאושרו פתולוגית. מחקר זה אושר על ידי הוועדה לביקורת מוסדית של בית החולים העממי ווקסי (IRB No. KY24068) והתבצעה בהתאם מלא להנחיות המוסדיות ולסטנדרטים אתיים בינלאומיים. כל הנתונים היו אנונימיים לחלוטין לפני הניתוח.

רכישת תמונות MRI

כל רצפי ה-MRI (הדמיה משוקללת T1, הדמיה משוקללת T2, והדמיה משוקללת דיפוזיה) נרכשו בסורק MRI של 3.0 טסלה (Siemens MAGNETOM Verio או Prisma) באמצעות סליל ראש וצוואר בעל 16 ערוצים. פרמטרי הרכישה היו כדלקמן: תמונות משוקללות T1 התקבלו עם TR/TE = 500/15 מילישניות, עובי פרוסה = 3 מ"מ, מטריצה = 256 × 256, שדה ראייה = 240 מ"מ; תמונות משוקללות T2 נרכשו עם TR/TE = 4000/90 מילישניות, עובי פרוסה = 3 מ"מ, מטריצה = 320 × 320, שדה ראייה = 240 מ"מ; תמונות משוקללות לפי דיפוזיה התקבלו עם TR/TE = 5000/80 ms, ערכי b = 0 ו-1000 s/mm2, עובי פרוסה = 3 מ"מ, מטריצה = 128 × 128, שדה ראייה = 240 מ"מ, עם מפות מקדם דיפוזיה נראות שנוצרו אוטומטית. כל הרצפים נרכשו במישור הצירי ללא רווח אינטרסלייז.

עיצוב המחקר

מחקר רטרוספקטיבי זה ניתח נתוני MRI טרום-ניתוח מ-198 מטופלים עם גידולים ראשוניים בבלוטת הפרוטיד שאושרו היסטופתולוגית (107 שפירים ו-91 ממאירים). כל המטופלים עברו בדיקות MRI פרוטידיות מלאות במוסד שלנו, כולל הדמיה משוקללת T1, הדמיה משוקללת T2, ורצפי דימות משוקללים בדיפוזיה, ללא טיפול מוקדם לנגע הפרוטיד. השתמש בדגימות כריתה כירורגית או ביופסיית ליבה המשמשות כסטנדרט ייחוס. קריטריוני ההכללה היו גידול ראשוני מאושר היסטופתולוגית בבלוטת הפרוטיד, MRI לפני הניתוח עם כל הרצפים הנדרשים הזמינים במוסד שלנו, וללא ניתוח, רדיותרפיה, כימותרפיה או אבלציה קודמת לנגע הפרוטידי. קריטריוני ההדרה כללו גידולים גרורתיים לבלוטת הפרוטיד, ארטיפקטים משמעותיים בתנועה או רצפים לא שלמים שהפכו תמונות לבלתי אבחנתיות, וגידולים חוזרים לאחר טיפול קודם. הקבוצה הכוללת כללה 118 גברים (59.6%) ו-80 נשים (40.4%) בגילאים שבין 26 ל-89 (ממוצע ±SD 53.0 ± 12.8 שנים), והמאפיינים הדמוגרפיים הממוינים לפי סוג הגידול היו כדלקמן: קבוצה שפירה (n=107) עם 59 גברים (55.1%) ו-48 נשים (44.9%), טווח גילאים 28–87 (ממוצע ±SD 54.2 ± 12.1 שנים), וקבוצת ממאירות (n=91) עם 59 גברים (64.8%) ו-32 נשים (35.2%), טווח גילאים 26–89 (ממוצע ± SD 51.6 ± 13.4 שנים); שיטת דגימה אקראית שכבתית שימשה כדי לחלק את 198 המטופלים לקבוצות אימון (70%, n=138), אימות (15%, n=30) ובדיקות (15%, n=30) תוך שמירה על יחס שפיר לממאיר בכל תת-הקבוצות (כל אחת מערכות האימות והבדיקה כללו 16 מקרים שפירים ו-14 מקרים ממאירים), כאשר החלוקה בוצעה ברמת המטופל ולא לפי פרוסה או תמונה. הבטחה שכל מערכי ההדרכה, האימות והבדיקות יהיו בלעדיים זה לזה ללא חפיפה של מטופלים ביניהם, כדי למנוע דליפת נתונים ולאפשר הערכה בלתי מוטה של הכללת המודלים.

קדם-עיבוד נתונים

המחקר יישם עיבוד מוקדם סטנדרטי בכל תמונות ה-MRI בארבעה שלבים עיקריים: רישום תמונה ודגימה מחדש, דה-אנואיזציה, הגדלת נתונים ונרמול. כדי להתמודד עם שינויים בפרוטוקולי MRI ובמיקום המטופל, כל נפחי T1WI, T2WI ו-DWI נרשמו תחילה באופן נוקשה לרצף T1WI כמרחב ייחוס והועברו מחדש לרזולוציה איזוטרופית של 1 מ"מ 3 באמצעות אינטרפולציה טריליניארית. לאחר מכן בוצעה הסרת רעש בכל נפחי החשמל הרשומים באמצעות אלגוריתם22 של Non-Local Means (NLM), כאשר פרמטר החלקה מוגדר אוטומטית ל-0.8 פעמים סטיית התקן המוערכת של רעש, חלון חיפוש של 21×21×21 ווקסלים, וחלון דמיון של 7×7×7 ווקסלים. גישה זו מפחיתה ביעילות רעש אקראי תוך שמירה על פרטים מבניים חשובים. בהמשך, כדי להרחיב את גודל המדגם האפקטיבי של האימון, לשפר הכללת מודלים ולהפחית התאמת יתר במאגר הנתונים המוגבל, יושמו אסטרטגיות הרחבת נתונים מרובות, כולל סיבוב אקראי (±15°) וקנה מידה אקראי (0.9–1.1)23,24, יושמו באופן מיידי אך ורק על תמונות קבוצת האימון בכל תקופת אימון, כאשר כל הטרנספורמציות נוצרו באמצעות זרע אקראי קבוע של 42 לשכפול מלא; ערכות האימות והבדיקה נותרו ללא תוספת כדי להבטיח הערכת מודל אובייקטיבית. לבסוף, כדי לבטל שינויים שיטתיים בעוצמת האות בין מכשירי סריקה ומפגשים שונים, יושמה נורמליזציה של ציון Z על כל נפח על ידי חיסור הממוצע וחלוקה בסטיית התקן, ולאחר מכן ערכי הפיקסלים המנורמלים הותאמו לטווח [0, 1] כדי לעמוד בדרישות הקלט של מסגרת הלמידה העמוקה PyTorch25.

ארכיטקטורת מודלים

המחקר הנוכחי מציע מסגרת למידה עמוקה רב-מודלית המבוססת על למידה ב-f-shot, המשלבת מידע משלים ממספר רצפי MRI (דימות משוקלל ב-T1, דימות משוקלל T2, והדמיה משוקללת דיפוזיה) ומשלב מנגנון קשב מרחבי רב-קנה מידה לשיפור ביצועי ייצוג וסיווג תכונות בתנאי מדגם מוגבל. כל נפחי ה-MRI נרכשו במישור הצירי באותו סורק; לפני ההזנה, הם עברו רישום קשיח כדי להבטיח יישור מרחבי בין רצפים, כאשר איכות היישור אושרה ידנית על ידי רדיולוג בכיר, והנפחים התלת-ממדיים המלאים שמרכזו את נגע הפרוטיד נחתכו לאזור עניין סטנדרטי, דגמו מחדש לרזולוציה איזוטרופית והונו לגודל אחיד. על ידי שילוב פרדיגמת הלמידה המעטות, מודול הקשב המרחבי רב-קנה מידה, ומיזוג תכונות בין-מודאליות באמצעות שרשור ערוצי-ערוץ, המסגרת מתמודדת עם אתגרים הקשורים להכללת מודלים בסביבות דלות נתונים ומאפשרת למידה איתנה של תכונות מובחנות ממספר קטן של דגימות עם הערות, כאשר הארכיטקטורה המלאה מוצגת באיור 1. למרות שמערך הנתונים כולל 198 מטופלים, שיטת הזריקות המעטות מאומצת משום שגידולי פארוטיד מציגים הטרוגניות גבוהה בהדמיה והנתונים הרב-מודליים הנפחיים עם הערות נשארים מוגבלים יחסית ביחס למורכבות המשימה, ובכך מדמים טוב יותר תרחישים קליניים מהעולם האמיתי עם דוגמאות מתויגות נדירות; שיטת אימון מפוקחת קונבנציונלית הוערכה גם היא להשוואה, והיתרונות של תצורת הזריקה המעטה מוצגים במחקרי האבלציה במדור התוצאות. רשת עמוד השדרה משתמשת ב-R3D-1826 (גרסה תלת-ממדית ResNet-18 עם קונבולוציות מרחב-זמניות מלאות), מאולף מראש על Kinetics-400, כמחלץ תכונות במשקל משותף לכל רצף MRI; במהלך ההסתגלות, ראש רשת פרוטוטיפי משמש לסיווג של יריות קצרות, כאשר מודול תשומת הלב המרחבית רב-קנה מידה מוכנס לאחר שלבי הקונבולוציה של כל ענף ספציפי למודאליות, ואחריו מיזוג חוצה מודלים ומסווג משותף. החידוש של מנגנון הקשב המרחבי המוצע בקנה מידה רב-קנה מידה טמון בשימוש בנתיבים קונבולוציונליים מקבילים עם גדלי גרעין של 1×1, 3×3 ו-5×5, כאשר כל מסלול מייצר באופן עצמאי מפת תשומת לב מרחבית בשדה קליטה שונה, אשר לאחר מכן מנורמלת באמצעות softmax ומתמזגת באופן אדפטיבי עם תכונות הקלט באמצעות סכום משוקלל; עיצוב זה לוכד במפורש את מאפייני הנגע בקנה מידה מרחבי מרובים—מפרטים מקומיים עדינים כמו הטרוגניות האותות הפנימית ועד למבנים הקשריים רחבים יותר כמו שולי הגידול וממשקים עם הרקמות הסובבות—ומספק ביצועים טובים יותר בהשוואה למודולי קשב קונבנציונליים. אסטרטגיית הכיוונון העדין מתבצעת בשני שלבים: בתחילה, שכבות עמוד השדרה המאומנות מראש של R3D-18 מוקפאות כדי לשמור על ייצוגים כלליים במרחב-זמן בעוד שרק מודולי הקשב, שכבות המיזוג והראש הפרוטוטיפיים מאומנים; לאחר מכן, שני הבלוקים האחרונים (שכבה 3 ושכבה 4) של כל עמוד שדרה מוקפאים כדי לאפשר התאמה מקיפה לתכונות נפחיות ייחודיות ל-MRI. ההכשרה בוצעה באמצעות אופטימייזר אדם עם קצב למידה התחלתי של 0.0001, שהופחת פי 0.1 כל 20 עידנים באמצעות תזמון דעיכת שלבים; המודל עבר 100 תקופות של אימון אפיזודי עם גודל אצווה של 8 פרקים (כל אחד כולל סטים של תמיכה ושאילתה), בהתאם לפרוטוקול הסטנדרטי של Few Shot בתצורת K-shot דו-כיוונית (עם K=5 במהלך מטא אימון ראשוני והערכה); כל הניסויים בוצעו על GPU בעל ביצועים גבוהים עם זיכרון של 24 גיגה-בייט, והוחל זרע אקראי קבוע של 42 במהלך חלוקת הנתונים, אתחול משקל והגדלה כדי להבטיח שחזוריות מלאה.

פרדיגמת משימת למידה עם מעט הזדמנויות לסיווג גידול בלוטות הפרוטיד

לאור הזמינות המוגבלת של נתונים מוערכים באיכות גבוהה עבור גידולי בלוטות הפרוטיד וההטרוגניות הגבוהה של הפגעים הללו, מחקר זה מאמץ פרדיגמת למידה מבוססת מטריקה על ידי מספר הזמנים המעטים, אף על פי שמאגר הנתונים הכולל כולל 198 מטופלים. מבנה המשימה של קבוצת תמיכה–קבוצת שאילתה משמש לסימולציה של תהליך ההסקה האבחנתית בפרקטיקה קלינית, כאשר בדרך כלל זמינים רק מספר קטן של דוגמאות מייצגות לתתי-סוגים נדירים או הטרוגניים של גידולים. כל משימת אימון מוגדרת בפורמט N-way K-shot (N=2, המתאים לסיווג שפיר/מזיק), מה שמאפשר למודל ללמוד ייצוגים מבחינים של תכונות ממספר קטן של דגימות. באופן ספציפי, לכל משימה, קבוצת התמיכה כוללת K דגימות מולטימודליות (הדמיה משוקללת T1, דימות משוקלל T2, והדמיה משוקללת דיפוזיה) לכל מחלקה לבניית אב-טיפוס של מחלקות, בעוד שקבוצת השאילתות כוללת דגימות לסיווג. המודל מבצע החלטות סיווג בהתבסס על מדדי מרחק על ידי חישוב הדמיון בין תכונות מדגם השאילתות לפרוטוטיפים של המחלקה במרחב ההטמעה. מנגנון למידה זה בולט ביכולתו לשחרר את המודל מהסתמכות על נתונים מוערים בקנה מידה גדול, ובכך להפוך אותו למתאים יותר ליישומים מעשיים בסביבות קליניות דלות נתונים. לצורך השוואה ישירה, הוערכה גם גישת אימון מפוקחת קונבנציונלית המשתמשת בסט אימון מלא ללא דגימה אפיזודית של מספר זריקות מעטים, והיתרונות של תצורת הזריקה המעטה מבחינת הכללה ויציבות בתנאי דגימה מוגבלת מוצגים כמותית במחקרי האבלציה המוצגים בסעיף התוצאות.

בשלב הסיווג, מחקר זה משתמש ברשת אב-טיפוסית כמסווג. לכל קטגוריה c בקבוצת התמיכה, p_c וקטור האב-טיפוס מחושב כממוצע דגימות התמיכה המוטמעות:

figure-protocol-1(1)

כאשר f(·) מציין את פונקציית ההטמעה (מחלץ תכונות), figure-protocol-2 הוא מדגם התמיכה ה-I של קטגוריה C, ו-K הוא מספר היריות לכל מחלקה.

עבור מדגם שאילתה נתון x, ההסתברות להשתייך לקטגוריה c מחושבת באמצעות פונקציית סופטמקס על מרחקים אוקלידיים שליליים:

figure-protocol-3(2)

כאשר d(·, ·) מייצג את פונקציית המרחק האוקלידית.

ארכיטקטורה המבוססת על מיזוג תכונות רב-מודאלי

כדי לנצל במלואו את הערך המשלים של נתוני MRI מרובי רצפים, מחקר זה עיצב רשת מיזוג בת שלושה ענפים המעבדת רצפי הדמיה משוקללת T1 (T1WI), הדמיה משוקללת T2 (T2WI) והדמיה משוקללת דיפוזיה (DWI) בנפרד. כל רצף עובר תחילה חילוץ תכונות באמצעות מודל R3D-18 במשקל משותף שאומן מראש על מאגר הנתונים Kinetics-400 עם משקלים שהושגו מהיישום הרשמי של PyTorch TorchVision; במהלך ההסתגלות, יושמה אסטרטגיית כיוונון עדין דו-שלבית, שבה כל שכבות עמוד השדרה המאומן מראש נשמרו קבועות בתחילה כדי לשמר ייצוגים כלליים במרחב-זמן, בעוד שרק מודולי תשומת לב מרחבית רב-קנה מידה, שכבות מיזוג חוצות-מודליות וראש רשת פרוטוטיפיים אומנו, ולאחר מכן שני הבלוקים האחרונים (שכבה 3 ושכבה 4) של כל עמוד שדרה פורקו להתאמה מקצה לקצה לתכונות נפחיות ספציפיות ל-MRI, השכבות המוקדמות (שכבה 1 ושכבה 2) נשארות קפואות לאורך כל האימון. רשת זו משתמשת בגרעינים קונבולוציוניים תלת-ממדיים המחליקים בין ממדים מרחביים וזמניים כדי ללכוד ביעילות את המורפולוגיה הנפחית של הגידול ומידע ההקשר המרחבי. במהלך מיזוג תכונות, נעשה שימוש באסטרטגיה חוצת מודלים מבוססת שרשור, שבה ייצוגי התכונות המוגברים על ידי תשומת לב משלושת המודאליות מחוברים לאורך ממד הערוץ ליצירת וקטור תכונות רב-מודלי מקיף. גישת מיזוג זו שומרת על המידע הייחודי של כל שיטה — הבהירות האנטומית של T1WI, רגישות הרכב הרקמות של T2WI, ופונקציונליות הצפיפות התאית של DWI — תוך השגת השלמה יעילה של מידע אבחון, ובכך משפרת משמעותית את עושר ביטוי התכונות וכוח ההבחנה.

מנגנון קשב מרחבי רב-קנה מידה

מחקר זה משלב מודול קשב מרחבי רב-קנה מידה כדי ללכוד מאפייני נגעים בקני מידה מרחביים שונים. כפי שמוצג באיור 2, המודול משתמש במסלולים קונבולוציונליים מקבילים עם גדלי גרעין של 1×1, 3×3 ו-5×5. כל נתיב מייצר באופן עצמאי מפת תשומת לב מרחבית, שמנורמלת באמצעות softmax ואז מתוזגת באופן אדפטיבי עם תכונות הקלט באמצעות סכום משוקלל. עיצוב זה מאפשר למודל להתמקד באזורים הרלוונטיים יותר להבחנה בין נגעים שפירים לממאירים, תוך הפחתת השפעת אזורי רקע לא רלוונטיים. מפות הקשב שמתקבלות עשויות לסייע בהדגשת אזורי עניין בתמונות.

זמינות נתונים:

תת-קבוצה מייצגת של רצפי MRI מולטימודליים אנונימיים לחלוטין (T1WI, T2WI, DWI) מקבוצת המחקר זמינה לציבור במאגר זנודו בכתובת: https://doi.org/10.5281/zenodo.17744149 (גרסה v1). נתונים אלו משותפים תחת רישיון Creative Commons Attribution 4.0 International (CC-BY 4.0) ללא הגבלות גישה. מערך הנתונים המלא והאנונימי עדיין אינו זמין לציבור ויפורסם בגרסה הבאה של המאגר לאחר פרסום רשמי של כתב היד, בכפוף לאישור מוסדי ואתי.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סקירת ביצועי הדגם

כדי להעריך את ביצועי האבחון של המודל, נעשה שימוש במדדים סטנדרטיים, שכללו דיוק, דיוק, זיכרון וציון F1. בתצורת 5 זריקות דו-כיוונית, מודל הלמידה הרב-מודלי של מעט זריקות המבוסס על R3D-18 השיג את התוצאות הבאות במערך הבדיקות לסיווג גידולי בלוטות הפרוטיד: דיוק של 96.88%, דיוק של 97.50%, שחזור של 96.88%, וציון F1 של 96.83%. מטריצת הבלבול המוצגת באיור 3A מצביעה על כך שהמודל סיווג נכון 93.75% מהמקרים השפיר...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

במחקר זה, השענו כי מסגרת למידה עמוקה רב-מודלית עם כמה שוויטים, המשלבת MRI רב-רצפי (הדמיה משוקללת T1, משוקללת T2 ודיפוזיה) עם מנגנון קשב מרחבי רב-קנה מידה, יכולה להבחין במדויק בין גידולים שפירים לממאירים של בלוטות פארוטיד בתנאי נתונים מוגבלים עם הערות ולעלות על גישות למידה עמוקה קונבנציונליות ורדיולוגים מנוסים.

תוצאות הניסוי תומכות בחוזקה בהשערה זו. בערכת הבדיקה העצמאית, המסגרת המוצעת השיגה AUC של 0.9822, דיוק של 96.88%, דיוק של 97.50%, שחזור של 96.88%, וציון F...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין אינטרסים פיננסיים או לא פיננסיים מתחרים.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מומן על ידי הקרן הלאומית למדעי הטבע של סין (מס' 82473200), פרויקט המחקר הרפואי המרכזי של ועדת הבריאות המחוזית של ג'יאנגסו (מס' K2023061) ופרויקט ועדת הבריאות המחוזית של ג'יאנגסו לבריאות קשישים (KLM2023019) ל-YJH

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25מפתחי NumPyhttps://numpy.org/
פנדות 2.1פנדות מפתחיםhttps://pandas.pydata.org/
פיצ'ארםJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
פייתון 3.10קרן התוכנה של פייתוןhttps://www.python.org/
פייטורץ' 2.1Meta Platforms, Inc.https://pytorch.org/
סקיקיט-לרן 1.3מפתחי Scikit-learnhttps://scikit-learn.org/
שאפhttps://github.com/slundberg/shap
מערכת הדמיית תהודה מגנטית Siemens MAGNETOM Prisma 3.0Tסימנס הלת'ינירסhttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

Few Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationSmall Sample LearningClinical Decision Support

מאמרים קשורים