מאמר מחקר
מחקר זה מציג מסגרת למידה עמוקה מבוססת קשב קלה לסיווג גידולי מוח בארבעה סוגים מתמונות MRI באמצעות למידת העברה עם MobileNetV2, EfficientNetV1 ו-Inception-ResNet-V2. המודל משיג דיוק סיווג גבוה עם מורכבות חישובית מופחתת, ותומך ביישומים קליניים לתמיכה בהחלטות מוגבלים במשאבים.
מטרת המחקר היא לפתח מסגרת למידה עמוקה קלה אך מדויקת לסיווג גידולי מוח לארבע קטגוריות—גליומות, מנינגיומות, גידולי יותרת המוח ורקמת מוח בריאה—באמצעות נתוני הדמיית תהודה מגנטית (MRI). המתודולוגיה המוצעת משלבת למידת העברה עם שלושה מודלים של רשת עצבית קונבולוציונית מאומנים מראש—MobileNetV2, EfficientNetV1, ו-Inception-ResNet-V2—המשולבים עם מנגנון קשב המדמה את יכולת מערכת הראייה האנושית להתמקד באזורים קליניים רלוונטיים בתמונה. גישה מונחית קשב זו משפרת את מיקום הגידול תוך דיכוי מידע רקע לא רלוונטי. המסגרת מוערכת על בסיס מאגר MRI מוחי גדול וזמין לציבור, המכיל אלפי תמונות מסומנות בארבע המחלקות. נעשה שימוש בפרוטוקולי קדם-עיבוד סטנדרטיים, הגדלת נתונים ופרוטוקולי הדרכה כדי לאפשר שכפול פשוט של השיטה המוצעת. תוצאות ניסוי מראות כי EfficientNetV1 משיג את ביצועי הסיווג הגבוהים ביותר, ומגיע לדיוק גבוה יותר בהשוואה ל-MobileNetV2 ול-Inception-ResNet-V2. המחקר מסיק כי המסגרת הקלה והמבוססת קשב המוצעת מאזנת ביעילות בין דיוק למורכבות חישובית, מה שהופך אותה למתאימה מאוד ליישומי בריאות בזמן אמת ולנייד, במיוחד בסביבות מוגבלות במשאבים.
סיווג מדויק של גידולי מוח באמצעות הדמיית תהודה מגנטית (MRI) ממלא תפקיד קריטי באבחון קליני, תכנון טיפול והערכת פרוגנוזה1. גידולי מוח, כולל גליומה, מנינגיומה וגידולי יותרת המוח, מציגים מאפיינים פתולוגיים שונים ותגובות טיפוליות; לכן, זיהוי מוקדם ואמין חיוני לשיפור תוצאות טיפוליות ולהפחתת התקדמות המחלה. MRI מועדף באופן נרחב להערכת גידולי מוח בשל ניגודיות הרקמות הרכות המעולות שלו, אופיו הלא פולשני ויכולתו להמחיש את מורפולוגיית הגידול במגוון מישורים אנטומיים. עם זאת, פירוש ידני של סריקות MRI הוא לעיתים קרובות גוזל זמן ותלויה מאוד במומחיות רדיולוגית, במיוחד כאשר גבולות הגידול אינם סדירים או כאשר קיימים דמיון ויזואלי בין סוגי הגידולים. כתוצאה מכך, מערכות אבחון אוטומטיות בעזרת מחשב הפכו לחשובות יותר ויותר לסיוע לרדיולוגים בסיווג גידולים מדויק ויעיל.
טכניקות ניתוח תמונה מבוססות למידה עמוקה (DL) קידמו משמעותית את סיווג המחלות האוטומטי ביישומים ביומדיים וראיית מחשב 2,3. בנוירו-אונקולוגיה, למידת מכונה וטכניקות למידת העברה הראו ביצועים מבטיחים במשימות גילוי, סגמנטציה וסיווג גידולים4. רשתות עצביות קונבולוציוניות (CNNs), במיוחד, הראו יכולת עליונה בחילוץ אוטומטי של תכונות היררכיות ישירות מסריקות MRI מבלי להסתמך על הנדסת תכונות ידנית. ארכיטקטורות CNN יכולות ללמוד ייצוגים מובחנים הקשורים לגידול מנתוני הדמיה, ובכך לשפר את ביצועי הסיווג בהשוואה לשיטות למידת מכונה קונבנציונליות. התקדמות אחרונה ב-DL אפשרה פיתוח מערכות סיווג תמונות בעלות ביצועים גבוהים, המסוגלות לעבד מערכי נתוני הדמיה בקנה מידה גדול בדיוק משופר ועם התערבות אנושית מופחתת.
למרות ההתקדמות הזו, ארכיטקטורות CNN עמוקות קונבנציונליות דורשות לעיתים משאבים חישוביים משמעותיים, כולל צריכת זיכרון גבוהה, מורכבות פרמטרים מוגברתוזמן אימון ממושך. דרישות חישוביות אלו מגבילות את יישומם בסביבות קליניות מוגבלות במשאבים ובמערכות בריאות ניידות. בנוסף, ארכיטקטורות רשת עצבית קונבולוציונית קלות משקל זכו לתשומת לב גוברת בשל מורכבות חישובית מופחתת והתאמתן לפריסה ביישומים דלי משאבים5. מספר מחקרים עדכניים חקרו אסטרטגיות CNN אופטימליות, מנגנוני חילוץ תכונות יעילים ומסגרות פריסה קלות משקל לשיפור יעילות הסיווג מבלי לפגוע משמעותית בדיוק החיזוי 6,7,8. עם זאת, איזון בין יעילות חישובית לביצועי סיווג גידולים רב-קטגוריות חזק נותר אתגר מרכזי בניתוח גידולי מוח מבוססי MRI9.
מסגרות למידה עמוקה מבוססות תשומת לב הפכו לפתרונות יעילים לשיפור ייצוג תכונות בניתוח תמונות רפואיות10. מנגנוני קשב מאפשרים לרשתות עצביות להדגיש באופן סלקטיבי אזורי תמונה רלוונטיים לאבחנתית תוך דיכוי מידע רקע לא רלוונטי. בהשראת מערכת הראייה האנושית, ארכיטקטורות מונחות קשב משפרות את למידת התכונות ההבחנה על ידי הפניית המיקוד החישובי לאזורים מרחביים ספציפיים לגידול ולמאפיינים הקשריים. מנגנונים כאלה מועילים במיוחד לניתוח MRI של גידולי מוח, שכן רקמות הגידול מציגות לעיתים דפוסי עוצמה הטרוגניים, מורפולוגיה לא סדירה ומאפיינים ויזואליים חופפים בין קטגוריות הגידול. כתוצאה מכך, שילוב מודולי קשב בארכיטקטורות מבוססות CNN יכול לשפר את דיוק הסיווג ולשפר את ביצועי לוקליזציית התכונות.
מספר מחקרים עדכניים הראו את הפוטנציאל של מסגרות DL לאבחון אוטומטי של גידולי מוח ולסיווג גידולים מבוססי MRI11,12. גאו ואח' פיתחו ואימתו מודל DL לאבחון גידולי מוח באמצעות נתוני MRI, והדגים יכולת סיווג חזקה לניתוח דימות מוחי אוטומטי11. באופן דומה, עבדוסאלומוב ואחרים חקרו גישות לזיהוי גידולי מוח מבוססות DL באמצעות סריקות MRI ודיווחו על ביצועים אבחנתיים מבטיחים12. למרות שמחקרים אלו השיגו שיפור בדיוק הסיווג, מגבלות הקשורות לגיוון במערכי נתונים, הכללת מודלים ודרישות חישוביות נותרו בלתי פתורות. במקרים רבים, מאגרי הנתונים של ההכשרה היו מוגבלים בגודלם או נגזרו ממקורות קליניים מוגבלים, ובכך הגבירו את הסיכון להתאמה יתרית והפחתת עמידות בקרב אוכלוסיות מטופלים הטרוגניות.
כדי לשפר את הדמיית הגידול והפקת תכונות, נבדקו גם טכניקות ניתוח MRI רב-מודליותושחזור 13,14. סאן ואחרים חקרו הערכת גליומה מבוססת MRI רב-מודלית באמצעות מסגרת שחזור למידה עמוקה בשילוב עם אסטרטגיות הפחתת רעש13. עבודתם הדגימה את חשיבות שיפור איכות התמונה לשיפור דיוק זיהוי גליומה. באופן דומה, סריניוואס וראו הציעו מסגרת סגמנטציה מבוססת DL לניתוח תת-אזור גידולי מוח ב-MRI רב-מודלי14. הגישה שלהם שיפרה את הגדרת תת-האזורים של הגידול ותרמתה לתכנון טיפול מותאם אישית. עם זאת, מסגרות רב-מודליות דורשות בדרך כלל עיבוד מוקדם נרחב, משאבים חישוביים מוגברים, ורישום תמונה מדויק בין שיטות הדמיה, מה שעשוי להגביל את יישומן בסביבות קליניות מעשיות.
הוצעו גם שיטות מיזוג מולטימודליות מונחות קשב לשיפור דיוק הסגמנטציה ואינטגרציית תכונות MRI 15,16,17,18. ג'ואו ואחרים הציגו מסגרת מיזוג מבוססת מנגנון קשב לחלוקת גידולי מוח רב-מודליים15. המחקר הראה שיפור בביצועי הסגמנטציה באמצעות למידת תכונות הקשרית; עם זאת, הגישה התמקדה בעיקר בסגמנטציה ולא בסיווג גידולים קלים. באופן דומה, ג'ואו ודו הציעו רשת מולטימודלית תלת-ממדית לשחזור MRIמואץ 16, בעוד הואנג ואחרים פיתחו את AMF-Net, רשת מיזוג רב-רצפי אדפטיבית לאבחון גידולי מוחרב-מודלי 17. ג'ואו ואחרים הציעו גם MLMFNet לשחזור MRI מואצ רב-מודלי18. למרות ששיטות אלו שיפרו את איכות השחזור ואת יכולת ההיתוך, הן הסתמכו רבות על מודאליות MRI מרובה, ארכיטקטורות עמוקות ופעולות היתוך יקרות חישובית. דרישות אלו עשויות להפחית את היתכנותן לפריסה במערכות בריאות מוגבלות משאבים ובפלטפורמות אבחון מבוססות קצה.
מחקרים נוספים חקרו מסגרות DL במיוחד לסיווג גליומה, מנינגיומה וגידולים בהיפופיזה באמצעות תמונות MRI19. מוקרי ואחרים פיתחו מערכת סיווג מבוססת DL לזיהוי שלושה סוגי גידולי מוח עיקריים באמצעות סריקות MRI19. למרות שהמחקר הראה ביצועים מעודדים, המודל הסתמך על מאגרי נתונים קטנים יחסית וחסר השוואות למסגרות למידה קלות משקל של העברה. ארכיטקטורות מבוססות טרנספורמרים זכו לאחרונה גם לתשומת לב בהדמיה רפואית בזכות יכולתן למודל תלות תכונה לטווח ארוך ויחסים קונטקסטואליים20. פנג ואחרים הציעו מסגרת טרנספורמר רב-מודלית לשחזור תמונת MRמואץ 20. הגישה שלהם שיפרה את ביצועי השיקום בהשוואה לשיטות המסורתיות; עם זאת, ארכיטקטורות טרנספורמרים בדרך כלל דורשות משאבים חישוביים נרחבים ומאגרי נתוני הדרכה בקנה מידה גדול, מה שעשוי להגביל את פריסתן המעשית במערכות רפואיות מוגבלות משאבים.
ארכיטקטורות CNN קלות משקל מבוססות למידת העברה הראו הבטחה רבה להפחתת מורכבות חישובית תוך שמירה על דיוק סיווג 21,22,23. רחמן ואחרים הראו שיפור בביצועים בסיווג גידולי מוח באמצעות MobileNetV2, בשילוב עם גישות מתקדמות לעיבוד מוקדם וכיוונון עדין21. MobileNetV2 מתאים במיוחד ליישומי דימות רפואיים קלים בזכות הקונבלוציות הניתנות להפרדה בעומק, מספר הפרמטרים המופחת והחילוץ היעיל של תכונות. באופן דומה, מסגרות מבוססות EfficientNet הראו ביצועים חזקים בסיווג רב-מחלקתי באמצעות אסטרטגיות קנה מידה מורכבות שמקדמות עומק, רוחב ורזולוציה של הרשת בו-זמנית22. ארכיטקטורות EfficientNet משיגות יעילות סיווג משופרת תוך שמירה על עומס חישובי נמוך יותר בהשוואה ל-CNN קונבנציונליים. בנוסף, ארכיטקטורות Inception-ResNet משלבות למידה שאריתית עם מנגנוני חילוץ תכונות יעילים לשיפור ביצועי סיווג תמונה23. ארכיטקטורות היברידיות כאלה מאפשרות הפצת גרדיאנטים יעילה ולמידה עמוקה יותר של ייצוג רשת תוך שמירה על יעילות חישובית.
למרות שהושגה התקדמות משמעותית בסיווג גידולי מוח מבוססי MRI, מספר מגבלות נותרו בלתי פתורות. גישות רבות קיימות נותנות עדיפות לדיוק סיווג עם ארכיטקטורות אינטנסיביות חישוביות, מבלי להתמודד כראוי עם יעילות הפריסה או מגבלות חישוביות. מחקרים אחרים מתמקדים בעיקר בסגמנטציה, שחזור רב-מודלי או מיזוג תכונות, ולא בסיווג ישיר של גידולים בארבעה מחלקות. יתרה מזאת, מעט מאוד מסגרות משלבות ארכיטקטורות למידת העברה קלה עם למידת תכונות מונחית קשב לסיווג יעיל של גידולי מוח רב-קטגוריות. לכן, עדיין יש צורך במסגרת חישובית יעילה שמאזנת בין דיוק סיווג, פריסה קלה והפקה מאפיינים מובחנת בסביבות קליניות מוגבלות במשאבים.
לכן, מחקר זה מציע מסגרת למידה מונחית קשב קלה לסיווג גידולי מוח בארבעה סוגים באמצעות תמונות MRI. המסגרת המוצעת משלבת את MobileNetV2, EfficientNetV1 ו-Inception-ResNet-V2 עם מנגנון קשב שמדגיש באופן סלקטיבי אזורי גידול רלוונטיים לאבחון תוך דיכוי תכונות רקע לא רלוונטיות. המסגרת שואפת לשפר את הבחנת התכונות ואת ביצועי הסיווג תוך הפחתת המורכבות החישובית. על ידי שילוב עמוד שדרה קל של למידת העברה עם חילוץ תכונות מונחה קשב, הגישה המוצעת שואפת לספק פתרון יעיל וניתן להרחבה לסיווג אוטומטי של גידולי מוח מבוססי MRI בסביבות תמיכה קליניות בהחלטות מוגבלות במשאבים.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
מחקר זה השתמש במאגר נתונים אנונימי זמין לציבור; לכן, לא נדרשה הסכמה מדעת. הגישה המוצעת כוללת שישה רכיבים: עיבוד מוקדם, מודול קונבולוציה, מודול קשב, אינטגרציה של מודולי קונבולוציה ותשומת לב, ושכבות מחוברות לחלוטין (FC). איור 1 ממחיש את כל תהליך העבודה של השיטה שלנו.
רכישת מערכי נתונים
תמונות MRI מוח מסומנות מתקבלות ממאגר נתונים זמין לציבור של Kaggle, הכולל ארבע קטגוריות גידול ורקמה תקינה.
קדם-עיבוד נתונים
התמונות משתנות לרזולוציה אחידה ועוצמה שמנורמלות. הרחבה אופציונלית (סיבוב, הפיכה, זום) מיושמת לשיפור ההכללה. מערך הנתונים מחולק לקבוצות אימון (70%) ומערכות בדיקה (30%).
ארכיטקטורת מודלים
שלושה CNN עמוד שדרה שהוכשרו מראש ב-ImageNet — MobileNetV2, EfficientNetV1 ו-Inception-ResNet-V2 — שימשו לסיווג גידולי מוח לארבע קטגוריות באמצעות תמונות MRI. MobileNetV2 ו-EfficientNetV1 הוגדרו עם ממד קלט של 224 × 224 פיקסלים, בעוד ש-Inception-ResNet-V2 דרש גודל קלט של 299 × 299 פיקסלים. בתהליך למידת ההעברה, השכבות הקונבולוציונליות הראשונות הוקפאו בהתחלה כדי לשמור על תכונות תמונה כלליות, בעוד שהשכבות העליונות כוונו בעדינות כדי להתאים את המודל לסיווג גידולי מוח. כל עמוד שדרה הוצמד עם ראש סיווג קל משקל שכלל Global Average Pooling, שכבות צפופות, dropout לרגולריזציה, ופונקציית הפעלה של Softmax לחיזוי ארבע מחלקות. Dropout יושם כדי לצמצם התאמת יתר ולשפר הכללה. הארכיטקטורה המתוכננת שילבה למעשה חילוץ תכונות יעיל עם דרישות חישוביות נמוכות יותר, והקלה על סיווג מדויק תוך שמירה על התאמה לפריסה בתרחישי מוגבל משאבים והוכחת מושג.
חילוץ תכונות מבוסס קשב
תמונות קלט מעובדות דרך שכבת קונבולוציה ראשונית ואחריה מודול תשומת לב מותאם אישית. איגום מקסימום מקבילי וממוצע לוכדים תכונות בולטות והקשריות, אשר מחוברים ומעודנים באמצעות קונבולוציה כדי להדגיש אזורים רלוונטיים לגידולים.
עמוד שדרה קונבולוציוני ומיזוג
תכונות משוקללות לפי קשב מועברות לעמודי שדרה מאומנים מראש (MobileNetV2, EfficientNetV1, או Inception-ResNet-V2). שכבות קונבולוציה ברמה גבוהה מחוברות באופן לוגי להפחתת גישה לזיכרון ולשפר את היעילות החישובית.
סיווג
תכונות שטוחות עוברות דרך שכבות מחוברות במלואן עם הפעלה וניתוק ReLU6, ויוצרות ייצוג קומפקטי לסיווג סופי של ארבע מחלקות softmax.
הערכה
ביצועי המודל מוערכים על סט הבדיקה באמצעות מטריצות דיוק, דיוק, שחזור, ציון F1 ובלבול.
פיתוח מסגרת
הפתרון המוצע מיושם בפייתון ומשתמש ב-Keras להרצה. טבלה 1 ממחישה את ההיפרפרמטרים. מערך הנתונים מחולק למערך אימון ומערך בדיקות לפי יחס של 70:30. חמישה חלוקות שרירותיות שונות של רכבות/בדיקות משמשות להצגת הביצועים המאוזנים הסופיים לכל מערך נתונים.
קדם-עיבוד
יש לעדכן את תמונות הקלט כי מסגרת MobileNetV2 משמשת כבסיס לפתרון המוצע. כדי להפיק תכונות ברזולוציה גבוהה מתמונות, נעשה שימוש במודל MobileNetV2 המאומן מראש עם ממד הקלט שלו. כל תמונה מוקלטת מותאמת ל-224×224 פיקסלים בטווח [-1, 1].
מודל הקונבולוציה
MobileNetV2 משפרת את זיהוי התמונה באמצעות ארכיטקטורת רשת עצבית קונבולוציונית (CNN) יעילה, שנועדה למזער דרישות חישוביות. בעוד ש-CNN מסורתיים משיגים דיוק גבוה, הם לעיתים דורשים זיכרון וכוח עיבוד משמעותיים. MobileNetV1 הציג את מושג הקונבולוציה הניתנת להפרדה בעומק, שמחלק את הקונבולוציה הסטנדרטית לשתי פעולות מובחנות: קונבולוציה עומקית לסינון קלטים וקונבולוציה נקודתית לאינטגרציה של תכונות. MobileNetV2 בונה על רעיון זה על ידי שילוב בלוקים שאריתיים של צוואר בקבוק המורכבים משכבות התרחבות, קונבולוציה עומקית, שכבות הקרנה וחיבורים שאריתיים. שכבת ההקרנה דוחסת ערוצי תכונה, בעוד שחיבורים שאריים מאפשרים זרימת מידע טובה יותר ברחבי הרשת. כדי לשפר את היציבות ולשפר את ביצועי הלמידה, מופעלים ReLU6 ונירמול אצווה לאחר פעולות קונבולוציונליות.
במחקר זה, MobileNetV2, שהוכשר מראש ב-ImageNet, שימש כמודל עמוד שדרה להפקת תכונות, תוך מתן ייצוגים סמנטיים ברמה גבוהה ויעילים תוך שמירה על עלויות חישוביות נמוכות לסיווג גידולי מוח. לאחר כל שכבת קונבולוציה קיימת שכבת הפעלה ReLU6, שהיא התאמה של פונקציית ההפעלה של ReLU, שבה הגודל ממוקסם בשש, ושכבת נרמול אצווה. שכבות קונבולוציה 1x1 נפוצות, איגוד ממוצע וסיווג מוחלות על 17 מהבלוקים הנותרים של צוואר בקבוק, ויוצרות את הארכיטקטורת המלאה של MobileNetV2. השתמשנו ב-MobileNetV2 כרשת עמוד השדרה שהוכשרה מראש ב-ImageNet. במקרה כזה, ההעתקה הקונבולוציונית מתקבלת מהבלוק השארי האחרון לאחר שעבר דרך שכבת הקונבולוציה של MobileNetV2. בלוקים שאריתיים ברמה נמוכה יותר יוצרים מפות תכונות קטנות יותר. חסימות כאלה אינן תורמות למחקר שלנו כי הן אינן אוספות נתונים ברמה גבוהה לזיהוי תמונה כולל. במהלך בניית המודלים והאימון, השכבות שלפני השכבות הקונבולוציוניות שמייצרות מפת תכונות תלת-ממדיות של 7 × 7 נשמרות קבועות. במונחים מתמטיים, זה מבוטא להלן ב-Eq (1):
F1(I) = Conv(I) (1)
כאן,F1(I) מייצג את התכונה הקונבולוציונית המופקת מתמונת הקלט, I.
מודול המיקוד
מנגנון הקשב של המוח האנושי, שמרמז שאנשים מתמקדים באופן טבעי יותר בקלטים חזותיים משמעותיים מאשר בכל פרט בתמונה, משמש כבסיס לעיצוב רשת הטרנספורמציה הזו. מודלים מבוססי קשב רבים נוצרו במחקר למידה עמוקה בעקבות רעיון זה. הקורלציות המרחביות הנראות בייצוגי גידולי מוח מודגשות על ידי מנגנון הקשב המוצע. בעוד שמודול הקשב בערוץ לוכד את המידע החשוב ביותר הקשור לגידול בין ערוצי התכונה, יחידת הקשב האזורית מזהה את האזורים המידעיים ביותר בתמונת ה-MRI. באמצעות שיטת תשומת לב מובנית, יחידת המיקוד המוצעת מתמקדת באזורים המכילים מידע מבחין על גידול.
לשיפור ייצוג התכונות, משתמשים בטכניקות כמו Top Activation Pooling וחילוץ מאוזן של תכונות לפני שלב גילוי המאפיינים המרחבי. אסטרטגיה זו משפרת את יכולת המודל להדגיש אזורי גידול בעלי חשיבות קלינית תוך מזעור פרטים רקע לא רלוונטיים, ובכך משפרת את דיוק הסיווג ואת יעילות למידת התכונות. השני הוא השרשור של הטנזורים המאגדים המקסימלי והממוצע. לבסוף, פונקציית ההפעלה של סיגמא, בשילוב עם פילטר קונבולוציוני 7x7, תשמש להפעלת גירויים ויזואליים בתוך הוויזואליות. השלבים השונים של מודול המיקוד מסומנים במשוואות (2) ו-(3). כאשר Pool(F) מאוזן ∈ RHxWx1 מייצג את פעולת האיגום הממוצעת ו-MaxPool(F) ∈ RHxWx1 מתאר את פעולת האיגום המקסימלי.
F2(I) = [AvgPool(F); MaxPool(F)] (2)
ניתן לשלב את שני מפות האלמנטים הללו בתלת-ממד ליצירת מפת אלמנטים
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
כאשר σ היא פונקציית ההפעלה שמציינת סיגמא. מאפייני תשומת הלב, המיוצגים על ידי טנזור מקודד גובה HxWxC (V), רוחב (W) ועובי (C), מיוצגים על ידי F3(I), בעוד ש-f7x7 מייצג את פעולת הקונבולוציה של גודל המסנן (7x7).
מיזוג תשומת לב ומודל קונבולוציה
בניגוד לרשת שתלויה במקודד יחיד, יחידת מיזוג רב-מודלית יכולה להפיק מידע יעיל ומקיף בהרבה עבור רוב המודואליות. בלוק ההיתוך מיועד להנחות את התכונות המקסימליות החיוניות של חוצה מודליות; לכן, הוא יאתר אזורי תשומת לב להוצאת אזור הגידול. זהו חיבור פשוט של ייצוגים סמויים בודדים, אך חלק מהמידע יאבד. לכן נוצרה מפה משולבת של אובייקטים על ידי שילוב מפות התכונות של מודולי הקונבולוציה והתצפית באמצעות שיטת הקישור הבסיסית של סיטאולה ואחרים. שתי מפות התכונות הללו תפסו הבדלים בתכונות תמונה שונות, ולכן החלטנו להשתמש בשיטת חיבור פשוטה במקום אסטרטגיות מבוססות מקסימום, מינימום או סכום. דבר זה גם הופך אותו לקל יותר חישובית מהשיטות האלטרנטיביות המשתמשות בשיטות ביליניאריות כצורת חישוב מכפלה טנזורית. כאשר שתי תכונות כאלה משולבות, התוצאה נקראת טנזור תכונות. הביטוי המתמטי של פלט הטנזור המצטבר של תווים T ניתן על ידי משוואה (4).
[F1(I), F3(I)] = T(I) (4)
כאשר F1(I) ∈ RHxWx1 ו-F2(I) ∈ RHxWx1280. אלו טנזורים תלת-ממדיים עם אותו רוחב (W) ואותו גובה (H). יתרה מזאת, ניתן לקשר אותם ביצירת k תלת-ממדית של טנזורים תלת-ממדיים, כאשר T(I) ∈ LxWx1281.
שכבות מחוברות לחלוטין (FC)
השתמשנו בסדרה של שכבות FC לאחר מיזוג תכונות כדי להמיר טנזור וולומטרי שעוצב מחדש לווקטור תכונה ליניארי. ראש הסיווג מורכב משכבת Global Average Pooling, שכבות צפופות מחוברות במלואן, רגולריזציה של Dropout, ושכבת פלט Softmax. פונקציית ההפעלה ReLU6 משמשת, עם 128 יחידות והסתברות ליציאה של 50%.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
שלושה מודלים ללמידה עמוקה מאומנים מראש, MobileNetV2, EfficientNetV1 ו-Inception-ResNet-V2, הוערכו לסיווג גידולי מוח בארבעה סוגים באמצעות תמונות MRI.
מערך נתונים בשימוש
המסגרת המוצעת הוערכה באמצעות מאגר נתוני MRI גידולי מוח הזמין לציבור, שהושג מפלטפורמת Kaggle. מערך הנתונים כלל 835 תמונות MRI מוח תקינות, 826 תמונות גליומה, 822 תמונות מנינגיומה ו-827 תמונות גידול בלות המוח. דגימות MRI מייצגות ממאגר הנתונים מוצגות באיור 2<...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
הערכת הביצועים, המבוססת על דיוק, זיכרון, ציון F1 ודיוק, מגלה כי גם MobileNetV2 וגם Inception-ResNet-V2 משיגים תוצאות דומות בסיווג גידולי מוח, כאשר כל אחד מהם מגיע לדיוק מצטבר וממוצע משוקלל של 97–98%. לעומת זאת, EfficientNet עולה על המודלים האחרים, ומגיע לדיוק של 99% במדדים מאקרו-ממוצעים ומשוקללים, הודות להכללה משופרת ואסטרטגיית ההרחבה המורכבת. ממצאים אלו תואמים מחקרים קודמים שהראו את יעילות ארכיטקטורות EfficientNet לסיווג גידולי MRI רב-מחלקתיים ולמידת תכונות יעילה חישובית
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
למחברים אין ניגודי עניינים להצהיר עליהם.
לא התקבל מימון חיצוני למחקר זה.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
```html
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| מחשב MRI מאגר מידע | IEEE | https://dx.doi.org/10.21227/q2vt-tf46 | המאגר מועתק עם גישה ממוסדת. מאגר ה-MRI מכיל ארבע מחלקות: גליומה, מנינגיומה, גידול בבלוטת יותרת המוח ותמונת מוח רגילה |
| מאיץ CNN (מיזוג שכבות) | עבודה מוצעת | — | מיזוג לוגי של שכבות הקונבולוציה העליונות כדי להפחית גישה לזיכרון ולשפר את היעילות החישובית |
| מודול תשומת לב מותאם אישית | עבודה מוצעת | — | מנגנון תשומת לב המשלב מיזוג מירבי ומיזוג ממוצע כדי להדגיש אזורים רלוונטיים לגידול |
| EfficientNetV1 | מוכן (ImageNet) | ארכיטקטורת CNN סקלבילית המספקת פשרה מיטבית בין דיוק ויעילות | |
| Google Colaboratory | https://colab.research.google.com/ | סביבה מבוססת ענן המשמשת לאימון מודל, הערכה וניסויים עם תמיכת GPU | |
| Inception-ResNet-V2 | מוכן (ImageNet) | ארכיטקטורת CNN היברידית עמוקה המשלבת מודולי Inception עם חיבורים שיוריים | |
| Keras | v2.6.0 | ממשק רשת עצבית מפלסי גבוהה הבנוי על TensorFlow לבניית פרוטוטיפ מהירה של מודל | |
| Matplotlib | מפתחים של Matplotlib | v3.4.3 | ספריית הדמיה המשמשת לעיצוב עקומות אימון, מטריצות בלבול ומדדי ביצוע |
| MobileNetV2 | מוכן (ImageNet) | גב CNN קל משקל מותאם לפריסה ניידת וקצה | |
| NumPy | מפתחי NumPy | v1.21.4 | ספריית מחשוב מדעית ליבה המשמשת לפעולות מספריות |
| Pandas | צוות פיתוח Pandas | v1.3.4 | ספריית טיפול וניהול נתונים המשמשת לארגון מאגר נתונים ועיבוד מטא-נתונים |
| Python | קרן תוכנת Python | v3.8.10 | שפת תכנות עיקרית המשמשת לעיבוד נתונים מוקדם, פיתוח מודל והערכה |
| Scikit-learn | מפתחי Scikit-learn | יציבה ביותר | משמש למדדי הערכת ביצוע כגון דיוק, זיכרון, ציון F1 ומטריצות בלבול |
| Seaborn | מפתחי Seaborn | יציבה ביותר | ספריית הדמיה סטטיסטית ברמה גבוהה המשמשת לניתוח גרפי משופר |
| TensorFlow | v2.6.0 | מסגרת למידה עמוקה מקצה לקצה המשמשת ליישום גב CNN ומודולים של תשומת לב |
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה