מחקר זה לא כלל גיוס משתתפים אנושיים או איסוף נתונים מזהים של מטופלים. כל הניסויים בוצעו באמצעות מערך נתוני נגעי העור ISIC 2020 הזמין לציבור, אשר הושג ממאגר Kaggle; לפיכך, לא נדרשו אישור של ועדת אתיקה מוסדית והסכמה מדעת. כל החומרים ששימשו במחקר זה נמצאים ב- טבלת חומרים.
חילוץ ומיזוג מאפיינים
תמונות של נגעי עור עובדו באמצעות מספר מודלי CNN מאומנים מראש. וקטורי מאפיינים עמוקים שחולצו מארכיטקטורות ה-CNN הנבחרות שורשרו כדי לבנות ייצוג מאפיינים מאוחד עבור כל תמונת נגע עור. אסטרטגיית המיזוג שנבחרה משמרת מידע חזותי משלים שנלמד על ידי ארכיטקטורות CNN שונות, מה שמאפשר למסווג ה-SVM העוקב לנצל הן מאפייני מרקם ברמה נמוכה והן ייצוגים סמנטיים ברמה גבוהה יותר. למרות שטכניקות להורדת ממדיות, כגון ניתוח רכיבים ראשיים (PCA) או בחירת מאפיינים מבוססת מידע הדדי, עשויות להפחית את ממדיות המאפיינים, הייצוג הממוזג המלא נשמר במכוון כיוון שמרחב המאפיינים הממוזג נותר ניתן לניהול חישובי עבור מסווג ה-RBF-SVM שנעשה בו שימוש, תוך שימור מידע אבחנתי משלים שחולץ ממבני ה-CNN ההטרוגניים.
סיווג
וקטורי התכונות המאוחדים שימשו לאימון מסווג SVM עם גרעין RBF. נעשה שימוש בטכניקות לאופטימיזציה של היפר-פרמטרים כדי לקבוע את הגדרות הסיווג האופטימליות. לאחר מכן, המסווג קטל את נגעי העור למחלקות המתאימות להם.
ניתנות להסבר
כדי לשפר את יכולת הפרשנות, נעשה שימוש ב-LIME ליצירת הסברים ויזואליים המדגישים את אזורי התמונה שתורמים באופן המשמעותי ביותר לתוצאות הסיווג. הסברים אלו יסייעו לקליניקאים להבין ולתקף את החלטות המודל.
תוכנית הערכה
המסגרה המוצעת הוערכה באמצעות מערך נתונים סטנדרטי (benchmark) של נגעי עור. הביצועים נבחנו באמצעות Accuracy, Precision, Recall ו-F1-Score. ניסויים השוואתיים נערכו מול גישות קיימות של למידת מכונה ולמידה עמוקה כדי להדגים את יעילותה של המסגרת המוצעת.
תוצאות צפויות
המחקר היה צפוי להניב מערכת מדויקת וניתנת לפירוש לסיווג נגעי עור. תוצאות ניסיוניות ראשוניות מעידות כי EDLF-SLC משיג דיוק של 88.0%, רגישות (precision) של 89.0%, recall של 87.0% ומדד F1-score של 88.0%, ובכך עולה בביצועיו על מספר שיטות מתחרות. שילוב הסברים באמצעות LIME היה צפוי להגביר את רמת האמון ולהקל על אימוץ מערכות אבחון מבוססות בינה מלאכותית בפרקטיקה הקלינית.
חשיבות
מחקר זה תורם לתחום הגדל של בינה מלאכותית ניתנת להסבר (Explainable AI) בתחום הבריאות, על ידי התייחסות לאתגרי ביצועים ושקיפות באבחון נגעים בעור. למסגרת המוצעת יש פוטנציאל לסייע לרופאי עור בקבלת החלטות אבחנתיות אמינות וניתנות לפירוש יותר, ובסופו של דבר לשפר את הטיפול במטופלים. יתרה מכך, בחלק זה, סיפקו המחברים מידע בנוגע לחומרים ולמתודולוגיה שיושמה במחקר זה. באופן ספציפי, המחברים פתחו בתיאור מערך הנתונים ששימש לניסויים והמשיכו לדיון מפורט במסגרת הלמידה העמוקה הניתנת להסבר לסיווג נגעים בעור.
ערכת נתונים
העבודה המוצגת מתבססת על ערכת הנתונים ISIC 2020 הזמינה לציבור (International Skin Imaging Collaboration), אליה ניתן לגשת באתר Kaggle (https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign). מאגר ה-ISIC מוכר כאחד המשאבים הטובים ביותר בתחום ההדמיה הדרמטולוגית, מאחר שהוא מספק מגוון רחב של תמונות דרמוסקופיות של סוגים שונים של נגעים בעור, כפי שמוצג ב-איור 1. באופן משמעותי, ערכת הנתונים כוללת תמונות של מצבים שפירים וממאירים כאחד, מה שהופך אותה למועילה לביצוע משימות סיווג בינארי של סרטן העור 46. בערכת הנתונים הנוכחית ישנן 3,297 תמונות, מתוכן 1,800 שפירות ו-1,497 ממאירות. לצורך ניסויים יעילים יותר, היה צורך לחלק את הנתונים למערכת אימון ומערכת בדיקה. בפרט, ישנן 2,637 תמונות אימון, הכוללות 1,440 שפירות ו-1,197 ממאירות, בעוד שמערכת הבדיקה מורכבת מ-660 תמונות, מתוכן 360 שפירות ו-300 ממאירות. סיכום של ערכת הנתונים מוצג ב-טבלה 2.
מודל ה-EDLF-SLC המוצע
במאמר זה הוצע פתרון יעיל ומובן לסיווג נגעי עור לקטגוריות שפירות וממאירות, תוך שימוש בטכניקה חדשנית של למידה עמוקה הניתנת להסבר, המבוססת על גישה היברידית המשלבת את היתרונות של מספר מודלים של רשתות נוירונים קונבולוציוניות (CNN) שאומנו מראש. רשתות נוירונים קונבולוציוניות הוכחו כיעילות ביותר בחילוץ מאפיינים סמנטיים ברמה גבוהה מתמונות רפואיות. תוך שימוש ביכולת זו, מסגרת הלמידה העמוקה הניתנת להסבר לסיווג נגעי עור המוצעת (EDLF-SLC) מנצלת מספר מודלי CNN שאומנו מראש כדי להשיג ביצועים מעולים. כדי להבטיח את השקיפות הדרושה בתהליך קבלת ההחלטות הרפואיות, הוטמעה בגישה המוצעת שיטת LIME ליצירת הסברים מקומיים קריאים לבני אדם עבור תוצאות הפלט. ניתן לחלק את המסגרת השלמה לשלושה שלבים עיקריים, כפי שמוצג ב-איור 2>, והם: (1) עיבוד מקדים של נתונים, (2) חילוץ מאפיינים וסיווג, ו-(3) יכולת פרשנות.
ארכיטקטורת מודל ואינטגרציה
כשלב מקדימ, נבחרו שבעה מודלים פופולריים של למידה עמוקה (MobileNetV2, ResNet50, EfficientNetB0, Xception, InceptionResNetV2, NASNetLarge, ו-MobileNet) והוערכו בנפרד על סט נתוני האימות, וארבעת המודלים היעילים ביותר (ResNet50, EfficientNetB0, MobileNet, ו-Xception) נבחרו לשלב חילוץ התכונות. במסגרת המוצעת, כל תמונת קלט x הועברה באופן עצמאי דרך המודלים המאומנים מראש שנבחרו. השכבה האחרונה עם חיבור מלא (fully connected layer) הוסרה מכל אחד מהמודלים הללו, ווקטורי תכונות הופקו מהשכבות הקודמות. fResNet50(x), fEfficientNetB0(x), fMobileNet(x), ו-fXception(x) מתייחסים לווקטורי התכונות הפלט מכל אחד מהמודלים שהוזכרו לעיל. באמצעות שרשור וקטורי תכונות אלה, מתקבל וקטור תכונות מאוחד חדש F(xi):
F(xi) = [f(ResNet50)(xi);f(EfficientNetB0)(xi);f(MobileNet)(xi);f(Xception)(xi)] (1)
לאחר מכן, F(xiהועבר דרך מסווג SVM עם גרעין פונקציית בסיס רדיאלית (RBF) כדי לקבל את תוצאת הסיווג. האלגוריתם המלא עבור המסגרת המוצעת מוצג ב- קובץ משלים 1.
המסגרת המוצעת מאמצת מיזוג ישיר ברמת המאפיינים (feature-level fusion), מכיוון שכל ארכיטקטורת CNN מאומנת לומדת מאפיינים מבחינים שונים של נגעי עור באמצעות ארכיטקטורת הרשת הייחודית שלה וההיררכיה של המאפיינים שנלמדו. כתוצאה מכך, שרשור ייצוגי מאפיינים הטרוגניים אלו משמר מידע משלים התורם לאפיון מקיף יותר של הנגע לפני השלב של הסיווג. למרות ששיטות להפחתת ממדיות, כגון ניתוח רכיבים ראשיים (PCA) או בחירת מאפיינים מבוססת מידע הדדי (mutual information), יכולות להפחית את ממדיות הייצוג הממוזג, וקטור המאפיינים הממוזג המלא נשמר במכוון מאחר שממדיותו נשארת ניתנת לניהול חישובי עבור מסווג ה-RBF-SVM שנבחר, ובו בזמן שהיא משמרת מידע אבחנתי משלים שהוצא על ידי רשתות ה-CNN השונות. עיצוב זה, לפיכך, נותן עדיפות לשימור ייצוגים עמוקים משלימים על פני הסרת מאפיינים שעשויים להיות אינפורמטיביים לפני הסיווג.
הכנת נתונים
הכנת הנתונים כללה עיבוד מקדמי ופיצול של מערך הנתונים למערכי אימון ובדיקה. העיבוד המקדמי נועד לשפר את איכות הנתונים על ידי ביטול אי-עקביות, מחיקת רכיבים כפולים, עיצוב תמונות הקלט וביצוע נרמול תכונות (feature scaling) לצורך אימון יציב של מודל איכותי. כל התמונות נורמלו לטווח של [−1, 1] באמצעות נרמול Z-score:
(2)
כאשר µ ו-σ מייצגים את ערך הממוצע ואת סטיית התקן של התמונה המתאימה, בהתאמה. מערך הנתונים חולק לשתי תתי-קבוצות, כלומר, קבוצת אימון (70.0%) וקבוצת בדיקה (30.0%).
הגדלת נתונים (Data augmentation)
כדי למנוע התאמת יתר (overfitting) ולהגביר את יכולת ההכללה של המודל, נעשה שימוש במספר טכניקות הגדלה עבור קבוצת האימון. הגדלת תמונות כוללת שינוי של התמונות במטרה להרחיב באופן מלאכותי את מערך הנתונים מבלי לשנות מאפיינים חיוניים של המצבים הרפואיים. צינור העיבוד להגדלה נבנה באמצעות ה-Keras Sequential API. נעשה שינוי באמצעות טרנספורמציות כגון היפוך אופקי אקראי, סיבוב בזווית קטנה, שינוי גודל (resizing), קנה מידה (scaling), התאמת בהירות/ניגודיות, זום ותנועות מינוריות. דוגמאות מייצגות של תמונות מוגדלות מוצגות ב-איור 3.
מודלים מאומנים מראש
מספר מודלים של למידה עמוקה מאומנים מראש אומצו במסגרת המוצעת לצורך חילוץ מאפיינים מתמונות הקלט. מודלים אלו כוללים את MobileNet, ResNet50, EfficientNetB0, Xception, NASNetLarge, Inception-ResNet-v2 ו-MobileNetV2. MobileNet ו-MobileNetV2 הם מודלים קלילים של למידה עמוקה לביצועי חישוב יעילים באמצעות קונבולוציות ניתנות להפרדה לפי עומק (depth-wise separable convolutions). ResNet50 משתמש במנגנון של חיבורים שיוריים (residual connections) לאימון המודל, ובכך נמנע מבעיית הגרדיאנטים הנעלמים במהלך האימון. EfficientNetB0 יוצר איזון בין יעילות לדיוק באמצעות גישה של סקאלינג מורכב (compound scaling). Xception מרחיב את רשת Inception באמצעות קונבולוציות ניתנות להפרדה לפי עומק. NASNetLarge כולל שימוש בחיפוש ארכיטקטורה עצבית (neural architecture search) לבניית מבני רשת עצבית עמוקה אופטימליים, ו-Inception-ResNet-v2 בונה היבריד של מודל Inception ומנגנון החיבורים השיוריים. וקטורי מאפיינים שחולצו מ-ResNet50 (1,024 מאפיינים), EfficientNetB0 (1,280 מאפיינים), MobileNet (1,024 מאפיינים) ו-Xception (2,048 מאפיינים) שורשרו יחד כדי להפיק ייצוג מאוחד במימדיות של 5,376. אסטרטגיית מיזוג זו נבחרה כדי לשמר ייצוגים משלימים שנלמדו על ידי ארכיטקטורות CNN שונות, במקום לצמצם את הייצוג לפני הסיווג. וקטור המאפיינים שנוצר מועבר לאחר מכן למסווג RBF-SVM, הקובע את גבול ההחלטה הבלתי-ליניארי האופטימלי בתוך מרחב המאפיינים הממוזג.
מודל בינה מלאכותית הניתן להסבר (LIME)
על מנת לספק פרשנות מקומית מסוימת של תחזיות המודל, המחברים מאמצים את השיטה של יצירת הסברים מקומיים קריאים לבני אדם עבור כל תחזית ספציפית של המודל, שיטה הנקראת LIME47. עבור כל תמונת קלט, LIME מחלק אותה תחילה ליחידות קטנות יותר הנקראות superpixels. לאחר מכן נוצרים שיבושים (perturbations) מהתמונה המקורית, ותחזיות ממודל הרשת העמוקה נאמדות עבור כל אחד מהשיבושים. לאחר מכן, מותאם מודל ליניארי משוקלל על השיבושים תוך שימוש במשקולות התלויות בקרבתם למופת הקלט המקורי. לאחר התאמת המודל הליניארי, נאמדים מדדי חשיבות המאפיינים, המצביעים על תפקידו של כל superpixel בתחזית התגית הסופית. מדדי חשיבות אלו מודגשים חזותית בתמונת ההסבר הסופית. אלגוריתם LIME מוצג בקובץ משלים 2.