מסגרת מולטימודלית לשמירה על פרטיות מוסברת לסיווג נגעי עור

Summary

העבודה המוצעת שואפת לפתח ולהעריך סידור בד קבוצתי מולטימודלי מוסביר ושומר על פרטיות, לסיווג מדויק של נגעי עור, באמצעות שילוב תכונות למידה עמוקה, מטא-דאטה קלינית וטכניקות בינה מלאכותית ניתנות להסבר, לשיפור דיוק האבחון, השקיפות ותמיכה קלינית אמינה בקבלת החלטות לגילוי מוקדם של סרטן העור.

Abstract

מבין מחלות העור, סרטן העור הוא בין המסכנים ביותר לחיים. אבחון מוקדם ומדויק חשוב לשיפור הפרוגנוזה של המטופל. עם זאת, שיטות אבחון מסורתיות מבוססות בינה מלאכותית מתמודדות עם מספר אתגרים, כולל חששות לפרטיות, פרשנות מוגבלת, וחוסר איזון חמור במעמדות במאגרי נגעי עור רב-קבוצתיים. כדי להתגבר על אתגרים אלו, המאמר המוצע מציע מודל סיווג נגעי עור רב-מודאלי, מודע לפרטיות, המשלב מודלים מורכבים של למידה עמוקה וגישת מידול קבוצתי עם שיטות בינה מלאכותית ניתנות להסבר. ההערכה הניסויית מתבצעת באמצעות נתוני מדד HAM10000 זמינים לציבור על סיווג נגעי עור רב-קטגוריות, שניתן לגשת אליהם באמצעות Kaggle Hub, המפוזר על פני שבע סוגי נגעים בעלי חשיבות קלינית (akiec, bcc, bkl, df, mel, NV, VASC). כדי לאזן את הנתונים, נעשה שימוש בטכניקת איזון מחלקות כדי לחזק את מחלקות המיעוט. ה-EfficientNet B4, DenseNet201 ו-MobileNetv2 משמשים להפקת ייצוגים עמוקים של תכונות, ולאחר מכן משולבים עם מטא-דאטה קלינית בולטת ליצירת מרחב תכונות רב-מודלי חזק. תכונות רב-מודליות אלו משמשות לאימון XGBoost, LightGBM, מסווג עצבי עמוק (DNC) שהביאו לדיוקים בסיווג של 92%, 90% ו-94% בהתאמה. אסטרטגיית אנסמבל מוערכת מיושמת לשילוב התוצרים של XGBoost, LightGBM ו-Deep Neural Classifier (DNC), מה שמוביל לשיפור בדיוק של 96%. טכניקות פרשנות מודלים מספקות הסברים ברמת התכונות שמגבירים את השקיפות. ממצאי הניסוי הוכיחו את הפרקטיות של המסגרת המוצעת מבחינת יעילות עם סיווג קליני רלוונטי לחיים האמיתיים של נגעי עור.

Introduction

סרטן העור מהווה נטל בריאותי עולמי משמעותי, עם עלייה בשיעורי השכיחות המדווחים ברחבי העולם¹. קרינה מלאכותית מוכרת כגורם מרכזי לסרטן העור, ומובילה למוטציות גנטיות שגורמות להתרבות תאים בלתי מבוקרת ולהתפתחות גידולים בתאי עור ^1,2_. סרטן העור מורכב מקבוצת מחלות, כולל מלנומה, קרצינומה של תאי קשקש, וקרצינומה של תאי בסיס (BCC). הסיבות, ההופעה הקלינית והגורמים הפרוגנוסטיים של מצבים אלו שונים³. מחלות עור הפכו למכשול באבחון רפואי בשל דמיון ברמת הפיקסל⁴. בשנת 2022 נרשמו 331,722 מקרים מוערכים של מלנומה (58,667 מקרי מוות) ו-1.2 מיליון מקרי NMSC (69,416 מקרי מוות) ברחבי העולם. שיעורי השיא של שיעור התמותה (ASR) של מלנומה לפי גיל היו באוקיאניה (29.78 מתוך 100,000), צפון אמריקה (16.3) ואירופה (10.43). עם זאת, יחס התמותה לשכיחות היה הגבוה ביותר באפריקה (0.35) ובאסיה (0.30) לעומת צפון אמריקה ואוקיאניה (0.02 בשתיהן), מה שעשוי לשקף פרוגנוזה גרועה^{יותר 1}. בדרמטולוגיה, האבחון והניטור של נגעי עור התבססו בעיקר על בדיקה ויזואלית והערכות לא פולשניות אחרות. שיטות פולשניות אינן מיושמות משום שהן עלולות לפגוע בנגעים ולמנוע ביצוע מעקב קליני^{של צמיחת} הנגע. נגעי עור יכולים להיות מסוגים שונים: מלנומה (MEL), דרמטופיברומה (DF), קרטוזיס אקטיני וקרצינומה תוך-אפיתלית (AKIEC), קרצינומה תאי בסיס (BCC), קרטוזיס שפיר (BKL), נבוס מלנוציטי (NV) ונגעים וסקולריים (VASC), כפי שמוגדר במערך הנתונים HAM10000⁵. אתגרים מרכזיים בסיווג תמונות דרמטוסקופיות הם נוכחות של שערות, דיו, סימני סרגל, כתמים צבעוניים, נצנוצים, טיפות, בועות שמן, כלי דם, אזורים היפרפיגמנטיים ו/או נגעים דלקתיים⁶. נערכו בעבר מחקרים על בחירת תכונות ולמידה עמוקה להדמיה רפואית וסיווג נגעי עור ^7,8.

גישות מבוססות ראייה ממוחשבת לאבחון סרטן העור ושילוב תכונות מעוצבות ועמוקות נחקרו גם^הן 9, יחד עם אסטרטגיות מיזוג תכונות לשיפור^ביצועי הסיווג. התקדמויות אחרונות מדגישות עוד יותר את שילוב למידת המכונה במערכות בריאות ומסגרות עיבוד נתונים רפואיים מאובטחות^11,12_. שימוש בשירותי בריאות בינה מלאכותית, המופעל על ידי אלגוריתמים חישוביים מתקדמים, עשוי לספק תוכניות טיפול משולבות מותאמות אישית ויעילות, המועילות במיוחד למטופלים בסביבות טיפול מרחוק וביתיות¹³. באמצעות מאגרי נתונים נרחבים של תמונות דרמטוסקופיות, ניתן לאמן מודלים של למידה עמוקה — במיוחד רשתות עצביות קונבולוציוניות (CNNs) — לזיהוי וסיווג מדויק של נגעי עור שונים. מספר טכניקות מראות תוצאות חזקות בחלוקת נגעי עור, כולל רשתות קונבולוציונליות מלאות (FCNs), CNNs, CNNs עמוקים (DCNNs), רשתות שאריות קונבולוציונליות מלאות (FCRNs) וארכיטקטורות U-Net. רשתות עצביות עמוקות (DNNs) אינן ניתנות לפרשנות בקלות בשל הארכיטקטורה המורכבת שלהן, ולכן תהליך קבלת ההחלטות שלהן קשה להבנה^14,15. התקדמות אחרונה בניתוח תמונות רפואיות הראו כי רשתות עצביות קונבולוציונליות עמוקות (CNNs) משפרות משמעותית את היעילות במשימות סיווג נגעי עור. מספר מחקרים על מאגרי נתונים דרמוסקופיים כמו HAM10000 הראו שארכיטקטורות מבוססות CNN, כולל ResNet, DenseNet ו-EfficientNet, משיגות ביצועי סיווג רב-מחלקתיים חזקים על ידי למידת ייצוגים היררכיים של תכונות מתמונות נגעים. גישות מיזוג תכונות היברידיות, שבהן משולבים מספר עמודי שדרה של CNN, שיפרו עוד יותר את הדיוק האבחוני על ידי שילוב ייצוגים עמוקים משלימים¹⁶. יתרה מזאת, מחקרים עדכניים חקרו מודלים היברידיים של ממירים CNN בניתוח תמונות רפואיות. מודלים עם מחלץ תכונות של טרנספורמטור ראייה ו-CNN הוכחו כבעלי תוצאות טובות יותר במשימות סיווג נגעי עור, משום שהם מסוגלים לחלץ טוב יותר תוכן מרקם מקומי וכן מערכות יחסים קונטקסטואליות גלובליות¹⁷. עיצובים היברידיים אלו נחשבים גם למתקדמים ביותר בתחום הדימות הרפואי, משום שיש להם יכולת למידה מאוזנת לייצוג.

בתחומים אחרים ברפואה, אסטרטגיות מיזוג תכונות שימשו רבות מחוץ לדרמטולוגיה. מערכות היברידיות מבוססות CNN יושמו גם בניתוח תמונות היסטופתולוגיות להשגת סיווג טוב יותר של סרטן הריאות והמעי הגס עם ייצוגים משופרים של תכונות ודינמיקת למידה מרחבית¹⁶. באופן דומה, באופתלמולוגיה, השימוש במודלים של למידה עמוקה המאומנים על ייצוגי תכונות מאוחדות הוכיח יישום מוצלח בשלב של תמונות קרקעית של רטינופתיה סוכרתית, עם עמידות ודיוק סיווג טובים יותר במשימת דירוג רב-מחלקתית¹⁸. שיטות מיזוג רב-מודליות בתחומים אלו כולן מצביעות על כך שייצוגי תכונות הטרוגניים מניבים הכללה וסיווג טובים יותר, במיוחד בנתונים רפואיים לא מאוזנים¹⁹.

למרות שהשיפורים הללו נעשו, הפרקטיקות הנוכחיות מוגבלות בדרך כלל להיות רב-מודליות, לא משולבות, לא מספקות להתמודדות עם בעיית חוסר האיזון המעמדי, ואינן מועילות בקבלת החלטות קליניות. כדי להתגבר על בעיות אלו, מאמר זה מציג מודל סיווג נגעים בעור שניתן להסביר, המודע לפרטיות ומשלב את שתי שיטות הפרשנות של המודלים. שיטות הסבר כאלה יכולות לשמש להסביר את תחזיות המודל, להראות אילו תכונות הן החשובות ביותר ולהדגיש תחומים משמעותיים בתמונות דרמוסקופיות, לשפר את הבהירות והביטחון בפרוצדורות קליניות, ובכך לשפר את השקיפות הקלינית, לבנות אמון ולתמוך ביישום בטוח של מערכות בינה מלאכותית בפרקטיקה קלינית. קיים חוסר איזון משמעותי במאגר הנתונים HAM10000, כאשר לכמה מחלקות יש הרבה פחות דגימות מאחרות. כדי להתגבר על בעיה זו, טכניקת דגימת היתר של מיעוטים סינתטיים (המכונה גם איזון מחלקות) משמשת ליצירת דגימות סינתטיות עבור מחלקות מיוצגות פחות מדי. טכניקות איזון מחלקות מאזנות את מאגר הנתונים, ומאפשרות למודל ללמוד טוב יותר מסוגי נגעים מיעוט, מגבירה את הרגישות, ומאפשרות חיזוי אמין יותר של סוגי סרטן עור משמעותיים קלינית אך פחות תכופים.  תכונות עמוקות של EfficientNet-B4, DenseNet201 ו-MobileNetV2 משולבות עם המטא-דאטה הקלינית ליצירת ייצוג אינפורמטיבי יותר של כל נגע בעור. תכונה כפולה זו מסייעת לנו להפיק דפוסים ויזואליים של תמונות דרמוסקופיות ומידע נוסף על מטופלים לניתוח מעמיק יותר. התכונות מאומנות על מסווגים שונים, כולל XGBoost, LightGBM ורשת עצבית עמוקה, כדי לשפר את היכולת והכוח של מודל סיווג נגעי העור. ההרכב של הדגמים משמש בטכניקת אנסמבל ערימה כדי לשפר את המודל. זהו מודל מורכב שמנצל את החוזקות של מודלים מרובים כדי ללמוד ולהפיק תועלת מהתחזיות של כל המודלים במערך תוך הפחתת מגבלותיהם.

Protocol

מחקר זה השתמש במאגרי נתונים דרמוסקופיים זמינים לציבור, אנונימיים לחלוטין, ולא כלל מעורבות ישירה של בני אדם; לכן, לא נדרשה אישור הוועדה האתית. טבלת החומרים מכילה פרטים על כל החומרים או הכלים ששימשו במחקר זה. טבלה 1 כוללת פרטים על סביבת החומרה והתוכנה, כגון סוג מעבד, זיכרון, מערכת הפעלה ומסגרות תוכנה. טבלה 2 כוללת פרטים על דיוק לפי מחלקה, זיכרון, ציון F1 ותמיכה בכל קטגוריית נגע בעור.

זרימת העבודה הכוללת של מסגרת סיווג נגעי העור הרב-מודלית המוצעת

התוכנית הכללית של מחקר זה היא ליצור תכנית מדויקת ומובנת של סיווג מרובה של נגעי עור. תהליך העבודה מתחיל באיסוף נתונים ועיבוד מוקדם של מערך הנתונים HAM10000, ואז ממשיך לחילוץ תכונות באמצעות ארכיטקטורות למידה עמוקה והכללת מטא-דאטה קלינית. לאחר מכן, מספר מסווגי למידת מכונה מאומנים ומותאמים, ותוצאותיהם מצטברות באסטרטגיית אנסמבל. לבסוף, תחזיות המודל מפורשות באמצעות טכניקות הסבר, ויעילות המודל מוערכת לשימוש בתמיכה קלינית אמיתית בקבלת החלטות.

כדי לשפר את דיוק החיזוי של המערכת המוצעת, נעשה שימוש בצינור למידת מכונה רב-מודלי, המשלב הן תכונות מבוססות תמונה והן מטא-דאטה קלינית (כפי שמוצג באיור 1). המודל יכול לסכם את התוצרים הוויזואליים של תמונות דרמוסקופיות עם המידע הקשור למטופל כדי לזהות דפוסים מפורטים יותר הקשורים לנגעים שונים בעור הזו. עם שילוב כזה, המערכת יכולה לבצע תחזיות טובות יותר, שבסופו של דבר יקרה. לשפר את איכות ושימושיות סיווג נגעי העור. שלוש תכונות עמוקות קונבולוציוניות מאומנות מראש מופקות בעזרת רשתות עצביות (EfficientNet-B4, DenseNet201, ו-MobileNetV2): הן מסוגלות ללכוד מגוון דפוסים משלימים של תמונות דרמוסקופיות. ארכיטקטורות אלו לומדות דפוסים ברמה גבוהה במראה נגעי העור, כמו שינויים בצבע ובמרקם, ובאופן שבו הם בנויים. לאחר מכן, מודול מיזוג תכונות משלב את התכונות העמוקות עם התכונות הקליניות והנתונים הדמוגרפיים ליצירת תכונה רב-מודלית עשירה. הנתונים הממוזגים מחולקים לאחר מכן לנתוני אימון, אימות ובדיקות כדי להבטיח בדיקות מודל מתאימות. לאחר מכן, מודול מיזוג תכונות משמש למיזוג התכונות העמוקות עם התכונות הקליניות והדמוגרפיה ליצירת תכונה רב-מודלית עשירה. נתונים אלו מחולקים לאחר מכן לנתוני אימון, בדיקות ואימות כדי לבדוק את המודל. אסטרטגיית אנסמבל משמשת לשיפור דיוק החיזוי עוד יותר. זה נעשה על ידי ממוצע תוצאות של מספר מודלים והגשת החיזוי הסופי באמצעות ההסתברויות הממוצעות הללו כדי לשפר את ההכללה ולמזער את השונות שהייתה נגרמת על ידי מודלים בודדים. בנוסף לכך, שיטות הסבר, כגון טכניקות פרשנות מודל, משולבות גם הן כדי להסביר כיצד המודל מקבל את החלטותיו. שיטת פרשנות המודל מספקת פרשנויות ברמת התכונה על ידי כימות תרומת משתני הקלט, בעוד ששיטת פרשנות המודל מזהה אזורים חשובים בתמונות דרמוסקופיות ברמת הפיקסל המשפיעים על התחזית. טכניקות פרשנות מודל מציעות הסברים ברמת התכונה על ידי כימות תרומת כל משתנה קלט, בעוד שטכניקות פרשנות מודל מדגישות אזורים חשובים ברמת הפיקסל בתוך תמונות דרמוסקופיות המשפיעים על התחזית. ביחד, הטכניקות הללו הופכות את המודלים ליותר ניתנים לפרשנות ועוזרות לקלינאים ללמוד על האופן שבו המערכת מקבלת החלטות. כתוצאה מכך, הצינור המוצע מספק מערכת מובנת ומודעת לפרטיות, מגבירה את השקיפות והאמון ומאפשרת אבחון אמין יותר של סרטן העור בסביבה רפואית אמיתית.

תיאור מאגר נתונים עם הכנה

במאמר זה, מערך הנתונים HAM10000 (אדם נגד מכונה עם 10,000 תמונות אימון) משמש כמאגר הנתונים הראשי לסיווג נגעי עור רב-קטגוריות. מאגר הנתונים מכיל מעל 10,000 נתונים דרמוסקופיים שנאספו ממקורות רפואיים שונים. מקורות קליניים ואוכלוסיות, מה שהופך אותו לאחד ממאגרי הנתונים הנפוצים ביותר בניתוח תמונות דרמטולוגיות. כל תמונה במאגר הנתונים מלווה במטא-דאטה קלינית חשובה, כולל מזהי תמונה, תוויות אבחנתיות, גיל המטופל, מינו, והמיקום האנטומי של הנגע. מערך הנתונים כולל שבע קטגוריות אבחנתיות: קרטוזות אקטיניות (akiec), קרצינומה של תאי בסיס (BCC), קרטוזיס שפיר (BKL), דרמטופיברומה (df), נב מלנוציטי (NV), נגעים וסקולריים (vasc) ומלנומה (MEL).

עיבוד מטא-דאטה קליני

תכונות עזר שנוספו לצינור הסיווג כללו מטא-דאטה קלינית, כגון גיל, מין ומיקום הנגע במטופל. היו ערכים חסרים או לא ידועים, שטופלו באמצעות גישה מוקדמת דטרמיניסטית. במקרה של משתנה הגיל (מספרי), הגיל החציוני שחושב על קבוצת האימון שימש להערכת הערכים החסרים. הסיבה שנבחרה איפוטציה חציונית היא שהיא עמידה בפני נתונים חריגים ונתונים מעוותים, הנפוצים בנתונים קליניים. לגבי מין ומיקום הנגע (משתנים קטגוריים), ערכים חסרים או לא מוגדרים לא הוצאו; הם שובצו לקטגוריה מיוחדת שסומנה 'לא ידוע'. השיטה שומרת על כל הדגימות הזמינות, והמודל חופשי לקבוע האם החסרות עצמה היא חיזוייה. לאחר מכן הוחל קידוד חד-חם על משתנים קטגוריים כדי לאפשר להם להיות תואמים למודלים של למידת מכונה. כל הפרה-עיבודים, כמו איפוטציה, קידוד וכו', בוצע רק על סט האימון, ואותן טרנספורמציות בוצעו גם במערכות האימות והניסויים כדי למנוע אובדן נתונים. לא נפסלו מדגמים רק בגלל מטא-דאטה קלינית חסרה, וזה הבטיח שהנתונים ינוצלו בצורה מקסימלית, והייתה עקביות מתודולוגית.

איור 1: מערכת רב-מודלית לסיווג נגעי עור. הגישה המחקרית משלבת תכונות תמונה דרמוסקופית עם מטא-דאטה של מטופלים כדי לסיווג נגעי עור באמצעות מודלים קבוצתיים של למידה עמוקה. המסגרת כוללת עיבוד מוקדם, חילוץ תכונות, מיזוג מולטימודלי וסיווג, מה שמאפשר שיפור ביצועי האבחון והפרשנות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

תהליך העבודה מציג את צינור הסיווג המוצע, בהתבסס על תמונות דרמוסקופיות ומטא-דאטה קלינית של מאגר הנתונים של נגע העור HAM10000. EfficientNet-B4, DenseNet201 ו-MobileNetV2 משמשים לעיבוד מוקדם וחילוץ תכונות עמוקות בתמונות. המטא-דאטה הקלינית מקודדת, ומיזוג תכונות משמש לשילוב תכונות התמונה עם המטא-דאטה הקלינית. כדי להתמודד עם בעיית חוסר האיזון המעמדי, נעשה שימוש בטכניקת איזון מחלקות במרחב התכונות הרב-מודאלי הממוזג במקום בתמונות הגולמיות או בזרמי תכונות בודדים, שם דגימות סינתטיות שומרות על השילוב של המאפיינים הוויזואליים והקליניים ואינן מייצרות דגימות לא ריאליסטיות. התכונות הממוזגות מאומנות לאחר מכן על מסווגים כמו XGBoost, LightGBM ומסווג עצבי עמוק.

איור 2: דוגמה לתמונות דרמוסקופיות משבע קבוצות אבחון שונות מתוך מאגר הנתונים HAM10000. תמונות מציגות תכונות ויזואליות טיפוסיות המשמשות לסיווג אוטומטי. (A) קרטוזות אקטיניות (akiec), המדגימות משטחים מחוספסים עם פיגמנטציה לא סדירה. (B) קרצינומה של תאי הבסיס (BCC), עם צורות וכלי דם לא סדירים. (ג) נגעים שפירים דמויי קרטוזיס (bkl), המציגים תכונות קרטוטיות עם משטחים חומים בהירים. (D) דרמטופיברומה (df), עם מראה מרכזי דמוי צלקת ופיגמנטציה. (ה) נבוס מלנוציטי (nv), שומות שפירות וסימטריות יחסית. (F) נגעים כלי דם (וסק), המראים מראה אדמדם-סגול עקב כלי דם. (G) מלנומה (mel), המופיעה כנגע בעל צורה לא סדירה, אסימטרית ורב-פיגמנטים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

תמונות דרמוסקופיות אלו חושפות את ההטרוגניות הוויזואלית של נגעי העור, שיש להם שינויים בפיגמנטציה, במרקם ובמורפולוגיה של המבנה. וריאציות אלו מציבות אתגר גדול למערכות סיווג אוטומטיות ומדגישות את חשיבות מערכות מבוססות למידה עמוקה. טכניקות חילוץ תכונות הרגישות לחשיפת דפוסי אבחון עדינים. בהתאם לתיאור מערך הנתונים, איור 2 ממחיש את שבע הקטגוריות של נגעי עור הכלולים במאגר הנתונים HAM10000, אשר נחקרים לעיתים קרובות במחקר דימות דרמטולוגי. מחלקות אלו כוללות קרטוזים אקטיניים (akiec), קרצינומה של תאי בסיס (bcc), קרטוזיס שפיר (bkl), דרמטופיברומה (df), נבוס מלנוציטי (nv), נגעים וסקולריים (כלי דם), ומלנומה (mel)²¹. לכל סוגי הנגעים הללו יש תכונות ויזואליות ייחודיות, כפי שמוצג באיור 3, הכוללות שונות בדפוסי הפיגמנטציה, מרקם פני השטח, התפלגות צבע וחריגות לאורך גבולות הפצע. המאפיינים הוויזואליים של כל הנגעים הללו שונים, והם מאופיינים בשונות בדפוסי הפיגמנטציה, במרקם פני השטח, בהתפלגות הצבע ובחריגות בגבולות הנגעים. אלו מאפיינים חשובים שדרמטולוגים שמים לב אליהם בעת ביצוע הבדיקה הקלינית, ולכן יש למודל אותם היטב על ידי מודלים של למידת מכונה כדי להשיג את הסיווג הנכון. למרות שאלו המאפיינים המבדילים, רבים מהנגעים הללו נראים כמעט זהים, מה שמקשה להבחין ביניהם בתמונות דרמוסקופיות בלבד. ההבחנה בין סוגים מסוימים של נגעים היא בדרך כלל עדינה מאוד אך רלוונטית קלינית, מה שמקשה על סיווג אוטומטי. זו הסיבה שדחוף ליצור מודלים חזקים של בינה מלאכותית המסוגלים לאמן ללמוד תמונות חזותיות מדויקות והבדלים עדינים בנגעים בין סוגי הנגעים. תכונות אלו לא רק ישתפרו על ידי התיאור המתאים, שיביא לשיפור כישורי ההבחנה של המודל עם סוגי נגעים שונים, אלא גם יסייעו לאבחון מצבים מסוכנים מסוימים, כמו מלנומה, מוקדם יותר. לבסוף, הוא יכול לשפר את דיוק האבחון, ליידע את הרופאים בקבלת החלטות שמובילות לתוצאות משופרות של המטופלים, ולסייע בקבלת החלטות טובות יותר.

איור 3: התפלגות קטגורית של נגעי עור במאגר הנתונים HAM10000. התרשים מציג את התפלגות שבע קטגוריות הנגעים שנבחנו במחקר זה: קרטוזים אקטיניים (akiec), קרצינומה של תאי בסיס (bcc), נגעים דמויי קרטוזיס שפיר (bkl), דרמטופיברומא (df), נבי מלנוציטי (nv), נגעים וסקולריים (vasc), ומלנומה (mel). גרף זה ממחיש את חוסר האיזון בין מחלקות הנגעים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

הניתוח של מאגר הנתונים מראה כי יש חוסר איזון בין סוגי הנגעים השונים. הסוג הנפוץ ביותר של נבוס מלנוציטי (nv), עם כ-6,705 דגימות, הוא הטיפוס הנפוץ ביותר, ואחריו מלנומה (1,113) וקרטוזיס שפיר (1,099). להפך, ישנם סוגים מסוימים של נגעים בעלי חשיבות קלינית שמיוצגים פחות משמעותית, כגון דרמטופיברומה (115) ונגעים וסקולריים (142). פער זה מהווה איום על מודלים של למידת מכונה משום שהם עלולים להיות מוטים לטובת הרוב ואינם מסוגלים לזהות נגעים חריגים אך משמעותיים קלינית. כדי להתמודד עם בעיה זו ולשפר את ההכשרה של המודל על ביצועי המודל ביחס לכל המקצועות, נדרש עיבוד מוקדם מתקדם. נדרשות אסטרטגיות. אלה כוללים טכניקות כמו הרחבת נתונים ממוקדת ואיזון מחלקות. ניתן לאזן את הנתונים באמצעות הטכניקה (טכניקת איזון מחלקות והתאמת משקל מחלקות) שמעודדת את המודל לגלות מגמות משמעותיות במעמדות המיוצגים מספיק). ההיפרפרמטרים ששימשו ב-XGBoost ו-LightGBM הוגדרו בעיקר להגדרות ברירת המחדל שלהם, עם התאמות קלות המבוססות על ניסויים ראשוניים. עבור מסווג העצבים העמוק, פרמטרים אדריכליים ואימוניים כגון מספר השכבות, נוירונים, קצב למידה, גודל אצווה ומספר התקנים נבחרו אמפירית באמצעות נתוני אימות. קבוצת ההיפרפרמטרים המלאה מוצגת בטבלה 3. באופן כללי, מספר התמונות הדרמוסקופיות ששימשו במחקר הנוכחי הוא בסך הכל 10,015. יש לכך יתרון בכך שהוא מספק אוסף עצום של נתונים להדרכה ולבדיקה, והוא גם מדד מייגע אך מתגמל. הערכו את יעילות מערכת סיווג נגעי העור המוצעת.

קדם-עיבוד נתונים

צינור העיבוד המוקדם מכין את מערך הנתונים HAM10000 ללמידה רב-מודלית על ידי סטנדרטיזציה של תמונות, חילוץ תכונות עמוקות, שילוב מטא-דאטה קלינית וטיפול באי-איזון בין מחלקות.

תקנון תמונה: כל תמונות דרמוסקופיות שונו לגודל 224 × 224 פיקסלים ונרמלו באמצעות נימול z-score.

(1)

כאשר אני מייצג את התמונה הגולמית, μ מציין את הממוצע מבחינת פיקסלים, ו-σ הוא סטיית התקן.

Deep Feature Extraction: תכונות עמוקות משלימות הופקו באמצעות שלוש רשתות עצביות קונבולוציוניות מאומנות מראש: Efficient-Net B4, DenseNet201, יחד עם MobileNetV2. כל רשת ממפה את התמונה המנורמלת לווקטור תכונה.

(2)

התכונות שהופקו חוברו ליצירת ייצוג מאוחד:

F_פיוז'ן=F_EffB4 ||F_צפוף ||F_MobV2 (3)

(כאשר || פירושו שרשור)

אינטגרציה קלינית של מטא-דאטה: מאפיינים קליניים, כולל גיל, מין יחד עם מיקום הנגעים, נוקו, קודדו בתוויות ונרמלו באמצעות קנה מידה min-max:

(4)

וקטור המטא-דאטה_{המעובד M קליני} שולב עם תכונות תמונה לבניית הקלט הרב-מודלי הסופי:

F_משולב=_{F מיזוגM קליני} (5)

פיצול מערכי נתונים: הוחלה חלוקה שכבתית לשימור התפלגות מחלקות

_רכבת D,_מבחן D = פיצול (F_comibed,0.8) (6)

טיפול באי-איזון מעמדי: מערך הנתונים HAM10000 סובל מחוסר איזון חמור בין המחלקות, כאשר דגימות "נבוס" (NV) נפוצות כמיוצגות פחות בקבוצות מיעוט אחרות, כמו DF עם VASC. כדי להפחית בעיה זו, נעשה שימוש ב"טכניקת דגימת יתר של מיעוטים סינתטיים" (טכניקת איזון מחלקות). באמצעות: דגימות סינתטיות חדשות יוצרו כ:

x_new=x_i + λ(x_zi - x_i) (7)

כאשר x_i הוא מדגם מחלקת מיעוט, x_zi הוא אחד השכנים הקרובים ביותר שלו, ו-λ הוא ערך אקראי שנדגם מהתפלגות אחידה בין 0 ל-1. הדגימה הסינתטית, כפי שמוצג באיור 4, נוצרת לאורך קטע הקו שמחבר ל-x sub i.ו-xent שמצטרף ל-x_{i ו-x zi}.

איור 4: התפלגות מחלקות במאגר הנתונים HAM10000 לפני/אחרי יישום טכניקת איזון המחלקות. (א) לפני איזון מחלקות, עם חוסר איזון בין מחלקות הנגעים. (ב) לאחר איזון מחלקות במרחב התכונות המשולב, שבו הייצוג של כל המחלקות שווה כדי למנוע הטיה בתהליך אימון המסווגים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

כדי להתמודד עם בעיית חוסר האיזון בין מחלקות במאגר הנתונים HAM10000, נעשה שימוש בטכניקת דגימת היתר של מיעוטים סינתטיים (טכניקת איזון מחלקות). טכניקת איזון מחלקות מייצרת מדגמים סינתטיים למחלקות המיעוט על ידי אינטרפולציה בין נקודות נתונים קיימות, מה שמסייע להגדיל את הייצוג של קטגוריות נגעים מיוצגות פחות. התוצאה הסופית של הפקת דוגמאות נוספות של מחלקות המיעוט הללו היא מערך נתונים מאוזן יותר באופן כללי, ביחס לכל שבעת סוגי הנגעים. ייצוג מאוזן זה יאפשר למודלים של הסיווג ללמוד טוב יותר עם כל מחלקה וימזער את ההטיה עם מחלקות הרוב. כתוצאה מכך, המודל בהיר יותר בסיווג ורגיש, במיוחד לנגעים נדירים אך חשובים קלינית.

מסגרת למידה לשמירה על פרטיות

המערכת המוצעת מציעה מערכת רב-מודלית לסיווג נגעים אוטומטי על העור, המודעת לפרטיות וניתנת לפרשנות. המטרה הסופית של המערכת היא לשפר את ביצועי האבחון ובו בזמן להגן על מידע רגיש של מטופלים לאורך כל תהליך ההדרכה. פרטיות המטופל היא צורך חיוני בפרקטיקה הרפואית, שכן חוקי פרטיות המידע והשיקולים האתיים חשובים מאוד בסביבות בריאות. לכן, המודל המוצע יכלול מודל למידה מבוזר המבוסס על רעיונות הלמידה המאוחדת. בסביבה מבוזרת זו, ההכשרה במודלים מתבצעת על קבוצת לקוחות מבוזרים במקום לאגד את כל נתוני המטופלים במיקום מרכזי. כל הלקוחות המשתתפים מאמנים את המודל באופן מקומי על הנתונים שלהם, ונתוני המטופלים הגולמיים אינם עוזבים את הסביבה המקומית. כחלופה להעברת רשומות רפואיות רגישות, עדכוני מודלים או פרמטרים נשלחים לשרת מרכזי לצורך איחוד. גישה שיתופית זו ללמידה מאפשרת למוסדות או למקורות הנתונים השונים לתרום להכשרת מודלים מבלי לפגוע בפרטיות המידע.

יהי w_t^(k) פרמטרי המודל של לקוח ה-kth באיטרציה ה-t, ונן n_k כגודל המדגם באותו לקוח. העדכון של המודל הגלובלי מחושב כך:

(8)

אסטרטגיית אגרגציה זו מבטיחה שלקוחות עם מערכי נתונים גדולים יותר תורמים באופן יחסי יותר למודל הגלובלי, תוך שמירה על אפשרות ללקוחות קטנים להשתתף בתהליך הלמידה. על ידי מתן אפשרות להכשרה שיתופית ללא החלפת נתוני מטופלים גולמיים, המסגרת המוצעת שומרת על פרטיות ועדיין נהנית מהידע המפוזר בין מאגרי הנתונים.

מבנה ניסויי מאוחד

מערכת למידה מדומה עם מערך הנתונים HAM10000 תוכננה כדי לאשר את יעילות המסגרת המודעת לפרטיות המוצעת. הנתונים חולקו לשלושה לקוחות כדי לדמות סביבה רב-מוסדית אמיתית עם נתונים שאינם מפוזרים (שאינם IID). לכל מטופל יש תמהיל שונה של סוגי נגעים, וזה מייצג שונות בעולם בין מרכזים קליניים. צינור חילוץ תכונות רב-מודלי זהה (EfficientNet-B4, DenseNet201, MobileNet V2, ומטא-דאטה קלינית) הופעל מקומית בכל לקוח. במהלך ההכשרה שלהם, הלקוחות עדכנו את המודלים המקומיים שלהם בעצמם, והפרמטרים שנלמדו הוחלפו רק עם השרת המרכזי כדי לאסוף על ידי אלגוריתם FedAvg. הפשרה בין דיוק חיזוי לפרטיות הושווה בין המודל המאוחד לבין גישת ההכשרה המרכזית למדידת ביצועי כל אחד מהם. תוצאות הבדיקות המובאות באיור 5 מראות שהמודל המאוחד יכול לתפקד באופן תחרותי, עם ירידה קלה בלבד בדיוק ביחס ללמידה מרכזית, ופרטיות נתונים משופרת משמעותית.

איור 5: התפלגות לפי לקוח של מאגר הנתונים HAM10000. זה מראה את חלוקת נתוני נגעי העור בין המטופלים, ומדגים את המגוון בהתפלגות הנתונים. דבר זה מדגים את ההטרוגניות של הנתונים בין הלקוחות, היבט קריטי בלמידה הפדרטיבית. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

התפלגויות הטרוגניות (שאינן IID) של מטופלים שנוצרו HAM10000 חולקו לשלוש קבוצות כדי לדגם מצבים קליניים אמיתיים. התפלגות הקטגוריות השונות של נגעים בכל מטופל שונה, במיוחד מחלקת הנבוס (nv), שאינה מתחלקת באופן שווה בין המטופלים. סידור זה משקף את הקשיים בעולם האמיתי של למידה פדרטיבית, שבה הנתונים במוסדות אינם מחולקים באופן שווה.

השוואת ביצועים: למידה מרכזית מול למידה מאוחדת

כדי להעריך את יעילות מסגרת הלמידה הפדרטיבית המוצעת, בוצע ניתוח השוואתי בין אסטרטגיות הכשרה מרכזית לפדרציה באמצעות מאגר הנתונים HAM10000, כפי שמוצג באיור 6. במסגרת המרכזית, כל דגמי הנתונים אוגדו למאגר אימון אחד. המודל המרכזי המצטיין ביותר, האנסמבל המשולב, השיג דיוק כולל של 96%. לעומת זאת, ההגדרה הפדרטיבית חילקה את מערך הנתונים בין שלושה לקוחות עם נתונים שאינם מבוזרים זהה (שאינם IID), כאשר כל לקוח אימן את המודל באופן מקומי ושיתף רק את פרמטרי המודל באמצעות FedAvg. המודל המאוחד השיג דיוק כולל של כ-94%, התואם להבדל ביצועים של 2% לעומת הגישה המרכזית, כפי שמוצג בטבלה 4. ירידה שולית זו צפויה בשל אופטימיזציה מבוזרת והפצת נתונים הטרוגנית בין הלקוחות.

למרות שהשינוי הקטן הזה התרחש, המודל המאוחד עדיין הצליח לחיזוי. בהכשרה מרכזית, התנהגות לפי מחלקות מראה שרוב הכיתות, כמו נבוס (nv) (ציון F1 = 1.00), נשארות יציבות, בעוד שכיתות מיעוט, כמו דרמטופיברומה (df) (ציון F1 ≈ 0.65–0.66), רגישות יותר לאי-איזון בהתפלגות, מה שעלול להשפיע אף יותר על ביצועי הפדרציה. ראוי לציין כי המבנה המאוחד ממזער את הסיכוי לחשיפת מידע רגיש של מטופלים, שכן הוא אינו דורש שיתוף נתונים רפואיים גולמיים בין לקוחות.

איור 6: השוואה בין למידה מאוחדת ללמידה מרכזית. איור זה משווה פרדיגמות למידה באמצעות מדדי ביצועים כמו דיוק, דיוק, שליפה וציון F1. דבר זה מדגים את היכולת של למידה פדרטיבית להשיג ביצועים השווים לאלה של הגישה המסורתית תוך שמירה על פרטיות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

תוצאות טבלה 4 מראות שמודל הלמידה המאוחד מסוגל להיות תחרותי, והירידה בדיוק היא רק בכ-2% לעומת המודל המרכזי. הפחתה קלה זו ניתנת להסבר על ידי אופטימיזציה מבוזרת והפצת נתונים שאינה IID. עם זאת, למודל המאוחד יש יתרון עצום בכל הנוגע להגנה על פרטיות, שכן המידע הרגיש על המטופלים אינו משותף בין הלקוחות. כדי לספק השוואה הוגנת בין המודל המאוחד למודל האנסמבל המרכזי, המודל המאוחד נבדק עם אותם ארכיטקטורה והיפרפרמטרים. היבט שמירת הפרטיות הנדון במחקר זה הוא מושגי ומטרתו להדגיש את השילוב הפוטנציאלי של טכניקות כמו למידה פדרטיבית בעבודות עתידיות. ביישום הנוכחי לא מתבצע אימות ניסיוני של מנגנוני שמירת פרטיות.

מיזוג תכונות רב-מודלי

האבחון של נגעי עור כולל בדרך כלל תצפית עור והיסטוריה קלינית. ברוב המקרים, רופאי עור אינם מתחשבים רק בתמונות דרמוסקופיות על ידי מיקומן ביחס למידע המטופל (גיל, מין ומיקום הנגע) כדי לקבל החלטות אבחנתיות. המערכת המוצעת מבוססת על ההשראה של תהליך העבודה הקליני הזה ומשלבת גישה רב-מודלית ללמידה לשילוב נתונים מבוססי תמונה וקליניים. CNN מאומנים על תכונות עמוקות של תמונה דרמוסקופית קיימת. רשתות כאלה מזהות עיצובים ויזואליים מורכבים, כולל שינויים בצבע, צורות נגעים, אנומליות מבניות ותכונות מרקם. עם זאת, תכונות התמונות עשויות שלא להספיק כדי ללכוד את המצב הקליני של נגע. מטא-דאטה קליניים הקשורים לכל תמונה כלולים גם הם בלמידה. ייווצרו מודול מיזוג תכונות שישלב תכונות תמונה עמוקות עם מאפיינים קליניים מעובדים ומידע דמוגרפי. ייצוג מורכב זה מהווה ייצוג מאפיין מולטימודלי משולב הכולל מידע חזותי והקשרי של כל נגע. המודל יכול לשלב מספר מקורות נתונים כדי לקבל דפוסים משלימים שמשפרים את יכולת הסיווג הכוללת. הייצוג הרב-מודאלי מאפשר למערכת להבחין בצורה יעילה יותר בין נגעים דומים ויזואלית וכן לקחת בחשבון את המדדים הקליניים. המודל משמעותי ויעיל יותר קלינית, שכן הוא מהווה קירוב קרוב יותר לאופן שבו דרמטולוגים חוקרים נגעים בפרקטיקה קלינית.

למידה קבוצתית מוערכת
המסגרת המוצעת עושה שימוש באסטרטגיית למידה קבוצתית מוערכת כדי לשפר עוד יותר את יכולת החיזוי של המערכת. למידה קבוצתית היא שיטת חיזוי מורכבת המשתמשת בשני מודלים חיזויים או יותר כדי לשפר הכללה ולמזער את שגיאות החיזוי שיכולות להתרחש במודלים בודדים. לומדים בסיסיים מרובים עוברים הכשרה עצמאית לייצוג תכונות רב-מודליות במקום להשתמש במסווג יחיד. כל הלומדים הבסיסיים מספקים הערכה של כמה סביר שמדגם מסוים יהיה מקבוצת נגע מסוימת. תחזיות ההסתברות הללו נאספות לאחר מכן ברמת מטא. משקל מוקצה לכל לומד בסיס כדי להראות את חשיבותו היחסית לחיזוי הסופי. פונקציית הפעלה של softmax משמשת לחישוב הפלט המצטבר ליצירת הסתברויות מחלקות מנורמלות. לשיטת האנסמבל הערום יש מספר יתרונות. ראשית, הוא ממזער את שונות החיזוי עקב שילוב של מודלים שונים וכך משפר את ביצועי ההכללה. שנית, זה משפר את החוזק כי מודלים שונים מתארים מגמות שונות בנתונים. שלישית, למידה קבוצתית משפרת את הסיווג של קטגוריות נגעים מיעוט, במיוחד בנתונים רפואיים, שבהם מצבים קליניים מסוימים אינם נפוצים באותה מידה.

אינטגרציה ניתנת להסבר בינה מלאכותית

מערכות בינה מלאכותית רפואיות צריכות גם להציע הסברים ברורים לבחירותיהן, אף על פי שדיוק חיזוי גבוה הוא קריטי. כדי לסמוך על מערכות בינה מלאכותית ולהיות יעילים בפרקטיקה, על הרופאים להיות מסוגלים להבין כיצד מודל מתאים לאבחנה שהוא מייצר. כדי לענות על צורך זה, המסגרת המוצעת משלבת שיטות בינה מלאכותית (XAI) ניתנות להסבר, כפי שמוצג באיור 7.

איור 7: מטריצות בלבול של מודלים שונים לסיווג נגעי עור רב-מחלקתיים. (A) XGBoost, (B) LightGBM, (C) מסווג עצבי עמוק, ו-(D) מודל Stacked Ensemble. כל מטריצת בלבול מציגה את הקשר בין המחלקה האמיתית (שורות) לבין המחלקה החזויה (עמודות) עבור כל שבעת סוגי נגעי העור: akiec, bcc, bkl, df, mel, nv ו-vasc. דגמי XGBoost ו-LightGBM מתפקדים היטב עבור מחלקות nv ו-bkl, אם כי יש בלבול מסוים בין mel ל-nv. מסווג העצבי העמוק משפר את הסיווג של bkl ו-df ומפחית בלבול מחוץ לאלכסון (לא באלכסון). מודל האנסמבל הערמתי מראה את העקביות הגדולה ביותר בסיווג, כאשר האלכסון הופך לדומיננטי יותר ויותר. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

המערכת כוללת שתי גישות פופולריות להסבר (טכניקת פרשנות המודל (SHapley Additive Explanations) וטכניקת פרשנות מודל (Local Interpretable Explanation - Agnostic Model)) כדי לספק תובנה לגבי מה שהמודל חוזה. שיטת פרשנות המודל מסבירה תכונות ברמת התכונות על ידי מדידת מידת תרומה של כל תכונה קלט לחיזוי הכולל. היא מסייעת בקביעת אילו משתנים קליניים/תכונות ויזואליות משפיעות הכי הרבה על תוצאת הסיווג. דבר זה מאפשר לחוקרים ולרופאים לראות את ההתנהגות הכוללת של המודל בכל מאגר הנתונים. לעומת זאת, טכניקת פרשנות המודלים עוסקת בהסברים מקומיים של תחזיות בודדות. הוא מדגיש את האזורים בתמונה הדרמוסקופית שיש להם את ההשפעה הגדולה ביותר על החלטת המודל. הסברים חזותיים ברמת פיקסל אלו מאפשרים לרופאים לבדוק חזותית את האזורים בנגע שהפיעו על הסיווג. המסגרת המוצעת מציעה פרשנות גלובלית ומקומית; היא מושגת על ידי שילוב טכניקת פרשנות המודל. מנגנון ההסבר הכפול משפר את השקיפות ומאפשר לרופאים להעריך האם המודל מכוון לדפוסים רפואיים משמעותיים.

פוטנציאל תמיכה בהחלטות קליניות

למידה לשמירה על פרטיות, מיזוג תכונות רב-מודליות, מידול קבוצתי ובינה מלאכותית מוסברת הם רכיבים מרכזיים במערכת משולבת וחזקה לסיווג אוטומטי של נגעי עור. באופן אידיאלי, המערכת צריכה לא רק להיות בעלת כוח פרוגנוסטי גבוה, אלא גם להיות שקופה ובטוחה, שהם שני גורמים מרכזיים במערכות רפואיות, כפי שמוצג באיור 8.

איור 8: עקומות מאפייני פעולה של מקלט (ROC) עבור מודל האנסמבל המוערם. (A–C) זה מציג את עקומות ROC עבור שבעת סוגי נגעי העור, עם שיעור חיובי אמיתי (רגישות) וקצב חיובי שגוי (ספציפיות 1). השטח מתחת לעקומה (AUC) מייצג את ביצועי מודל האנסמבל הערום בהבחנה בין המחלקות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

מערכת זו מספקת תחזיות ניתנות להסבר והגנה על פרטיות. כתוצאה מכך, זהו מערכת מועילה למערכות אבחון דרמטולוגיות אחרות. מערכת זו מאפשרת לרופאים/רופאי עור להעריך חשד לנגע ולשפר את דיוק האבחון, ובהתאם לכך לסייע למטפלים/רופאי עור לאבחן מטופלים בשלב מוקדם שבו ייתכן שיש להם מחלה חמורה יותר (למשל, מלנומה). בעצם, כפי שמוצג באיור 9, מערכת זו שואפת להביא את טכנולוגיות השימוש במערכות בינה מלאכותית מתקדמות (AI) ויישום יישומים מהעולם האמיתי לפועל, כדי לסייע לרופאי עור לאבחן מטופלים בצורה מדויקת ובטוחה רבה יותר, תוך שמירה על פרטיות וביטחון המטופלים ונוחותם.

איור 9: תוצאות הסבר באמצעות טכניקות פרשנות מודל לסיווג נגעי עור רב-מחלקתיים. (A) תרשים SHAP המראה תרומות תכונות המשפיעות על חיזוי נגעים שפירים וממאירים. (ב) הסבר LIME לחיזוי BCC, הממחיש את המאפיינים התורמים לטובה ולשלילית לתוצאת הסיווג. (ג) הסבר LIME לחיזוי akiec, המדגיש את התכונות המשפיעות ביותר בתהליך קבלת ההחלטות של המודל. ויזואליזציות פרשנות אלו מדגימות את האזורים והמאפיינים שהופקו המשפיעים משמעותית על תחזיות המודל, ובכך משפרות את השקיפות וההבנה של תהליך הסיווג בהערכת נגעי עור. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

אסטרטגיית הערכה

כדי להימנע מהטיית דגימה ולשמור על התפלגות המחלקות המקורית בכל קטגוריות נגעי העור, מערך הנתונים חולק לחלוקה של 80:20 בין רכבת-מבחן. תת-הקבוצה של האימון חולקה אז ביחס 90:10 train: validate, כדי לכוון את ההיפרפרמטרים ולייעל את המודל. סט הבדיקה לא שימש בתהליך ההכשרה בשום שלב, והוחל רק בסוף תהליך ההכשרה כמבחן סופי כדי למנוע דליפת נתונים ולהבטיח הערכת ביצועים בלתי מוטה. כל המודלים עובדו מראש ואומנו בסביבות שוות, הנתונים חולקו והועברו באותו אופן, ופרוטוקולי הערכה יושמו ופעלו באותו אופן, מה שאיפשר השוואות הוגנות וניתנות לשחזור. המודלים הוערכו לעומק על פי דיוק, דיוק, זיכרון, ציון F1 ו-AUC, עם ניתוח מפורט של התוצאות לפי מחלקות כדי לקבוע את עמידותם הן בקטגוריות עיקריות והן במיעוט של נגעים. כלי אימות סטנדרטי זה יסייע להגדיל את האמינות, השקיפות וההכללה של הגישה המוצעת, ולהתגבר על אי-העקביות האפשריות בדיווח ביצועים.

Results

ארבע שיטות סיווג (XGBoost, LightGBM, מסווג עצבי עמוק, ומודל אנסמבל מוערם) הוערכו לסיווג נגעי עור רב-קטגוריות. המודלים השיגו דיוקים כוללים של 92%, 90%, 94% ו-96%, בהתאמה, מה שהראה כי c

ביצועים מבחינת מחלקות

ניתנת הערכה מפורטת לפי מחלקה, הכוללת דיוק, זיכרון וציון F1 לכל קטגוריית נגע. עבור מחלקת akiec (תמיכה = 65), האנסמבל המשולב השיג דיוק של 0.72, זיכרון של 0.73, וציון F1 של 0.72, שיפור קל לעומת XGBoost (F1 = 0.70), L...

Discussion

הפרוטוקול הנוכחי מתאר צינור ניתן לשחזור ליצירת מסגרת רב-מודלית, רגישה לפרטיות לסיווג אוטומטי של נגעי עור. הפרוטוקול פועל לפי דפוס שיטתי של שיפור ביצועי האבחון באמצעות שקיפות במודל, ומשלב ניתוח תמונות דרמוסקופי עם מטא-דאטה קלינית ושיטות למידת מכונה ניתנות לפרשנות. מאגר הנתונים של נגעי עור HAM10000 זמין לציבור ומאפשר הערכה סטנדרטית ומקל על שחזור מחקר נוסף בתחום מחקר תמונות דרמטולוגי¹⁶. שלב העיבוד והנרמול של התמונה הוא אחד השלבים החשובים ביותר בפרוטוקול, שכן הוא מבטי...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
ארכיטקטורת CNN DenseNet201	IBM	https://arxiv.org/abs/1608.06993	מודל למידה עמוקה לסיווג תמונות
ארכיטקטורת CNN EfficientNet-B4	Google	https://arxiv.org/abs/1905.11946	מודל למידה עמוקה לסיווג תמונות
פלטפורמת Google Colaboratory	Google	https://colab.research.google.com	סביבה חישובית מבוססת ענן
מקבץ הנתונים של נגעי עור HAM10000	Harvard Dataverse	https://doi.org/10.7910/DVN/DBW86T	מקבץ תמונות דרמסקופיות
API למידה עמוקה Keras	Google	גרסה 2.x	API לרשתות עצביות
ספריית ההסבריות LIME	פרויקט LIME	גרסה 0.x	טכניקת פירוש מודל
ארכיטקטורת CNN MobileNetV2	Google	https://arxiv.org/abs/1801.04381	מודל למידה עמוקה לסיווג תמונות
ספריית הדמיה Matplotlib	צוות הפיתוח של Matplotlib	גרסה 3.x	משמשת לייצור תרשימים וויזואליזציה של ביצועים
מחשב גרפי NVIDIA	NVIDIA	סדרת RTX	חומרה חישובית לאימון מודלים
ספריית חישוב מספרי NumPy	מפתחי NumPy	גרסה 1.x	תוכנת ניתוח נתונים
ספריית עיבוד תמונה OpenCV	קרן OpenCV	גרסה 4.x	ספריית עיבוד תמונה
ספריית ניתוח נתונים Pandas	צוות הפיתוח של Pandas	גרסה 1.x	תוכנת ניתוח נתונים
סביבת תכנות Python	קרן התוכנה Python	גרסה 3.9+	תוכנת ניתוח נתונים
ספריית ההסבריות SHAP	פרויקט SHAP	גרסה 0.x	טכניקת פירוש מודל
טכניקת Oversampling SMOTE	פרויקט imbalanced-learn	גרסה 0.x	טכניקת איזון מחלקות לטיפול במערכי נתונים לא מאוזנים
ספריית למידה חישובית Scikit-learn	פרויקט scikit-learn	גרסה 1.x	ספריית למידה חישובית
מסגרת למידה עמוקה TensorFlow	Google	גרסה 2.x	מסגרת למידה עמוקה