Method Article

מסגרת למידה עמוקה איתנה לגילוי רטינופתיה סוכרתית מוקדמת באמצעות תמונות קרן מעובדות מראש ו-CNN מותאמות

DOI:

10.3791/69901

⸱

March 24th, 2026

 ,  , 
1Ophthalmology Department, Yueqing People's Hospital

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג ומתאר תהליך עבודה מבוסס למידה עמוקה לגילוי מוקדם של רטינופתיה סוכרתית באמצעות תמונות פנדוס מעובדות מראש וארכיטקטורות רשת עצבית קונבולוציוניות אופטימליות, המאפשרים סיווג מדויק של מחלות ומיקום נגעים מוסבר ליישום קליני ניתן להרחבה.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

רטינופתיה סוכרתית (DR) היא סיבה מובילה לאובדן ראייה ברחבי העולם, במיוחד בקרב מטופלים עם סוכרת לא מבוקרת היטב. זיהוי מוקדם באמצעות ניתוח תמונות אוטומטי הפך לפתרון ניתן להרחבה לתמיכה בהתערבות בזמן. מודלים מבוססי למידה עמוקה, במיוחד רשתות עצביות קונבולוציונליות (CNNs), הראו פוטנציאל משמעותי בזיהוי DR מתמונות קרן הרשתית. מחקר זה נועד (i) לפתח מסגרת למידה עמוקה קבוצתית באמצעות EfficientNetB0 ו-DenseNet121 לסיווג DR בחמישה שלבים, (ii) להעריך באופן שיטתי את השפעת עיבוד מוקדם של תמונת הקרקעית על ביצועי האבחון, (iii) לשלב הסברים חזותיים מבוססי Grad-CAM למיקום פצעים, ו-(iv) להשיג דיוק אבחוני גבוה עם יעילות חישובית המתאימה לסינון ניתן להרחבה. אוסף נתונים הכולל 53,412 תמונות קרן הקרקעית מ-EyePACS, APTOS 2019, ומרכז טיפול שלישוני בסין. שלבי העיבוד המוקדם כללו איזון היסטוגרמה אדפטיבית מוגבלת בניגודיות (CLAHE), הסרת ארטיפקטים ונרמול. למידת העברה יושמה באמצעות עמודי השדרה EfficientNetB0 ו-DenseNet121, ואחריה הרכבה היברידית. המודלים הוערכו באמצעות דיוק, מקרו-AUC, רגישות, ספציפיות וציון F1. Grad-CAM שימש להמחשת מיקום הנגעים. מודל האנסמבל ההיברידי השיג דיוק של 91.2%, 0.961 מאקרו-AUC, רגישות של 92.1% וציון F1 של 0.913. העיבוד המוקדם שיפר את הביצועים ב-3-4%, והגישה האנסמבלית עקפה את CNN העצמאי. שכבות Grad-CAM אישרו מיקום מדויק של הנגעים. ביצועי המודל הוערכו הן לדירוג DR בחמישה שלבים והן לזיהוי DR בינארי רפרבילביל כדי לשקף את דרישות הסקר הקליני. מחקר זה מציג מודל למידה עמוקה קלינית בר קיימא וניתן להסבר לזיהוי DR. העבודה העתידית תכלול אימות חיצוני על מערכי נתונים עצמאיים, הערכה מעשית פרוספקטיבית, ואופטימיזציה של מודלים (למשל, גיזום וכמות) ליישומי סינון ניידים ונקודת טיפול.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

DR הוא סיבוך מיקרווסקולרי של סוכרת ונשאר אחד הגורמים המובילים לפגיעה בראייה שניתן למנוע בעולם1. היפרגליקמיה כרונית גורמת לנזק לנימי הרשתית, מה שמוביל לעלייה בחדירות כלי הדם, להיווצרות מיקרואניוריזמה, לדימומים ולהפרשות ובשלבים מתקדמים להתרבות נאווסקולרית. ללא התערבות מהירה, שינויים אלו עלולים להתפתח לדימום זגוגית, היפרדות רשתית מתיחה ואובדן ראייה בלתי הפיך 1,2. מחקרים אפידמיולוגיים מעריכים שכ-35 אחוזים מהאנשים עם סוכרת מציגים מידה מסוימת של DR, כאשר כמעט 10 אחוזים מפתחים רטינופתיה המסכנת את הראייה בכל שנה. מגמות עולמיות מצביעות על כך ששכיחות DR עלתה משמעותית בעשרים השנים האחרונות. מטא-אנליזה פורצת דרך דיווחה על עלייה בשכיחות DR מ-13.6 אחוזים בתחילת שנות ה-2000 ליותר מ-20 אחוזים עד 2020. באופן דומה, שכיחות DR מסכן ראייה ובצקת מקולרה סוכרתית הראתה עלייה משמעותית, במיוחד באזורים בעלי הכנסה נמוכה ובינונית3. גישה מוגבלת לשירותי סקר עיניים באזורים כפריים וכלכלית מוחלשים תורמת לעיכוב באבחון ובטיפול5.

גילוי מוקדם של DR הוא קריטי, שכן התערבויות בשלבים שאינם התפשטות, כגון פוטוקואגולציה בלייזר מוקדי או פאן-רשתי, טיפול אנטי-VEGF (אנטי-VEGF) בפקטור גדילה אנדותליאלי תוך-ויטריאלי, ו-ויטרקטומיה, יכולות למנוע ביעילות התקדמות לאובדן ראייה6. עם זאת, תוכניות סינון קונבנציונליות מתבססות לעיתים קרובות על דירוג ידני של צילומי קרקעית צבע על ידי מומחים מוסמכים, תהליך עתיר משאבים שמגביל את ההרחבה והכיסוי בזמן5. יוזמות טלאופתלמולוגיה פתרו חלקית פערים אלו, אך הן עדיין תלויות בזמינות מוגבלת של מומחים ובפרוטוקולי הדמיה סטנדרטיים 7. התקדמות בבינה מלאכותית (AI), ובמיוחד בלמידה עמוקה (DL), הציגה פתרונות אוטומטיים המסוגלים לזהות ולדרג DR מתמונות קרקעית בדיוק ומהירות גבוהים. CNNs מחלצים תכונות היררכיות כגון מיקרואנוריזמות, דימומים והפרשות והגיעו לרגישויות וספציפיות העולות על 90 אחוזים במאגרי הבנצ'מרק 8,9. מחקרים פורצי דרך של גולשן ואחרים וטינג ואח' הראו כי אלגוריתמים של DL יכולים להתאים או לעלות על מדרגים מומחים בזיהוי DR שניתן להתייחס, ולסלול את הדרך לאישורים רגולטוריים של מערכות סינון אוטונומיות 8,9. עבודות נוספות חקרו למידת העברה, מידול קבוצתי וארכיטקטורות רשת עצבית היברידית של CNNrecurrent לשיפור הכללה בין מצבי הדמיה ואוכלוסיות מטופלים מגוונים10,11.

למרות התוצאות המבטיחות הללו, מספר אתגרים מונעים את התרגום הקליני של סקר DR מבוסס DL. ראשית, ביצועים עמידים דורשים מאגרי נתונים גדולים ומוערים היטב, הלוכדים שונות במכשירי הדמיה, אתניות והצגת מחלות12. אי-עקביות בהערות בין המערכים מסבכת עוד יותר את ההכשרה וההערכה של המודלים. שנית, שלבי קדם-עיבוד תמונה כגון שיפור ניגודיות באמצעות CLAHE, הפחתת רעש ונירמול צבעים משפיעים משמעותית על נראות הנגעים העדינים ובהתאם לכך על אמינות חילוץ התכונות13. שלישית, פרשנות מודלים נותרה תחום מחקר פעיל; קלינאים זקוקים לכלי תמיכה בהחלטות שקופים המדגישים אזורים בולטים בתמונה המניעים תחזיות אלגוריתמיות14. לבסוף, נדרשות מסגרות רגולטוריות וניתוחי עלות-יעילות כדי להנחות את שילוב כלי הבינה המלאכותית במסלולי סינון קיימים, במיוחד בסביבות מוגבלות משאבים15. המחקר הנוכחי מתמודד עם אתגרים אלו על ידי הצעת מסגרת מקיפה לזיהוי DR מוקדם, המשלבת עיבוד מוקדם אופטימלי של תמונות הקרקעית, ארכיטקטורות CNN מתקדמות, ואסטרטגיות למידת העברה. אנו משתמשים ב-CLAHE ובהסרת ארטיפקטים אוטומטית לשיפור ניגודיות הנגעים, ולאחר מכן כוונון מדויק של עמודי השדרה של CNN מאומנים מראש כדי לנצל תכונות תמונה טבעיות בקנה מידה גדול. בהתאם לכך, עבודה זו מציעה מסגרת למידה עמוקה מוסברת לגילוי DR מוקדם, המשלבת עיבוד מוקדם של תמונת הקרקע עם ארכיטקטורות CNN אנסמבל יעילות (איור 1). התרומות המרכזיות של מחקר זה כוללות הערכה שיטתית של אסטרטגיות קדם-עיבוד, עיצוב אנסמבל היברידי יעיל חישובית, ושילוב הסבר חזותי לתמיכה בפרשנות קלינית. על ידי התייחסות לדיוק, שקיפות ויכולת פריסה יחד, מחקר זה שואף לקדם את היישום המעשי של סקר DR בסיוע בינה מלאכותית. DR מתקדמת דרך חמישה שלבים מוגדרים קלינית: ללא DR, DR קל, בינוני, חמור ללא התפשטות, ו-DR מתפשט. שלבים מוקדמים מאופיינים במיקרואנוריזמות ודימומים קלים, בעוד שלבי השלבים המתקדמים יש נזק וסקולרי נרחב, ניאווסקולריזציה וסיכון לאובדן ראייה. התסמינים נשארים לעיתים ללא תסמינים עד שלבים מאוחרים, מה שהופך את הסינון האוטומטי לקריטי להתערבות מוקדמת.

figure-introduction-1
איור 1: ייצוג גרפי של היצירה המוצגת בכתב היד אנא לחצו כאן לצפייה בגרסה רחבה יותר של האיור.

כדי להתמודד עם אתגרים אלו, מחקר זה מציג פרוטוקול למידה עמוקה מובנה לזיהוי DR המשלב עיבוד מוקדם סטנדרטי של תמונת הקרקעית, אימון אופטימלי של רשתות עצביות קונבולוציונליות, ופלטי מודלים ניתנים לפרשנות בתוך תהליך עבודה מאוחד. הפרוטוקול נועד לשפר את השחזוריות והשקיפות המתודולוגית על ידי פירוט מפורש של אסטרטגיות עיבוד מוקדם, ארכיטקטורת מודלים ותצורות אימון. על ידי הדגשת אנסמבל קל משקל יעיל חישובית ושילוב הסברים ויזואליים מבוססי Grad-CAM, השיטה המוצעת מגדירה מסגרת מעשית וניתנת לפרשנות המיועדת להערכה עקבית בין מערכי דימות רשתית הרב-מרכזיים הטרוגניים.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה כלל ניתוח רטרוספקטיבי. בהתאם לתקנות מוסדיות וארציות, אישור פורמלי של ועדת אתיקה והסכמה מדעת בוטלו, מאחר שלא ניגשו או נעשה שימוש במידע מזוהה של מטופלים.

1. מקורות נתונים ורכישה

  1. לסמן מחדש את כל התמונות לפי סולם החומרה הבינלאומי לרטינופתיה סוכרתית קלינית (ICDR) (דרגות 0-4)10, כדי להבטיח עקביות בין מערכי הנתונים שהתקבלו מ-EyePACS, APTOS 2019 ומקבוצת הטיפול השלישוני.
  2. מפה את התוויות המקוריות של מערכי נתונים עם הערות קיימות לסולם ICDR כדי לשמור על אחידות.
  3. דרג באופן עצמאי את כל תמונות הקרקעית על ידי שני רופאי עיניים מוסמכים עם ניסיון בבדיקות DR.
  4. הסוואה מלאה של שני המדרגים למקור מערך הנתונים, מזהי מטופלים, היסטוריה קלינית ותחזיות מודל כדי למזער הטיית הערכה. הצג תמונות בסדר אקראי באמצעות מזהי קבצים אנונימיים.
  5. בצע ציונים בקפדנות לפי סולם החומרה של ICDR (דרגות 0-4).
  6. כמת את ההסכמה הבין-מדורגת לפני תיוג קונצנזוס באמצעות קאפה משוקלל של כהן (κw) עם משקלים ריבועיים כדי להתחשב באופי האורדינלי של ציוני חומרת DR.
  7. פירוש חוזק ההסכמה לפי ספים סטנדרטיים (κ < 0.20, חלש; 0.21-0.40, סביר; 0.41-0.60, בינוני; 0.61-0.80, משמעותי; > 0.80, כמעט מושלם). לפתור ציונים סותרים באמצעות סקירה משותפת של קונצנזוס. השתמשו בציון הקונצנזוס כסטנדרט התייחסות הסופי להכשרת מודלים והערכה.
  8. לפני אימון המודלים, תקננו את כל התמונות לרזולוציה אחידה של 512 × 512 פיקסלים ולמרחב צבע עקבי, והחלו נהלי עיבוד מוקדם זהים כדי למזער שונות בין-מערכותית הנובעת מהבדלים במכשירי מצלמה, פרוטוקולי רכישה ותנאי תאורה.
    הערה: באופן ספציפי, העיבוד המוקדם כלל: (i) שינוי גודל תמונה וסטנדרטיזציה של RGB, (ii) CLAHE בערוץ ירוק להעצמת ניגודיות, (iii) הסרת ארטיפקטים ברקע באמצעות מסיכה מעגלית וסף אדפטיבי, (iv) נרמול עוצמה לפי ערוץ, ו-(v) הפחתת רעש והעצמת קצוות באמצעות סינון גאוסיאני ומסכה לא חדה.
  9. לרכוש תמונות של הקרקעית באמצעות מספר מצלמות צבע מסחריות זמינות (Topcon, Canon ו-Zeiss) בתנאי סקר קליני שגרתיים (איור 2).
  10. אפשר לאפשר לפרמטרי רכישת התמונה להשתנות לפי מכשיר, אך לתקן אותם בטווחי מסך טיפוסיים, כולל שדה ראייה של 30°-45°, רזולוציות תמונה מקוריות הנעות בין כ-2,048 ×1,536 ל-3,872 ×-2,592 פיקסלים, ועומק צבע של 24 ביט (8 ביט לכל ערוץ RGB).
  11. השתמשו בפרוטוקולי הדמיה מידריאטיים ולא-מידריאטיים כדי לשקף את שיטות הסקר בעולם האמיתי. ללכוד את כל התמונות כתצלומי פנדוס חד-שדה, ממוקדי מקולה בתנאי תאורה משתנים, ולאחר מכן לשנות גודל ולעבד מראש את התמונות באמצעות צינור זהה לפני אימון המודל (איור 2).
  12. אנונימיזציה של כל התמונות לפני השימוש בהתאם להנחיות HIPAA 12,13,14.
    הערה: השתמשו בתמונה אחת בלבד לכל עין כדי למנוע הטיה תוך-נבדקת. החריג תמונות העומדות באחד או יותר מהקריטריונים המוגדרים מראש לאיכות הבאים: (i) מיקוד לקוי או טשטוש שמסתיר כלי דם רשתית ומיקרואניוריזמות, כפי שמוערך על ידי חדות הקצה וראיית כלי הדם; (ii) טשטוש תנועה מופרז או חוסר מיקוד המשפיעים על יותר מ-25% משדה הרשתית; (iii) אובדן שדה המוגדר כהדמיה לא שלמה של הדיסק האופטי או אזור המקולר; או (iv) ארטיפקטים חמורים של תאורה כמו רוויה או צללים שהפריעו לנראות הפצעים.
  13. לבצע הערכת איכות באופן עצמאי על ידי שני סוקרים ולפתור כל מחלוקת בהסכמה.
    1. מערך הנתונים של EyePACS: השתמש במאגר הנתונים של EyePACS שהושג מקאגל. כלול את כל תמונות הקרקע הצבעוניות הזמינות ושמור את ציוני ה-DR כפי שסופקו עם מטא-הנתונים של מערך הנתונים.
    2. מערך הנתונים APTOS 2019: השתמש במאגר הנתונים APTOS 2019 שמקורו בקאגל, הכולל כ-3,600 תמונות קרן צבע חד-שדה שנרשמו בתנאי סקר סטנדרטיים.
    3. מאגר נתונים קליניים הודו: השתמש במאגר נתונים קליני הודי שמקורו בבית חולים הכולל תמונות צבעוניות של קרקעית. רשמו את ספירת התמונות הכוללת והשתמשו בציוני DR שהוקצו על ידי רופאי עיניים מוסמכים כתוויות ייחוס.

figure-protocol-1
איור 2: צילומי קרקעית צבעוניים מייצגים שלבים שונים של רטינופתיה סוכרתית. אנא לחצו כאן לצפייה בגרסה רחבה יותר של האיור.

2. קדם-עיבוד (CLAHE, נרמליזציה, הסרת ארטיפקטים)

  1. להשתמש בצינור עיבוד מוקדם רב-שלבי לשיפור נראות הנגעים ולהפחתת שונות הנובעות מתנאי הדמיה.
  2. שנו את גודל כל תמונת פנדוס צבעוני ל-512 ×-512 פיקסלים כדי לשמור על מידות קלט אחידות למודלים של למידה עמוקה.
  3. בצע שיפור ניגודיות באמצעות CLAHE המיושם אך ורק על הערוץ הירוק של כל תמונת קרקעית, שכן ערוץ זה מספק ניגוד מיטבי לכלי דם ולמיקרואניוריזמה.
  4. מימוש CLAHE באמצעות ספריית OpenCV עם מגבלת קליפ של 2.0 למניעת הגברת רעש יתר וגודל רשת אריחים של 8 × 8 כדי לאפשר שיפור ניגודיות מקומי בשדה הרשתית.
  5. משלב מחדש את הערוץ הירוק המעובד עם הערוצים האדום והכחול כדי לשחזר את תמונת ה-RGB המשופרת. תקן את כל פרמטרי CLAHE ויישם אותם באופן זהה על כל התמונות לאורך ערכות אימון, אימות ובדיקות כדי להבטיח שחזוריות.
  6. לאחר מכן, נרמול תמונות לממוצע אפס ולשונות יחידה באמצעות נרמול לפי ערוץ.
  7. הסר ארטיפקטים ברקע כמו מסגרות שחורות והילות תאורה באמצעות מסכה מעגלית וסף אדפטיבי.
  8. יש להחיל סינון גאוסיאני והסתרה לא חדה להפחתת רעש ושימור קצוות, בהתאמה. יישם את שיפור הניגודיות הבא, סינון גאוסי לדיכוי רעש: השתמש בקרנל 5 × 5 עם סטיית תקן (σ) של 1.0, ומיישם סימטרית בכיוונים אופקיים ואנכיים.
    הערה: שלב זה מפחית את רעש התדר הגבוה תוך שמירה על מבנים וסקולריים עדינים.
  9. בצע מסכה לא חדה על ידי חיסור של גרסה מטושטשת של התמונה מהתמונה המקורית, כדי להעצים את גבולות הנגעים.
  10. באופן ספציפי, מחסר תמונה מטושטשת גאוסית (גודל הליבה 5 × 5, σ = 1.0) מהתמונה המקורית עם משקל חידוד של 1.5, והוסף את תמונת הפרטים שהתקבלה חזרה למקור כדי ליצור את הפלט המחודד הסופי.
  11. תקן את כל הפרמטרים ויישם אותם באופן אחיד על כל מערכי הנתונים.
  12. כלול את העיבוד המוקדם הנוסף שהוזכר למטה כדי לדמות שונות אמיתית ולהעצים את נתוני ההדרכה:
    1. יש להחיל היפוך אופקי אקראי על כל תמונת אימון בהסתברות של 0.5 כדי להתחשב בסימטריה אנטומית שמאל-ימין של הרשתית.
    2. יש להחיל הפיכה אנכית אקראית בהסתברות של 0.5, כדי להבטיח שהשונות בכיוון הנפוצים במהלך רכישת תמונת הקרקעית מיוצגת.
    3. הפעילו סיבוב אקראי בטווח של -15° עד +15°, בדגימה אחידה, עם הסתברות של 0.7 כדי לדמות הטיית מצלמה קלה ותנועות ראש סבלניות.
    4. החלו זום אקראי בטווח של ±-10% מגודל התמונה המקורית, עם הסתברות של 0.5, ואחריהם חיתוך מרכזי או ריפוד כדי לשחזר את רזולוציית הקלט של 512 × 512 פיקסלים.
    5. החלו התאמת בהירות אקראית על ידי הגדלת עוצמות הפיקסלים בטווח גורמים של 0.9-1.1, עם הסתברות של 0.4, כדי למודל שונות תאורה בין מכשירי דימות.
    6. החלו התאמת ניגודיות אקראית על ידי הגדלת ניגודיות התמונה בטווח גורמים של 0.9-1.1, עם הסתברות של 0.4, כדי לשפר את החוסן להבדלי החשיפה.
    7. ודאו שכל ההרחבות מיושמות רק על סט האימון ומבוצעות בזמן התנועה במהלך אימון הדגם, בעוד שתמונות האימות והבדיקה יישארו ללא שדרוג.
    8. שמירה על פרמטרי הגברה קבועים לאורך כל האימון כדי להבטיח שחזוריות וחשיפה עקבית של המודל לשונות מבוקרת.
  13. יישמו את שלבי הקדם-עיבוד באמצעות ספריות OpenCV ותמונות של פייתון, ולהבטיח טרנספורמציות עקביות בין מערכות האימון והוולידציה.

3. ארכיטקטורת מודל (גרסאות CNN, שכבות מותאמות)

  1. חקור מספר ארכיטקטורות CNN לסיווג DR וחקור את שלושת הווריאנטים של המודל המוזכרים להלן.
    1. CNN בסיסי - CNN מותאם אישית עם 6 שכבות עם נרמול אצווה, הפעלת ReLU, מקסימום איגוד וניתוק (p = 0.5).
    2. מודלים של למידת העברה - עמודי שלף CNN מאומנים מראש כולל ResNet50, EfficientNetB0 ו-DenseNet121 שמאותחלים עם משקלי ImageNet וכווננו בעדינות על תמונות DR.
    3. מודל היברידי אופטימלי - מודל אנסמבל המשלב מחלצי תכונות מ-EfficientNetB0 ו-DenseNet121, ואחריו פרספטרון רב-שכבתי (MLP) עם פלט softmax.
    4. לאחר כיוונון עדין, בנו את ראש הסיווג לכל מודל מאומן מראש באמצעות שכבת איגוד ממוצעת גלובלית, שכבה צפופה עם הפעלת ReLU (512 יחידות), שכבת dropout (p = 0.5), ושכבת פלט softmax.
    5. הנח שכבת איגוד ממוצע גלובלי (GAP) לפני ראש הסיווג בכל מודל.
    6. כדי להפחית התאמת יתר, הוחל רגולריזציה של משקל L2 על כל השכבות המחוברות (הצפופות) בראש הסיווג באמצעות מקדם רגולריזציה (λ) של 1 × 10⁻4. ערך זה נבחר כדי לספק ענישה יעילה למשקלים גדולים תוך שמירה על התכנסות המודל וביצועי הסיווג במהלך כיוונון עדין.
    7. השתמש בפונקציית הפעלה של softmax בשכבת הסיווג כדי לאפשר חיזוי DR ב-5 מחלקות.
    8. בחירות עיצוב מודל בסיס בעבודות קודמות המדגימות ביצועים מעולים של גישות היברידיות ומבוססות למידת העברה בניתוח תמונות רשתית 3,4.
    9. השתמשו ב-efficientNetB0 וב-DenseNet121 כמחליצי תכונות מקביליות במודל האנסמבל ההיברידי האופטימלי.
    10. במקביל, הזן את תמונות הפנדוסים של הקלט לשני עמודי השדרה המאומנים מראש ומפיק את מפות התכונות הקונבולוציוניות האחרונות לאחר שכבת הבריכה הממוצעת הגלובלית (GAP) של כל רשת.
    11. מחברים את וקטורי התכונות המתקבלים ליצירת ייצוג מאוחד והזנתם ל-MLP המורכב משתי שכבות מחוברות לחלוטין (עם הפעלה וניתוק ReLU) ואחריה שכבת פלט softmax לסיווג DR בחמישה מחלקות.
    12. אימצו את אסטרטגיית המיזוג המאוחר הזו כדי לשלב את יעילות התכונות המדויקת של EfficientNetB0 עם הפצת התכונות הצפופה של DenseNet121, מה שמוביל לביצועים מאוזנים בשלבים מוקדמים ומתקדמים של DR.
    13. נצל את ה-MLP כדי לאפשר אינטגרציה לא ליניארית של ייצוגי תכונות משלימות תוך הפחתת התאמת יתר לעומת מיזוג מקצה לקצה.

4. אימון ואופטימיזציה של מודלים (למידת העברה, היפרפרמטרים)

  1. בצע את כל הניסויים על תחנת עבודה שמריצה Ubuntu Linux (גרסה 20.04 LTS) עם Python 3.8.10.
  2. מימוש מודלים של למידה עמוקה באמצעות TensorFlow 2.10.0 עם השרת של Keras והריץ על כרטיס מסך NVIDIA Tesla V100 (32GB VRAM).
  3. הפעל האצת GPU באמצעות CUDA Toolkit גרסה 11.2 ו-cuDNN גרסה 8.1, התואמות לגרסת TensorFlow שצוינה.
  4. מימוש כל שלבי הקדם-עיבוד והרחבת הנתונים באמצעות OpenCV 4.7.0, NumPy 1.23 ו-imgaug 0.4.0.
  5. חלק את מערך הנתונים לקבוצות אימון (70%), אימות (15%) ובדיקות (15%), ווודא איזון מחלקות בתוך כל מחיצה.
  6. אמן את כל הדגמים על כרטיס מסך NVIDIA Tesla V100 עם 32 GB VRAM.
  7. נצל למידת העברה על ידי הקפאת השכבות הראשוניות של רשתות מאומנות מראש וכיוונון השכבות העליונות בתמונות הקרקע.
  8. אתחול אקראי את השכבות הצפופות האחרונות והתחלתי מאפס.
  9. אופטימיזציה של ההיפרפרמטרים הבאים:
    אופטימייזר: אדם עם β1=0.9, β2=0.999
    קצב למידה: 1 × 10⁻⁴ עם מתזמן ReduceLROnPlateau
    גודל אצווה: 32
    תקופות: 50-100 עם עצירות מוקדמות (סבלנות = 10)
    פונקציית אובדן: אנטרופיה צולבת קטגורית
  10. שמור נקודות ביקורת במודל בהתבסס על אובדן האימות המינימלי.
  11. טפל באי-איזון מעמד על ידי יישום משקלים קטגוריים ביחס הפוך לתדירות הכיתה במהלך האימון.
  12. יישם הגדלת נתונים בזמן אמת באמצעות Keras ImageDataGenerator. השתמשו באסטרטגיית אימות הדדי חמש פעמים כדי להבטיח עמידות מודל ולהפחית הטיית בחירה. מדדי ביצועים ממוצעים בכל הקיפולים, ומדווחים על סטיות תקן מתאימות.
  13. בחר ערכי היפרפרמטרים בהתבסס על שיטות עבודה מומלצות מבוססות בלמידת העברה לסיווג תמונות רפואיות ואמת אותם באמצעות ניסויים ראשוניים על קבוצת הוולידציה.
  14. השתמש באופטימיזציה של אדם להתנהגות ההתכנסות היציבה שלו וקצב הלמידה האדפטיבית, וקבע קצב למידה התחלתי של 1e−4 כדי לאזן בין יציבות האימון למהירות ההתכנסות במהלך הכיול העדין.
  15. קבעו אמפירית את גודל האצווה ואת קריטריוני העצירה המוקדמים כדי למזער התאמת יתר תוך שמירה על יעילות חישובית.

5. מדדי הערכה ואימות (AUC, דיוק, רגישות/ספציפיות)

  1. העריך את ביצועי המודל באמצעות מדדי סיווג סטנדרטיים. לבצע הערכה ראשונית על מערך הבדיקה שמחזיק (מספר ≈ 8,000 תמונות), ולדווח על תוצאות הן עבור סיווג 5 מחלקות והן עבור סיווג בינארי (DR ניתן להתייחסות לעומת DR שאינו ניתן להתייחס).
  2. חשב את המדדים הבאים:
    דיוק: אחוז התחזיות הנכונות בכל המחלקות
    שטח מתחת לעקומת המאפיינים התפעוליים של המקלט (AUC): מחושב עבור כל מחלקה וממוצע (מאקרו AUC)
    רגישות (קריאה): שיעור חיובי אמיתי = TP / (TP + FN)
    ספציפיות: שיעור שלילי אמיתי = TN / (TN + FP)
    F1-Score: ממוצע הרמוני של דיוק וזיכרון
    מטריצת בלבול: מטריצה 5 × 5 לניתוח שגיאות סיווג
  3. צייר עקומות מאפיין פעולה של מקלט (ROC) ועקומות דיוק-שחזור כדי להמחיש את ההבחנה בין המודלים.
  4. יצר ויזואליזציות Grad-CAM (מיפוי הפעלה מחלקת משוקלל לפי גרדיאנט) עבור תת-קבוצה של תמונות מסווגות נכון או שגוי כדי להדגיש את אזורי הרשתית שמניעים את תחזיות המודל.
    הערה: המודל ההיברידי האופטימלי השיג את הביצועים הטובים ביותר עם AUC מאקרו של 0.961, רגישות של 92.1%, ספציפיות של 89.4%, ודיוק כולל של 91.2% לזיהוי DR שניתן להתייחס.
  5. השוו את הביצועים מול מודלים קיימים שפורסמו על אותם מערכי נתונים, והערכו מובהקות סטטיסטית באמצעות מבחני t זוגיים ומבחן מקנמר.
  6. העריכו את המשמעות הסטטיסטית של הבדלי ביצועים בין מודל האנסמבל ההיברידי לבין ארכיטקטורות CNN בודדות באמצעות מבחני t זוגיים למדדים רציפים (AUC, דיוק, ציון F1) בין קיפולי אימות צולבים, ומבחן מקנמר לתוצאות סיווג זוגי על קבוצת המבחנים.
    הערה: המודל ההיברידי הראה שיפורים מובהקים סטטיסטית לעומת כל מודלי עמוד השדרה היחיד, עם ערכי p < 0.05 לדיוק ו-AUC, מה שמאשר כי השיפור בביצועים שנצפה לא נבע משונות אקראית. דיוק הוא מדד הערכה קריטי בסריקת רופאים, במיוחד כדי למזער תחזיות חיוביות שגויות שעלולות להוביל להפניות מיותרות, חרדת מטופלים ועומס רפואי מוגבר. דיוק מוגדר כשיעור המקרים החיוביים שנחזו נכון בין כל המקרים שנחזו כחיוביים, והוא מבוטא כך:
    דיוק=TPTP+FP\טקסט{דיוק} = \frac{TP}{TP + FP}דיוק=TP+FPTP
    כאשר TP מייצג חיוביים אמיתיים, ו-FP מייצג חיוביים שגויים.
  7. בהקשר של זיהוי DR, פירוש דיוק גבוה כאילו תמונות המסווגות כבעלות DR מכילות באמת סימנים פתולוגיים, ובכך משפרים את אמינות מערכות הסינון האוטומטיות. יש להדגיש שמדד זה רלוונטי במיוחד לסינון אוכלוסייה בקנה מידה גדול, שבו תוצאות חיוביות שגויות מופרזות עלולות להעמיס על מערכות ההפניות. במחקר זה, יש להעריך את הדיוק עבור כל דרגת DR וכן עבור זיהוי DR בינארי שניתן להתייחס אליו כדי להעריך את יכולת המודל להבחין במדויק בין מקרים פתולוגיים לבין ביקורת בריאה.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סיכום מערך הנתונים והשפעות עיבוד מקדים

מערך הנתונים שנבחר כלל 53,412 תמונות צבעוניות של קרן היסוד המפוזרות בחמש קטגוריות חומרת DR: ללא DR (0) - 39.2%, קל (1) - 18.4%, בינוני (2) - 22.5%, חמור (3) - 12.1%, ו-DR מתפשט (4) - 7.8%. הנתונים הגיעו מ-EyePACS, APTOS 2019, וממרכז אופתלמולוגיה סיני שלישוני, מה שמבטיח גיוון אתני, תנאי דימות ומפרטי המצלמה.

העיבוד המוקדם שיפר משמעותית את נראות הנגעים. יישום CLAHE על התעלה הירוקה...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

במחקר זה פיתחנו והערכנו בקפדנות מודל אנסמבל היברידי המשלב את EfficientNetB0 ו-DenseNet121, שכוונן במדויק באמצעות למידת העברה ושופר עם שלבי קדם-עיבוד קלאסיים, CLAHE, הסרת ארטיפקטים ונרמול עוצמה, עבור דירוג DR בחמישה מחלקות. האנסמבל השיג ביצועים יוצאי דופן: דיוק 91.2%, macroAUC 0.961, וציון F₁ 0.913 לזיהוי DR שניתן להתייחס, ורגישות של 92.1% כפי שדווח בסעיף 6. מדדים אלו עלו בהרבה על CNN בסיסי (דיוק ~83.4%, macroAUC ~0.88) ועל מודלים בודדים כמו ResNet50, EfficientNetB0 ו-DenseNet121 בלבד. הת...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מאשרים שאין להם ניגודי עניינים פיננסיים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

עבודה זו נתמכה על ידי פרויקט המחקר היסודי של וונג'ואו לשנת 2024. (מענק מס' Y20240360)

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Fundus Camera (Topcon, Canon, Zeiss)טופקון / קאנון / צייסמשמש לצילום פנדוס צבעוני ברזולוציה גבוהה בתנאי תאורה משתנים
כרטיס מסך NVIDIA טסלה V100תאגיד NVIDIAטסלה V10032GB VRAM; משמש לאימון מודלים של למידה עמוקה
פייתון (OpenCV, ספריות imgaug)קהילת קוד פתוחעיבוד מוקדם לתמונה כולל CLAHE, הסרת ארטיפקטים, נרמול והגברה
TensorFlow 2.10 + Kerasמוח גוגלמסגרת למידה עמוקה המשמשת לבניית מודלים והכשרה של CNN
EfficientNetB0 & עמודי שדרה מאומנים מראש של DenseNet121קוד פתוח (יישומי TensorFlow/Keras)עמודי שדרה ללמידת העברה מאומנים מראש ב-ImageNet המשמשים לסיווג DR

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Cheung, N., Mitchell, P., Wong, T. Y. Diabetic retinopathy. Lancet. 376 (9735), 124-136 (2010).
  2. Yau, J. W. Y., et al. Global prevalence and major risk factors of diabetic retinopathy. Diabetes Care. 35 (3), 556-564 (2012).
  3. Ting, D. S. W., et al. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes. JAMA. 318 (22), 2211-2223 (2017).
  4. Rajalakshmi, R., Subashini, R., Anjana, R. M., Mohan, V. Automated diabetic retinopathy detection in smartphone-based fundus photography using artificial intelligence. Eye. 32 (6), 1138-1144 (2018).
  5. Wilson, C., Horton, M., Cavallerano, J., Aiello, L. P. Telemedicine and diabetic retinopathy: screening and diagnosis. Curr Diabetes Rep. 20 (1), 2(2020).
  6. Early Treatment Diabetic Retinopathy Study Research Group. Photocoagulation for diabetic macular edema. Arch Ophthalmol. 103 (12), 1796-1806 (1985).
  7. Silva, P. S., Cavallerano, J. D., Kwak, H., Aiello, L. M., Aiello, L. P. Potential utility of ultrawidefield imaging for telemedicine diabetic retinopathy screening. Arch Ophthalmol. 129 (3), 279-284 (2011).
  8. Gulshan, V., et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA. 316 (22), 2402-2410 (2016).
  9. Abràmoff, M. D., Lavin, P. T., Birch, M., Shah, N., Folk, J. C. Pivotal trial of an autonomous AI-based diagnostic system for detection of diabetic retinopathy in primary care offices. NPJ Digit Med. 1, 39(2018).
  10. Zhang, Z., et al. Deep learning for detecting retinal diseases: a survey. Front Neurosci. 15, 703(2021).
  11. Li, Z., et al. An attention-based algorithm for automated diabetic retinopathy grading on color fundus photographs. IEEE Trans Med Imaging. 39 (7), 2501-2512 (2020).
  12. Krause, J., et al. Grader variability and the importance of reference standards for evaluating machine learning models for diabetic retinopathy. Ophthalmology. 125 (8), 1264-1272 (2018).
  13. Hernández, C., et al. Preprocessing of fundus images for automated diabetic retinopathy detection. Med Biol Eng Comput. 58 (2), 243-253 (2020).
  14. Holzinger, A., Samek, W., Müller, H. Evaluating explainable AI: which algorithmic explanations help users predict model behavior? In: Explainable AI: Challenges and Pitfalls. Lecture Notes in Computer Science. 11700, Springer. 3-11 (2019).
  15. Abramoff, M. D., et al. Improved automated detection of diabetic retinopathy on a publicly available dataset through integration of deep learning. Invest Ophthalmol Vis Sci. 57 (13), 5200-5206 (2016).
  16. Chetoui, M., Akhloufi, M. A. Explainable diabetic retinopathy using EfficientNet. Proc IEEE Eng Med Biol Soc. (EMBC). , 1966-1969 (2020).
  17. Chilukoti, S. V., Shan, L., Maida, A. S., Hei, X. A reliable diabetic retinopathy grading via transfer learning and ensemble learning with quadratic weighted kappa metric. BMC Med Inform Decis Mak. 24, 37(2024).
  18. Rasta, S. H., Eisazadeh Partovi, M., Seyedarabi, H., Javadzadeh, A. A comparative study on preprocessing techniques in diabetic retinopathy retinal images: illumination correction and contrast enhancement. J Med Signals Sens. 5 (1), 40-48 (2015).
  19. Grad-CAM: visual explanations from deep networks via gradient-based localization. Selvaraju, R. R., et al. Proc. IEEE Int Conf Comput Vis (ICCV), , 618-626 (2017).
  20. Grzybowski, A., et al. Artificial intelligence for diabetic retinopathy screening: a review. Eye (Lond). 34 (3), 451-460 (2020).
  21. Lee, K. J. Autonomous diabetic retinopathy screening system gains FDA approval. American Academy of Ophthalmology. , (2020).
  22. FDA clears first fully autonomous AI for portable diabetic retinopathy screening. PRNewswire. , AEYE Health. (2024).
  23. Akune, Y., et al. Cost-effectiveness of AI-based diabetic retinopathy screening in nationwide health checkups and diabetes management in Japan: a modeling study. Diabetes Res Clin Pract. 221, 112015(2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Diabetic Retinopathy DetectionFundus ImagesDeep LearningConvolutional Neural NetworksImage PreprocessingEfficientNetB0DenseNet121Grad CAM VisualizationEnsemble LearningTransfer Learning

Related Articles