גישת למידה עמוקה מבוססת למידת העברה לדירוג דלקת מפרקים ניוונית בברך באמצעות ארכיטקטורת XceptionNet שונה

Summary

על מנת לשפר את זיהוי דלקת מפרקים ניוונית בברך מצילומי רנטגן, מחקר זה מציע את OsteoXceptionNet, מודל למידה עמוקה המשתמש ב-XceptionNet שונה עם למידת העברה. מודל זה משפר את חילוץ התכונות, מפחית שגיאות פרשנות ידניות ומאפשר סיווג מדויק ואוטומטי יותר.

Abstract

מיליוני אנשים בכל רחבי העולם סובלים מדלקת מפרקים ניוונית בברך, ואין לה טיפול מרפא ידוע, מה שהופך אותה לבעיה בריאותית עולמית רצינית. ניהול פיתוחו תלוי בגילוי מוקדם, והדמיית רנטגן היא טכניקת אבחון בסיסית. עם זאת, בשל הבדלים ברמות הניסיון של הרדיולוגים, פענוח ידני של קרני רנטגן מגדיל את השונות ואי דיוקים אפשריים. ההתקדמות האחרונה בטכניקות למידת מכונה ולמידה עמוקה הציתו את יצירתן של מערכות אוטומטיות לזיהוי רדיולוגי של דלקת מפרקים ניוונית בברך. עם זאת, עבור זיהוי בשלב מוקדם, השגת דיוק חיזוי גדול יותר היא עדיין קריטית. על ידי שימוש בתובנות שנאספו ממערך נתונים גדול יותר, מודלים שהוכשרו על מערכי נתונים קטנים יותר וספציפיים לתחום מתפקדים טוב יותר באמצעות למידת העברה. בשל העומק והיעילות שלו, XceptionNet מתאים במיוחד לעבודות הכרוכות בפרשנות של תמונות רפואיות. בניגוד למחקר קודם, שיטה זו מטפלת ביעילות בחוסר איזון במערך הנתונים על ידי שימוש בגישות איזון מחלקות, שילוב צינור עיבוד מקדים מותאם אישית והוספת שיפורים ארכיטקטוניים מותאמים אישית ל-XceptionNet, המשפר את זיהוי ה-KOA בשלב מוקדם. עם השימוש בשיטות חדישות אלה, הגישה המוצעת מראה פוטנציאל בזיהוי נכון של דלקת מפרקים ניוונית מתמונות רדיוגרפיות של הברך, השגת דיוק חיזוי של 97%, דיוק של 97.8%, זיכרון של 97.6% ומדידת F1 של 97.6%. בנוסף, המודל שנוצר הראה 95.94% ערך הקאפה של כהן, מה שמעיד על הסכמה טובה. המחקר תומך במאמצים נוספים לפתח טכנולוגיה אמינה ואוטומטית לזיהוי מחלות, המשפרת את תוצאות המטופלים ומאפשרת מתן שירותי בריאות יעילים יותר.

Introduction

דלקת מפרקים ניוונית בברך (KOA) היא בעיה משמעותית בבריאות הציבור ברחבי העולם המשפיעה על מספר רב של אנשים ומטילה נטל משמעותי הן על המטופלים והן על ארגוני הבריאות. הסחוס המפרקי של מפרק הברך מתדרדר בהדרגה בהפרעה זו. יש לו אטיולוגיה מורכבת ורב-ממדית הכוללת שילוב של גיל, השמנת יתר, טראומה במפרקים, משתנים ביומכניים ורגישות גנטית¹.

אובדן השלמות המבנית גורם לדילול הסחוס, סדק ובסופו של דבר שחיקה, וחושף את העצם הבסיסית. התסמינים של KOA יכולים לנוע באופן נרחב ולעתים קרובות להחמיר עם הזמן, מאי נוחות מועטה ועד כאב בלתי נסבל ואובדן תפקוד². סימן עיקרי לכאבי ברכיים מחמיר בדרך כלל על ידי תרגילי נשיאת משקל ומשך פעילות ממושך. תצפיות נפוצות כוללות נוקשות, במיוחד בתקופות מנוחה, בצקת, קרפיטוס וירידה בטווח התנועה³. תסמינים אלה מפריעים מאוד לתפקוד היומיומי, וכתוצאה מכך מגבלות תפקודיות וירידה באיכות החיים של מי שחווה אותם.

ההשערה שנבדקה כאן היא שמודל אוטומטי מבוסס למידה עמוקה יכול לבצע אבחון בקנה אחד עם רדיולוגים מקצועיים ולאבחן נכון את רמת החומרה של KOA מנתוני הדמיה באמצעות מערכת הדירוג של קלגרן-לורנס.

מטרת מחקר זה נובעת ממגבלות אינהרנטיות הקשורות לשיטות המסורתיות לאבחון ודירוג דלקת מפרקים ניוונית בברך. באופן מסורתי, הדמיה רדיוגרפית, במיוחד ניתוח רנטגן של הברך, משמשת להערכת מידת הנזק למפרקים. עם זאת, בדיקה גופנית של תמונות אלה חשופה לשונות ועלולה לגזול זמן⁴. התקדמות בתחומי למידה עמוקה ולמידת מכונה (ML) מספקת דרך מבטיחה לאוטומציה ושיפור הדיוק של זיהוי ודירוג KOA, ומציעה גישה סטנדרטית ויעילה יותר. זה קריטי במיוחד בשלבים המוקדמים של המצב, כאשר התערבות יכולה להשפיע באופן מהותי על שינויים ברמת החיים של המטופל ככל שהמצב מתקדם.

גישות למידת מכונה: הניסיונות הראשונים לאוטומציה של זיהוי KOA התבססו על שיטות למידת מכונה קלאסיות. אסטרטגיות כמו K-Nearest Neighbors, Support Vector Machine ו-Decision Tree היו תלויות בתכונות בעבודת יד שנלקחו מתמונות רנטגן של הברך. למרות שהם סיפקו אוטומציה מסוימת, האיכות והרלוונטיות של מאפיינים שנגזרו ידנית היו גורם מרכזי במידת היעילות שלהם. זה הביא לעתים קרובות להכללה וביצועים גרועים⁵.

גישות למידה עמוקה (DL): הופעתן של רשתות עצביות קונבולוציוניות, או למידה עמוקה, הייתה אבן דרך משמעותית בתחום. עם המוניטין שלה לחילוץ תכונות אוטומטי, רשתות עצביות קונבולוציוניות (CNNs) הופכות פופולריות יותר ויותר בניתוח תמונות KOA. בהשוואה לטכניקות ML קונבנציונליות, אלגוריתמים אלו הראו שיפור ניכר מבחינת דיוק כמו גם יכולת לזהות דפוסים מורכבים ישירות מתמונות ^6,7.

למידת העברה (TL): זה מאפשר להתאים מודלים למשימות הדורשות הדמיה רפואית לאחר שהוכשרו מראש על מערכי נתונים גנריים בקנה מידה גדול, צבר פופולריות במחקר האחרון⁸. גישה זו עובדת טוב במיוחד בתחום הרפואי, שבו מערכי נתונים קטנים ומיוחדים נפוצים.

תוצאות משופרות בסיווג חומרת KOA מודגשות על ידי TL, המשתמש בתכונות כלליות שנלמדו ממשימות גדולות יותר ומתאים אותן לדקויות מסוימות של ניתוח תמונות רפואיות ^9,10.

לצורך זיהוי ודירוג KOA באמצעות תמונות רדיוגרפיה, נבחנו בשנים האחרונות מספר טכניקות אוטומטיות - במיוחד מודלים של למידה עמוקה -^11,12. עם זאת, הרבה מודלים עכשוויים אינם מטפלים כראוי בבעיות עם חוסר איזון ויכולת פרשנות של מערכי נתונים, או שהם אינם מזהים בעיות בשלב מוקדם בצורה מדויקת מספיק. השיטה המוצעת כאן מרחיבה את המסגרת הזו על ידי הוספת שלושה שיפורים משמעותיים: שינויי עיצוב במודל XceptionNet לחילוץ תכונות משופר, טכניקות איזון מחלקות להגברת אמינות המודל, וצינור עיבוד מקדים מותאם אישית שנועד לשפר את תכונות מפרק הברך. יחד עם תמיכה בסיווג KOA מדויק ואמין יותר, שיפורים אלה מספקים שיפור משמעותי לעומת טכניקות לימוד העברה מסורתיות.

למרות ש-DL ו-ML הראו התקדמות משמעותית בניתוח KOA, עדיין ישנם אתגרים להתגבר עליהם, בעיקר במונחים של השגת סיווג מדויק, שיפור יכולת הפרשנות וניהול חוסר איזון בנתונים. המחקר המוצע מרחיב את המחקרים הקודמים 13,14,15,16,17,18,19,20,21,22 על ידי הצעת הערכה יסודית, שקופה ושוויונית יותר, ובכך מותח את גבולות האפשרי כיום באבחון ודירוג אוטומטי של KOA. טבלה 1 מתארת את ניתוח המחקר הנוכחי שבוצע בזיהוי דלקת מפרקים ניוונית.

מחקר	המטרה		תקציר
Hu et al.13	פתח DeepKOA כדי לחזות התקדמות דלקת מפרקים ניוונית בברך באמצעות תמונות MR.		DeepKOA מציגה יכולות חיזוי מבטיחות של דלקת מפרקים ניוונית בברך, ומדגישה את הפוטנציאל של למידה עמוקה במסגרות קליניות. יש צורך באימות נוסף.
Guida et al.14	שפר את סיווג חומרת הדלקת מפרקים ניוונית על ידי שילוב צילום רנטגן, MRI ונתונים קליניים.		מודל היתוך משפר משמעותית את דיוק סיווג ה-OA, ומדגיש את היתרונות של גישה רב-מודאלית. מחקר עתידי צריך להתייחס להכללה.
Bensalma et al.15	לזהות קשרים בין גורמים שונים בחולי דלקת מפרקים ניוונית בברך באמצעות ניתוח מולטי-מודאלי.		המחקר חושף קשרי גומלין בין גורמים מרובים בדלקת מפרקים ניוונית בברך, ומציע דרכים להתערבויות ממוקדות ולחקירה נוספת.
קופולד ואחרים.16	בחנו את ההשפעה של צום שונה ממושך על תסמיני דלקת מפרקים ניוונית.		צום מותאם מראה שיפור ניכר בתסמינים בחולי דלקת מפרקים ניוונית, מה שמעיד על הפוטנציאל שלו כאסטרטגיית טיפול. יש צורך במחקרים נוספים, במיוחד ניסויים אקראיים ומבוקרים.
ג'יין ואחרים.17	הצג OsteoHRNet להערכת חומרת דלקת מפרקים ניוונית בברך מצילומי רנטגן.		OsteoHRNet משיג דיוק משופר בסיווג חומרת דלקת מפרקים ניוונית בברך מצילומי רנטגן, מה שמצביע על הפוטנציאל שלו ליישום קליני. מומלץ לבצע אימות נוסף של מערכי נתונים.
Afroze et al.18	הערכת שיטות מבוססות למידת מכונה לזיהוי דלקת מפרקים ניוונית (OA) בשיטות הדמיה שונות.		הסקירה מזהה פערים קריטיים בזיהוי OA מבוסס למידת מכונה, תוך הדגשת הצורך בגישות סטנדרטיות ומודלים אמפיריים.
Teoh et al.19	לפתח מודל רב-משימתי לאבחון מפורט של דלקת מפרקים ניוונית מרדיוגרפיה.		מודל רב-משימתי משפר את הדיוק של אבחון OA על ידי חיזוי תכונות OA בודדות ועוצמת הכאב, מה שמרמז על פוטנציאל להתערבויות מדויקות. מחקרים נוספים מוזמנים להרחיב את הממצאים הללו.
ג'אנג ואחרים.20	צור מודל לסיווג פציעות סחוס ברך רב-מפלסי ב-MRI.		המודל מציע דיוק גבוה בסיווג פציעות סחוס בברך באמצעות MRI, ומראה הבטחה ככלי אבחון לא פולשני. מומלץ לבצע תיקוף חוצה אוכלוסיות נוסף.
לי ואחרים.21	לבחון את ההשפעה של תמונות מרובות תצוגות ומידע קודם, כמו גם את היכולת של מודל למידה עמוקה לזהות ולסווג דלקת מפרקים ניוונית בברך באמצעות צילומי רנטגן.		דירוג KL של KOA זוהה וסווג כראוי באמצעות מודל DL. יתר על כן, ידע קודם ותמונות רנטגן מרובות תצוגות שיפרו את יעילות הסיווג.
Ratna et al.22	חקור כיצד נעשה שימוש בלמידת מכונה במחקר דלקת מפרקים ניוונית בברך כדי להבין טוב יותר את התקדמות המצב ואבחון מוקדם.		המחקר מדגיש כיצד למידת מכונה השפיעה על מחקר OA, במיוחד במונחים של אבחון מוקדם והבנת התפתחות, והוא ממליץ על מחקר נוסף כדי לשפר את האינטגרציה הקלינית שלו.

טבלה 1: סקירה כללית של העבודות האחרונות בזיהוי דלקת מפרקים ניוונית בברך.

התרומות העיקריות של העבודה כוללות את OsteoXceptionNet, ארכיטקטורת XceptionNet שונה המיועדת לדירוג דלקת מפרקים ניוונית בברך, ושימוש בצינור עיבוד מקדים שנוצר במיוחד כדי להגביר את הדיוק באבחון. מערך הנתונים של יוזמת דלקת מפרקים ניוונית (OAI) משמש לאימון, ועיצובים בסיסיים רבים משמשים להערכה. מערך הנתונים וטכניקות ההכנה מתוארים בחלקים הבאים של המחקר לאחר סקירת הספרות הרלוונטית. לאחר סקירה כללית של תוצאות הניסוי ודיון בחשיבות הקלינית, הוא מתעמק יותר בארכיטקטורת המודל המוצעת לפני סיכום הממצאים העיקריים והצעת כיוונים עתידיים.

מערך נתונים ותצורה ניסיונית
מערך הנתונים של OAI, המורכב מאלפי תמונות רנטגן של הברך המוערות שנאספו לאורך זמן ממקומות קליניים שונים, זמין לציבור לשימוש במחקר זה. חמש קבוצות של דלקת מפרקים ניוונית בברך של קלגרן-לורנס (KL) יוצגו על ידי 9786 תמונות רנטגן של הברך ששימשו למחקר זה: בריא (3857 תמונות), ספק (1770), מינימלי (2578), בינוני (1286) וחמור (295). במהלך העיבוד המקדים, כל התמונות הותאמו באופן אחיד ל-224 x 224 פיקסלים באמצעות אינטרפולציה דו-ליניארית. מסגרת OsteoXceptionNet המוצעת שימשה במסגרת הניסוי כדי לפלח אוטומטית את מבני מפרקי הברך ולאחר מכן לסווג אותם לשיעורי חומרה של KOA.

כדי להבטיח איזון כיתתי ככל האפשר, מערך הנתונים חולק לתתי קבוצות להדרכה (80%), אימות (10%) ובדיקה (10%). למערך הנתונים יש כמה חסרונות למרות התועלת שלו, כמו חוסר איזון מעמדי, עם פחות דגימות שנופלות לקבוצה החמורה מאחרות. בנוסף, מערך הנתונים כולל רק הדמיה רדיוגרפית; חסרים לו קלטים רב-מודאליים כמו הדמיית תהודה מגנטית (MRI) או מידע קליני, מה שעלול להגביל את יכולת ההכללה שלו. ההטיה הדמוגרפית, שמגבילה את הרלוונטיות של הנתונים לקבוצות אתניות אחרות מכיוון שהיא מייצגת בעיקר את אוכלוסיית צפון אמריקה, היא חיסרון נוסף ראוי לציון. למרות שפונקציות אובדן משוקללות בכיתה והגדלת נתונים שימשו כדי להפחית את המגבלות הללו במידת האפשר, אלה עדיין שיקולים מכריעים בעת ניתוח ביצועי המודל.

בהתבסס על תוצאות רדיוגרפיות, שיטות דירוג, כגון מערכת הדירוג של קלגרן-לורנס (KL), מסווגות את חומרת ה-KOA לחמש קטגוריות: דרגה 0 (בריא), דרגה 1 (ספק), דרגה 2 (מינימלי), דרגה 3 (בינונית) ודרגה 4 (חמורה)²³. תמונות שונות של דרגות KL מוצגות באיור 1.

איור 1: דירוג KL של תמונות ברכיים. בהתבסס על תוצאות רדיוגרפיות, חומרת ה-KOA סווגה לחמש קטגוריות: דרגה 0 (בריא), דרגה 1 (ספק), דרגה 2 (מינימלי), דרגה 3 (בינונית) ודרגה 4 (חמורה). אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

Protocol

חלק זה מציג גישה מקיפה שנועדה לשפר את האבחון והדירוג של דלקת מפרקים ניוונית בברך באמצעות שימוש במודל XceptionNet שונה. המתודולוגיה המוצגת מבוססת על עיבוד מקדים קפדני של נתונים, התאמה אישית יסודית של ארכיטקטורת המודל וטכניקות הערכה חזקות, כולן נועדו לטפל בבעיות המורכבות הקשורות להדמיית OA בברך. באיור 2, זרימת המודל הודגמה.

איור 2: זרימת העבודה של המודל. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

תיאור מערך הנתונים
מערך הנתונים המשמש במחקר זה כולל 9,786 תמונות רנטגן של הברך ממערך הנתונים של OAI שהוקצה לציון OA על סמך טכניקת הדירוג KL. מערך נתונים זה, המציע מגוון רחב של מופעים המכסים את השלבים השונים של KOA, חיוני הן לאימון והן להערכת המודל^{המוצע 24}. אינטרפולציה דו-לינארית שימשה לשינוי גודל כל התמונות. טכניקה זו נבחרה מכיוון שהיא יוצרת פשרה בין יעילות חישובית לשמירה על איכות התמונה, שניהם חיוניים לשמירה על תכונות אנטומיות החשובות לסיווג דלקת מפרקים ניוונית בברך. במערך הנתונים, הציונים הם 0-4, כאשר דרגה 0 מייצגת ברך בריאה ודרגה 4 מציינת דלקת מפרקים ניוונית חמורה. דרגה זו מציעה טווח מורכב של התפתחות מחלות, החיוני למודל כדי להבין את הווריאציות הזעירות על פני השלבים.

בנוסף, מערך הנתונים אורגן בערכות בדיקות, אימות והדרכה. כדי להעריך את ביצועי המודל ולוודא שהוא לומד להכליל ביעילות מבלי להתאים יתר על המידה את ערכת האימון, פיצול זה היה חיוני. ערכת הבדיקות מציעה הערכה אובייקטיבית של יעילות המודל הסופי, שכן היא שימשה גם לשינוי משקולות המודל. יתר על כן, ערכת אימות מסייעת בכוונון עדין של ההיפרפרמטרים והערכת מודלים לאורך שלב האימון. סיכום קצר של התפלגות הנתונים מסופק בטבלה 2, ואיור 3 מספק תיאור חזותי של אותו הדבר.

מחלקה	בדיקה אוטומטית	מבחן	רכבת	ואל
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

טבלה 2: תיאור קצר של מערך הנתונים.

איור 3: התפלגות מערכי נתונים. מערך הנתונים אורגן בערכות בדיקות, אימות והדרכה. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

עיבוד מקדים של נתונים
שלב זה הוא חיוני ומטרתו לשפר את ביצועי המודל על ידי שיפור איכות נתוני הקלט. השלבים הכרוכים בעיבוד מקדים הם כדלקמן.

שינוי גודל תמונה: ממד סטנדרטי מוחל על כל תמונת רנטגן כדי לספק עקביות בכל סט התמונות. שלב זה חיוני למודל לעבד תמונות באופן עקבי ויעיל. משוואה 1 משמשת בתהליך זה.

גודל תמונה חדש = שינוי גודל (תמונה מקורית, מידות סטנדרטיות) (1)

נורמליזציה: ערכי הפיקסלים בתמונות תוקננו כדי לקבל ממוצע של אפס וסטיית תקן של אחד. סוג זה של נורמליזציה מבטיח שערכי הקלט נופלים לטווח דומה, מה שמאיץ את התכנסות המודל במהלך האימון. משוואה 2 משמשת לביצוע שלב נורמליזציה זה.

(2)

הגדלת נתונים: נעשה שימוש באסטרטגיות הגדלת נתונים כדי לטפל בבעיות עקב נתונים לא מספיקים ולשפר את יכולת ההכללה של המודל. שיטות אלו כוללות היפוכים, זום, סיבובים ותרגומים. הם מציגים תמונות חדשות שמתווספות בכוונה למערך נתוני האימון. משוואה 3 משמשת ביישום הליך הגדלה זה.

תמונה רבודה = החלת טרנספורמציה (Iamge מקורי) (3)

נעשה שימוש במגוון טכניקות הגדלה כדי לספק שונות לערכת האימונים על מנת לשפר את חוסן המודל ולמזער התאמת יתר. טווח גזירה של 0.2, טווח זום של 0.8 עד 1.2 (המקביל למקדם זום של 0.2), וטווח סיבוב אקראי של -30° עד +30° נכללו כולם בהגדלת נתוני האימון. גם היפוך אופקי וגם אנכי הותרו בהסתברות של 0.5 על מנת לשפר את הכללת המודל. עבור גזירה אנכית ואופקית כאחד, נעשה שימוש גם במקדם גזירה של 0.1, או ± עיוות של 10%.

איזון מחלקות: נעשה שימוש באלגוריתמים של שקלול מחלקות בגלל חוסר האיזון האפשרי של מערך הנתונים (עם יותר תמונות של מחלקות OA מסוימות מאחרות). על מנת למנוע מהמודל להראות הטיה לטובת מחלקות נפוצות יותר, שיטה זו מעניקה למחלקות תת-ייצוג משקל גדול יותר. משוואה 4 משמשת בתהליך זה. הערכים הבאים שימשו לקביעת המשקולות: בריא: 3857, בספק: 1770, מינימלי: 2578, בינוני: 1286 וחמור: 295 הם ההתפלגות הכיתתית של 9786 סך הדגימות ו-5 מחלקות.

(4)

פיצול אימות רכבת: מערך הנתונים אורגן בערכות אימות והדרכה באמצעות יחסי 80:20 מסורתיים. חלוקת הנתונים מאפשרת למודל ללמוד מנתוני האימון ולהעריך את ביצועיו על בסיס קבוע באמצעות ערכת האימות. זה מאפשר לזהות התאמת יתר ולהעריך את יכולת ההכללה של המודל.

אופטימיזציה של צינור נתונים: צינור נתונים משופר הוקם כדי להבטיח טיפול יעיל בנתונים במהלך אימון המודל. כדי להפחית צווארי בקבוק של קלט/פלט ולהגדיל את ביצועי המחשוב, צינור זה עושה שימוש בטכניקות אצווה, שליפה מראש וחילוץ נתונים מקבילים. כדי לשפר את יעילות ההדרכה והתפוקה, פותח צינור נתוני הקלט. כדי להבטיח ניצול מאוזן של זיכרון ועומס חישובי, נעשה שימוש בגודל אצווה של 32. כדי להגביר את יעילות קלט הנתונים, נעשה שימוש ב-num_parallel_calls=4 בפונקציית המפה כדי להקביל טעינת נתונים ועיבוד מקדים. יתר על כן, על מנת למזער את חביון ה-I/O, נעשה שימוש ב-prefetch (buffer_size=tf.data.AUTOTUNE) של TensorFlow כדי לאפשר התאמה אוטומטית של גודל מאגר ה-prefetch. זה חפף למעשה את העיבוד המקדים של הנתונים ואת ביצוע המודל

באיור 4, הוצגו כמה מקרים של סוגים שונים של תמונות לאחר עיבוד מקדים בסיסי.

איור 4: מופעים ממערך הנתונים. האיור מציג כמה מקרים של סוגים שונים של תמונות לאחר עיבוד מקדים בסיסי. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

באמצעות שלבי עיבוד מקדים קפדניים אלה, מערך הנתונים הופך לבסיס חזק לאימון מודל XceptionNet ששונה, ומכין את הקרקע לזיהוי ודירוג KOA מדויק ואמין.

ארכיטקטורת מודל
מודל בסיס: עם העיצוב המובהק שלו המשתמש בפיתולים הניתנים להפרדה מבחינת עומק כדי להשיג את האיזון הטוב ביותר האפשרי בין יעילות חישובית למורכבות המודל, מודל XceptionNet שנוצר על ידי פרנסואה צ'ולה בולט²⁵. משוואה 5 שימשה ליישום הפיתולים הניתנים להפרדה מבחינת עומק.

קונבולוציה נפרדת לעומק (x) = נקודתית (עומק (x)) (5)

הוא רלוונטי במיוחד למחקר זה מכמה סיבות. ראשית, הארכיטקטורה שלו ידועה בחילוץ מאפיינים מפורטים והיררכיים מתמונות, דבר חיוני לניתוח תמונות רפואיות, כאשר תכונות עדינות יכולות להצביע על שלבים שונים של מצב. שנית, המודל המוצע מבוסס על ארכיטקטורת XceptionNet, שהוכיחה יעילות יוצאת דופן במספר משימות סיווג תמונה, שמטרתן לזהות ולדרג דלקת מפרקים ניוונית בברך²⁶.

ה-OsteoXceptionNet המוצג הוא גרסה מותאמת של ארכיטקטורת XceptionNet שנוצרה במיוחד לסיווג אוטומטי של דלקת מפרקים ניוונית בברך מתמונות רנטגן. שינויים חשובים כוללים הוספה של שלושה בלוקים קונבולוציוניים נוספים (מסננים: 512, 256 ו-128) כדי לשפר את מיצוי התכונות הספציפיות למבני מפרקי הברך, כמו גם שכבות קונבולוציוניות עם גדלי סינון של 3 x 3 וספירת מסננים משתנה הנעה בין 32 ל-1024 על פני זרימות הכניסה, האמצע והיציאה. נורמליזציה של אצווה והפעלת ReLU באות לאחר כל שכבה קונבולוציונית, ושכבות נשירה מתווספות כדי למזער התאמת יתר. תקן 224 x 224 פיקסלים משמש לכניסות דגם.

כוונון עדין ושינויים
שינויים: מודל XceptionNet שונה אסטרטגית בכמה דרכים כדי להפוך אותו למתאים לדירוג וזיהוי KOA.

כוונון עדין: השכבות העליונות של מודל XceptionNet שהוכשר מראש לא הוקפאו, מה שאפשר למודל ללמוד תכונות ברמה גבוהה ספציפיות לתמונות רנטגן של הברך. כוונון עדין של המודל בוצע לפי משוואה 6.

(6)

כאשר θ_{מכווננים עדינים} הם הפרמטרים לאחר כוונון עדין; θ_{מאומנים מראש} הם הפרמטרים שהוכשרו מראש; λ הוא קצב הלמידה; ∇_{θאובדן מאומן מראש}הוא שיפוע פונקציית ההפסד הקשור לפרמטרים שאומנו מראש.

שכבות קונבולוציוניות נוספות: שכבות קונבולוציוניות נוספות הוכנסו בשלב הסופי של המודל. לשכבות אלה יש גודל ליבה קטן יותר כדי להתמקד בחילוץ פרטים עדינים יותר הרלוונטיים לדרגות OA השונות. הוא הופעל באמצעות משוואה 7.

פלט קונבולוציוני = קונבולוציה (קלט, ליבה) (7)

נורמליזציה של אצווה: לאחר כל שכבת קונבולוציה נוספת, נורמליזציה של אצווה מוחלת כדי לייצב את הלמידה ולשפר את מהירות ההתכנסות. הוא מופעל באמצעות משוואה 8.

(8)

כאשר הוא הפלט המנורמל; x הוא קלט שכבת הנורמליזציה של האצווה; μ הוא הממוצע עבור אצווה של קלט; σ2 הוא השונות באצווה של הקלט; ε הוא קבוע מינימלי עבור יציבות מספרית.

פונקציות הפעלה: פונקציות הפעלה של ReLU משמשות בשכבות המשלימות כדי להציג אי-ליניאריות, ובכך מאפשרות למודל לרכוש מבנים מורכבים יותר בנתונים. ReLU מחושב באמצעות משוואה 9.

ReLU(x) = מקסימום(0,x) (9)

כאשר, x הוא כניסת פונקציית ההפעלה של ReLU.

נשירה: כדי למנוע התאמת יתר, משולבות שכבות נשירה, במיוחד לאחר השכבות החדשות שנוספו, כדי להבטיח הכללה של המודל גם על נתונים בלתי נראים. זה נעשה באמצעות משוואה 10.

פלט = מסכת × קלט (10)

תצורת שכבת פלט
שכבת פלט: מודל XceptionNet המקורי בנוי לסיווג מרובה מחלקות עם פונקציית הפעלה של Softmax בשכבת פלט. במודל מותאם זה, שכבת הפלט מותאמת אישית כדי לייצג את חמש הדרגות של דלקת מפרקים ניוונית בברך, המשתרעת מדרגה 0 עד דרגה 4, כלומר מרמה בריאה ועד חמורה. בדיוק, שכבה זו מורכבת מחמישה נוירונים, שכל אחד מהם מתאים לאחת מדרגות ה-OA. פונקציית ההפעלה של Softmax שימשה בשכבה זו כדי לייצר התפלגות הסתברות על פני חמש מחלקות, מה שמאפשר למודל המוצע לחזות את דרגת ה-OA המתאימה עבור תמונת רנטגן נתונה של הברך. גישה זו מיישרת את פלט המודל ישירות עם סולם הדירוג הקליני, ומאפשרת פרשנות אינטואיטיבית ומעשית של תחזיות המודל עבור אנשי מקצוע בתחום הבריאות.

ארכיטקטורת XceptionNet מותאמת במיוחד - שהוכשרה לראשונה מראש על מערך הנתונים של ImageNet - למטרת המחקר המוצגת לסווג את חומרת דלקת מפרקים ניוונית בברך. המודל מינף תכונות שנלמדו ממערך נתונים גדול ומגוון על ידי שימוש במשקולות שהוכשרו מראש מ-ImageNet, מה שהעניק לו בסיס חזק. כדי להתאים אישית את המודל הבסיסי של XceptionNet למחקר המוצע, נוספו שכבות חדשות רבות.

ראשית, שכבות קונבולוציוניות דו-ממדיות שולבו עם מספרים שונים של מסננים וגדלי ליבה, שכל אחד מהם הופעל על ידי ReLU ונורמליזציה של אצווה כדי להוסיף אי-ליניאריות. שכבות נוספות אלו נועדו ללכוד ולהגביר תכונות הקשורות לחומרת דלקת מפרקים ניוונית בברך. לאחר מכן המודל היה מוכן לשלב הסיווג האחרון על ידי הוספת שכבת Global Average Pooling 2D (GAP), המכווצת את מפת התכונות תוך שמירה על נתונים חשובים. בפרט, פעולת GAP משיגה הפחתת מימדים עם אובדן נתונים מינימלי על ידי הפחתת הממדים המרחביים של כל מפת תכונה לערך יחיד תוך שמירה על עומק, שיכול לנוע בין 7 x 7 x 1024 ל- 1 x 1 x 1024. הפלט של שכבת ה-GAP הוזן לפונקציית ההפעלה Softmax, שאפשרה סיווג מרובה מחלקות על ידי המרת לוגיטים להסתברויות. משוואות 11, 12, 13, 14, 15, 16 ו-17 משמשות עבור GAP, הפעלת Softmax, חישוב מפת תכונות, הפחתת קצב למידה, קומפילציה של מודל, התאמת משקל כיתה ואובדן סיווג רב-מחלקתי, בהתאמה.

(11)

כאשר, x_i,j הוא הפעלה של שורת ה-i והעמודה j-th של מפת התכונות; H הוא גובה מפת התכונות; W הוא רוחב מפת התכונות.

(12)

כאשר, x_i הוא הקלט לפונקציית Softmax עבור מחלקה i; n הוא מספר המחלקות.

מפת תכונות = σ(קונבולוציה (קלט, ליבה) + הטיה) (13)

כאשר, קונבולוציה היא פעולת קונבולוציה; i היא פונקציית הפעלה; קלט הוא טנזור הקלט לשכבה; גרעין הוא הגרעין הקונבולוציוני; הטיה היא מונח ההטיה.

קצב למידה חדש = קצב למידה × גורם (14)

מודל = קומפילציה (ארכיטקטורה, אובדן, אופטימיזציה, מדדים) (15)

(16)

כאשר,_דרגת משקל היא המשקל המוקצה למחלקה; סה"כ דגימות הוא total_number_of_samples של מערך הנתונים; Number_of_Classes הוא מספר המחלקות הייחודיות בתוך מערך הנתונים; מדגם בכיתה הוא ספירת הדגימות במחלקה ספציפית.

(17)

כאשר, y_i היא התפלגות ההסתברות בפועל עבור מחלקה i; p_i הוא חיזוי התפלגות ההסתברות של Class I ; N הוא מספר המחלקות.

לבסוף, המודל, הכולל כעת את ארכיטקטורת XceptionNet ששונתה עם השכבות המותאמות אישית, נערך כדי לחזות הסתברויות עבור כל מחלקה. באמצעות שינויים אלה, המטרה הייתה להגדיל את יכולתו של המודל להבחין בתכונות ניואנסיות הקשורות לדרגות שונות של חומרת דלקת מפרקים ניוונית בברך, ולשפר את ביצועי הסיווג שלו למשימה הספציפית.

להתכנסות יציבה ויעילה, נעשה שימוש באופטימיזציה של אדם כדי לאמן את המודל עם קצב למידה של 0.0001, כאשר 0.5 שימש כשיעור הנשירה כדי למזער התאמת יתר. כדי להגביל את מורכבות המודל ולשפר את ההכללה, נעשה שימוש באסטרטגיות רגולציה של L1 ו-L2. עבור בעיות סיווג מרובות מחלקות עם תוויות מספרים שלמים, הצלבה קטגורית דלילה הייתה פונקציית ההפסד המתאימה. האימונים נערכו במשך 50 תקופות. Softmax, פונקציית ההפעלה הסופית, שימשה ליצירת התפלגויות הסתברות מחלקות. בנוסף, נעשה שימוש בגודל של 64 צעדים לאימונים.

הכשרה: תהליך ההכשרה היה שלב חשוב מאוד. בשלב זה, מודל XceptionNet המותאם לומד זיהוי ודירוג מדויקים של KOA בתמונות רדיוגרפיות. Keras גרסה 2.6.0 ו-TensorFlow backend גרסה 2.6.0 שימשו ליישום מודל XceptionNet. להלן פירוט המרכיבים העיקריים של שלב האימון, כולל פונקציית ההפסד, האופטימיזציה, ההתקשרות החוזרת, גודל האצווה והתקופות.

Loss_Function: עבור משימת סיווג מרובת מחלקות, נעשה שימוש cross_entropy קטגורית. פונקציית אובדן זו מתאימה במיוחד לבעיות שבהן כל מופע צפוי להיות מוקצה לתווית אחת ויחידה מתוך קבוצה של קטגוריות²⁷. הוא מעריך את ביצועי המודל על ידי הפקת ציון הסתברות בתוך אפס ואחד. אובדן זה שימש כמדד לאימון יעיל של מודל זה לחיזוי מדויק של חומרת KOA מכיוון שהוא גדל כאשר ההסתברות החזויה שונה מהתווית בפועל.

אופטימיזציה: נעשה שימוש באופטימיזציה של אדם, הידועה ביעילותה ובמאפייני קצב הלמידה הדינמי שלה. אדם ממזג את המאפיינים המועילים של האלגוריתמים AdaGrad ו-RMSProp, ומספק אלגוריתם אופטימיזציה המיומן בניהול שיפועים דלילים בהגדרות בעיות רועשות²⁸.

פרמטרים עיקריים עבור האופטימיזציה של Adam
קצב למידה: נעשה שימוש בקצב למידה של 0.0001, המאפשר לאופטימיזציה לבצע התאמות משמעותיות למשקלים בתחילה, ובכך לייעל את תהליך הלמידה.

בטא 1 ובטא 2: פרמטרים אלה מווסתים את השיעורים שבהם השיפוע הריבועי והממוצעים הנעים של שיפועים קודמים יורדים, בהתאמה. נעשה שימוש בערכי ברירת המחדל של 0.9 עבור beta1 ו- 0.999 עבור beta2.

אפסילון: פרמטר זה מונע כל חלוקה באפס ביישום, המוגדר למספר קטן קרוב לאפס.

התקשרות חוזרת: שיחות חוזרות משמשות במהלך האימון כדי לנטר את ביצועי המודל ולהתאמה. נעשה שימוש בקריאות החוזרות הבאות:

Early_Stopping: זה משמש לניטור אובדן אימות של המודל וכן להפסקת תהליך האימון אם ההפסד מפסיק לרדת עבור מספר תקופות מוגדר מראש (המכונה סבלנות). כאשר נתוני האימות כבר לא מראים שיפור בביצועי המודל, הם מפסיקים את תהליך האימון, מה שעוזר למנוע התאמת יתר.

הפחת את רמת LROn: קריאה חוזרת זו מפחיתה את קצב הלמידה כאשר אובדן האימות מפסיק להשתפר, מה שמאפשר התאמות עדינות יותר במשקולות, מה שעלול לגרום לשיפור ביצועי המודל^{הכוללים 29}.

נקודת ביקורת של מודל: התקשרות חוזרת זו שומרת את המודל במרווח מסוים, כך שניתן יהיה לאחזר את הגירסה הטובה ביותר של המודל לאחר השלמת תהליך האימון. בדרך כלל, הוא עוקב אחר דיוק האימות או האובדן וחוסך את משקל הדגם בכל פעם שמתגלה שיפור.

גודל אצווה ותקופות:
גודל אצווה: 32 הוא גודל האצווה האופייני ששימש על מנת לאזן את הדרישות הן ליציבות התכנסות המודל והן ליעילות המחשוב. גודל אצווה של 32 יוצר איזון, הוא גדול מספיק כדי למנף אופטימיזציות חישוביות ועם זאת קטן מספיק כדי להציע הערכה יציבה של השיפוע.

תקופות: המודל מוגדר להתאמן עד 50 תקופות, אם כי האימון עשוי להיפסק מוקדם אם מופעלת הקריאה החוזרת של EarlyStop. 50 התקופות מספקות מספיק איטרציות כדי להתאים את המשקולות ולמודל להתכנס, בעוד ש-EarlyStop מבטיח שהאימון לא יימשך שלא לצורך.

על ידי הגדרה קפדנית של פרמטרים אלה ושימוש בהתקשרות חוזרת, תהליך האימון עבר אופטימיזציה כדי להבטיח שהמודל לומד ביעילות ומכליל היטב לנתונים בלתי נראים. על מנת להבטיח שכל המחלקות מיוצגות בצורה הוגנת ומדויקת בתחזיות המודל, נעשה שימוש במספר גישות לטיפול בבעיית חוסר האיזון בנתונים. ראשית, על מנת לפצות על תת-הייצוג של חלק מהכיתות, נעשה שימוש בשקלול כיתתי לאורך כל שלב האימון. כיתות עם פחות דגימות קיבלו משקל גדול יותר. כדי להפחית עוד יותר את ההשפעות של חוסר איזון בכיתה במהלך האימון, נעשה שימוש גם ב-ImageDataGenerator של Keras כדי לוודא שהמודל נחשף למגוון שיעורים בכל אצווה³⁰.

מדדי הערכה
בהערכת היעילות של המודל שפותח, נעשה שימוש בפרמטרים רבים המתוארים להלן.

דיוק (ACC): היחס בין תצפיות חזויות במדויק לכל התצפיות מכומת על ידי נתון זה. כאשר כיתות היעד מפוזרות באופן שווה, זה מועיל. החישוב שלה מבוסס על משוואה 18.

(18)

דיוק (PR): הדיוק של המודל מודד עד כמה הוא יכול להבחין בין כל המקרים החיוביים והחיוביים הצפויים. בנסיבות שבהן שיעור התוצאות החיוביות השגויות הוא משמעותי, זה די חשוב. החישוב שלו מבוסס על משוואה 19.

 (19)

היזכרות (R): היזכרות, הידועה גם בשם רגישות, מכמתת את אחוז התוצאות החיוביות האמיתיות שזוהו כהלכה. זה חשוב במיוחד במצבים שבהם להתעלמות מדוגמה טובה עלולות להיות השלכות חמורות. חישובו כולל את משוואה 20.

 (20)

F1_Score: זהו ממוצע הרמוני של דיוק (PR) וזכירה (R), הוא מספק הערכה הוגנת, במיוחד בנוכחות התפלגות מחלקה לא אחידה. החישוב שלה כולל את משוואה 21.

(21)

ROC AUC: שטח מתחת לעקומה למאפייני הפעלה של מקלט (ROC AUC) מכמת את יכולת המודל להבדיל בין מחלקות. ערכי AUC מוגברים מסמלים ביצועי דגם מעולים. החישוב שלה מבוסס על משוואה 22.

(22)

קאפה של כהן (CK): מדד זה מעריך התאמה בין שני מדרגים המסווגים N פריטים למחלקות C השוללות זו את זו. הוא מציע חוסן רב יותר בהשוואה לדיוק, במיוחד כאשר מתמודדים עם שיעורים לא מאוזנים. החישוב שלה כולל את משוואה 23.

(23)

מדדים שגיאה מוחלטת ממוצעת (MAE), שגיאה ממוצעת בריבוע שורש (RMSE) ושגיאה ממוצעת בריבוע (MSE): למרות שהם משמשים בדרך כלל למשימות רגרסיה, פרמטרים אלה יכולים לספק גילויים שימושיים בתרחישי סיווג, במיוחד בסיווגים סידוריים. הם מחשבים את ההפרש בין הערכים האמיתיים והחזויים. מדדים אלה חושבו באמצעות משוואות 24, 25 ו-26, בהתאמה.

(24)

(25)

(26)

ציון F2: ציון F2 נותן עדיפות לזיכרון על פני דיוק, וזה בעל ערך בתרחישים שבהם התעלמות מתחזית חיובית כרוכה בעלויות גדולות יותר מאשר יצירת תוצאה חיובית כוזבת. החישוב שלה כולל את משוואה 27.

(27)

עקומת דיוק וזיכרון: גרף זה מראה כיצד זיכרון ודיוק מאוזנים ברמות שונות. ככל שהשטח מתחת לעקומה גדול יותר, כך רמות הזכירה והדיוק גבוהות יותר.

הפרמטרים הנ"ל נבחרו על מנת לספק הערכה יסודית של ביצועי המודל בכל הממדים, במיוחד בהקשר של חוסר האיזון של מערך הנתונים והחשיבות של זיהוי מדויק של הדרגות השונות של דלקת מפרקים ניוונית בברך.

Results

מספר צעדים חשובים ננקטו לאורך שלב התיקוף של המודל כדי להבטיח שהוא יכלול לנתונים שטרם נצפו. בתחילה, מערך הנתונים מחולק לערכות אימון ואימות. זהו הליך נפוץ המשמש להערכת ביצועי המודל על מערך נתונים שלא שימש באימון. על ידי הצעת מערכי נתונים נפרדים להדרכה ואימות, הפרדה זו נמנעה מהתאמת יתר ואפשרה הערכה יסודית של יעילות המודל.

נעשה שימוש בגישות הגדלת נתונים כדי לשפר את האימון עוד יותר ולהפסיק התאמת יתר. שיטות אלו הוסיפו סיבובים, תרגומים והיפוכים לתמונות, על ידי שיפור נתוני האימון. המודל היה מסוגל יותר...

Discussion

המחקר הציג טכניקה אוטומטית מבוססת למידה עמוקה לדירוג KOA באמצעות תמונות רנטגן. המודל, שהשתמש בארכיטקטורת XceptionNet, הפגין חוסן ודיוק בולטים במגוון מדדי הערכה, מה שמרמז על כך שהוא עשוי למצוא שימוש במסגרות קליניות.

בנוסף למתודולוגיה הנוכחית, ניתן להשתמש באימות מערך נתונים חיצוני כדי לאשר עוד יותר את ההשערה ולהעריך את יכולת ההכללה של המודל על פני תנאי הדמיה שונים ונתונים דמוגרפיים. ניתן להעריך את יעילות המודל בפעולות קליניות בזמן אמת גם באמצעות מחקרים פרוספקטיב...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מחברת Jupyter/Colab	פרויקט Jupyter / גוגל	לא ישים	לפיתוח והתנסות במודלים באופן אינטראקטיבי.
Matplotlib (גרסה: 3.4.3) & Seaborn (גרסה: 0.11.2)	קהילה	לא ישים	לתצוגה חזותית של נתונים ותרשימי תוצאות.
מנדלי / קאגל דאטה	Elsevier; קהילה	לא ישים	מקור מערך נתונים: מערך נתונים לדירוג חומרת דלקת מפרקים ניוונית בברך
OpenCV (גרסה: 4.5.5)	אינטל	לא ישים	לעיבוד מקדים של תמונות רנטגן (שינוי גודל, CLAHE, סינון גאוס).
Python (גרסה: 3.8)	קרן התוכנה של פייתון	לא ישים	שפת תכנות המשמשת לפיתוח מודלים.
scikit-learn (גרסה: 1.0.2)	קהילה	לא ישים	משמש לפיצול נתונים, מדדי ביצועים וכלי ML בסיסיים.
TensorFlow/Keras	גוגל / קהילה	לא ישים	משמש ליישום ואימון מודל הלמידה העמוקה מבוסס XceptionNet. גרסת Tensorflow: 2.6.0, RRID:SCR_018932. גרסת Keras: 2.6.0, RRID:SCR_018961
מערכת הפעלה של אובונטו	הקנוני	לא ישים	מערכת הפעלה המשמשת לתאימות לכל כלי התוכנה. גרסה 20.04 מומלצת.