גישה חדשנית המשתמשת בטרנספורמר ראייה מלאכותית לניתוח סריקת CT לגילוי סרטן ריאות

סיכום

השימוש ב-Vision Transformers במחקר זה מאפשר לסווג סרטן ריאות מתמונות CT, ולהשיג דיוק של 98.18%, ב-1,190 סריקות. המודל שמר על רמת עמידות מספקת, עם רמות דיוק בין (80–88%) לתמונות רועשות ומטושטשות, לעומת מודלים סטנדרטיים של רשת עצבית קונבולוציונית (CNN), ביישומי אבחון בריאות הצרכן.

תקציר

אבחון סרטן הריאות נותר מאתגר בשל ההבדלים העדינים בין מחלה שפירה למחלה ממירה במחקרי דימות. בעוד שרשתות עצביות קונבולוציונליות מסורתיות (CNNs) היו עמוד התווך המרכזי בניתוח דימות רפואי, הן עדיין מוגבלות ביישום ובעמידות עם שונות בשיטות הדמיה. ההתקדמות בלמידת מכונה משנה את שיטות האבחון המסורתיות בטכנולוגיות בריאות הפונות לצרכן, משנה תהליכים בנגישות ובטיפול מותאם אישית למטופלים. מאמר זה מתאר את השימוש ב-Vision Transformers (ViTs) למשימת סיווג סרטן הריאות באמצעות סריקות CT, הקשורות ליישומי בריאות הצרכנים. מודל Vision Transformer אומן על מאגר נתונים מלא של 1,190 תמונות CT, והשיג שיעור סיווג של 98.18% עם מקדם מתאמת מת'יוס של 0.9676. בנוסף, ביצועי המודל אומתו בתרחישים מדומים בזמן אמת באמצעות רעשים בזמן אמת ומאגרי נתונים מטושטשים. למרות שמירה על שיטות אימות עם דיוק אבחוני גבוה, לאורך כל מאגר הנתונים מודל ViT גם הצליח להתעלות על השיטה המאומתת המסורתית בכך שהראה דיוק של בין 80-88% להבחנה בין תמונות רועשות לתמונות מטושטשות, גם בנסיבות אלו. בעוד שהתוצאות הראשוניות מספקות מידע מבטיח על עמידות ה-ViTs בהתמודדות עם שונות בתמונה, יש לנקוט בגישה זהירה בהקשר, שכן מחקרי ההערכה נעשו במסגרת מאגר נתונים וסימולציה יחסית קטן. יהיה בעל ערך למחקרים עתידיים להשתמש במאגרי נתונים גדולים יותר שמייצגים יותר מצבים קליניים אמיתיים ובמערכי נתונים מאומתים קלינית, כדי לקבוע האם ViTs מועילים לזיהוי קליני של אבחון אונקולוגי ולשיפור גילוי מוקדם.

מבוא

לסרטן הריאות יש נטל עולמי משמעותי, המשפיע על מיליוני חיים מדי שנה. עקב אופיו האגרסיבי של הסרטן ומצבו התכוף של המחלה המתגלה מאוחר, שיעור התמותה הקשור לסרטן הריאות גבוה. גילוי מוקדם הוא חיוני כי ההתערבות יכולה לשפר משמעותית את יעילות הטיפול ואת שיעורי ההישרדות^1. הגישה המקובלת לסקר ואבחון ראשוני נשארת באמצעות טומוגרפיה ממוחשבת (CT) לאפשר הדמיה מפורטת יותר של מבני הריאת. עם זאת, הערכת תמונות ה-CT מורכבת ותלויה לחלוטין בסוקרים כרדיולוגים. שונות הגידולים בתכונות כמו גודל, צורה וצפיפות גם היא מפחיתה את אמינות כל תצפית אנושית. גורמים סביבתיים עלולים לאתגר את הדיוק והשחזוריות של קבלת החלטות המבוססת על ניתוח אנושי.
בהתחשב בגורמים מגבילים אלה, הספרות האחרונה השקיעה דחיפה חזקה ליישום בינה מלאכותית (AI) בהדמיה רפואית, עם דגש רב יותר על מודלים של למידה עמוקה (DL). DL, במיוחד עם רשתות עצביות קונבולוציונליות (CNNs), שיבשו את דפוס התצפיות בהדמיה רפואית על ידי שינוי ניתוחי התמונות². CNNs שיפרו משמעותית תהליכי אבחון באונקולוגיה, ומדגימים יכולת לזהות תכונות עדינות ומורכבות בנתוני הדמיה שלרוב אינם ניתנים להבחנה לעין האנושית. למרות ההתקדמות הזו, CNN מתמודדים עם מגבלות של התאמת יתר על מערכי נתונים קטנים, עמידות מופחתת בתנאי רכישה משתנים, ותלות בשדות קליטה מקומיים שיכולים לפספס תלות גלובלית. בעוד שגישות היברידיות של CNN-Transformer מנסות לשלב פריורים קונבולוציונליים עם מנגנוני קשב, הן עדיין יורשות הטיות של ארכיטקטורות קונבולוציונליות. איור 1 מציג כמה מקרים מתוך מערך הנתונים המציגים מחלקות שונות.

איור 1: איור חזותי של קטגוריות שונות המציגות פרוסות CT מייצגות של ריאות תקינות, שפירות וממאירות, תוך הדגשת הדמיון וההבדלים ביניהן. אנא לחצו כאן כדי לצפות בגרסה רחבה יותר של איור זה.

תמונות CT מייצגות מוצגות למקרים תקינים, שפירים וממאירים. בעוד שסימון מפורש של אזורים מובחנים היה מסייע בפרשנות חזותית, הערות ידניות דורשת רדיולוגים מומחים והייתה מעבר להיקף המחקר הזה.

Vision Transformers (ViTs), שהוצגו במקור לסיווג תמונה^{טבעית 3}, מציגים אלטרנטיבה מבטיחה. בניגוד ל-CNN או היברידיים של CNN-Transformor, ViTs משתמשים במסגרת מונחית קשב מלאה הלוכדת מידע קונטקסטואלי גלובלי על פני תמונה שלמה. מחקר זה רלוונטי במיוחד להדמיית CT, שבה האופי המפוזר והלא סדיר של תכונות הגידול יכול להתפשט על פני האזורים ולא מוגבל רק לשדות קליטה מקומיים. בעוד שרשתות היברידיות של CNN-Transformer מייצבות את ההטיה האינדוקטיבית הקונבולוציונית, Vision Transformers (ViTs) מיישמים ארכיטקטורה מבוססת קשב מלאה, המאפשרת למודל ViT ללכוד תלות לטווח ארוך על פני כל תמונות CT - יתרון בהערכת תכונות גידול ריאות מפוזרות או לא סדירות.

הופעת מודלים מבוססי טרנספורמרים בתחום ההדמיה הרפואית היא עדכנית, עם כמה דוגמאות ברדיולוגיה רכה ובהיסטופתולוגיה,4,5,6 שהראו יתרונות ניכרים בעמידות לרעש, טשטוש ושונות בין סורקים לעומת מערכות CNN מסורתיות, בכך שתמכו בצדקת ViT בהקשר קליני כזה מבלי להדגיש חידוש יתר על המידה. בהינתן גישה מחמירה יותר להדמיית סרטן ריאות לעומת יישומים בריאותיים לצרכן, מחקר זה שואף להצדיק פרקטיות בתחום חזק של רפואה מבוססת ראיות, תוך מיקומו בין הספרות הלא מכריעה ביותר הזמינה לאחרונה בנוגע לטרנספורמרים וליישומיהם. ספרות קודמת הראתה כי הדיוקים בשיטות האבחון של CNN יורדים באופן דרסטי בשל שונות רכישה⁷, כאשר ה-ViT המתאים מתפקד טוב יותר עם אותן הפרעות,8 מה שמחזק את הרעיון של שימוש ב-ViT בשיטות הערכה והצגת אפשרות לשיפור השחזור בתהליכי האבחון. יתרה מזאת, סוגיות מעשיות כמו גודל מאגר הנתונים הנדרש, עומס חישובי והכללה לסביבות קליניות שונות מוצגות בבירור במחקר, באמצעות שיטות כמו הגדלת נתונים, למידת העברה ווריאנטים יעילים של ViT ^9,10 כדי להתמודד עם אתגרים פוטנציאליים אלו בשימוש מעשי.

מחקר זה מתבסס על התקדמות זו על ידי יישום ViTs לשלב סרטן ריאות באמצעות נתוני תמונת CT ובחינת החוסן וההכללה של המודל בנוכחות בעיות הדמיה מהעולם האמיתי. נתוני CT עלולים לכלול ארטיפקטים, רעש וטשטוש במידה נפוצה שעשויה להסתיר תכונות משמעותיות לרופאים. על ידי בחינת החוסן לשינויים אלו בהדמיה, מחקר זה שואף להציע מסגרת במה נוספת שניתן להסתמך עליה בפועל בקבלת החלטות הקשורות לטיפול ולטיפול.

התרומות של מחקר זה כוללות: i) זיהוי ספציפי של סרטן ריאות מתמונות CT במאגר הנתונים IQ-OTH/NCCD באמצעות שימוש ובחינת ביצועי מודל Vision Transformor; ii) הערכת ביצועי המודל בתרחישי הדמיה קלינית בעולם האמיתי המשותפים לנתוני CT, כגון רעש וטשטוש; iii) השוואת דיוק, רגישות וספציפיות של ViTs כחלופה למודלים מסורתיים של CNN.

הארגון של שאר המאמר הוא כדלקמן: סעיף II עובר על סקירת הספרות המספקת עבודות קודמות הקשורות לגילוי סרטן ריאות באמצעות טכניקות למידה עמוקה וההתקדמות מ-CNN לארכיטקטורות מתקדמות יותר כמו ViTs. סעיף III מציג את הגישה שננקטה לעבודה זו הכוללת עיבוד נתונים מוקדם, מידע על ארכיטקטורת המודל ופרטי נהלי ההדרכה. סעיף IV מציג את הממצאים המתייחסים במיוחד לתכונות המרשם של ViTs כשיטה קלינית וכיצד הן עשויות לשפר את הדיוק והאמינות של בדיקות סרטן ריאות. סעיף V מסכם את הממצאים והתרומות לפרקטיקה ודן בכיוונים עתידיים בהקשר של למידה עמוקה בסביבה רפואית.

עבודות קשורות:

למידה עמוקה (DL) חוללה מהפכה בתחום ההדמיה הרפואית בעשר השנים האחרונות, במיוחד באבחון סרטן ריאות. בתחילה, התחום התבסס על טכניקות למידת מכונה מסורתיות כמו מכונות וקטוריות תמיכה (SVMs) ועצי החלטה, שהיו מוגבלות על ידי הצורך בתכונות שנבנו היטב והושגו כראוי. תכונות אלו טיפלו בצורה גרועה במורכבויות של תמונות רפואיות ולעיתים החריכו סובייקטיביות.

שינוי משמעותי התרחש עם המצאת רשתות עצביות קונבולוציונליות (CNNs), שאפשרו חילוץ אוטומטי של מאפיינים היררכיים מהנתונים¹¹. CNNs שימשו רבות בסידור סרטן מבוסס סריקות CT, בזיהוי גושים ובסיווג כפירים או ממאירים. CNN מצליחים, אבל יש להם מגבלות. אלה כוללים הבדלים בהגדרות איסוף תמונות והצורך במאגרי נתונים גדולים עם הערות, שקשה להשיג בגלל סוגיות פרטיות והאופי הכבד של הערות רפואיות. טבלה 1 12,13,14,15,16,17,18,19,20 מספקת סיכום של מחקרים עדכניים שנערכו בתחום אבחון סרטן הריאות.

קרסטה, לבינה ג'ין, רופאל נימה ואלווין רושן פייס (2024) [20]

להציג מסגרת למידה עמוקה חדשנית לגילוי וסיווג סרטן הריאות באמצעות תמונות CT [20].

המאמר מציג 3D-VNet לסגמנטציה ו-3D-ResNet לסיווג, ומציג שיפורים בדיוק ועמידות לעומת שיטות קודמות.

קרסטה, לבינה ג'ין, רופאל נימה ואלווין רושן פייס (2024) [20]

להציג מסגרת למידה עמוקה חדשנית לגילוי וסיווג סרטן הריאות באמצעות תמונות CT [20].

המאמר מציג 3D-VNet לסגמנטציה ו-3D-ResNet לסיווג, ומציג שיפורים בדיוק ועמידות לעומת שיטות קודמות.

טבלה 1: סיכום מחקרים עדכניים המתארים טכניקות בשימוש ודיווחים על ביצועים להקשר.

באמצעות תהליכי ריכוז עצמי שמתחשבים בכל ההקשר של התמונה בו-זמנית, Vision Transformers (ViTs) מתחילים להופיע כחלופה תחרותית ל-CNN במשימות הקשורות לתמונה. ViTs מבטיחים במיוחד להדמיה רפואית, משום שהמשמעות של אזורים מסוימים עשויה להיות תלויה בחלקים רחוקים יותר מהתמונה בשל יכולת העיבוד הגלובלית שלהם. עם זאת, למרות יכולתם להתמודד עם משימות מורכבות כמו זיהוי קשרים בין מדדי מחלה רבים בסריקות, ViTs עדיין לא נחקרים היטב בתחום ההדמיה הרפואית.

ViTs לא נחקרו במידה רבה בתחום מכשירי הבריאות הממוקדים בצרכן. מחקר זה שואף לגשר על הפער בין דיוק גבוה לבין פחות השהיה במכשירי בריאות ממוקדי צרכן, שבהם הם יכולים לפעול היטב ולספק תחזיות מדויקות בזמן אמת.

פרוטוקול

מערך הנתונים כולל סך של 1,190 פרוסות CT מתוך 110 מקרים, המחולקים לשלוש קטגוריות: תקינים (55 מקרים), שפירים (15 מקרים) וממאירים (40 מקרים). כל מקרה מורכב ממספר פרוסות CT (בטווח של כ-80 עד 200 פרוסות לכל מקרה), המציעים תצפיות אקסיאליות מגוונות של אזור החזה. תמונות ה-CT התקבלו ב-DICOM באמצעות סורק SOMATOM עם פרמטרי התמונה סטנדרטיים: מתח צינור = 120 קילווולט, עובי פרוסה = 1 מ"מ, רוחב חלון = 350–1,200 יחידות הונספילד (HU), וערכי מרכז חלון = 50–600 HU, במהלך עצירת נשימה מלאה.

כל התמונות הוסרקו לחלוטין לפני הניתוח כדי להסיר כל מידע אישי מזהה (PII). מערך הנתונים אושר באופן אתי על ידי ועדות הביקורת המוסדיות של המרכזים הרפואיים המשתתפים, כאשר הסכמה בכתב בוטלה על ידי ועדת הפיקוח. המקרים כללו אנשים מרקעים מגוונים כגון עובדי ממשלה, חקלאים ותושבים ממספר מחוזות עיראקיים (כולל בגדד, וסיט, דיאלה, סלאח א-דין ובבל) עם מגוונים במגדר, גיל, רמת השכלה ומצב חיים.

מכיוון שמאגר הנתונים זמין לציבור ואינו מזוהה, לא נדרשה אישור אתי נוסף לשימוש בו במחקר זה. מערך הנתונים עומד בתנאים וההגבלות שנקבעו על ידי התורמים המקוריים ופלטפורמת האחסון.

המתודולוגיה של מחקר זה עושה שימוש בתהליך רב-שלבי שנועד ליצור מודל חיזוי בעזרת מאגר הנתונים IQ-OTH/NCCD לסרטן ריאות²¹. שיטה זו יוצרת במה חזקה למכשירי בריאות ממוקדי צרכן שבהם נדרשת פחות השהיה, מה שיכול להעניק דיוק טוב יותר. איור 2 מציג את מנגנון העבודה של המודל המוצע.

איור 2: דיאגרמת זרימת העבודה של המודל המוצע המתארת קדם-עיבוד, שדרוג, סיווג Vision Transformer ושלבי הערכה. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

1. תיאור מערך הנתונים

מאגר הנתונים של סרטן הריאות IQ-OTH/NCCD נאסף בבית החולים ההוראה עיראק-אונקולוגיה/המרכז הלאומי למחלות סרטן בסתיו 2019. חלק האימון במאגר הנתונים ששימש כלל 1,097 תמונות שתיאורן מוצג בטבלה 2, שממחישה את ספירת המדגמים של מחלקות שונות.

מחלקה	מספר התמונות
רגיל	416
שפירים	120
ממאיר	561

טבלה 2: דוגמאות של תמונות CT תקינות, שפירות וממאירות מתוך מאגר הנתונים.

מאגר הנתונים של סרטן ריאות IQ-OTH/NCCD נבחר בזכות הייצוג המקיף שלו של סריקות CT תקינות, שפירות וממאירות. בעוד שקיימים מאגרי נתונים אחרים, כגון LIDC-IDRI ו-NSCLC-Radiomics, הם מתמקדים בעיקר בזיהוי נודולים או שחסרים מספיק דגימות של מקרים שפירים. מאגר הנתונים IQ-OTH/NCCD מתאים במיוחד למחקר שלנו, שכן הוא מאפשר ל-Vision Transformer ללמוד תכונות מובחנות בכל שלוש הקטגוריות, ומאפשר סיווג חזק של דפוסים עדינים בתמונות CT ריאות.

2. קדם-עיבוד נתונים

עיבוד מוקדם הוא שלב חשוב בשיפור ביצועי המודל באמצעות עקביות והתאמות מתאימות לנתונים שיעובדו דרך הרשת העצבית. כדי להבטיח עקביות בגודל הקלט של הרשת העצבית, הגדלנו את כל התמונות לאותו מימד של 256 על 256 פיקסלים, ונירמלנו את הנתונים לערך פיקסל בין 0 ל-1 בתקווה לשפר את אימון המודלים והתכנסות. טבלה 3 מכילה את ערכי טכניקת ההגדלה.

טכניקה	ערך
נרמול	-
שינוי גודל	image_size x image_size
סיבוב אקראי	פקטור=0.02
רנדום-זום	height_factor=0.2, width_factor=0.2

טבלה 3: טכניקות הגברה יישומיות עם טווחי פרמטרים.

כדי להגדיל את עמידות המודל מול התאמת יתר ולשפר את יכולתו להכליל, מיושמות טכניקות הגדלת נתונים כמו סיבובים אקראיים וזום, המדמים זוויות וגדלים שונים של הופעות סרטן ריאות כפי שהן מופיעות אצל מטופלים שונים. סיבובים אקראיים עם זוויות שנדגמו באופן אחיד מ-0.02 רדיאנים וטרנספורמציות זום אקראיות עם גורמי גובה ורוחב משתנים יושמו במחקר זה. התמונות לאחר ההרחבה מוצגות באיור 3.

איור 3: תמונות CT לאחר השדרוג המדגימות סיבוב, זום ונרמול לשיפור הכללת המודל. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

נדרשות טכניקות קדם-עיבוד אלו, והשדרוג שימש בכל הקטגוריות כדי להבטיח את עמידות המודל.

3. ארכיטקטורת מודלים

בהתבסס על מסגרת Vision Transformer (ViT) החדשנית לטיפול יעיל בנתוני תמונה מסובכים, ארכיטקטורת המודל מיועדת לסווג סריקות CT לשלוש קטגוריות: נורמלית, שפירה וממאירות. בשיטה זו, תמונות קלט של 256 x 256 פיקסלים מעובדות. כדי להבטיח עקביות ולקדם למידת מודלים יעילה יותר, כל תמונה עוברת מספר פעולות קדם-עיבוד, כגון שינוי גודל ונירמול. כדי לשפר את עמידות המודל לשינויים בקנה מידה ובכיוון התמונה, העיצוב מתחיל בשכבת הגדלת נתונים המשתמשת בשיטות הכוללות נרמליזציה, שינוי גודל, סיבובים אקראיים של 0.02 רדיאן וזום אקראי של עד 20%. לאחר ההגדלה, המודל מוציא 16 פאצ'ים בגודל 16 על 16 פיקסלים מכל תמונה, כך שלכל תמונה יש 256 פאצ'ים.

אלגוריתם 1 מגדיר את זרימת העבודה, המודל המוצע וכיצד הוא נבנה, ואת הכוונון המדויק שמתבצע ביחס למודל.

אלגוריתם 1: סיווג סרטן ריאות באמצעות Vision Transformers
קלט: סט תמונות CT I מתוך מאגר הנתונים IQ-OTH/NCCD
פלט: תוצאות סיווג C לקטגוריות: נורמלי, שפיר, ממאיר
עיבוד מוקדם:
   for each image i in I do
i <- Resize(i, 256 x 256)         // Normalize and resize images
i <- Normalize(i)
i <- DataAugmentation(i)        // Apply random rotations and zooms
   end for
הגדרת הדגם:
  Initialize Vision Transformer (ViT) Model
  Set number of patches P = 16 x 16
  Set number of heads H = 6 in multi-head attention
הדרכה:
  for epoch = 1 to MaxEpochs do
    for each batch b in I do
      Patches <- ExtractPatches(b, P)
      EncodedPatches <- PatchEncoder(Patches)
      AttentionWeights <- MultiHeadAttention(EncodedPatches, H)
      ClassLogits <- TransformerEncoder(AttentionWeights)
      Loss <- ComputeLoss(ClassLogits, TrueLabels)
      UpdateModelWeights(Loss)
    end for
    if EarlyStoppingCriteriaMet (Val_Loss No Improvement Patience = 5 Epochs) then
      break
    end if
  end for
אימות:
  Split data into TrainingSet (80%) and ValidationSet (20%)
  ComputeValidationMetrics(ValidationSet)
הערכה:
  C <- Classify(I)
  ComputePerformanceMetrics(C)
  Return C

כדי לשמר את הקשרים המרחביים בין התיקונים, פאצ'ים אלו מושטחים (משוואה 1) לווקטורים בממדים 768 (כי לכל פאץ' יש 16 x 16 x 3 = 768) ואז נשלחים דרך שכבת קידוד פאץ', שמקרינה כל וקטור למרחב 64 ממדי על ידי שילוב הטמעות מיקומיות. ליבת הארכיטקטורה מורכבת משמונה שכבות שנאי, שכל אחת כוללת מנגנון תשומת לב רב-ראשי עם שישה ראשים, המאפשרים למודל להתמקד בחלקים שונים של התמונה בו-זמנית וללכוד מגוון רחב של תכונות. הוא מיוצג באמצעות משוואות 2, 3 ו-4.

כאשר μ הוא הממוצע ו-σ² הוא השונות של הקלט x, ו-ε הוא קבוע קטן שמונע חלוקה באפס.

כאשר Q היא מטריצת השאילתה, K היא מטריצת המפתח, V היא מטריצת הערכים, ו-d_k הוא ממד וקטורי המפתח.

כאשר W_i^Q, W_i^K ו-W_i^V הם מטריצות המשקל שנלמדו עבור שאילתות, מפתחות וערכים, בהתאמה, ו-W^O היא מטריצת המשקל הפלט.

דיאגרמת הבלוקים של המודל המוצע מוצגת באיור 4.

איור 4: דיאגרמת בלוקים של מודל Vision Transformer עם ראש MLP, המפרטת שכבות עיבוד עיקריות וארכיטקטורה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

כל שכבת טרנספורמר כוללת תפיסה רב-שכבתית (MLP) עם יחידות נסתרות שמוגדלות תחילה עד 128 ואז חזרה ל-64, מה שמרחיב ודחס את זרימת המידע כדי ללכוד תלות מורכבות.

Dropout מיושם באופן אסטרטגי בקצב של 0.1 בתוך מנגנוני הקשב ו-MLPs כדי למנוע התאמת יתר. הפלט ממקודד השנאי מעובד דרך ראש MLP המורכב משתי שכבות צפופות עם 2,048 ו-1,024 יחידות, בהתאמה, תוך שימוש ביחידות שגיאה ליניאריות גאוסיות (GELU) להפעלה, שהוכח כיעיל ביישומי למידה עמוקה. זה מושג באמצעות משוואה 5.

כאשר W₁ ו-W₂ הן מטריצות משקל, b₁ ו-b₂ הן הטיות, ו-GELU היא פונקציית ההפעלה שבה משתמשים.

השתמשו ב-dropout של 0.1 בשכבות השנאים כדי למנוע התאמת יתר מבלי לאבד מידע על תכונות חשובות. פונקציית ההפעלה של GELU שימשה בשל תכונותיה הלא-ליניאריות החלקות, המעודדות זרימת גרדיאנט והתכנסות במודלים מבוססי שנאי. ה-dropout מוסדר באמצעות משוואה 6.

כאשר p הוא שיעור הנשירה (למשל, 0.1 או 0.5), ושכבת הנשירה מגדירה באקראי שבר p מיחידות הקלט לאפס במהלך האימון.

שיעור נשירה של 0.5 בשכבות אלו מסייע עוד יותר במניעת התאמת יתר. השכבה האחרונה של המודל היא שכבת לוגיט (משוואה 7) שמפיקה שלושה לוגיטים מסוג המתאימים לקטגוריות נורמלית, שפירה וממאירות, באמצעות פונקציית אובדן אנטרופיה צולבת קטגורית דלילה (משוואה 8) המתאימה להגדרת סיווג רב-מחלקית זו.

כאשר z_i הוא וקטור הלוגיטס של המחלקה i, SoftMax(z_i)) מייצג את ההסתברויות החזויות, ו-y_i הוא תווית המחלקה האמיתית.

המודל מורכב באמצעות אופטימייזר AdamW (משוואות 9, 10, 11, 12 ו-13), הרחבה של אופטימייזר אדם שמטפלת ביעילות רבה יותר בירידה במשקל, עם קצב למידה של 0.001 ודעיכת משקל של 0.0001, מה שמייעל הן את מהירות הלמידה והן את יציבות המודל.

כאשר m_t ו-v_t הם המומנטים הראשונים והשניים של הגרדיאנטים, והם הרגעים המתוקנים על ידי הטיה, η הוא קצב הלמידה, ו-ε הוא קבוע קטן למניעת חלוקה באפס.

המודל, כאשר הוא מאומן, משתמש בגודל אצווה של 32 כדי לנצל את האצת GPU לחישוב מהיר יותר, ומוגדר לאימון ל-100 אפוקים.

אבל לאימון יש מנגנון עצירה מוקדם של אובדן אימות כדי להגביל את האימון כאשר המודל מפסיק להשתפר, כדי לחסוך משאבים חישוביים ולמנוע אימון יתר של 5 תקופות רצופות. ביצועי המודל נמדדים באמצעות מדדים כמו דיוק קטגורי דליל ודיוק שני המובילים, שמעשירים את יכולת הסיווג של המודל בין הקטגוריות החזויות הסבירות ביותר. קריאות חוזרות לאימון מודל כוללות נקודות ביקורת שיצילו את המודל בעל הביצועים הגבוהים ביותר בהתאם לדיוק האימות כדי להבטיח שהגרסה המוצלחת ביותר של המודל תישמר לאחר סיום תהליך האימון. ארכיטקטורה חזקה ומתוכננת היטב זו מנצלת את יכולות הטרנספורמרים לעיבוד נתוני הדמיה רפואית בגישה מתקדמת מאוד לשימוש בשיטות בינה מלאכותית עכשווית ליישומים מרכזיים באבחון רפואי.

4. הכשרה ואימות

המודל אומן בסביבת Kaggle באמצעות כרטיס מסך NVIDIA P100, ובמהלך תהליך האימון נעשה שימוש בירידת גרדיאנט מיני-אצווה עם גודל אצווה של 32. האופטימיזציה ששימשה באימון הייתה AdamW עם קצב למידה של 0.001 וירידה במשקל של 0.0001; זו הייתה איזון טוב בין התכנסות מהירה לבין רגולריזציה מסוימת. המודל אומן ל-100 תקופות, אך נעשה שימוש בעצירה מוקדמת על אובדן אימות עם סבלנות של 5 תקופות. בפשטות, אם האימון לא שיפר את אובדן האימות במשך 5 תקופות רציפות, האימון היה נעצר בגלל התאמת יתר ויעילות חישובית. ברוב המקרים, מודל זה החזיר משקלים מהתקופה עם אובדן האימות הנמוך ביותר, מה שמעיד שהוא מתפקד בצורה מיטבית ולא נדרש להריץ את כל 100 האפוקים. סך הכל כ-32 דקות לאימון הדוגמן.

במהלך ההכשרה, המדדים כללו דיוק קטגורי דליל ודיוק בשני הראשונים, שנבדקו הן בערכות אימון והן במערכות אימות. מדדים אלו מספקים תובנות לגבי כמה פעמים מודל חוזה את המחלקה הנכונה והאם המחלקה הנכונה נמצאת בין שתי התחזיות העליונות, דבר שחשוב ביישומים רפואיים כי סיווגים שגויים בביטחון גבוה עלולים לגרום להשלכות משמעותיות. עקומות הלמידה לאובדן ודיוק מוצגות באיור 5.

.

איור 5: עקומות דיוק והפסד של אימון ואימות לאורך 50 תקופות המראות למידה יציבה והתאמת יתר מינימלית. אנא לחצו כאן כדי לצפות בגרסה רחבה יותר של איור זה.

במחקר הנוכחי לא בוצעה אימות הדדי. הגדרה זו אפשרה ניסויים יעילים בארכיטקטורת המודלים, כולל התאמות לשכבות שנאי ולגדלי ראשי MLP, תוך הבטחת הכללה טובה של המודל על נתוני אימות בלתי נראים.

5. ניתוח סטטיסטי

ביצועי מודל Vision Transformer נותחו סטטיסטית בהתבסס על מאגר נתוני סרטן הריאות IQ-OTH/NCCD. דיוק, זיכרון, ציון F1 ודיוק חושבו באמצעות משוואות 14,15,16,17 בהתאמה. ארבעת המדדים הללו נחשבים למדדים המקובלים לשימוש במשימות סיווג, בכך שהם יכולים לחשוף מידע על ביצועי המודל בסיווג ובסיווג לפי כל מחלקה.

הזיכרון הוא מדד ליכולת המודל לזהות את כל המקרים הרלוונטיים במחלקה, בעוד דיוק הוא היחס של זיהויים חיוביים שהיו נכונים בפועל. ציון הפורמולה 1 מאזן בין זיכרון לדיוק כאשר שניהם חשובים.
מדדי הביצועים ששימשו להקצאה זו היו משוואת מקדם הקורלציה של מת'יוס (MCC) 18- ומשוואת קאפה של כהן 19.

כאשר P₀ הוא ההסכמה הנצפית בעוד P_e הוא ההסכמה הצפויה.

ה-MCC הוא מדד מקיף של ביצועי הסיווג, תוך התחשבות הן בחיוביים אמיתיים והן בשליליים, חיוביים שגויים ושליליים שגויים. ערכו יכול להיות בין -1 ל-1, כאשר 1 הוא חיזוי מושלם, 0 הוא חיזוי אקראי, ו-1 הוא אי-הסכמה מוחלטת בין התוויות החזויות לאמיתיות. ה-MCC היה בעל ערך להשוואות בין ביצועי מודלים שונים כאשר הוא מיושם על מערכי נתונים לא מאוזנים וסיפק מדד מאוזן ללא קשר לגודל המחלקות השונים.

כחלק מניתוח סטטיסטי נוסף, חושב ציון F2, שהתמקד בקריאת החזרה, כפי שמוצג במשוואה 20.

ביצועי המודל גם נמדדו באמצעות שגיאת ממוצעת בריבוע (MSE), שגיאת שורש ממוצעת בריבוע (RMSE) ושגיאה ממוצעת מוחלטת (MAE) - שהן בדרך כלל מדידות למשימות רגרסיה אך שונו כאן למשימת הסיווג כדי לכמת את גודל השגיאה בממוצע ללא התחשבות בכיוון.

כדי לקבוע האם יהיה מעשי לשלב ViTs במכשירי בריאות ממוקדי צרכן, ביצענו תוצאות הערכת ביצועים מקיפות שהתמקדו אך ורק ביעילות הזמנית של המודל. יצרנו פונקציות שמדווחות על הזמן הנדרש לחזות תמונה אחת או פשוט מספר תמונות, שכן זה הופך לרלוונטי במיוחד ליישומים בזמן אמת. עבור כל תמונה, לפני שמתחילים לחזות, הנתונים מעובדים מראש כך שיהיו בצורת התמונה הרצויה על ידי המודל. הזמן שבו התחזית התחילה וזמן השלמת התחזית רשמנו כדי לקבל את תוצאות הזמן וההשהייה. הזמן וההשהיה הממוצעת חושבו באמצעות משוואה 21 ומשוואה 22 בהתאמה.

איפה:

• N הוא מספר התמונות (דגימות).
• TEND הוא הזמן שנרשם לאחר חיזוי התמונה ה-i.
• Tstart הוא הזמן שנרשם לפני חיזוי התמונה ה-i.

נערכו ניסויים נוספים להערכת עמידות מודל Vision Transformer שהצענו על ידי הכנסת רעש וטשטוש שיטתי לתמונות. רעש גאוסיאני נוסף לכל פיקסל עם מקדם רעש של 0.4 תוך חיתוך ערכי פיקסלים בטווח [0,1]. גורם הטשטוש הופחת באמצעות טשטוש גאוסי עם גודל גרעין של 45× 45. ניסויים אלו נועדו להעריך את המודל באופן מקיפה תחת ירידות איכות תמונה תפיסתיות מדומות.

תוצאות

מודל Vision Transformer הראה תוצאות יוצאות דופן על מדדי הערכה מרובים על מערכי נתוני סרטן הריאות IQ-OTH/NCCD, והבדיל ביעילות בין תמונות CT תקינות, שפירות וממאירות. ביצועי המודל הכוללים הגיעו לדיוק גבוה של 98.18% במאגר הנתונים של הבדיקה, הכולל 220 תמונות. דיוק גבוה זה מצביע על כך שהמודל מסוגל להכליל בצורה יעילה ולכן ניתן להשתמש בו בסביבה קלינית.

במקרים תמימים, המודל השיג דיוק של 100%, זיכרון של 89...

דיון

הוא השיג תוצאות מרשימות בהערכה וביישום מודל Vision Transformer על מאגר נתוני סרטן הריאות IQ-OTH/NCCD בדיוק גבוה. הדיוק הכללי בסיווג סריקת CT כנורמלית, שפירה וממאירה הוא 98.18% באמצעות מודל זה.

דיוק מעולה זה מוכח עוד יותר על ידי ביצועי המודל בציונים המרכזיים האחרים, כמו דיוק של 100% בזיהוי מקרים ממאירים, שהוא חשוב מאוד באבחון וניהול מוקדמים.

הניתוח המעמיק הראה כי לא רק שהמודל מתפקד היטב מבחינת דיוק, אלא גם מציג זיכרון טוב מאוד וציוני...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
כרטיס מסך A100 (CUDA)	NVIDIA	CUDA גרסה 11.6	האצת GPU לאימון והערכת מודלים.
מעבד AMD EPYC-7502P	AMD	לא זמין	מעבד המשמש למחשוב בעל ביצועים גבוהים.
ג'יגה-ביט אתרנט	אינטל	לא זמין	נטוורקינג לתקשורת מאובטחת עמית לעמית ב-CPS.
Matplotlib	קרן התוכנה של פייתון	גרסה 3.5	ספריית ויזואליזציה לתכנון תוצאות.
מערכת קריפטוגרפיה פיילייה	קוד פתוח (מיושם דרך TenSEAL)	לא זמין	מאפשר הצפנה הומומורפית מצטברת על גרדיאנטים.
PySyft	OpenMined	גרסה 0.6.0	ספריית פרטיות דיפרנציאלית וספריית למידה פדרטיבית.
פייתון (הפצת אנקונדה)	אנקונדה בע"מ	גרסה 3.9	כולל חבילות מותקנות מראש וכלי ניהול סביבה, המשמש לסקריפטינג ופיתוח מסגרות.
פייטורץ'	מטא AI	גרסה 1.12	מסגרת למידה עמוקה לאימון מודלים.
זיכרון RAM	קורסייר	256 GigaByte (GB)	תמיכה בזיכרון גבוה לאימון אינטנסיבי.
Scikit-learn	קרן התוכנה של פייתון	גרסה 1.1	כלי למידת מכונה להערכת ביצועים.
סיבורן	קרן התוכנה של פייתון	גרסה 0.11	ספריית ויזואליזציה סטטיסטית של נתונים.
אחסון SSD	סיגייט	1 טרה-בייט (TB)	לאחסון ושליפת נתונים מהירים.
TenSEAL	OpenMined	גרסה 0.3	ספריית הצפנה הומומורפית לאגרגציה מאובטחת.
TensorFlow	גוגל	גרסה 2.9	מסגרת למידה עמוקה למודלים של דיפוזיה.
מערכת הפעלה של אובונטו	קנוני	גרסה 20.04 LTS	מערכת הפעלה המשמשת לכל הניסויים.