מודלים היברידיים של CNN-ViT לחיזוי תוצאה פונקציונלית לאחר שבץ איסכמי: מחקר רטרוספקטיבי

סיכום

מודל היברידי של CNN-ViT חילץ תכונות MRI רב-פרמטריות, ושילב הדמיה משולבת ברגרסיה לוגיסטית ותחזיות קליניות כדי להעריך תוצאה תפקודית של 90 יום לאחר שבץ איסכמי חריף. מודל ההיתוך השיג את ביצועי הבדיקה הפנימיים הגבוהים ביותר, עם AUC של 0.885 ודיוק של 0.840, והראה ביצועי אימות חיצוניים מעודדים.

תקציר

שבץ איסכמי חריף (AIS) הוא גורם מרכזי למוות ולנכות ארוכת טווח, וחיזוי מוקדם של החלמה פונקציונלית חשוב להכוונת קבלת החלטות קליניות ותכנון שיקום. תוצאה פונקציונלית לאחר 90 יום מוערכת בדרך כלל באמצעות סולם רנקין (mRS) המותאם, אך חיזוי תוצאה ארוכת טווח ממידע קליני ודימות מוקדם נותר מאתגר. השענו כי שילוב הדמיית תהודה מגנטית רב-פרמטרית (MRI) עם משתנים קליניים מובנים באמצעות ארכיטקטורת רשת עצבית קונבולוציונית היברידית (CNN)-Vision Transformer (ViT) ישפר את החיזוי של תוצאות פונקציונליות ל-90 יום בהשוואה למודלים חד-מודליים. קבוצה רטרוספקטיבית של 300 חולי AIS שעברו MRI רב-פרמטרי נותחה וחולקה לקבוצה של אימון-אימות (n = 250) וקוהורט בדיקות פנימי עצמאי (n = 50). קבוצת בדיקות חיצונית נוספת של 37 חולי AIS נכללה להערכת הכללת המודלים. פותח מודל היברידי CNN-ViT לחילוץ תכונות MRI רב-פרמטריות, ושולבו הדמיה ותחזיות קליניות באמצעות רגרסיה לוגיסטית מוערמת. ביצועי המודל הוערכו באמצעות השטח מתחת לעקומת מאפיין ההפעלה של המקלט (AUC), רגישות, ספציפיות ודיוק. מבין המודלים הקליניים שנבדקו, מכונת וקטור התמיכה השיגה את ה-AUC הפנימי הגבוה ביותר (0.878). מודל ההדמיה השיג AUC של 0.782. מודל ההיתוך הרב-מודלי השיג את הביצועים הפנימיים הכוללים הטובים ביותר, עם AUC של 0.885, רגישות של 0.920, ספציפיות של 0.760 ודיוק של 0.840. מגמות ביצועים דומות נצפו גם בקבוצת הבדיקות החיצונית. ממצאים אלו מצביעים על כך שמיזוג משולב של MRI רב-פרמטרי ותחזיות קליניות עשוי לשפר את תחזית התוצאה התפקודית ל-90 יום לאחר AIS. עם זאת, נדרשים מחקרי אימות רב-מרכזיים גדולים יותר לפני יישום קליני.

מבוא

שבץ איסכמי חריף (AIS) נותר גורם מוביל למוות ולנכות ארוכת טווח, ורופאים חייבים להעריך את ההחלמה מוקדם כאשר החלטות הטיפול והשחרור רגישות לזמן¹. לכן, חיזוי מוקדם מדויק של החלמה פונקציונלית חשוב קלינית להכוונת אסטרטגיות טיפול, תכנון שיקום וקבלת החלטות שחרור. תוצאה פונקציונלית של תשעים יום היא נקודת סיום סטנדרטית במחקר ובטיפול בשבץ, ונמדדת לרוב באמצעות סולם רנקין (mRS) המותאם (mRS), אשר קבע תוקף ואמינות בניסויים קליניים ומחקרים תצפיתיים ^2,3. למרות השימוש השגרתי, חיזוי mRS ל-90 יום מנתוני הקבלה נותר קשה, שכן הנכות משקפת גם פגיעה ברקמה בלתי הפיכה וגם בעומס מחלאה מוקדם ומחלה נלווית, המשפיעים על ההחלמה גם כאשר ממצאי ההדמיה החריפים דומים ^2,4.

MRI רב-פרמטרי מספק סמנים ביולוגיים ניתנים לפעולה קלינית של פציעה איסכמית מוקדמת ומצב רקמה שאינם מתועדים במלואם על ידי חומר ניגוד דימות יחיד. הדמיה משוקללת דיפוזיה (DWI) רגישה מאוד לשינויים איסכמיים מוקדמים. הדמיית מקדם דיפוזיה נראה (ADC) מכמת את הגבלת הדיפוזיה והוכיחה תועלת פרוגנוסטית בקבוצות שבץ אקוטי⁵. T2-FLAIR משלים את דימות הדיפוזיה על ידי שיפור ההמחשה של התפתחות הנגעים והוא מרכזי בגישות אי-התאמה DWI-FLAIR המשמשות להערכת גיל הנגע וזכאות לטיפול כאשר זמן ההופעה אינו ודאי ^6,7. מחקרים רב-מרכזיים גדולים וניסויים אקראיים הראו כי חוסר התאמה בין DWI ל-FLAIR מזהה מטופלים בתוך חלון טיפולי של 4.5 שעות ותומך בתרומבליזה מונחית MRI בשבץ שבץ לא ידוע, מה שמדגיש את הרלוונטיות הפרוגנוסטית של DWI ו-FLAIR מעבר לאבחון ^6,7. ביחד, תצפיות אלו תומכות באסטרטגיות מידול המשלבות DWI, ADC ו-T2-FLAIR כדי ללכוד גם תכונות ליבה איסכמיות מוקדמות וגם מידע זמני שעשוי להשפיע על התאוששות פונקציונלית.

במקביל, משתנים קליניים מבוססים מספקים אות פרוגנוסטי חזק וזמינים באופן שגרתי באשפוז⁴. סולם השבץ של המכונים הלאומיים לבריאות (NIHSS) הוא מדד נפוץ לחומרת ליקויים נוירולוגיים ומנבא בחוזקה את התוצאות הקליניות. תת-סוג אטיולוגי לשבץ, כולל ניסוי הארגון 10172 בסיווג טיפול בשבץ אקוטי (TOAST), עשוי לספק מידע פרוגנוסטי נוסף מעבר ל-NIHSS בחלק מהניתוחים ^8,9. מחקרים קודמים הראו גם כי גורמי סיכון וסקולריים ומצבים נלווים מזוהים שוב ושוב בקרב מועמדים לחיזוי לתוצאה גרועה בקבוצות שבץ איסכמי ובמחקרים פרוגנוסטיים ^4,10. מחלות נלוות ספציפיות כגון פרפור פרוזדורים, אי ספיקת לב מפוצה וסוכרת קשורות בעקביות לתוצאות תפקודיות פחות טובות לאחר שבץ ^1,11,12. עישון קשור לתוצאות תפקודיות גרועות יותר ב-90 יום, בעוד ששימוש באלכוהול מראה קשרים חלשים או תלויים במינון, והפרעות שומנים מראות קשרים מורכבים יותר עם נכות לאחר שבץ 13,14,15,16,17. ממצאים אלו תומכים בשילוב מנבאים קליניים מובנים הלוכדים את חומרת השבץ, האטיולוגיה ועומס המחלה הנלווה עם MRI רב-פרמטרי, במקום להסתמך רק על כל אחת מהשיטות הללו.

מחקרי למידת מכונה עדכניים מציעים שמודלים חישוביים יכולים לשלב סמנים ביולוגיים הטרוגניים לשיפור חיזוי תוצאות שבץ, אם כי הביצועים תלויים מאוד במודאליות הנתונים, הרכב קבוצה, עיצוב מודלים ואסטרטגיות טיפול בחוסר איזון מחלקתי 18,19,20. שיטות חיזוק גרדיאנט ושיטות אנסמבל הוכיחו היתכנות לחיזוי mRS ל-90 יום באמצעות משתנים דימותיים, דמוגרפיים וקליניים, במיוחד לסיווג בינארי של תוצאה שלילית (mRS > 2)¹⁸. מחקרים רב-מרכזיים עדכניים ששילבו תכונות MRI שמקורם ברשת עצבית קונבולוציונית תלת-ממדית (CNN) מ-DWI, ADC ו-FLAIR עם משתנים קליניים מובנים, הראו שמודלים רב-מודליים לוכדים מידע פרוגנוסטי משלים מעבר לגישות חד-מודליות²¹. ממצאים דומים דווחו באמצעות שיטות הדמיה בודדות כגון הדמיה משוקללת דיפוזיה או טומוגרפיה ממוחשבת ללא ניגוד המשולבת עם משתנים קליניים^18,22. מחקרים מייצגים המשתמשים במודלים רב-מודליים של בינה מלאכותית לחיזוי תוצאות שבץ מסוכמים בטבלה 1.

לימוד	מודליות הדמיה	טכניקת בינה מלאכותית (מודל)	מטרה	תקציר
ליו ואח' 18	MRI (DWI) + קליני	מודל חיזוי למידה עמוקה (DLPD, רשת דימות מבוססת CNN + רשת תכונות קליניות)	חזו mRS אורדינלי ל-90 יום באמצעות הדמיה מאוחדת ומידע קליני.	המודל המאוחד הצליח משמעותית על מודלים של הדמיה בלבד וקלינית בלבד והשיג דיוק גבוה בחיזוי תוצאות שליליות.
יונג ואח' 21	MRI (DWI, ADC, FLAIR) + קליני	מודל למידה עמוקה אנסמבל המשלב רשתות הדמיה תלת-ממדית-CNN ומודל קליני של פרספטרון רב-שכבתי (MLP)	פיתוח מודל DL אנסמבל רב-מודלי לחיזוי תוצאות פונקציונליות ב-AIS.	אינטגרציה מולטימודלית שיפרה את החיזוי של תוצאות של 3 חודשים בהשוואה למודלים חד-מודליים בקבוצה רב-מרכזית גדולה.
ווי ואח' 27	MRI (DWI, ADC) + קליני	רדיומיקה + למידת מכונה (בחירת תכונות LASSO + רגרסיה לוגיסטית / מסווגי יער אקראיים)	חיזוי תוצאות פונקציונליות ארוכות טווח באמצעות רדיומיקה של MRI ומשתנים קליניים.	מודל הרדיומיקס-קליני השיג ביצועים פרוגנוסטיים טובים יותר מאשר מודלים דימותיים בלבד או קליניים בלבד.
ליו ואח' 22	CT ללא חומר ניגוד + קליני	מודל מיזוג למידה עמוקה (מקודד הדמיה CNN + רשת MLP קלינית)	חזו תוצאות תפקודיות ל-90 יום מ-CT בשלב אקוטי ונתונים קליניים.	מיזוג רב-מודלי שיפר משמעותית את דיוק החיזוי בהשוואה למודלים חד-מודליים.
ליו ואח' 19	MRI (DWI) + קליני	מודל חיזוי למידה עמוקה (DLPD, מודל היתוך מבוסס CNN)	העריכו את מודל חיזוי תוצאות הלמידה העמוקה מול תחזיות הרופאים.	מודל הבינה המלאכותית השיג ביצועים דומים למומחי שבץ בחיזוי תוצאות mRS ל-90 יום.
רחמן ואח' 20	קליני	למידה עמוקה היברידית (CNN+GRU עם ADASYN)	חיזוי סיכון לשבץ מתוך נתונים קליניים לא מאוזנים	למידה עמוקה היברידית עם ADASYN שיפרה את ביצועי חיזוי סיכון לשבץ, והדגימה את הערך של איזון נתונים מתקדם ולמידה רב-מודלית.
עלי ואח' 29	MRI/fMRI/rs-fMRI	סקירה מטה-שיטתית של מודלים של למידת למידה, ליד-ליסט ומודלים היברידיים	הערכת טכניקות אינטליגנציה חישובית לאבחון מבוסס דימות מוחי	מודלים היברידיים בדרך כלל עקפו את גישות ה-ML וה-DL העצמאיות, ותמכו בערך של ארכיטקטורות היברידיות לחיזוי מבוסס נוירו-דימג'ינג.

טבלה 1: סיכום מחקרים קודמים על חיזוי תוצאות תפקודיות מבוססות בינה מלאכותית לאחר שבץ איסכמי חריף. מחקרים מייצגים המשתמשים בהדמיה, משתנים קליניים או גישות רב-מודליות לחיזוי תוצאות פונקציונליות לאחר שבץ מסוכמים, כולל שיטת הדמיה, טכניקת בינה מלאכותית, מטרת המחקר והממצאים העיקריים. אנא לחצו כאן להורדת הטבלה הזו.

עם זאת, מחקרים רבים קיימים מסתמכים על רצפי הדמיה בודדים או מודלים קונבנציונליים של למידה עמוקה שלוכדים בעיקר תכונות מרחביות מקומיות ועלולים שלא למודל באופן מלא יחסים קונטקסטואליים לטווח ארוך בתוך נתוני דימות מוח. כתוצאה מכך, נותר פער ספציפי בפיתוח והערכה חיצונית של גישה רב-מודלית המשתמשת במשותף ב-DWI, ADC ו-T2-FLAIR עם משתנים קליניים מובנים, תוך שילוב חילוץ תכונות נגעים מקומיות ומידול הקשר גלובלי. למרות ש-CNN מבוססים היטב להפקת תכונות ברמת נגעים, ארכיטקטורות מבוססות טרנספורמר כמו Vision Transformers (ViTs) מאפשרות מידול של קשרים קונטקסטואליים ארוכי טווח באמצעות מנגנוני קשב, ובכך מספקות ייצוגים גלובליים משלימים^23,24. מודלים היברידיים של CNN-ViT, אם כן, מספקים מסגרת רציונלית לקידוד משותף של פרטים מורפולוגיים מקומיים והקשר מוחי גלובלי. אלגוריתמים של למידת מכונה מתאימים באותה מידה למידול יחסים לא ליניאריים מורכבים בתוך נתונים קליניים מובנים הטרוגניים²⁵. בהנחיית עקרונות למידה רב-מודליים עדכניים המדגישים אינטגרציה משולבת משולבת²⁶, המחקר שילב MRI רב-פרמטרי בתוך עמוד שדרה של הדמיה CNN-ViT ושילב תכונות אלו עם מודל קליני של למידת מכונה לחיזוי תוצאות ל-90 יום. החידוש של המחקר טמון בפיתוח והערכה חיצונית של מסגרת מיזוג רב-מודלית מוערמת, המשלבת רצפי MRI משלימים, ייצוגים מקומיים-גלובליים של הדמיית CNN-ViT, ומנבאים קליניים מובנים בתוך מודל תוצאה מאוחד ל-90 יום.

השערת המחקר הייתה ששילוב MRI רב-פרמטרי עם משתנים קליניים מובנים באמצעות ארכיטקטורת CNN-ViT היברידית ישפר את החיזוי של תוצאות פונקציונליות של 90 יום לאחר AIS בהשוואה למודלים חד-מודליים. בהתאם לכך, המטרה הייתה לפתח ולהעריך מסגרת למידה עמוקה רב-מודלית המשלבת רצפי MRI של DWI, ADC ו-T2-FLAIR עם מנבאים קליניים מובנים להערכת תוצאות mRS ל-90 יום בחולי AIS.

פרוטוקול

מחקר זה אושר על ידי ועדת הביקורת המוסדית של בית החולים הכללי של אוניברסיטת שנזן (אישור IRB מס' KYLL-2026-077-1). הדרישה להסכמה מדעת בכתב בוטלה בשל עיצוב הרטרוספקטיבי של המחקר.

1. קבוצת לימוד

מטופלים עם שבץ איסכמי אקוטי (AIS) שעברו MRI רב-פרמטרי זוהו בדיעבד מתוך מאגר הנתונים הקליני המוסדי. תהליך העבודה הכולל של המחקר, הכולל חלוקת מערכי נתונים, פיתוח מודלים דימותיים, בניית מודלים קליניים ומיזוג רב-מודלי, מוצג באיור 1.

איור 1: זרימת העבודה של מסגרת חיזוי התוצאות הרב-מודלית. (א) רכישת נתונים. חולים עם שבץ איסכמי אקוטי (AIS) שעומדים בקריטריוני הכללה מוגדרים מראש זוהו בדיעבד. מערך הנתונים חולק לקוהורט אימון-אימות (n = 250), קבוצת בדיקות פנימית עצמאית (n = 50), וקוהורט בדיקה חיצוני (n = 37). בוצע אימות צולב מדורג בחמישה שלבים בתוך קבוצת ההכשרה-אימות. (ב) פיתוח מודלים של דימות. רצפי MRI רב-פרמטריים, כולל דימות משוקלל דיפוזיה (DWI), מקדם דיפוזיה נראה (ADC) ושחזור היפוך נוזלי T2 (T2-FLAIR), עובדו באמצעות ארכיטקטורת רשת עצבית קונבולוציונית תלת-ממדית היברידית עם משמר ראייה (CNN-ViT) לחיזוי התוצאות. (ג) פיתוח מודל קליני. משתנים קליניים מובנים שימשו לאימון מודלים של למידת מכונה לחיזוי תוצאה פונקציונלית של 90 יום. (ד) אסטרטגיית מיזוג רב-מודלית. התחזיות שנוצרו על ידי מודלי ההדמיה והקליניים שולבו באמצעות מטא-לומד רגרסיה לוגיסטית מוערם להפקת תחזיות תוצאות סופיות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

בדיקות MRI בוצעו באמצעות מערכות MRI קליניות. סליל ראש ייעודי עם מערך פאזה שימש לרכישת תמונה. כל הרצפים נרכשו במישור הצירי באמצעות מיקום חתך עקבי בין מודאליות. הדמיה משוקללת דיפוזיה (DWI) נרכשה באמצעות רצף דימות אקו-מישורי ספין-אקו חד-פעמי, עם זמן חזרה (TR) של 3,000–5,000 מילישניות וזמן הד (TE) של 80–90 מילישניות. רגישות דיפוזיה יושמה באמצעות ערכי b של 0 ו-800–1,000 s/mm² לפחות בשלושה כיוונים אורתוגונליים. שדה הראייה נע בין 220–240 מ"מ עם גודל מטריצה של 128 × 128. עובי הפרוסה היה 5–6 מ"מ עם רווח בין הפרוסות של 1–1.5 מ"מ. נרכשו שניים עד ארבעה ממוצעים של אותות.

מפות מקדם דיפוזיה נראה (ADC) נוצרו אוטומטית מנתוני DWI בתחנת העבודה של הסורק באמצעות התאמת מונו-אקספוננציאלית המבוססת על ערכי b שנרכשו. ערכי ADC חושבו לפי ווקסל ויוצאו לניתוח כמותי. תמונות T2-FLAIR (T2-FLAIR) של שחזור היפוך מוחלש בנוזל T2 צולמו באמצעות רצף התאוששות היפוך עם TR של 8,000–10,000 מילישניות, TE של 80–140 מילישניות, וזמן היפוך של 2,200–2,600 מילישניות. שדה הראייה נע בין 220–240 מ"מ עם גודל מטריצה של 192 × 192 עד 256 × 256. עובי הפרוסה היה 4–5 מ"מ עם רווח בין הפרוסות של 1–1.5 מ"מ.

2. קדם-עיבוד נתונים

הנתונים הקליניים יובאו מגיליונות אלקטרוניים מובנים המכילים מזהי מקרים, ציוני תוצאות mRS, תוויות מפוצלות במערכי נתונים, ומשתנים דמוגרפיים וקליניים. מזהי המקרים הותקנו כדי להבטיח עקביות עם שמות הקבצים של הדמיה. המשתנים הקליניים כללו מאפיינים דמוגרפיים, חומרת שבץ שנמדדה באמצעות סולם השבץ של המכון הלאומי לבריאות (NIHSS), גורמי סיכון וסקולריים ומצבים נלווים שנרשמו בעת האשפוז.

התוצאה העיקרית הייתה מצב תפקודי ב-90 ימים לאחר תחילת השבץ, שנמדד באמצעות סולם רנקין (mRS) המותאם למדידה. תוצאה חיובית הוגדרה כ-mRS ≤ 2 ותוצאה שלילית כ-mRS > 2. מערך הנתונים חולק באקראי לקוהורטות אימות-אימון וקבוצות בדיקות פנימיות בלתי תלויות, תוך שימוש בדגימה שכבתית המבוססת על התפלגות mRS לשמירה על איזון התוצאות. קבוצת בדיקה חיצונית עובדה בנפרד ולא שימשה במהלך פיתוח המודל. בתוך קבוצת האימון-אימות, יושמה אימות צולב מדורג של k-fold כדי לשמור על התפלגויות תוצאות עקביות בין הקיפולים.

כל נפחי DWI, ADC ו-T2-FLAIR עובדו מראש לפני אימון המודלים כדי להבטיח עקביות מרחבית ומספרית בין מודאליות. אותו צינור עיבוד מוקדם יושם על קבוצות האימון-וולידציה, בדיקות פנימיות ובדיקות חיצוניות ללא שינוי. התמונות הוסבו לכיוון RAS קנוני והוסבו למערכי נקודה צפה. הרזולוציה המרחבית במישור דוגמה מחדש ל-256 × 256 באמצעות אינטרפולציה ליניארית. ממד המישור הסטנדרטי ל-20 פרוסות באמצעות אסטרטגיה מבוססת מרכז: נפחים המכילים יותר מ-20 פרוסות נחתכו במרכז, בעוד נפחים המכילים פחות מ-20 פרוסות היו מרופדים סימטרית באפס. גודל הכרך הסופי היה 256 × 256 × 20.

נרמול עוצמה בוצע באופן עצמאי לכל נפח באמצעות נרמול ציון z:

כאשר x מציין עוצמת ווקסלים, μ היא עוצמת הנפח הממוצעת, ו-σ היא סטיית התקן (סטיית תקן). אם σ = 0, לא יושמה נרמול כדי למנוע חוסר יציבות נומרית. נפחי עיבוד נשמרו בפורמט NIfTI עם מטריצה אפינית סטנדרטית לניתוח למידה עמוקה במורד הזרם.

3. פיתוח מודל קליני

משתנים קליניים מובנים שימשו לפיתוח מודלים של למידת מכונה לחיזוי תוצאות. המנבאים המועמדים כללו מאפיינים דמוגרפיים, גורמי סיכון וסקולריים, אטיולוגיה לשבץ ומדדי חומרה קלינית בסיסיים. משתנים רציפים הוערכו באמצעות ערכי חציון וסטנדרטים. משתנים קטגוריים הונחו באמצעות הקטגוריה הנפוצה ביותר וקודדו באמצעות קידוד חד-חם.

הוערכו מספר אלגוריתמים של למידת מכונה, כולל רגרסיה לוגיסטית, יער אקראי, הגברת גרדיאנט, מכונות וקטוריות תמיכה (SVM), הגברת גרדיאנט קיצוני ומודלים של מכונות להגברת גרדיאנט אור. פיתוח מודלים התבצע לפי מסגרת אימות צולב מדורגת בת חמישה שלבים בתוך קבוצת ההכשרה-אימות כדי להעריך ביצועי הכללה. תחזיות סופיות לקוהורטות הבדיקה הפנימיות והחיצוניות נוצרו על ידי ממוצע תחזיות ממודלים שאומנו בכל קיפול אימות צולב. לא נעשה שימוש בדגימות בדיקה חיצוניות במהלך אימות צולב או בחירת מודל.

4. ארכיטקטורת מודלים של למידה עמוקה

יושמה ארכיטקטורה היברידית תלת-ממדית של CNN-ViT לחיזוי תוצאות מנפחי MRI רב-מודליים. הרשת תוכננה לשלב חילוץ תכונות מרחבי מקומי עם מידול הקשר גלובלי במסגרת אחידה. נפחי הקלט כללו תמונות תלת-ממדיות רב-ערוציות שעובדו מקצה לקצה.

חילוץ התכונות בוצע בתחילה באמצעות עמוד שדרה קונבולוציוני תלת-ממדי היררכי המורכב מארבעה שלבים. כל שלב כלל 2 שכבות קונבולוציוניות בגודל גרעין של 3 × 3 × 3 וריפוי של ווקסל אחד, ואחריו נרמול אצווה והפעלה ליניארית של יחידה. הרזולוציה המרחבית הופחתה בהדרגה באמצעות שכבות מקסימום איגוד תלת-ממדיות שהוחלו לאחר שלושת השלבים הראשונים, בעוד שעומק ערוץ התכונה גדל בכל רמה כדי ללכוד ייצוגים סמנטיים ברמה גבוהה יותר. רגולריזציה של דרופאאוט (קצב נפילות = 0.1) יושמה לאחר שלב הקונבולוציוני הסופי כדי להפחית התאמת יתר. עמוד השדרה הקונבולוציוני הפך את נפח הקלט בגודל C × D × H × W לייצוג תכונות קומפקטי ברמה גבוהה עם ממדים מרחביים מוקטנים.

מפת התכונות שהתקבלה עוצבה מחדש לרצף של טוקנים על ידי השטחת ממדים מרחביים כך שמספר הטוקנים תואם ל:

N = D' x H' x W'

מערכות יחסים קונטקסטואליות גלובליות בין טוקנים דומנו באמצעות שכבות מקודד טרנספורמר המורכבות מרשתות ריבוי ראשים של תשומת לב עצמית ורשתות הזנה קדימה. תשומת הלב העצמית חושבה כך:

כאשר Q, K ו-V מציינים מטריצות שאילתה, מפתח וערכים, בהתאמה, ו-d מייצג ממד הטמעה. נורמליזציה של שכבות ונפילות יושמו בכל שכבת מקודד לשיפור יציבות האימון. מודול הטרנספורמר כלל 3 שכבות מקודד עם 8 ראשי תשומת לב ומימד הטמעה של 256.

לאחר קידוד טרנספורמר, הייצוג המתאים לטוקן הסיווג הופק וננורמל. שכבה ליניארית מחוברת לחלוטין יצרה פלט לוגיט יחיד לסיווג בינארי.

הארכיטקטורה ההיברידית המוצעת של CNN-ViT תוכננה במכוון כמודל קל משקל ויעיל מבחינת פרמטרים, כדי לאזן בין קיבולת ייצוג לסיכוני התאמת יתר. המודל כלל 3.79 מיליון פרמטרים ניתנים לאימון (כ-14.4 מגה-בייט בדיוק fp32), כולל 1.38 מיליון בעמוד השדרה הקונבולוציוני ו-2.37 מיליון במקודד הטרנספורמר.

5. אימון מודל הדמיה

הכשרה של מודל ההדמיה בוצעה באמצעות מסגרת אימות צולבת חמש-שכבתית לשמירה על התפלגות התוצאה בין הקיפולים תוך שיפור עמידות הערכת הביצועים. מערך הנתונים חולק לקוהורט אימון-אימות וקוהורט בדיקות פנימי עצמאי תוך שימוש בדגימה שכבתית המבוססת על התפלגות התוצאות. בתוך קבוצת האימון-אימות, בוצעה אימות צולב מדורג בחמישה שכבות. לכל קיפול, מודל ההדמיה אומן באמצעות תת-קבוצת האימון והוערך באמצעות תת-הקבוצה המתאימה, בעוד שקבוצת הבדיקה שהוחזקה הוקדשה אך ורק להערכת ביצועים סופית.

אופטימיזציה של מודלים בוצעה באמצעות מסגרת למידה עמוקה על תחנת עבודה מצוידת ב-GPU עם אופטימייזר AdamW, קצב למידה של 3 × 10⁻⁵, ודעיכת משקל של 3 × 10⁻⁴. ההכשרה התבצעה באמצעות גודל אצווה של 8 יחידות עד 200 אפוקים. אנטרופיה חוצה בינארית עם לוגיטים שימשה כפונקציית הפסד.

כדי להתמודד עם חוסר איזון במחלקה, חושב גורם משקל חיובי-מחלקה לכל קיפול בהתבסס על היחס בין מדגמים שליליים לחיוביים ושולב בפונקציית ההפסד. חיתוך נורמות גרדיאנט עם נורמה מקסימלית של 0.5 יושם לשיפור היציבות המספרית במהלך האופטימיזציה. הכשרה אוטומטית עם דיוק מעורב אפשרה לשפר את היעילות החישובית.

עצירה מוקדמת יושמה כאשר ביצועי האימות לא השתפרו לפחות ב-1 × 10⁻⁴ במשך 30 תקופות רצופות. נקודת הביקורת המודל הטובה ביותר מכל קיפול נשמרה. לאחר סיום כל הקיפולים, נוצרו תחזיות עבור קוהורטות הבדיקה הפנימיות והחיצוניות באמצעות כל מודל ספציפי לקיפול, וההסתברויות הסופיות התקבלו על ידי ממוצע תחזיות בין חמשת המודלים ליצירת פלטי אנסמבל.

6. מודל היתוך רב-מודלי

יושמה אסטרטגיית מיזוג מוערמת לשילוב תחזיות שמקורם בהדמיה עם מידע קליני מובנה. מודל הדמיית הלמידה העמוקה ומודל החיזוי הקליני שימשו כבסיס ללמידה, וההסתברויות החזויות שימשו כמאפייני קלט למטה-לומד רגרסיה לוגיסטית. תכונות אינטראקציה נוספות, כולל התוצר וההפרש המוחלט בין ההסתברויות החזויות, שולבו כדי ללכוד מידע משלים בין הדמיה לתחזיות קליניות.

כדי למנוע דליפת מידע, המטה-לומד עבר הכשרה באמצעות הסתברויות חזויות מחוץ לקפל שנוצרו מקבוצת האימון-אימות. הסתברויות מחוץ לאזור מאומתות ממודלי ההדמיה והקליניים אוחדו על ידי מזהה המטופל לבניית מערך הנתונים לאימון המטה-לומדים. עבור קבוצות הבדיקה הפנימיות והחיצוניות, השתמשו בהסתברויות מקבוצה מתאימה מהמודלים של ההדמיה והקליניים כקלטים למטה-לומד המיומן ליצירת הסתברויות מאוחדות. הלומד המטא-מיומן הוחל על שתי קבוצות המבחן ללא התאמה.

7. מחקר אבלציה

נערכו ניסויי אבלציה להערכת תרומתם של רצפי MRI בודדים ורכיב Vision Transformer תוך שימוש באותן הגדרות אימון והערכה כמודל הראשי. אבלציות רצף כללו מודלים של רצף יחיד, מודלים של השארת רצף אחד החוצה, ומודל רב-פרמטרי מלא. כדי להעריך את תרומת מודול Vision Transformor, הארכיטקטורה ההיברידית המוצעת הושוותה בנוסף לבסיס CNN בלבד, שבו מקודד הטרנספורמר הוסר תוך שמירה על אותו עמוד שדרה קונבולוציונלי.

8. ניתוח סטטיסטי

ביצועי המודל הוערכו בנפרד בקוהורט הבדיקות הפנימי העצמאי ובקוהורט הבדיקה החיצוני, תוך שימוש בשטח מתחת לעקומת מאפיין ההפעלה של המקלט (AUC) כמדד ההבחנה הראשוני. עקומות מאפיין הפעלה של מקלט (ROC) נבנו באמצעות הסתברויות חזויות שנוצרו על ידי כל מודל. רגישות, ספציפיות ודיוק כולל חושבו גם כדי לאפיין את ביצועי הסיווג.

תוצאות בינאריות נוצרו באמצעות ספים שנקבעו לפי מדד יודן. רגישות, ספציפיות ודיוק חושבו לאחר מכן בסף האופטימלי. כל הניתוחים הסטטיסטיים, פיתוח מודלים של למידת מכונה והדרכת מודלים ללמידה עמוקה יושמו באמצעות חבילות תוכנה סטנדרטיות למחשוב מדעי ולמידת מכונה.

תוצאות

קבוצת המחקר

בסך הכול נכללו 300 מטופלים עם שבץ איסכמי חריף (AIS) לאחר יישום קריטריוני הכללה והחרגה מוגדרים מראש. מערך הנתונים חולק לקוהורט אימון-אימות (n = 250) וקוהורט בדיקות פנימי עצמאי (n = 50) תוך שימוש בדגימה שכבתית המבוססת על התפלגות תוצאה פונקציונלית. בנוסף, קבוצת בדיקות חיצונית של 37 מטופלי AIS ממאגר נתונים עצמאי צורפה כדי לספק אימות חיצוני ראשוני. אימות צולב מדורג בדרגה בוצע אך ורק בתוך קבוצת ההכשרה-אימות לפיתוח מודלים והערכת ביצועים.

המאפיי...

דיון

מחקר זה פיתח והעריך מסגרת בינה מלאכותית רב-מודלית המשלבת MRI רב-פרמטרי ומשתנים קליניים מובנים לחיזוי תוצאה פונקציונלית של 90 יום לאחר שבץ איסכמי חריף (AIS). מודל המיזוג המוצע הראה ביצועים חיזויים גבוהים יותר מאשר המודל הדמותי או הקליני בלבד. באופן ספציפי, המודל המולטימודלי המוערם ששילב תחזיות מהמודל הקליני המבוסס על מכונת וקטור התמיכה (SVM) ומודל ההדמיה השיג AUC של 0.885 בקבוצת הבדיקות הפנימית העצמאית, לעומת 0.878 במודל הקליני ו-0.782 במודל ההדמיה. למרות שהעלייה ב-AUC ביחס למודל הקליני ש...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
מערכת הדמיית תהודה מגנטית ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	סורק MRI קליני המשמש לרכישת תמונות DWI, ADC ו-T2-FLAIR
סליל ראש רב-פאזי	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	סליל ראש המשמש לקבלת אותות MRI
יחידת עיבוד גרפי (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU המשמש לאימון מודל למידת עמוק
מסגרת למידה עמוקה (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	מסגרת המשמשת ליישם את מודל ה-CNN-Transformer
שפת תכנות (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	סביבה המשמשת לפיתוח מודל ועיבוד נתונים
ספריית למידה מכונה (scikit-learn)	מפתחי scikit-learn	https://scikit-learn.org/stable/	משמשת למודלים קליניים של למידה מכונה וניתוח סטטיסטי
ספריית הגדלת שיפוע (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	משמשת ליישם מודל הגדלת שיפוע
ספריית הגדלת שיפוע (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	משמשת למודל קליני LightGBM