מאמר שיטה

מיזוג אלקטרואנצפלוגרפיה ודימות תהודה מגנטית פונקציונלית מבוסס תערובת מומחים לאבחון מ komputer-assisted הניתן לפירוש של הפרעות מוחיות

89 צפיות

⸱

DOI:

10.3791/73432

⸱

25 בספטמבר 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

במאמר זה

סיכום

פרוטוקול זה מציג את Brain Mixture-of-Experts, מסגרת מיזוג אדפטיבית וניתנת לפירוש של אלקטרואנצפלוגרפיה (EEG) ודימות תהודה מגנטית פונקציונלי (fMRI) לצורך אבחון ממוחשב של הפרעות מוחיות. השיטה משלבת ייצוגי EEG ו-fMRI הטרוגניים באמצעות מומחים ספציפיים למודליות, מומחה מצב-עצבי משותף וניתוב אדפטיבי, תוך שמירה על יכולת פירוש והסקה תחת תנאים סימולטיביים של מודליות חסרות.

תקציר

אלקטרואנצפלוגרפיה (EEG) והדמיית תהודה מגנטית תפקודית (fMRI) מספקות מידע משלים על תפקוד המוח, והראו הבטחה משמעותית בזיהוי חריגויות תפקודיות בהפרעות מוחיות שונות. עם זאת, מאפייני האות המובחנים ומרחבי הייצוג השונים של EEG ו-fMRI מציבים אתגרים חמורים למיזוג מולטי-מודאלי יעיל, ובכך מעכבים אבחון ממוחשב ומדויק של הפרעות מוחיות באמצעות מודלים קבועים קונבנציונליים. מחקר זה מציג את Brain Mixture-of-Experts (BrainMoE), מסגרת מיזוג EEG-fMRI אדפטיבית וניתנת לפירוש לצורך אבחון ממוחשב של הפרעות מוחיות, המשלבת מאפייני מוח מולטי-מודאליים באמצעות מומחים ספציפיים למודאליות, מומחה מצב-עצבי משותף ומנגנון ניתוב אדפטיבי. BrainMoE מקרין תחילה את אותות ה-EEG וה-fMRI אל תוך מרחב מאזורי עניין (ROI) מאוחד של אטלס Desikan-Killiany (DK), ולאחר מכן משתמש במקודדי גרפים כדי לחלץ ייצוגי רשתות מוחיות ספציפיים למודאליות. מודול הניתוב הרך (soft-routing) מייצר ייצוג ניתוב, ושער המומחים (Expert Gate) במודול המיזוג (Fuse Module) מייצר משקלות ספציפיים לדגימה כדי לשלב את ייצוגי ה-EEG, ה-fMRI והמומחה למצב העצבי המשותף. כדי להתמודד עם תרחישים של רכישת נתונים חלקית, שולבו מסכות מצב-מודאליות ותוכן (tokens) של מודאליות חסרה, מה שמאפשר לאותו מודל מאומן לבצע הסקה מלאה של EEG-fMRI, הסקה של EEG בלבד והסקה של fMRI בלבד. לבסוף, ניתוח הסתרת צמתים (node-occlusion) מספק מפות ייחוס ברמת ROI עבור תחזיות המבוססות הן על EEG והן על fMRI. המסגרת הוערכה על מאגר הנתונים Healthy Brain Network (HBN) בחמש משימות סיווג בינארי של הפרעות מוחיות, כולל הפרעה דיכאונית מז'ורית, הפרעת חרדה, לקויות קריאה, הפרעה על רצף האוטיזם והפרעת קשב וריכוז/היפראקטיביות (ADHD). BrainMoE עלה בביצועיו על אלגוריתמי השוואה מהשורה הראשונה, והשיג AUC ממוצע של 86.9 ± 3.0%, וניסויי אבלציה תמכו בתרומת רכיבי הניתוב ומיזוג המומחים. יתרה מכך, ניתוח הניתנות לפירוש מזהה תרומות של ROI ברמת קבוצה לסיווג המחלה, העקביות עם ממצאי הדמיה עצבית שדווחו בעבר. שיטה זו תומכת באבחון ממוחשב של הפרעות מוחיות על ידי התמודדות עם האתגר של שילוב ייצוגים עצביים הטרוגניים של EEG-fMRI, תוך שמירה על ניתנות לפירוש ויכולת הסקה תחת תנאים מודמים של מודאליות חסרה.

מבוא

הפרעות מוחיות כרוכות בשינויים מורכבים בפעילות העצבית ובארגון רשתות המוח, שקשה לאפיין באמצעות שיטת דימוי בודדת1. לאחר שחזור מקור2, EEG מספק מידע על פעילות אלקטרופיזיולוגית (EEG) ברמת האזור, בעוד שדימות תהודה מגנטית תפקודי (fMRI) לוכד קישוריות תפקודית ברמת האזור, ובכך מציע מבטים משלימים של תפקוד המוח. כדי להקל על השילוב ביניהם, עבודות מולטי-מודאליות קודמות מיפו את שתי השיטות לאטלס Desikan-Killiany (DK) בעל 68 אזורים3. למרות שהתאמה מרחבית זו אינה מעידה על שוויון ברזולוציה הזמנית או במקור הפיזיולוגי, היא מספקת אינדקס אנטומי מאוחד למיזוג גרפים ברמת הצומת, ממדי גרף קבועים ופירוש עקבי ברמת אזור העניין (ROI), תוך שימור מידע ספציפי לכל שיטה. שילוב של ייצוגים אלו, המיושרים אנטומית אך ספציפיים לשיטה, יכול להעשיר ייצוגים של אותות מוחיים הקשורים למחלה ולתמוך באבחון ממוחשב של הפרעות מוחיות3,4.

למרות הפוטנציאל של שילוב EEG-fMRI לאבחון ממוחשב של הפרעות מוחיות, ההטרוגניות בין שני המודליות מציבה אתגר טכני לאינטגרציה יעילה שלהם. שיטות למידה חישובית קלאסיות, כגון SVM ו-MLP, יכולות לספק מודלים בסיסיים לסיווג, אך יכולתן ללכוד אינטראקציות לא-ליניאריות בין-מודליות היא מוגבלת. מודלים גנריים של למידה עמוקה, כולל ארכיטקטורות GNN5, ResNet6, ו-Transformer7, מציעים למידת ייצוג חזקה יותר אך אינם מתוכננים במיוחד עבור גרפים מוחיים ברמת ROI או עבור מידול מצב-מודליות. מודלים מתקדמים מהעת האחרונה3,8,9 הגבירו את המורכבות הלא-ליניארית כדי למדל טוב יותר רשתות מוחיות. BrainNetCNN8 הוצג כדי להתאים פעולות קונבולוציה למטריצות קישוריות מוחית; BrainGNN9 מידל בהמשך את הטופולוגיה של הגרף ברמת ROI באמצעות רשתות עצביות גרפיות ו-pooling; ו-BNT10 חיזק מאוחר יותר את ניתוח הרשת המוחית התפקודית באמצעות קשב רב-שכבתי מבוסס transformer. עם זאת, התקדמויות אלו פותחו בעיקר עבור הגדרות של מודליות בודדת. MultiEpilepsyNet11 הרחיב לאחר מכן את הלמידה הרב-מודלית לזיהוי פרכוסים ב-EEG-MRI באמצעות מסגרת היברידית פדרטיבית, ומודול EpiSkullNet++ מצד ה-MRI שיפר את הסגמנטציה והעיבוד המוקדם של המוח. SZAtt-Net12 פיתח לאחר מכן מודל סיווג רב-מודלי לסכיזופרניה על ידי שילוב בלוקים של CNN, BiGRU ו-MLP עם מנגנוני קשב ערוציים, עצמיים, מרחביים וזמניים. עם זאת, שיטות אלו נותרו ספציפיות למשימה והסתמכו על עיצובים קבועים יחסית של שילוב, ללא תמיכה מפורשת בניתוב אדפטיבי בין מצבים של מודליות מלאות למודליות חסרות.

מודלים של תערובת מומחים (Mixture-of-Experts, MoE)13,14 אומצו יותר ויותר בלמידה רב-מודאלית (multimodal learning), כיוון שהם מאפשרים עיבוד של מקורות מידע הטרוגניים על ידי מודולי מומחים ייעודיים ושילובם באופן דינמי באמצעות מנגנוני ניתוב. שער Softmax מספק משקולות מומחים מנורמלות התלויות בקלט, ואופיינו תיאורטית במונחים של קצבי התכנסות15. ארכיטקטורות רב-שעריות קשורות הדגימו עוד כי שערים נפרדים יכולים ללמוד שילובים של מומחים משותפים התלויים במשימה בלמידה רב-משימתית רחבת היקף16. במחקרים נוירולוגיים ובחקרי מוח, וריאנטים של MoE17,18,19 שימשו יותר ויותר כדי להקל על מיזוג מאפיינים הטרוגניים. dFCExpert17 השתמש במודולריות ובמומחים מבוססי-מצב כדי למדל תבניות של קישוריות תפקודית דינמית מ-fMRI. EvoMoE18 השתמש בנוסף ברשת שערים כדי לבחור מומחים מתאימים לסיווג SSVEP-EEG שאינו תלוי במשתמש. NeuroMoE++19 בחן מיזוג רב-מודאלי 적טיבי למטופל לצורך סיווג הפרעות נוירולוגיות. למרות הצלחתם, מודלים אלו מסתמכים בדרך כלל על ערבוב גס וניתוב בדיד המתעלמים מהטבע הסנכרוני מאוד של מצבים עצביים חוצי-מודאליות, מה שמעכב את הזיהוי של תבניות עדינות אך אינפורמטיביות הקריטיות לאבחון הפרעות מוחיות. יתרה מכך, ללא מנגנון ייעודי להפרדת ניואנסים ספציפיים למודאליות ממצב עצבי משותף ומאוחד, מודלים אלו מציעים יכולת פרשנות מוגבלת וסובלים מירידה בביצועים כאשר מודאליות קריטית (fMRI או EEG) חסרה.

כדי להתגבר על מגבלות אלו, מחקר זה מציג את Brain Mixture-of-Experts (BrainMoE), מסגרת איחוד EEG-fMRI אדפטיבית וניתנת לפירוש לאבחון מ komputer-assisted של חמש קטגוריות של הפרעות מוחיות, כולל הפרעה דיכאונית מז'ורית (MDD), הפרעת חרדה (ANX), הפרעת למידה ספציפית עם לקות קריאה (RI), הפרעה בספקטרום האוטיסטי (ASD), והפרעת קשב, ריכוז והיפראקטיביות (ADHD). הפרוטוקול מיישם תחילה יישור של מאפייני EEG המשוחזרים מהמקור ומאפייני fMRI למרחב ה-ROI של ה-DK-atlas20 ולאחר מכן בונה ייצוגי מודליות מבוססי גרף עבור שתי המודליות. BrainMoE משתמש במומחה EEG, מומחה fMRI ומומחה מצב-עצבי משותף, אשר משולבים על ידי מודול ניתוב רך (soft routing module) כדי לשלב מידע ספציפי למודליות ומידע משותף. מסיכות מצב-מודליות (Modality-state masks) ותוויות מודליות חסרות (missing-modality tokens) שולבו כדי לאפשר הסקת מסקנות מלאה של EEG-fMRI, EEG בלבד ו-fMRI בלבד בתוך מודל מאומן אחד. כדי לתמוך בפירושיות ביולוגית, הפרוטוקול מיישם בנוסף ניתוח הסתרת צמתים (node-occlusion analysis), שבו כל ROI ב-DK-atlas מוסתר באופן סלקטיבי, והשינוי הנובע מכך בהסתברות לחיזוי המחלה משמש להערכת התרומות האזוריות הנגזרות מ-EEG ומ-fMRI. פרוטוקול זה מתאר את תהליך העבודה המלא ליישור נתונים, בניית מודל, אימון, הערכה ופירוש ROI מבוסס הסתרת צמתים, ובכך מספק אסטרטגיה אדפטיבית וניתנת לפירוש לאבחון מ komputer-assisted של הפרעות מוחיות באמצעות איחוד אותות מוחיים הטרוגניים של EEG-fMRI. כדי להקל על השחזור והרחבות עתידיות, מאגר ה-GitHub הציבורי מספק את קוד המודל, האימון וההערכה של BrainMoE, בעוד שעיבוד מקדים של EEG ו-fMRI בוצע באמצעות תוכנות צד ג' הזמינות לציבור. המאגר זמין בכתובת https://github.com/zhongruizhe123/BrainMoE.

פרוטוקול

במחקר זה נעשה שימוש בנתונים אנונימיים ממאגר הנתונים של Healthy Brain Network (HBN)21, תוך התמקדות בחמשה הפרעות קליניות נפרדות עבור משימות סיווג אבחנתי המשך. אישור אתי והסכמה מודעת בכתב הושגו בעבר על ידי יוזמת HBN מכל האתרים והנבדקים המשתתפים. הקלטות EEG ו-fMRI נרכשו במפגשים נפרדים ולא בו-זמנית, והוצמדו באמצעות מזהי המשתתף והמפגש הזמינים ב-HBN.

1. הכנת סביבת החישוב ונתוני הקלט

  1. הגדרת סביבת החישוב
    1. יצירה והפעלה של סביבה וירטואלית של Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. התקנת החבילות הנדרשות והגרסאות הקבועות שלהן באמצעות קובץ ה-requirements.txt המסופק במאגר ה-GitHub הציבורי: pip install -r requirements.txt
    3. אימות הגדרות PyTorch ו-CUDA לפני האימון: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." ודא שהפלט מדווח על PyTorch 2.6.0+cu124, CUDA 12.4, וכי הזמינות של CUDA היא True. בצע את אימון המודל באמצעות GPU תואם CUDA.
  2. בדיקה של כל קובצי הקלט מסוג H5 לפני אימון המודל.
    1. וידוא שכל קובץ מכיל sLORETA_mean_func עבור מאפייני צומת של EEG, sLORETA_mean_CorrMatrix עבור גרף ה-EEG, fMRI-DK68-node-mat עבור מאפייני צומת של fMRI, fMRI-DK68-edge-mat עבור גרף ה-fMRI, ותיגית (label) לאבחנה. יש להוציא קבצים עם מפתחות חסרים, ערכים שאינם מספריים, תגיות לא תקינות, או מימדים שאינם עקביים עם אטלס Desikan-Killiany בעל 68 אזורים. הרץ את סקריפט בדיקת קלט ה-H5 באופן הבא: python checkH5.py (קובץ משלים 1).

2. יישור מאפייני EEG ו-fMRI למרחב אנטומי משותף

  1. עיבוד מקדים של נתוני fMRI.
    1. עבדו את נתוני ה-fMRI באמצעות C-PAC (גרסה 1.8.7). הריצו את סקריפט העיבוד המקדים של C-PAC באופן הבא: bash run_cpac_brainmoe.sh (קובץ משלים 2). השמיטו את חמשת הנפחים הראשונים כדי להפחית השפעות של אות שאינו במצב יציב (non-steady-state) בתחילת הסריקה.
    2. בצעו תיקון זמני של פרוסות (slice-timing correction), תיקון תנועה, תיקון עיוותים, רישום (registration), נורמליזציה למרחב האנטומי MNI152 והחלקה מרחבית (spatial smoothing). בצעו רגרסיה ל-24 פרמטרי רעש הקשורים לתנועה.
    3. החילו סינון פס-מעבר (band-pass filtering) זמני בטווח של 0.01-0.08 Hz.
  2. יצירת מאפייני fMRI מיושרים לאטלס.
    1. עבדו את ה-MRI המבני התואם באמצעות FreeSurfer (גרסה 7.4.1). הריצו את הסקריפטים באופן הבא: bash Step01_mgz_2_nifti.sh. בצעו רישום משותף (coregister) של חלוקת הקליפה (cortical parcellation) של Desikan-Killiany שהתקבלה למרחב ה-fMRI המקורי של המשתתף. הריצו את הסקריפטים באופן הבא: python Step02_CoRegistration.py. חשבו את ממוצע האות ברמת הווקסל בתוך כל אחד מ-68 אזורי הקליפה. הריצו את הסקריפטים באופן הבא: python Step03_fMRI_Signal_Extraction.py (קובץ משלים 3).
    2. שמרו 370 נקודות זמן רצופות של fMRI ללא ריפוד זמני (temporal padding) כדי לקבל מטריצת מאפייני-צמתים של fMRI בגודל 68 x 370, כאשר 68 מייצג את אזורי הקליפה של DK ו-370 מייצג את נקודות הזמן שנשמרו ב-fMRI.
  3. בניית גרף ה-fMRI.
    1. חשבו מתאמי פירסון (Pearson correlations) בין סדרות הזמן של 370 הנקודות עבור 68 אזורי ה-DK. שמרו את מטריצת הקישוריות הפונקציונלית שהתקבלה בגודל 68 x 68 כמטריצת הקשתות של ה-fMRI.
  4. עיבוד מקדים של נתוני EEG.
    1. עבדו את הקלטות ה-EEG בעלות 129 הערוצים באמצעות ארגז הכלים EEGLAB (גרסה 2022.1) ב-MATLAB (גרסה R2022a). הריצו את שני סקריפטים של עיבוד מקדים ב-EEGLAB באופן רצופי כדלקמן: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (קובץ משלים 4). שמרו על קצב דגימה של 500 Hz והחילו סינון פס-מעבר של 0.2–40 Hz. זהו מקטעים רועשים ואלקטרודות פגומות, ובצעו אינטרפולציה לערוצים פגומים באמצעות האות הממוצע מאלקטרודות סמוכות.
    2. השתמשו בניתוח רכיבים בלתי תלויים (ICA) עם תוסף ICLabel כדי לסווג רכיבים בלתי תלויים. הסירו רכיבים עם הסתברות סיווג של ארטיפקטים של עיניים או שרירים הגבוהה מ-0.90. החילו ייחוס מחדש לממוצע (average re-referencing). השמיטו הקלטות המכילות פחות מ-250 s של נתונים שמישים לאחר העיבוד המקדים והסרת הארטיפקטים.
  5. יצירת מאפייני EEG מיושרים לאטלס.
    1. בנו מודל ראש מותאם אישית של שיטת אלמנטים גבוליים (BEM) בעל שלוש שכבות מ-MRI המבני של כל משתתף. הגדירו את מרחב המקורות על פני השטח של קליפת המוח האישית של כל משתתף. רשמו את מיקומי אלקטרודות ה-EEG על פני השטח של ה-BEM וחשבו את מטריצת שדה העופרת (lead-field matrix).
    2. החילו אופרטור הפוך המהסוייג (regularized) באמצעות מטריצת קווריאנס של רעש בסיס. הגדירו את יחס האות לרעש (SNR) ל-3.0, מה שנותן λ2 = 1/SNR2 = 1/9 (בקירוב 0.1111), ובצעו לוקליזציית מקורות באמצעות טומוגרפיה אלקטרומגנטית סטנדרטית ברזולוציה נמוכה (sLORETA) המיושמת ב-MNE-Python (גרסה 1.9).
    3. אגדו את הערכות המקור ברמת הוורטקס בתוך כל חלוקה של Desikan-Killiany על ידי ממוצע אריתמטי כדי לקבל 68 סדרות זמן ברמת ROI. שמרו את המקטע הרציף הראשון של 250 s וחלקו כל סדרת זמן של ROI ל-250 תקופות (epochs) רצופות ולא חופפות של 1 s.
    4. חשבו את הספק של פס האלפא (alpha-band power) בתדר 8–12 Hz בתוך כל תקופה כדי לקבל מטריצת מאפייני-צמתים של EEG בגודל 68 x 250, כאשר 68 מייצג את אזורי הקליפה של DK ו-250 מייצג את 250 התקופות הרצופות והבלתי חופפות של 1 s.
  6. בניית גרף ה-EEG ואימות יישור חוצה-מודליות.
    1. חשבו מתאמי פירסון בין סדרות הספק האלפא של 8–12 Hz ב-250 התקופות עבור 68 אזורי ה-DK. שמרו את המטריצה שהתקבלה בגודל 68 x 68 כגרף ה-EEG.
    2. אשרו שמטריצות ה-EEG וה-fMRI משתמשות באותו סדר של אזורי DK ומשתמשות באותו קובץ אינדקס של אזורי DK עבור קלט המודל, שיוך (attribution) וויזואליזציה. הריצו את הסקריפט ללוקליזציית מקורות והפקת מאפיינים של MNE-Python באופן הבא: python "Extract features - templates.py" (קובץ משלים 5).
  7. נורמליזציה של מאפייני צמתים בתוך כל דגימה.
    1. החילו נורמליזציית z-score ברמת הצומת על מטריצות מאפייני הצמתים של EEG ו-fMRI. השאירו את מטריצות הגרף כקלטי קישוריות והחילו נורמליזציית גרף בתוך מודל ה-BrainMoE.
    2. בצעו עיבוד מקדים של EEG ו-fMRI באופן עצמאי עבור כל משתתף באמצעות הגדרות קבועות, ללא שימוש במידע מקיפולי האימות הצולב (cross-validation folds) לקביעת פרמטרי העיבוד המקדים.

3. בניית משימות סיווג בינארי ספציפיות למחלה

  1. הגדירו חמש משימות סיווג בינארי ספציפיות למחלה.
    1. קודדו ביקורות בריאות (HC) כסוג 0 בכל המשימות, וקודדו רק את קבוצת המחלה הנבחרת כסוג 1 בתוך המשימה שלה.
    2. בנו משימות נפרדות של בריאים מול חולים עבור דיכאון, הפרעת חרדה, הפרעה נוירו-התפתחותית עם הפרעת למידה ספציפית ולקויות קריאה, הפרעה של רצף האוטיזם, והפרעת קשב-ריכוז/היפראקטיביות.
  2. אפיינו את קבוצות המחקר ובחנו השפעות פוטנציאליות של מין ואתר דגימה.
    1. עבור כל משימה ספציפית למחלה, כללו משתתפי HBN עם נתוני EEG, fMRI ודימות תהודה מגנטית מבני (sMRI) מלאים ותגית אבחנה תקפה. השמיעו משתתפים עם אבחנות נלוות (comorbid) מקבוצות החולים. השמיעו הקלטות EEG המכילות פחות מ-250 s של נתונים שמישים לאחר עיבוד מקדים והסרת ארטיפקטים, ושמרו רק קבצי קלט שעמדו בקריטריוני בקרת האיכות המתוארים בסעיף 1.2.
    2. סכמו את מספר הרשומות הרב-מודאליות ששומרות ואת מספר המשתתפים הייחודיים, יחסי חולים-לבקרה, טווחי גילים, התפלגויות מין והתפלגויות אתרי דגימה עבור קבוצת ה-HC המשותפת ועבור כל קבוצת מחלה בטבלה 4.
      הערה: אותה קבוצת HC שימשה שוב כסוג 0 בכל חמש המשימות, ולכן הערכות הביצועים ברמת המשימה אינן בלתי-תלויות מבחינה סטטיסטית. תלות זו נובעת מקבוצת ה-HC המשותפת ולא מחפיפה בין קבוצות המחלה.
    3. בצעו שכיבה (stratification) של הביצועים לפי מין ואתר דגימה והשוו את הערכים שהתקבלו באמצעות מבחני t של Welch דו-צדדיים לאורך הרצות חוזרות של תיקוף צולב (cross-validation) ב-5 קיפולים.
  3. בחרו קבצי H5 ספציפיים למשימה והגדירו חלוקות לתיקוף צולב.
    1. עבור כל משימה, שמרו רק את ה-HC ואת קבוצת המחלה המיועדת. צרו 10 חזרות של תיקוף צולב ב-5 קיפולים ברמת המשתתף. בצעו שכיבה של משתתפים ייחודיים לפי תגית הסיווג הבינארית, HC מול המחלה המיועדת, כדי לשמר את התפלגות הסוגים בין הקיפולים.
    2. השתמשו במזהה המשתתף הייחודי כמשתנה הקיבוץ והקצו את כל הסשנים והרשומות הרב-מודאליות מאותו משתתף לאותו קיפול. השתמשו בזרעי אקראיות (random seeds) 1–10, בהתאמה, כדי ליצור את 10 חלוקות התיקוף הצולב החוזרות. השתמשו בזר אקראיות קבוע של 1 לאתחול ולאימון המודל.
    3. שמרו את הקיפול המופרש (held-out fold) באופן בלעדי להערכה סופית ושמרו את מזהי המשתתפים, רשימות הקבצים ומדד החלוקה עבור כל קיפול יחד עם נקודת השמירה (checkpoint) המתאימה. עבור כל קיפול אימון, חשבו משקולות סוג מתגיות האימון והשתמשו בהן בפונקציית ההפסד של cross-entropy כדי להפחית הטיות הנגרמות מחוסר איזון בין הסוגים.

4. בניית ארכיטקטורת BrainMoE לאבחון מחלות מוח בעזרת מחשב

הערה: ארכיטקטורת ה-BrainMoE תוכננה כמסגרת קומפקטית להיתוך נתוני EEG-fMRI עם מודאליות חסרה, המשלבת מקודד גרפים, ניתוב רך של מצבים עצביים משותפים ואינטגרציית תכונות מבוססת מומחים לצורך אבחנה בינארית ספציפית למחלה. הארכיטקטורה הכוללת מוצגת ב- איור 1, וקוד היישום מסופק ב- קובץ נלווה 6.

  1. הגדר את הקלטים של BrainMoE ואת מצבי המודליות. השתמש במודליות EEG ובמודליות fMRI לאחר יישור במרחב המקור (source-space alignment) כקלטי גרף זוגיים. כאן, X מסמל מטריצת מאפיינים אזורית, A מסמל גרף מוחי ספציפי למודליות, וכל שורה תואמת לאחד מ-68 האזורים של Desikan-Killiany.
    שיווי משקל סטטי, ΣFx=0, ייצוג מטריציוני מתמטי, משוואות לניתוח איזון.
    משוואות נתוני MRI, X_MRI ∈ R^(68×370), A_MRI ∈ R^(68×68), נוסחה לייצוג מטריציוני.
    הגדר את מסכת זמינות המודליות (Modality Availability Mask) כ- m = [mEEG, mfMRI]. השתמש ב- m = [1,1] עבור קלט EEG-fMRI מלא, m = [1,0] עבור קלט EEG בלבד, ו- m = [0,1] עבור קלט fMRI בלבד.
  2. מקודד גרף (Graph encoder): עבור כל מודליות q, כאשר q היא EEG או fMRI, העבר את מטריצת המאפיינים Xq ואת הגרף Aq למקודד הגרף הספציפי למודליות שלה. המקודד הוא מודול עצבי בר-אימון הכולל הקרנת צמתים (node projection), העברת הודעות בגרף (graph message passing), נורמליזציה, אקטיבציה ו-dropout (p=0.3).
    משוואת קידוד גרף לשילוב נתונים נוירולוגיים עם פרמטרי EEG ו-fMRI.
    הערה: בסימון זה, Zq הוא הייצוג החבוי ברמת ה-ROI המופק על ידי מקודד הגרף של EEG או מקודד הגרף של fMRI. מקודד הגרף של EEG ממפה כל מטריצת קלט של 68 x 250 לייצוג חבוי של 68 x 128, בעוד שמקודד הגרף של fMRI ממפה כל מטריצת קלט של 68 x 370 לייצוג חבוי של 68 x 128. כל מקודד משתמש בהקרנת קלט ולאחריה שתי שכבות קונבולוציית-גרף שאריתיות (residual graph-convolution layers) עם 128 ממדים נסתרים, אקטיבציית GELU, נורמליזציית שכבה ו-dropout.
  3. טוקנים בר-אימון למודליות חסרה: יהי Tq הטוקן עבור מודליות q ו-mq מחוון הזמינות התואם. שלב זה מייצר ייצוג מודע-מצב השומר על אותו פריסת 68 אזורים תחת קלטי מודליות מלאים או בודדים.
    משוואה בתרשים מיזוג נתונים עצביים; נוסחת שילוב ניתוחי EEG ו-fMRI עם מקדם שקלול.
    הערה: כל טוקן בר-אימון למודליות חסרה הוא וקטור במימד 128 והוא מורחב על פני 68 שורות ROI כאשר המודליות התואמת אינה זמינה.
  4. מודול ניתוב רך (Soft-Routing) משותף של מצב עצבי: ראשית, שלב את ייצוג ה-EEG המודע-מצב ZEEG, ייצוג ה-fMRI המודע-מצב ZfMRI ואת מסכת זמינות המודליות המשובצת. מסכת זמינות המודליות משובצת על ידי MLP עם ממדים 2 ← 128, אקטיבציית GELU ונורמליזציית שכבה. הנתב (Router) מורכב משתי שכבות קונבולוציה חד-ממדיות עם ממדי ערוצים 384 ← 128 ← 128, גודל קרנל 3 ו-padding 1. אקטיבציית GELU מיושמת לאחר כל קונבולוציה, עם dropout (p=0.3) לאחר הקונבולוציה הראשונה.
    משוואה מתמטית לשרשור נתוני EEG ו-MRI בניתוח פרספטרון רב-שכבתי.
    סימון שיווי משקל סטטי Π=Router(U); ויזואליזציה של נוסחה מתמטית.
  5. מומחה מצב-עצבי משותף.
    1. שרשר את ייצוג ה-EEG המודע-מצב ZEEG, ייצוג ה-fMRI המודע-מצב ZfMRI ואת ייצוג הניתוב הרך R לאורך ממד המאפיינים. החל שכבת מיזוג מחוברת באופן מלא (384 ל-128), ולאחריה נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3), ובצע mean-pooling לייצוג התוצאה על פני 68 ה-ROIs כדי לקבל את הייצוג הממוזג ברמת הנבדק במימד 128 zfused:
      משוואה: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π])); תרשים שיטת שילוב נתונים.
    2. העבר את zfused דרך המומחה למצב-עצבי המשותף, המורכב משכבה מחוברת באופן מלא (128 ל-128), נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3). סמן את ייצוג המומחה המשותף במימד 128 התוצאתי כ-Eshared:
      משוואה לטרנספורמציית מומחה משותף, E_shared = SharedExpert(z_user).
  6. מומחי EEG ו-fMRI.
    1. עבור כל מודליות, בצע mean-pooling לייצוג המודע-מצב על פני 68 ה-ROIs והעבר את ייצוג ה-128-ממדי התוצאתי דרך המומחה הספציפי למודליות התואם:
      ניתוח נתוני EEG ו-fMRI; משוואה; Expert_q(MeanPool(Z_q)); מדעי המוח, מחקר מוחי
    2. כל מומחה ספציפי למודליות מורכב משכבה מחוברת באופן מלא (128 ל-128), נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3). סמן את ייצוגי המומחים הספציפיים למודליות במימד 128 התוצאתיים כ-EEEG ו-EfMRI, בהתאמה.
  7. מודול מיזוג (Fuse module).
    1. כדי לחשב את משקלי המומחים, שרשר את הייצוג הממוזג ברמת הנבדק במימד 128 zfused עם מסכת זמינות המודליות הדו-ממדית m, מה שיוצר קלט Gate במימד 130. מודול המיזוג מכיל Expert Gate המייצר משקלים ספציפיים לדגימה המשמשים למיזוג מומחים. ה-Expert Gate מורכב משכבה מחוברת באופן מלא (130 ל-128), ולאחריה אקטיבציית GELU, dropout (p = 0.3), ושכבה מחוברת באופן מלא של פלט (128 ל-3). החל softmax על שלושת ה-logits של הפלט כדי לקבל את משקלי המומחים הספציפיים לדגימה:תרשים נוסחת למידה עמוקה; פונקציית Softmax; משוואת רשת עצבית; קונספט אלגוריתמי.
    2. המשקלים התוצאתיים הם אי-שליליים וסכומם הוא 1 עבור כל דגימה:
      משוואת התפלגות משוקללת, W_EEG + W_fMRI + W_shared = 1, עבור ניתוח הדמיית מוח.
    3. הכפל כל ייצוג מומחה במימד 128 במשקל ה-Gate התואם לו וסכם את שלושת הייצוגים המשוקללים:
      משוואת שיווי משקל סטטי, נוסחה: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      הערה: פעולה זו מיישמת מיזוג dense soft MoE.
    4. העבר את ייצוג המומחה הסופי במימד 128, efused, לראש הסיווג לאבחון הפרעות מוחיות המתואר בסעיף 4.8.
  8. ראש סיווג לאבחון הפרעות מוחיות: העבר את ייצוג המומחה הסופי במימד 128 דרך ראש סיווג המורכב מנורמליזציית שכבה, dropout (p = 0.3), ושכבה מחוברת באופן מלא הממפה 128 ממדים ל-2 logits של פלט. החל softmax כדי לקבל את ההסתברות ל-HC ואת ההסתברות למחלה המטרה. שייך את הדגימה למחלקת המחלה כאשר ההסתברות למחלה המטרה היא לפחות 0.5.
    משוואת סיווג Softmax, נוסחה לחיזוי פלט רשת עצבית בלמידת מכונה.
  9. אמת את עקביות המימוש לפני האימון. הרץ מעבר קדימה (forward pass) יבש תחת m = [1,1], m = [1,0] ו- m = [0,1]. ודא שייצוגי ה-EEG, ה-fMRI, המודע-מצב, הניתוב והמיזוג שומרים על 68 שורות ROI אלא אם בוצע להם pooling במפורש, וודא שסכום משקלי המומחים הוא 1 בסדר של מומחה EEG, מומחה fMRI ומומחה מצב-עצבי משותף.

5. אימון חמשת מודלי BrainMoE לאבחון הפרעות מוחיות

  1. אמן מודל BrainMoE אחד עבור כל משימה בינארית ספציפית למחלה.
    1. השתמש באותה ארכיטקטורה ובערכי היפר-פרמטרים ברירת מחדל עבור כל המשימות: 30 epochs, batch size 16, learning rate 0.001, weight decay 0.0001. קבע את ארכיטקטורת המודל ואת ההיפר-פרמטרים לפני הערכת ה-test-fold, והשאר אותם ללא שינוי בכל ה-folds, החזרות והמשימות הספציפיות למחלות.
    2. אין להשתמש בביצועי ה-test-fold המופרש לצורך בחירת מודל או כיוונון היפר-פרמטרים. עבור כל mini-batch, הרץ שלושה מעברים קדימה (forward passes) באמצעות המסכות המלאה, EEG-only ו-fMRI-only עם משקולות מודל משותפות. הרץ את אימון ה-BrainMoE באופן הבא: python train.py --config configs/brain_moe.json --task --data_dir (Supplementary File 6). הגדר את ל-depression, anxiety, reading_disorder, autism, או adhd.
  2. בצע אופטימיזציה להפסד הסיווג הממוצע של שלושת המצבים. חשב את הפסד ה-cross-entropy המשוקלל לפי מחלקה Ls עבור כל מצב כך:
    נוסחת שיווי משקל סטטי במדעי המוח; משוואה המתארת שיטה לשילוב נתוני מוח רב-מודאליים.
    ומצע את ההפסדים כך:
    משוואת הפסד אימון L_train=(L_full+L_EEG-only+L_MRI-only)/3; משוואת מחקר.
  3. אפס את הגראדיאנטים, בצע backpropagate ועדכן את כל הפרמטרים הניתנים לאימון באמצעות AdamW.

6. הערכת מצבי הסקת מסקנות עבור מודאליות מלאה ומודאליות חסרה

  1. שיטת הערכה: טען את ה-checkpoint עבור משימת המחלה שנבחרה והשתמש ברשימת קובצי הבדיקה שנשמרה מאותו ה-checkpoint. השתמש ב-m = [1,1] עבור הסקה (inference) מלאה של EEG-fMRI, ב-m = [1,0] עבור הסקה של EEG בלבד, וב-m = [0,1] עבור הסקה של fMRI בלבד. לבסוף, החל softmax כדי לקבל את ההסתברות למחלה המבוקשת והקצב את מחלקת המחלה כאשר ההסתברות היא לפחות 0.5.
  2. מדדי הערכה: חשב את מדדי ההערכה מתוך מטריצת הבלבול (confusion matrix), כאשר TP מייצג דגימות חיוביות למחלה שסווגו נכונה כמחלה, TN מייצג HC שסווגו נכונה כבריאים, FP מייצג HC שסווגו שגשוג כמחלה, ו-FN מייצג דגימות חיוביות למחלה שסווגו שגשוג כבריאות.
    נוסחת שיווי משקל סטטי, חישוב דיוק (Accuracy), משוואה לניתוח חיוביים/שליליים אמיתיים/שגויים.
    נוסחת חישוב רגישות (Sensitivity), משוואה לניתוח שיעור חיוביים אמיתיים במחקר.
    נוסחת סגוליות (Specificity), \( \text{Specificity} = \frac{TN}{TN + FP} \), משוואה, ניתוח סטטיסטי.
    נוסחת מדד F1: הממוצע ההרמוני של דיוק (precision) ורגישות (sensitivity), משמש בניתוח סטטיסטי.
    נוסחת דיוק מאוזן (Balanced accuracy); משוואה להערכת ביצועי מודל סיווג.
  3. השתמש בדיוק (accuracy) כדי לדווח על שיעור הסיווג הנכון הכולל. השתמש ברגישות (sensitivity) כדי לכמת את הזיהוי של חיוביים למחלה ובסגוליות (specificity) כדי לכמת את הזיהוי של HC.
  4. השתמש במדד F1 כדי לסכם את האיזון בין דיוק (precision) לרגישות (sensitivity). השתמש בדיוק מאוזן (balanced accuracy) כדי להפחית את השפעת חוסר האיזון בין המחלקות. בנוסף, חשב את ה-AUC כדי להעריך הבחנה שאינה תלויה בסף על פני ספי ההחלטה שונים.
  5. עבור כל חזרה, חשב ממוצע של כל מדד ביצועים על פני חמשת הקיפולים (folds) שהושארו בחוץ. דווח על התוצאות הסופיות כממוצע וסטיית התקן של 10 הממוצעים ברמת החזרה.
  6. השווה את BrainMoE לשיטות הבסיס (baseline). כל שיטות הבסיס השתמשו באותן חלוקות ברמת המשתתף ובאותם קלטי EEG-fMRI מלאים כמו BrainMoE, עם הגדרות שנקבעו לפני ההערכה של הנתונים שהושארו בחוץ. BrainMoE הושווה לכל שיטת בסיס באמצעות מבחני t מזווגים דו-צדדיים עם תיקון Holm.

7. ביצוע שיוך חסימת צמתים ברמת קבוצה עבור חמשה הפרעות מוחיות

  1. הגדירו את קבוצת הייחוס (attribution cohort). טענו את נקודת השמירה (checkpoint) המאומנת של BrainMoE ואת הקובץ המכיל את שמות אזורי ה-DK. בחרו דגימות בדיקה חיוביות למחלה שסווגו נכון תחת מצב EEG-fMRI מלא עם m = [1,1]. השתמשו בקבוצה זו לניתוח ייחוס ברמת הקבוצה ושמרו את ההסתברות הבסיסית למחלה עבור כל דגימה.
  2. חשבו ציוני חסימת צומת (node occlusion) ספציפיים למודאליות. עבור ייחוס המופק מ-EEG, חסמו ROI אחד של EEG בכל פעם על ידי הגדרת וקטור תכונות הצומת של ה-EEG הנבחר והשורה והעמודה המתאימות בגרף ה-EEG לאפס, תוך השארת קלט ה-fMRI ללא שינוי. עבור ייחוס המופק מ-fMRI, בצעו את אותה פעולה על מטריצת תכונות הצומת של ה-fMRI ועל גרף ה-fMRI, תוך השארת קלט ה-EEG ללא שינוי. חזרו על הליך זה עבור כל 68 אזורי ה-DK. הריצו את ניתוח ייחוס חסימת הצמתים באמצעות הקוד המסופק ב-Supplementary File 7.
  3. חשבו והציגו ויזואלית את תרומות ה-ROI ברמת הקבוצה. עבור כל ROI וכל מודאליות, חשבו את ציון התרומה כערך הירידה הממוצע בהסתברות למחלה לאחר החסימה בכל הדגימות הנבחרות. דרגו את הציונים המופקים מ-EEG ואלו המופקים מ-fMRI באופן נפרד, ייצאו את 10 ה-ROIs המובילים עבור כל מודאליות, וסמנו את ה-ROI בעל הדירוג הגבוה ביותר באיור.

תוצאות

ביצועי BrainMoE לאורך הפרעות ומצבי מודליות
הפרוטוקול הפיק חמישה מסווגי BrainMoE ספציפיים למחלה להשוואה בין בריאים לחולים, והפיק טבלאות חיזוי עבור מצבי הסקה של EEG-fMRI מלא, EEG בלבד ו-fMRI בלבד. מצב ה-EEG-fMRI המלא הניב יכולת הבחנה גבוהה באופן עקבי בחמש המטלה, עם ערכי AUC הנעים בין 84.4 ± 3.2% עבור RI ל-88.4 ± 3.8% עבור ASD (טבלה 1). הביצועים הממוצעים-מאקרו של המצב המלא בחמש המטלה הגיעו ל-86.9 ± 3.0% AUC, 81.4 ± 3.1% דיוק (accuracy), 81.4 ± 2.5% דיוק מאוזן (balanced accuracy), ו-81.2 ± 3.0% מדד F1.

תחת תנאים המדמים היעדרות של מודאליות, BrainMoE שמר על ביצועים שמישים כאשר מודאליות קלט אחת הייתה מוסתרת. במצב של EEG בלבד, המודל השיג AUC ממוצע-מאקרו של 83.1 ± 3.7%, כאשר ה-AUC הגבוה ביותר עבור EEG בלבד נצפה עבור ADHD ועמד על 87.9 ± 2.8%. במצב של fMRI בלבד, ה-AUC ממוצע-מאקרו היה 80.0 ± 3.9%. טווחים אלה של ביצועים והיתרון הצפוי בביצועים במצב מלא משמשים כנקודות ייחוס מעשיות ליישום מוצלח, ומצביעים על כך שמסגרת ה-BrainMoE המאומנת יכולה לבצע הסקה מלאה, הסקה של EEG בלבד והסקה של fMRI בלבד ללא צורך במודלים נפרדים לכל מודאליות.

תוצאה תת-אופטימלית מייצגת היא כישלון בשחזור יתרון הביצועים הצפוי של המצב המלא (full-state), לדוגמה, כאשר ה-AUC של EEG-fMRI מלא נמוך מה-AUC של EEG בלבד או של fMRI בלבד. לעומת זאת, יישום מוצלח צריך לשחזר את יתרון המצב המלא ואת טווחי ביצועי הייחוס המדווחים ב-Table 1. כאשר נצפית תבנית תת-אופטימלית, יש לוודא את ממדי הקלט של H5, את סדר האזורים ב-DK, את הקצאת מסכת זמינות המודליות (modality-availability mask) ואת מחיצות האימות הצולב (cross-validation partitions) השמורות, לפני פרשנות של פלט המודל.

השוואת ביצועים (Benchmark)
מודל ה-BrainMoE המוצע הושווה לשיטות למידה חישובית קלאסיות (מכונת וקטורים תומכים (SVM) ופרספטרון רב-שכבתי (MLP)), שיטות למידה עמוקה כלליות (Transformer7, 3D-CNN22 ו-ResNet6), שיטות למידה עמוקה מתקדמות (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), ושיטות למידה עמוקה מבוססות MoE (dFCExpert17, EvoMoE18, ו-NeuroMoE++19) (טבלה 2). BrainMoE השיג את ממוצע ה-AUC הגבוה ביותר מבין כל השיטות שהושוו, בשיעור של 86.9 ± 3.0%.

שיטות למידה מכונה קלאסיות הראו ביצועים ממוצעים נמוכים יותר, כאשר SVM השיגה AUC ממוצע של 66.7 ± 4.5% ו-MLP השיגה 64.6 ± 6.3%. שיטות למידה עמוקה כלליות הראו ביצועים משתנים, כאשר ResNet השיגה AUC ממוצע של 71.0 ± 3.3% ו-Transformer השיגה 63.8 ± 4.7%. מבין בסיסי ההשוואה של למידה עמוקה מתקדמת, BNT, BrainGNN, MultiEpilepsyNet ו-SZAtt-Net הראו ביצועים טובים יותר מרוב שיטות הלמידה המכונה הקלאסיות והלמידה העמוקה הכללית, אך ה-AUC הממוצע שלהן נותר נמוך מזה של BrainMoE.

כדי לספק תמיכה סטטיסטית להשוואת הביצועים (benchmark), BrainMoE הושווה לבסיס ההשוואה (baseline) החזק ביותר עבור כל מדד ביצועים (טבלה 3). BrainMoE הציג ביצועים טובים יותר מ-NeuroMoE++ ב-AUC ובדיוק מאוזן (BA), וביצועים טובים יותר מ-SZAtt-Net במדד F1 ובדיוק. כל ההשוואות נותרו מובהקות לאחר תיקון Holm.

ניתוח תתי-קבוצות לפי מין ואתר רכישה
מאפייני העשייה של העקבה, כולל מספר הרשומות הרב-מודאליות שנשמרו, יחסי מחלה-לבקרה, מספר משתתפים ייחודי, סיכומי גיל, התפלגויות מין והתפלגויות אתרי רכישה, מסוכמים בטבלת מאפייני העקבה (Table 4). יחסי מחלה-לבקרה חושבו ממספרי רשומות רב-מודאליות, בעוד שמאפיינים דמוגרפיים ומאפייני אתרי רכישה סוכמו ברמת המשתתף הייחודי.

כדי להעריך את ההשפעות הפוטנציאליות של מין ואתר רכישה, ביצועי BrainMoE סווגו לפי גורמים אלו (טבלה 5בתת-הקבוצה של הגברים נרשמו ממוצעים גבוהים יותר של AUC, BA, מדד F1 ודיוק מאשר בתת-הקבוצה של הנשים, בעוד שערכי ה-p הבלתי מתוקננים של מבחן Welch התאימים נעים בין 0.089 ל-0.321. באופן דומה, תת-הקבוצה של RUBIC הראתה ביצועים ממוצעים גבוהים יותר מאשר תת-הקבוצה של Staten Island, עם ערכי p הנעים בין 0.055 ל-0.309. בניתוחים אלו לא נמצא הבדל בעל מובהקות סטטיסטית בין תתי-הקבוצות.

ניתוח אבלציה (Ablation) של רכיבי BrainMoE
ניסויי אבלציה בוצעו כדי להעריך את התרומה של מסיכת זמינות המודאליות, הנתב הקונבולוציוני (convolutional router), המומחה המשותף (shared expert) ותכנון מיזוג מומחי ה-MoE (טבלה 6). הסרת הקידוד (embedding) של המסיכה הפחיתה את ה-AUC הממוצע ל-79.2 ± 3.1%, והחלפת הנתב הקונבולוציוני בנתב MLP הפחיתה אותו ל-79.3 ± 3.7%. הסרת המומחה המשותף הפחיתה את ה-AUC עבור fMRI בלבד ל-73.5 ± 3.3%, הערך הנמוך ביותר מבין הגרסאות שנבדקו. הסרת כל מומחי ה-MoE הפחיתה אף היא את הדיוק המאוזן (balanced accuracy) הכללי ל-74.2 ± 3.0%. תוצאות אבלציה אלו הראו כי תכנון BrainMoE המלא השיג את הביצועים הכלליים החזקים ביותר הן במצבים של מודאליות מלאה והן במצבים של מודאליות חסרה, בעוד שהקידוד של המסיכה, הנתב הקונבולוציוני, המומחה המשותף ומיזוג מומחי ה-MoE תרמו כל אחד להתנהגות הסופית של המודל.

תוצאות פרשנות ברמת ה-ROI עבור חמש הפרעות מוחיות
כדי לבחון את התרומות האזוריות העומדות בבסיס התחזיות של BrainMoE, בוצע ייחוס הסתרה של צמתים (node-occlusion attribution) על דגימות חיוביות למחלה שסווגו נכון במצב EEG-fMRI מלא. תרומות ה-ROI הנגזרות מ-EEG ומ-fMRI דורגו בנפרד על ידי מדידת הירידה בהסתברות למחלה המטרה לאחר הסתרת כל אזור באטלס ה-DK. הניתוח זיהה דפוסי תרומה ספציפיים למודאליות לאורך חמש משימות המחלה (איור 2). עבור ייחוס נגזר מ-fMRI, האזורים בעלי הדירוג הגבוה ביותר היו ה-posterior cingulate השמאלי ב-MDD, ה-pericalcarine cortex הימני ב-ANX, ה-parahippocampal cortex השמאלי ב-RI, ה-pars triangularis הימני ב-ASD, וה-entorhinal cortex השמאלי ב-ADHD. עבור ייחוס נגזר מ-EEG, האזורים בעלי הדירוג הגבוה ביותר היו ה-left banks of the superior temporal sulcus ב-MDD, ה-precentral cortex השמאלי ב-ANX, ה-cuneus השמאלי ב-RI, ה-lingual cortex השמאלי ב-ASD, וה-insula הימני ב-ADHD. ה-ROIs בעלי הדירוג הגבוה ביותר הנגזרים מ-EEG ו-fMRI עבור כל הפרעה מוצגים על פני שטח קליפת המוח באיור 3. תוצאות אלו הראו כי BrainMoE סיפק פרשנות ברמת ה-ROI תוך שמירה על פרופילי ייחוס נפרדים עבור ייצוגים נגזרים מ-EEG ומ-fMRI. עבור דגימות חיוביות למחלה שסווגו נכון, נבחנה יציבות חוצת-קיפולים (cross-fold stability) באמצעות תדירות ה-Top-1 ROI על פני 50 קיפולים שהושארו בחוץ (טבלה 7). התדירויות שנצפו נעו בין 36% ל-68%, ערכים העולים על הייחוס התאורטי של בחירה אקראית של 1/68 (1.47%) ותומכים בפרשנות המבוססת על דירוגים יחסיים ולא על גדלי תרומה מוחלטים. השוואות עם ממצאי דימות מוחי קודמים בוצעו post hoc ושימשו רק כדי לתת הקשר לתוצאות הייחוס, ולא כתיקוף עצמאי.

דיאגרמת מיזוג מודאליות EEG/fMRI; מומחה מצב עצבי משותף; סיווג אבחנתי להפרעות מוחיות.
איור 1: סקירה כללית של מסגרת ה-BrainMoE עם מיזוג EEG-fMRI אדפטיבי לאבחון ממוחשב של הפרעות מוחיות. מאפייני ROI של EEG ו-fMRI מיושרים למקור מעובדים על ידי מקודדי גרף נפרדים. הייצוגים הנובעים מועברים למומחי ה-EEG וה-fMRI, ויחד עם מסכת זמינות המודאליות, למודול ה-Soft-Routing המשותף. ייצוגי המודאליות וייצוג הניתוב ממוזגים ומעובדים על ידי המומחה המשותף למצב עצבי. שלושת פלטי המומחים משולבים לאחר מכן במודול המיזוג (Fuse Module) ומועברים לראש סיווג האבחנה כדי להפיק את ההסתברויות עבור HC ומחלה מטרת. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

תרשימי עמודה של תרומת ROI במוח; ניתוח fMRI EEO עבור הפרעות: דיכאון, חרדה, ADHD.
איור 2: ניתוח תרומת ROI מבוסס הסתרת צומת. עשר התרומות המובילות של ROI המופקות מ-EEG ומ-fMRI הוצגו עבור כל משימת מחלה תחת מצב הסקת EEG-fMRI מלא. לוחות (A–E) מראים את התוצאות המופקות מ-fMRI עבור MDD, ANX, RI, ASD ו-ADHD, בהתאמה, ולוחות (F–J) מראים את התוצאות המקבילות המופקות מ-EEG באותו סדר. רק ה-ROI בעל הדירוג הגבוה ביותר סומן בכל תרשים. תרומת ה-ROI הוגדרה כירידה בהסתברות למחלה המטרה לאחר הסתרת אזור ה-DK atlas התואם. אנא לחץ כאן כדי להציג גרסה מוגדלת של איור זה.

דיאגרמות הפעלת אזורי מוח; הפרעות נפשיות MDD, ANX, RI, ASD, ADHD; ניתוח מוח ב-MRI.
איור 3: מפות פרשנות ברמת ROI קורטיקליים בחמש הפרעות מוחיות. פאנלים (A–E) מראים בהתאמה את MDD, ANX, RI, ASD ו-ADHD. כל פאנל מציג את ה-ROI בעל הדירוג הגבוה ביותר שנגזר מ-EEG באדום ואת ה-ROI בעל הדירוג הגבוה ביותר שנגזר מ-fMRI בכתום על פני השטח הקורטיקליים של DK. הצבעים מציינים את המודליות ולא את עוצמת התרומה; לכן, לא הוחל סולם צבעים כמותי. התחיליות lh ו-rh מציינות את ההמיספרה השמאלית והימנית, בהתאמה. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

משימת מחלהמצבAUCדיוקBAF1רגישותסגוליות
MDDמלא88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEG בלבד83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRI בלבד82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXמלא85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEG בלבד81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRI בלבד74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIמלא84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEG בלבד80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI בלבד81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDמלא88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEG בלבד82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRI בלבד81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDמלא88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEG בלבד87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRI בלבד80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

טבלה 1: ביצועי הסיווג של BrainMoE במשימות מחלה שונות ובמצבי זמינות של מודליות. ביצועי BrainMoE עבור חמש משימות סיווג של בריאות לעומת מחלה תחת מצבי הסקה של EEG-fMRI מלא, EEG בלבד, ו-fMRI בלבד. המדדים מדווחים כממוצע ± סטיית תקן וכוללים את השטח תחת עקומת מאפייני תפעול המקלט (AUC), דיוק (accuracy), דיוק מאוזן (BA), מדד F1, רגישות וסגוליות.

שיטהקבוצת שיטותממוצע AUCממוצע BAממוצע F1דיוק ממוצע
SVMML קלאסי66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPML קלאסי64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerDL גנרי63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNDL גנרי65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetDL גנרי71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNDL מתקדם70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTDL מתקדם73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNDL מתקדם72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetDL מתקדם78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetDL מתקדם78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL מבוסס MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEDL מבוסס MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++DL מבוסס MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (שלנו)DL מבוסס MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

טבלה 2: ביצועי סיווג ממוצעים של BrainMoE בהשוואה לשיטות למידה מכונה קלאסיות, מודלי למידה עמוקה גנריים וארכיטקטורות למידה עמוקה מתקדמות לדימות מוחי. התוצאות מרוכזות על פני משימות סיווג המחלות שהוערכו ומדווחות כממוצע ± סטיית תקנית עבור AUC, BA, מדד F1 ודיוק.

השוואהAUC ממוצעממוצע BAF1 ממוצעדיוק ממוצע
קו הבסיס החזק ביותרNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
ביצועי הבסיס החזקים ביותר81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
הבדל+5.4+3.5+3.8+3.3
p של מבחן t0.00060.00650.01870.0276
p* מתוקנן לפי שיטת Holmp < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dז׳1.631.110.910.83

טבלה 3: השוואה של BrainMoE עם קו הבסיס החזק ביותר עבור כל מדד ביצועים. ערכי P חושבו באמצעות מבחני t זוגיים דו-צדדיים והותאמו באמצעות הליך Holm. Cohen's dz מציין את ההפרש הזוגי הסטנדרטי.

קוהורטרשומות רב-מודאליות (n)יחס מחלה-ביקורתמשתתפים ייחודיים (n)טווח גילים (שנים)מין (זכר/נקבה)אתר הרכישה (Staten Island/RUBIC)
בקרה חיובית115--755.02–21.9035/4026/49
דיכאון מז׳ור (MDD)520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
דחייה חיסונית (Immune Rejection)1411.23:1855.75–19.6647/3839/46
הפרעה בספקטרום האוטיסטי (ASD)820.71:1515.66–19.7945/627/24
הפרעת קשב, היפראקטיביות ודחףיות (ADHD)5554.83:13385.04–21.72241/97136/202

טבלה 4: מאפייני קבוצות המחקר ששימשו בחמש משימות הסיווג הספציפיות למחלה. הטבלה מדווחת על מספר הרשומות המולטי-מודאליות שנשמרו, יחסי מחלה-לבקרה, מספר המשתתפים הייחודיים, מאפיינים דמוגרפיים והתפלגות אתרי הרכישה.

תת-קבוצהמספרAUC ממוצעממוצע BAF1 ממוצעדיוק ממוצע
מין
זכר70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
נקבה39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
הבדל+1.6+2.2+2.4+2.9
ערך p של Welch--0.3210.1920.1590.089
אתר רכישה
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
סטטן איילנד42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
הבדל+2.4+1.6+2.9+3.3
ערך p של וולש (Welch p)--0.1760.3090.0850.055

טבלה 5: ביצועי BrainMoE בחלוקה לפי מין ואתר רכישה. התוצאות מדווחות כממוצע ± סטיית תקן על פני 10 חזרות של אימות צולב (cross-validation) בעל 5 קיפולים. ההפרש מייצג את תת-הקבוצה הראשונה פחות השנייה, וערכי P התקבלו באמצעות מבחני t של Welch דו-זנביים.

גרסהAUC מלאAUC עבור EEG בלבדAUC של fMRI בלבדAUC ממוצעממוצע BA
ללא השבעה של מסיכה (mask embedding)83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
ללא נתב עקיפה84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
נתב MLP82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
ללא מומחה משותף83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
ללא מומחי MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (שלנו)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

טבלה 6: ניתוח אבלציה של רכיבי מפתח ב-BrainMoE. תוצאות אבלציה המראות את התרומה של מסכת זמינות המודליות (modality availability mask), הנתב הקונבולוציוני (convolutional router), המומחה המשותף (shared expert) ועיצוב מיזוג המומחים של ה-MoE. כל גרסה מוערכת תחת תנאי הסקת מסקנות של EEG-fMRI מלא, EEG בלבד ו-fMRI בלבד, כאשר ממוצע ה-AUC וממוצע ה-BA מסכמים את הביצועים הכוללים.

מחלהEEG: ROI בדירוג הגבוה ביותרEEG: תדירות המובילה (Top-1), n/N (%)fMRI: ROI בדירוג הגבוה ביותרfMRI: תדירות המובילה (Top-1), n/N (%)התייחסות למקרי מקרה (%)
MDDהגדות השמאליות של ה-superior temporal sulcus22/50 (44%)posterior cingulate שמאלי25/50 (50%)1.47
ANXprecentral cortex שמאלי18/50 (36%)pericalcarine cortex ימני21/50 (42%)1.47
RIcuneus שמאלי26/50 (52%)parahippocampal cortex שמאלי29/50 (58%)1.47
ASDlingual cortex שמאלי27/50 (54%)pars triangularis ימני28/50 (56%)1.47
ADHDinsula ימנית31/50 (62%)entorhinal cortex שמאלי34/50 (68%)1.47

טבלה 7: יציבות cross-fold של ה-ROIs המדורגים בראש רשימת ה-EEG וה-fMRI. Top-1 frequency מציינת את המספר ואת האחוז של ניתוחים ברמת 50-fold שבהם ה-ROI המדווח דורג במקום הראשון. רפרנס הברירה התאורטי לבחירה אקראית היה 1/68 (1.47%).

קובץ משלים 1: סקריפט לבדיקת קלט H5.סקריפט Python לאימות מפתחות הקלט הנדרשים ב-H5, סוגי נתונים, תוויות אבחנתיות וממדי קלט תואמים ל-DK-atlas לפני אימון BrainMoE. אנא לחצו כאן להורדת הקובץ.

קובץ משלים 2: סקריפט לעיבוד מקדים של fMRI. קובצי הגדרה והרצה של C-PAC ששימשו לעיבוד מקדים של fMRI, הכוללים הסרה של הנפחים הראשוניים, תיקון תנועה ועיוותים, רישום ונורמליזציה, רגרסיה של משתפי רעש, סינון זמני והחלקת מרחבית. אנא לחצו כאן להורדת קובץ זה.

קובץ משלים 3: סקריפטים של עיבוד ב-FreeSurfer. סקריפטים לעיבוד נתוני MRI מבני, ביצוע רישום משותף (coregistration) של חלוקה קורטיקלית לפי שיטת Desikan-Killiany למרחב fMRI מקורי, וחילוץ אותות fMRI ברמת ROI. אנא לחצו כאן להורדת הקובץ.

קובץ משלים 4: סקריפטים לעיבוד מקדים של EEG. סקריפטים של MATLAB/EEGLAB ששימשו לעיבוד מקדים של EEG, כולל סינון, זיהוי והסרה של רכיבי ארטיפקטים, ועיון מחדש של רפרנס (rereferencing). אנא לחצו כאן כדי להוריד קובץ זה.

קובץ משלים 5: סקריפט MNE-Python לאיתור מקורות ומיצוי מאפיינים. סקריפט Python לאיתור מקורות EEG, מיצוי ROI (אזורי עניין) באמצעות DK-atlas, ויצירת מאפייני EEG ברמת ה-ROI המשמשים כקלטים עבור BrainMoE. אנא לחץ כאן להורדת קובץ זה.

קובץ משלים 6: קוד מימוש של BrainMoE. Pקודי Python וקבצי קונפיגורציה עבור ארכיטקטורת BrainMoE, מקודדי גרפים (graph encoders), טיפול במצבי מודליות (modality-state handling), ניתוב ומיזוג מומחים (expert routing and fusion), אימון המודל, הערכה וגרסאות אבלציה (ablation variants). אנא לחצו כאן להורדת קובץ זה.

קובץ משלים 7: קוד לייחוס חסימת צמתים. קוד Python לניתוח חסימת צמתים ספציפי למודליות, חישוב ציוני תרומה של ROI, דירוג של ROI המופקים מ-EEG ומ-fMRI, ויצירת פלטי ייחוס. אנא לחצו כאן להורדת קובץ זה.

דיון

ניתוח רב-מודאלי של אותות מוחיים הפך לכיוון חשוב לאבחון מחלות מוח בסיוע מחשב, מכיוון ש-EEG ו-fMRI מספקים מידע משלים על פעילות עצבית. בהשוואת ביצועים (benchmark), שיטות למידה חישובית קלאסיות כגון SVM ו-MLP הניבו ביצועי אבחון בסיסיים, אך יכולתן למדל אינטראקציות של מאפיינים היררכיים, מובני-גרף וחוצי-מודאליות הייתה מוגבלת. מודלים גנריים של למידה עמוקה, כולל 3D-CNN, ResNet ו-Transformer, הציעו יכולת מידול לא-ליניארית חזקה יותר, אך ארכיטקטורות אלו לא תוכננו במיוחד עבור היתוך EEG-fMRI או עבור ייצוגים של רשתות מוחיות. שיטות מתקדמות של למידה עמוקה השיגו ביצועים טובים יותר מרוב המודלים הקלאסיים והגנריים, אך רבות מהן עדיין הסתמכו על אסטרטגיות קבועות של שילוב מאפיינים ולא הפרידו באופן מפורש בין מידע ספציפי למודאליות לבין מידע משותף על המצב העצבי.

מחקר זה הציע את BrainMoE כדי לפתור בעיית מיזוג זו באמצעות שילוב של מקודדי מודליות מבוססי גרף, מומחים ספציפיים למודליות, מומחה מצב עצבי משותף ומנגנון ניתוב אדפטיבי. עיצוב זה אפשר למדל נציגויות המופקות מ-EEG ומ-fMRI בנפרד ולאחר מכן לשלבן באמצעות מיזוג ברמת מומחה. באמצעות הצגת מסכות מצב-מודליות וטוקנים של מודליות חסרות, אותו מודל מאומן יכול היה לבצע גם הסקה המבוססת על EEG בלבד או fMRI בלבד, ללא צורך בבניית מודלים נפרדים עבור כל מצב של מודליות חסרות. התוצאות הניסיוניות הראו כי BrainMoE השיג את הביצועים הכוללים החזקים ביותר בחמישה משימות של סיווג מחלות בינארי, ושמר על ביצועים שמישים הן במצבי EEG בלבד והן במצבי fMRI בלבד. ניתוח האבליציה תמך עוד יותר בתרומת השכבת ה-embedding של המסכה, הנתב הקונבולוציוני, המומחה המשותף ומיזוג מומחי ה-MoE. ממצאים אלו מצביעים על כך שהשיפור בביצועים לא נבע מרכיב בודד, אלא מהעיצוב המתואם של קידוד גרפי, מידול מצב-מודליות, ניתוב אדפטיבי ומיזוג מומחים.

שלבים קריטיים בפרוטוקול ופתרון בעיות
השלבים הקריטיים בפרוטוקול כוללים שמירה על אותו סדר של 68 אזורי DK במטריצות הצמתים והגרפים של ה-EEG וה-fMRI, החלה של הגדרות עיבוד מקדים שנקבעו מראש באופן עצמאי עבור כל משתתף, ואכיפת תיקוף צולב (cross-validation) ברמת המשתתף, כך שכל הרשומות מאותו משתתף יישארו בתוך קיפול (fold) בודד. על מסיכת זמינות המודליות (Modality Availability Mask) להתאים גם היא לקלטים שסופקו עבור כל מצב הסקה.

אם ההסקה נכשלת או שהיתרון הצפוי בביצועי המצב המלא (full-state) אינו משתחזר, יש לאמת תחילה את מפתחות ה-H5 הנדרשים, את ממדי המטריצות של ה-EEG וה-fMRI, את סדר האזורים ב-DK, את השמת מסכת הזמינות של המודליות (Modality Availability Mask) ואת חלוקות התיקוף הצולב השמורות. קבצים עם מפתחות חסרים, ממדים שגויים או סדר אזורים שאינו עקבי יש להסיר לפני האימון או ההערכה. ניתן לשנות את המסגרת עבור חלוקות קליפה (cortical parcellations) חלופיות או ייצוגי מאפיינים שונים של EEG/fMRI, בתנאי ששתי המודליות ממופות לסדר ROI עקבי וממדי הקלט של המודל התואמים הותאמו. ניתן להתאים את ראש הסיווג הספציפי למחלה למשימות סיווג בינארי אחרות תוך שמירה על מסגרת קידוד הגרף ומיזוג המומחים (expert-fusion). שינויים אלו דורשים אימון מחדש ותיקוף, ולא יישום ישיר של המודלים המדווחים כאן.

ניתוח פשרנות מבוסס חסימת צמתים
ניתוח חסימת הצמתים סיפק פשרנות נוספת ברמת ה-ROI עבור תחזיות ה-BrainMoE, כאשר ה-ROIs בעלי הדירוג הגבוה ביותר הקשורים למחלה מוצגים ב-איור 3. ה-ROI האחורי השמאלי שנגזר מ-EEG וזוהה על ידי BrainMoE עולה בקנה אחד עם ראיות מטא-אנליטיות קודמות מבוססות ווקסלים23 המדווחות על פעילות מוחית פנימית משובשת באזורים קורטיקליים אחוריים ב-MDD. ה-ROIs ב-precentral השמאלי וב-pericalcarine הימני שנגזרו מ-EEG/fMRI עולים בקנה אחד עם ראיות דימוי עצבי קודמות בהפרעות חרדה: מטא-אנליזה של עובי קורטיקלי24 דיווחה על עובי קורטיקלי מוגבר ב-precentral gyrus השמאלי בחולי הפרעות חרדה, בעוד שמחקר של רשת קווריאנס מבנית25 בהפרעת חרדה חברתית דיווח על מרכזיות צומתית (nodal centrality) חריגה הכוללת את ה-pericalcarine cortex הימני. עבור הפרעות קריאה, ה-ROI של ה-cuneus השמאלי שנגזר מ-EEG עולה בקנה אחד עם מחקר קישוריות של המוח כולו26 המדווח על קישוריות משובשת ב-cuneus השמאלי בדיסלקסיה, בעוד שה-ROI ב-parahippocampal השמאלי שנגזר מ-fMRI עולה בקנה אחד עם מחקר נפרד27 המדווח על צימוד parahippocampal/hippocampal חריג בבני נוער עם ליקויים ספציפיים בהבנת הנקרא. במשימה של הפרעות בספקטרום האוטיסטי, ה-ROI ב-lingual השמאלי שהודגש על ידי ייחוס (attribution) שנגזר מ-EEG מהדהד ראיות קודמות של fMRI במצב מנוחה28 על ReHo מופחת ב-lingual gyrus השמאלי בבנים טרום-בבגוריים עם ASD. ה-ROI ב-pars triangularis הימני שנגזר מ-fMRI הוא אף הוא סביר מבחינה ביולוגית, שכן ALFF משובש ב-pars triangularis הימני של ה-inferior frontal gyrus דווח29 בילדים אוטיסטים. עבור ADHD, ה-ROI ב-insula הימני שנגזר מ-EEG תואם לראיות MRI מבניות30 המראות נפח אינסולרי קדמי מופחת בבני נוער עם ADHD, במיוחד ב-insular short gyrus הימני. ה-ROI ב-entorhinal השמאלי שנגזר מ-fMRI עשוי לשקף ממצא ספציפי יותר לסוג-משנה, שכן מחקר נפרד ב-Psychological Medicine31 דיווח על נפח נמוך יותר של ה-entorhinal cortex השמאלי בתת-קבוצה של ADHD-C לאחר תיקון FDR. עם זאת, יש לפרש ממצאים אלה תוך התחשבות בתלות בין-אזורית, שכן אותות ROI מתואמים עלולים למנוע מחסימת צומת בודד לבודד באופן מלא את תרומתו של אזור בודד ועשויים להוביל להערכות שמרניות.

מגבלות וכיוונים עתידיים
למרות שנעשה שימוש בתיקוף צולב (cross-validation) חומש חוזר כדי לקבל הערכות ביצועים פנימיות, מחקרים עתידיים שישתמשו בתיקוף צולב מקונן (nested cross-validation) או בתיקוף חיצוני עצמאי יחזקו עוד יותר את הערכת היציבות של בחירת המודל ואת יכולת ההכללה שלו. מכיוון שהפלטים של EEG בלבד ו-fMRI בלבד הופקו על ידי מיסוך של מודליות אחת ברשומות מולטי-מודאליות מלאות ולא הוערכו על קוהורט תיקוף חיצוני, מחקרים עתידיים צריכים לכלול קוהורטים חיצוניים של תיקוף עבור מודליות בודדת כדי להעריך את יכולת ההכללה. מגבלה נוספת היא שעיצוב המחקר של בריאים מול מחלה אחת אינו לוכד מצבים של תחלואה נלווה (comorbidity), דבר המגביל את ההכללה הקלינית ומניע מחקרים עתידיים של סיווג רב-תוויות (multi-label classification) ואבחנה מבדלת. עבודה עתידית עשויה להעריך גם את החוסן של קשרי EEG ברמת המקור באמצעות מעריכי קישוריות מודעים לדליפה (leakage-aware connectivity estimators). למרות שחלוקת ה-DK המשותפת מספקת ממשק מבוסס-אנטומי למיזוג מולטי-מודאלי, זוהי הנחת מודלינג שייתכן שאינה לוכדת באופן מלא הבדלים ספציפיים למודליות ברזולוציה הטמפורלית ובמקור הפיזיולוגי. מעבר לחמש ההפרעות שהוערכו כאן, ניתן להתאים את המסגרת למשימות סיווג נוירולוגיות או פסיכיאטריות אחרות הכוללות נתוני מוח מולטי-מודאליים מיושרים אנטומית, ולהרחיבה אותה ליישומים של סיווג רב-תוויות או אבחנה מבדלת.

סיכום
לסיכום, BrainMoE מספק מסגרת מעשית וניתנת לפירוש למיזוג EEG-fMRI באבחון ממוחשב של הפרעות מוחיות. יתרונו העיקרי טמון באינטגרציה אדפטיבית של מאפיינים רב-מודאליים, המונחית על ידי ארכיטקטורת מומחים מרובה (multi-expert architecture) ומנגנון ניתוב רך (soft-routing mechanism) המאזן באופן דינמי בין מידע ספציפי למודאליות לבין מידע משותף. יתרה מכך, באמצעות שילוב חלק של מסכות מצב-מודאליות (modality-state masks) וטוקנים של מודאליות חסרה (missing-modality tokens), אותו מודל מאומן משיג ביצועים חסונים במהלך הסקה עם מודאליות חלקית, ללא צורך בתצורות נפרדות. באופן מכריע, המסגרת הניתנת לפירוש מספקת נתיבי שייכות אזוריים שקופים ברמת קבוצה עבור חמש הפרעות מוחיות שונות, ובכך הופכת את ארכיטקטורת "הקופסה השחורה" הקונבנציונלית לכלי מבוסס פיזיולוגיה לאבחון ממוחשב. דבר זה הוא חשוב עבור תהליכי עבודה עתידיים בדימות עצבי חישובי, שבהם מקורות נתונים הטרוגניים, זמינות חלקית של מודאליות ופלטי מודל הניתנים להסבר הם כולם שיקולים מרכזיים.

גילויים

המחברים מצהירים כי אין ניגודי אינטרסים. המחברים מצהירים כי לא נעשה שימוש בכלי בינה מלאכותית גנרטיבית בהכנת כתב יד זה, בקוד שלו, בניתוח הנתונים או ביצירת התרשימים.

תודות

מחקר זה מומן על ידי הקרן הלאומית למדעי הטבע של סין במסגרת מענקים מס' 62433002, 62277001 ו-U25A20446, פרויקט להקמה ותמיכה בצוותים חדשניים ברמה גבוהה של מוסדות עירוניים בבייג'ינג במסגרת מענק מס' BPHR20220104, ותוכנית מלגאי בייג'ינג במסגרת מענק מס' 099.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
Bashפרויקט GNU5.1.16(1)-שחרורתוכנה
C-PACFCP-INDIגרסה 1.8.7; תג מיכל release-v1.8.7.dev1תוכנה
CUDA ToolkitNVIDIA Corporationגרסה 12.4תוכנה
GPU תואם CUDANVIDIA CorporationGeForce RTX 4060 Laptop GPUציוד
אטלס קליפת המוח של Desikan-KillianyFreeSurfer, מרכז Athinoula A. Martinos לדימות ביו-רפואי, בית החולים הכללי של מסצ'וסטסaparc; 68 אזורים קורטיקליים (RRID:SCR_001847)אטלס/משאב
EEGLABמרכז Swartz למדעי המוח החישובים, אוניברסיטת קליפורניה סן דייגוגרסה 2022.1 (RRID:SCR_007292)תוכנה
FreeSurferמרכז אתינולה א. מרטינוס להדמיה ביו-רפואית, בית החולים הכללי של מסצ'וסטסגרסה 7.4.1 (RRID:SCR_001847)תוכנה
FSLFMRIB, אוניברסיטת אוקספורדמצורף ל-C-PAC 1.8.7; גרסה מדויקת לא צוינה (RRID:SCR_002823)תוכנה
מאגר הנתונים של Healthy Brain Network (HBN)Child Mind InstituteRRID:SCR_016989ערכת נתונים
MATLABMathWorksR2022a (RRID:SCR_001622)תוכנה
MNE-Pythonצוות הפיתוח של MNE-Pythonגרסה 1.9 (RRID:SCR_005972)תוכנה/ספרייה
PythonPython Software Foundationגרסה 3.12.4 (RRID:SCR_008394)תוכנה
PyTorchPyTorch Foundationגרסה 2.6.0+cu124 (RRID:SCR_018536)ספרייה

מקורות

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

הדפסות חוזרות והרשאות

גלה מאמרים נוספים

מיזוג EEG ו-fMRIדימות מוחי רב-מודאליאבחון מ komputer-סיועמקודדי גרףמפות שיוך של ROIמומחה למצב עצבימסכות מצב מודאליותניתוח הסתרת צמתים

מאמר זה פורסם

הסרטון יגיע בקרוב

צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.