מאמר שיטה

מיזוג אלקטרואנצפלוגרפיה ודימות תהודה מגנטית פונקציונלית מבוסס תערובת מומחים לאבחון מ komputer-assisted הניתן לפירוש של הפרעות מוחיות

0 צפיות

⸱

DOI:

10.3791/73432

⸱

25 בספטמבר 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

במאמר זה

סיכום

פרוטוקול זה מציג את Brain Mixture-of-Experts, מסגרת מיזוג אדפטיבית וניתנת לפירוש של אלקטרואנצפלוגרפיה (EEG) ודימות תהודה מגנטית פונקציונלי (fMRI) לצורך אבחון ממוחשב של הפרעות מוחיות. השיטה משלבת ייצוגי EEG ו-fMRI הטרוגניים באמצעות מומחים ספציפיים למודליות, מומחה מצב-עצבי משותף וניתוב אדפטיבי, תוך שמירה על יכולת פירוש והסקה תחת תנאים סימולטיביים של מודליות חסרות.

תקציר

אלקטרואנצפלוגרפיה (EEG) והדמיית תהודה מגנטית תפקודית (fMRI) מספקות מידע משלים על תפקוד המוח, והראו הבטחה משמעותית בזיהוי חריגויות תפקודיות בהפרעות מוחיות שונות. עם זאת, מאפייני האות המובחנים ומרחבי הייצוג השונים של EEG ו-fMRI מציבים אתגרים חמורים למיזוג מולטי-מודאלי יעיל, ובכך מעכבים אבחון ממוחשב ומדויק של הפרעות מוחיות באמצעות מודלים קבועים קונבנציונליים. מחקר זה מציג את Brain Mixture-of-Experts (BrainMoE), מסגרת מיזוג EEG-fMRI אדפטיבית וניתנת לפירוש לצורך אבחון ממוחשב של הפרעות מוחיות, המשלבת מאפייני מוח מולטי-מודאליים באמצעות מומחים ספציפיים למודאליות, מומחה מצב-עצבי משותף ומנגנון ניתוב אדפטיבי. BrainMoE מקרין תחילה את אותות ה-EEG וה-fMRI אל תוך מרחב מאזורי עניין (ROI) מאוחד של אטלס Desikan-Killiany (DK), ולאחר מכן משתמש במקודדי גרפים כדי לחלץ ייצוגי רשתות מוחיות ספציפיים למודאליות. מודול הניתוב הרך (soft-routing) מייצר ייצוג ניתוב, ושער המומחים (Expert Gate) במודול המיזוג (Fuse Module) מייצר משקלות ספציפיים לדגימה כדי לשלב את ייצוגי ה-EEG, ה-fMRI והמומחה למצב העצבי המשותף. כדי להתמודד עם תרחישים של רכישת נתונים חלקית, שולבו מסכות מצב-מודאליות ותוכן (tokens) של מודאליות חסרה, מה שמאפשר לאותו מודל מאומן לבצע הסקה מלאה של EEG-fMRI, הסקה של EEG בלבד והסקה של fMRI בלבד. לבסוף, ניתוח הסתרת צמתים (node-occlusion) מספק מפות ייחוס ברמת ROI עבור תחזיות המבוססות הן על EEG והן על fMRI. המסגרת הוערכה על מאגר הנתונים Healthy Brain Network (HBN) בחמש משימות סיווג בינארי של הפרעות מוחיות, כולל הפרעה דיכאונית מז'ורית, הפרעת חרדה, לקויות קריאה, הפרעה על רצף האוטיזם והפרעת קשב וריכוז/היפראקטיביות (ADHD). BrainMoE עלה בביצועיו על אלגוריתמי השוואה מהשורה הראשונה, והשיג AUC ממוצע של 86.9 ± 3.0%, וניסויי אבלציה תמכו בתרומת רכיבי הניתוב ומיזוג המומחים. יתרה מכך, ניתוח הניתנות לפירוש מזהה תרומות של ROI ברמת קבוצה לסיווג המחלה, העקביות עם ממצאי הדמיה עצבית שדווחו בעבר. שיטה זו תומכת באבחון ממוחשב של הפרעות מוחיות על ידי התמודדות עם האתגר של שילוב ייצוגים עצביים הטרוגניים של EEG-fMRI, תוך שמירה על ניתנות לפירוש ויכולת הסקה תחת תנאים מודמים של מודאליות חסרה.

מבוא

הפרעות מוחיות כרוכות בשינויים מורכבים בפעילות העצבית ובארגון רשתות המוח, שקשה לאפיין באמצעות שיטת דימוי בודדת1. לאחר שחזור מקור2, EEG מספק מידע על פעילות אלקטרופיזיולוגית (EEG) ברמת האזור, בעוד שדימות תהודה מגנטית תפקודי (fMRI) לוכד קישוריות תפקודית ברמת האזור, ובכך מציע מבטים משלימים של תפקוד המוח. כדי להקל על השילוב ביניהם, עבודות מולטי-מודאליות קודמות מיפו את שתי השיטות לאטלס Desikan-Killiany (DK) בעל 68 אזורים3. למרות שהתאמה מרחבית זו אינה מעידה על שוויון ברזולוציה הזמנית או במקור הפיזיולוגי, היא מספקת אינדקס אנטומי מאוחד למיזוג גרפים ברמת הצומת, ממדי גרף קבועים ופירוש עקבי ברמת אזור העניין (ROI), תוך שימור מידע ספציפי לכל שיטה. שילוב של ייצוגים אלו, המיושרים אנטומית אך ספציפיים לשיטה, יכול להעשיר ייצוגים של אותות מוחיים הקשורים למחלה ולתמוך באבחון ממוחשב של הפרעות מוחיות3,4.

למרות הפוטנציאל של שילוב EEG-fMRI לאבחון ממוחשב של הפרעות מוחיות, ההטרוגניות בין שני המודליות מציבה אתגר טכני לאינטגרציה יעילה שלהם. שיטות למידה חישובית קלאסיות, כגון SVM ו-MLP, יכולות לספק מודלים בסיסיים לסיווג, אך יכולתן ללכוד אינטראקציות לא-ליניאריות בין-מודליות היא מוגבלת. מודלים גנריים של למידה עמוקה, כולל ארכיטקטורות GNN5, ResNet6, ו-Transformer7, מציעים למידת ייצוג חזקה יותר אך אינם מתוכננים במיוחד עבור גרפים מוחיים ברמת ROI או עבור מידול מצב-מודליות. מודלים מתקדמים מהעת האחרונה3,8,9 הגבירו את המורכבות הלא-ליניארית כדי למדל טוב יותר רשתות מוחיות. BrainNetCNN8 הוצג כדי להתאים פעולות קונבולוציה למטריצות קישוריות מוחית; BrainGNN9 מידל בהמשך את הטופולוגיה של הגרף ברמת ROI באמצעות רשתות עצביות גרפיות ו-pooling; ו-BNT10 חיזק מאוחר יותר את ניתוח הרשת המוחית התפקודית באמצעות קשב רב-שכבתי מבוסס transformer. עם זאת, התקדמויות אלו פותחו בעיקר עבור הגדרות של מודליות בודדת. MultiEpilepsyNet11 הרחיב לאחר מכן את הלמידה הרב-מודלית לזיהוי פרכוסים ב-EEG-MRI באמצעות מסגרת היברידית פדרטיבית, ומודול EpiSkullNet++ מצד ה-MRI שיפר את הסגמנטציה והעיבוד המוקדם של המוח. SZAtt-Net12 פיתח לאחר מכן מודל סיווג רב-מודלי לסכיזופרניה על ידי שילוב בלוקים של CNN, BiGRU ו-MLP עם מנגנוני קשב ערוציים, עצמיים, מרחביים וזמניים. עם זאת, שיטות אלו נותרו ספציפיות למשימה והסתמכו על עיצובים קבועים יחסית של שילוב, ללא תמיכה מפורשת בניתוב אדפטיבי בין מצבים של מודליות מלאות למודליות חסרות.

מודלים של תערובת מומחים (Mixture-of-Experts, MoE)13,14 אומצו יותר ויותר בלמידה רב-מודאלית (multimodal learning), כיוון שהם מאפשרים עיבוד של מקורות מידע הטרוגניים על ידי מודולי מומחים ייעודיים ושילובם באופן דינמי באמצעות מנגנוני ניתוב. שער Softmax מספק משקולות מומחים מנורמלות התלויות בקלט, ואופיינו תיאורטית במונחים של קצבי התכנסות15. ארכיטקטורות רב-שעריות קשורות הדגימו עוד כי שערים נפרדים יכולים ללמוד שילובים של מומחים משותפים התלויים במשימה בלמידה רב-משימתית רחבת היקף16. במחקרים נוירולוגיים ובחקרי מוח, וריאנטים של MoE17,18,19 שימשו יותר ויותר כדי להקל על מיזוג מאפיינים הטרוגניים. dFCExpert17 השתמש במודולריות ובמומחים מבוססי-מצב כדי למדל תבניות של קישוריות תפקודית דינמית מ-fMRI. EvoMoE18 השתמש בנוסף ברשת שערים כדי לבחור מומחים מתאימים לסיווג SSVEP-EEG שאינו תלוי במשתמש. NeuroMoE++19 בחן מיזוג רב-מודאלי 적טיבי למטופל לצורך סיווג הפרעות נוירולוגיות. למרות הצלחתם, מודלים אלו מסתמכים בדרך כלל על ערבוב גס וניתוב בדיד המתעלמים מהטבע הסנכרוני מאוד של מצבים עצביים חוצי-מודאליות, מה שמעכב את הזיהוי של תבניות עדינות אך אינפורמטיביות הקריטיות לאבחון הפרעות מוחיות. יתרה מכך, ללא מנגנון ייעודי להפרדת ניואנסים ספציפיים למודאליות ממצב עצבי משותף ומאוחד, מודלים אלו מציעים יכולת פרשנות מוגבלת וסובלים מירידה בביצועים כאשר מודאליות קריטית (fMRI או EEG) חסרה.

כדי להתגבר על מגבלות אלו, מחקר זה מציג את Brain Mixture-of-Experts (BrainMoE), מסגרת איחוד EEG-fMRI אדפטיבית וניתנת לפירוש לאבחון מ komputer-assisted של חמש קטגוריות של הפרעות מוחיות, כולל הפרעה דיכאונית מז'ורית (MDD), הפרעת חרדה (ANX), הפרעת למידה ספציפית עם לקות קריאה (RI), הפרעה בספקטרום האוטיסטי (ASD), והפרעת קשב, ריכוז והיפראקטיביות (ADHD). הפרוטוקול מיישם תחילה יישור של מאפייני EEG המשוחזרים מהמקור ומאפייני fMRI למרחב ה-ROI של ה-DK-atlas20 ולאחר מכן בונה ייצוגי מודליות מבוססי גרף עבור שתי המודליות. BrainMoE משתמש במומחה EEG, מומחה fMRI ומומחה מצב-עצבי משותף, אשר משולבים על ידי מודול ניתוב רך (soft routing module) כדי לשלב מידע ספציפי למודליות ומידע משותף. מסיכות מצב-מודליות (Modality-state masks) ותוויות מודליות חסרות (missing-modality tokens) שולבו כדי לאפשר הסקת מסקנות מלאה של EEG-fMRI, EEG בלבד ו-fMRI בלבד בתוך מודל מאומן אחד. כדי לתמוך בפירושיות ביולוגית, הפרוטוקול מיישם בנוסף ניתוח הסתרת צמתים (node-occlusion analysis), שבו כל ROI ב-DK-atlas מוסתר באופן סלקטיבי, והשינוי הנובע מכך בהסתברות לחיזוי המחלה משמש להערכת התרומות האזוריות הנגזרות מ-EEG ומ-fMRI. פרוטוקול זה מתאר את תהליך העבודה המלא ליישור נתונים, בניית מודל, אימון, הערכה ופירוש ROI מבוסס הסתרת צמתים, ובכך מספק אסטרטגיה אדפטיבית וניתנת לפירוש לאבחון מ komputer-assisted של הפרעות מוחיות באמצעות איחוד אותות מוחיים הטרוגניים של EEG-fMRI. כדי להקל על השחזור והרחבות עתידיות, מאגר ה-GitHub הציבורי מספק את קוד המודל, האימון וההערכה של BrainMoE, בעוד שעיבוד מקדים של EEG ו-fMRI בוצע באמצעות תוכנות צד ג' הזמינות לציבור. המאגר זמין בכתובת https://github.com/zhongruizhe123/BrainMoE.

פרוטוקול

מחקר זה השתמש בנתונים שעברו דה-אידנטיפיקציה (de-identified) ממאגר הנתונים של רשת המוח הבריא (Healthy Brain Network - HBN)21, תוך התמקדות בחמש הפרעות קליניות שונות למשימות סיווג אבחנתי בהמשך. אישור אתי והסכמה מדעת בכתב הושגו מבעוד המאוחר על ידי יוזמת ה-HBN מכל האתרים והנבדקים המשתתפים. הקלטות EEG ו-fMRI נרכשו במפגשים נפרדים ולא בו-זמנית, והוצמדו באמצעות מזהי המשתתפים והמפגשים הזמינים ב-HBN.

1. הכנת סביבת החישוב ונתוני הקלט

  1. הגדרת סביבת החישוב
    1. יצירה והפעלה של סביבה וירטואלית של Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. התקנת החבילות הנדרשות והגרסאות הקבועות שלהן באמצעות קובץ requirements.txt המסופק במאגר ה-GitHub הציבורי: pip install -r requirements.txt
    3. אימות תצורת PyTorch ו-CUDA לפני האימון: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." וודאו שהפלט מדווח על PyTorch 2.6.0+cu124, CUDA 12.4, ושהזמינות של CUDA היא True. בצעו את אימון המודל באמצעות GPU תואם CUDA.
  2. בדיקת כל קובצי הקלט בפורמט H5 לפני אימון המודל.
    1. וודאו שכל קובץ מכיל את sLORETA_mean_func עבור מאפייני צומת של EEG, את sLORETA_mean_CorrMatrix עבור גרף ה-EEG, את fMRI-DK68-node-mat עבור מאפייני צומת של fMRI, את fMRI-DK68-edge-mat עבור גרף ה-fMRI, ותיגית (label) לאבחנה. השמיטו קבצים עם מפתחות חסרים, רשומות שאינן מספריות, תגיות לא תקינות, או ממדים שאינם עקביים עם אטלס Desikan-Killiany בן 68 אזורים. הפעילו את סקריפט בדיקת קלטי ה-H5 באופן הבא: python checkH5.py (Supplementary File 1).

2. יישור מאפייני EEG ו-fMRI למרחב אנטומי משותף

  1. עיבוד מקדמי של נתוני fMRI.
    1. עבדו את נתוני ה-fMRI באמצעות C-PAC (גרסה 1.8.7). הריצו את סקריפט העיבוד המקדמי של C-PAC באופן הבא: bash run_cpac_brainmoe.sh <BIDS_DIR> <OUTPUT_DIR> (קובץ משלים 2). השמיטו את חמשת הנפחים הראשונים כדי להפחית השפעות של אות שאינו במצב יציב (non-steady-state) בתחילת הסריקה.
    2. בצעו תיקון זמני של פרוסות (slice-timing correction), תיקון תנועה, תיקון עיוותים, רישום (registration), נורמליזציה למרחב האנטומי MNI152 והחלקה מרחבית. בצעו רגרסיה ל-24 פרמטרים של רעש הקשורים לתנועה.
    3. החילו סינון פס-מעבר (band-pass filtering) זמני בטווח של 0.01-0.08 Hz.
  2. יצירת מאפייני fMRI מיושרים לאטלס.
    1. עבדו את ה-MRI המבני התואם באמצעות FreeSurfer (גרסה 7.4.1). הריצו את הסקריפטים באופן הבא: bash Step01_mgz_2_nifti.sh. בצעו רישום משותף (coregister) של חלוקת הקליפה (cortical parcellation) של Desikan-Killiany שהתקבלה למרחב ה-fMRI המקורי של המשתתף. הריצו את הסקריפטים באופן הבא: python Step02_CoRegistration.py. חשבו את ממוצע האות ברמת הווקסל בתוך כל אחד מ-68 אזורי הקליפה. הריצו את הסקריפטים באופן הבא: python Step03_fMRI_Signal_Extraction.py (קובץ משלים 3).
    2. שמרו 370 נקודות זמן רצופות של fMRI ללא ריפוד זמני (temporal padding) כדי לקבל מטריצת מאפייני-צמתים של fMRI בגודל 68 x 370, כאשר 68 מייצג את אזורי הקליפה של DK ו-370 מייצג את נקודות הזמן שנשמרו של ה-fMRI.
  3. בניית גרף ה-fMRI.
    1. חשבו מתאמי פירסון בין סדרות הזמן של 370 הנקודות עבור 68 אזורי ה-DK. שמרו את מטריצת הקישוריות התפקודית שהתקבלה בגודל 68 x 68 כמטריצת הקצוות של ה-fMRI.
  4. עיבוד מקדמי של נתוני EEG.
    1. עבדו את הקלטות ה-EEG של 129 הערוצים באמצעות ארגז הכלים EEGLAB (גרסה 2022.1) ב-MATLAB (גרסה R2022a). הריצו את שני סקריפטים של עיבוד מקדמי ב-EEGLAB באופן רצופי כדלקמן: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (קובץ משלים 4). שמרו על קצב דגימה של 500 Hz והחילו סינון פס-מעבר של 0.2–40 Hz. זהו מקטעים רועשים ואלקטרודות פגומות, ובצעו אינטרפולציה לערוצים פגומים באמצעות האות הממוצע מאלקטרודות סמוכות.
    2. השתמשו בניתוח רכיבים בלתי תלויים (ICA) עם תוסף ICLabel לסיווג רכיבים בלתי תלויים. הסירו רכיבים עם הסתברות סיווג של ארטיפקט עיני או שרירי הגבוהה מ-0.90. החילו ייחוס מחדש לממוצע (average re-referencing). השמיטו הקלטות המכילות פחות מ-250 s של נתונים שמישים לאחר העיבוד המקדמי והסרת הארטיפקטים.
  5. יצירת מאפייני EEG מיושרים לאטלס.
    1. בנו מודל ראש אישידי בשיטת אלמנטים גבוליים (BEM) בעל שלוש שכבות מכל MRI מבני של משתתף. הגדירו את מרחב המקורות על פני השטח של הקליפה האישית של כל משתתף. רשמו את מיקומי אלקטרודות ה-EEG על פני השטח של ה-BEM וחשבו את מטריצת השדה המוביל (lead-field matrix).
    2. החילו אופרטור הפוך המורגל באמצעות מטריצת קווריאנס של רעש בקו הבסיס. הגדירו את יחס האות לרעש ל-3.0, מה שנותן λ2 = 1/SNR2 = 1/9 (בקירוב 0.1111), ובצעו לוקליזציית מקורות באמצעות טומוגרפיה אלקטרומגנטית סטנדרטית ברזולוציה נמוכה (sLORETA) המיושמת ב-MNE-Python (גרסה 1.9).
    3. אגדו את הערכות המקור ברמת הוורטקס בתוך כל חלוקה של Desikan-Killiany על ידי ממוצע אריתמטי כדי לקבל 68 סדרות זמן ברמת ROI. שמרו את מקטע 250 s הרצוף הראשון וחלקו כל סדרת זמן של ROI ל-250 תקופות (epochs) רצופות ולא חופפות של 1 s.
    4. חשבו את הספק של פס אלפא ב-8–12 Hz בתוך כל תקופה כדי לקבל מטריצת מאפייני-צמתים של EEG בגודל 68 x 250, כאשר 68 מייצג את אזורי הקליפה של DK ו-250 מייצג את 250 התקופות הרצופות ולא החופפות של 1 s.
  6. בניית גרף ה-EEG ואימות יישור חוצה-מודאליות.
    1. חשבו מתאמי פירסון בין סדרות הספק האלפא ב-8–12 Hz של 250 התקופות עבור 68 אזורי ה-DK. שמרו את המטריצה שהתקבלה בגודל 68 x 68 כגרף ה-EEG.
    2. אשרו שמטריצות ה-EEG וה-fMRI משתמשות באותו סדר של אזורי DK ומשתמשות באותו קובץ אינדקס של אזורי DK עבור קלט המודל, שיוך וויזואליזציה. הריצו את סקריפט לוקליזציית המקורות והפקת המאפיינים של MNE-Python באופן הבא: python "Extract features - templates.py" (קובץ משלים 5).
  7. נורמליזציה של מאפייני צמתים בתוך כל דגימה.
    1. החילו נורמליזציית z-score ברמת הצומת על מטריצות מאפייני הצמתים של EEG ו-fMRI. שמרו את מטריצות הגרף כקלטי קישוריות והחילו נורמליזציית גרף בתוך מודל ה-BrainMoE.
    2. בצעו עיבוד מקדמי של EEG ו-fMRI באופן עצמאי עבור כל משתתף באמצעות הגדרות קבועות, ללא שימוש במידע מקיפולי האימות הצולב (cross-validation folds) לקביעת פרמטרי העיבוד המקדמי.

3. בניית משימות סיווג בינארי ספציפיות למחלה

  1. הגדירו חמישה משימות סיווג בינארי ספציפיות למחלה.
    1. קודדו ביקורות בריאות (HC) כסוג 0 בכל המשימות, וקודדו רק את קבוצת המחלה הנבחרת כסוג 1 בתוך המשימה שלה.
    2. בנו משימות נפרדות של בריאות מול מחלה עבור דיכאון, הפרעת חרדה, הפרעה נוירו-התפתחותית עם הפרעת למידה ספציפית ולקות קריאה, הפרעה בספקטרום האוטיסטי, והפרעת קשב וריכוז/היפראקטיביות.
  2. אפיינו את קוהורטות המחקר ובחנו השפעות פוטנציאליות של מין ואתר רכישת הנתונים.
    1. עבור כל משימה ספציפית למחלה, כללו משתתפי HBN עם נתוני EEG, fMRI ודימות תהודה מגנטית מבני (sMRI) מלאים ותווית אבחונית תקפה. הסירו משתתפים עם אבחנות נלוות (comorbid) מקוהורטות החולים. הסירו הקלטות EEG המכילות פחות מ-250 s של נתונים שמיש לאחר עיבוד מקדים והסרת ארטיפקטים, ושמרו רק קבצי קלט שעברו את קריטריוני בקרת האיכות המתוארים בסעיף 1.2.
    2. סכמו את מספר הרשומות הרב-מודאליות שנשמרו ואת מספר המשתתפים הייחודיים, יחסי חולים לבריאות, טווחי גילים, התפלגויות מין והתפלגויות אתרי רכישה עבור קוהורטת ה-HC המשותפת ועבור כל קוהורטת מחלה בטבלה 4.
      הערה: אותה קוהורטת HC שימשה שוב כסוג 0 בכל חמש המשימות, ולכן הערכות הביצועים ברמת המשימה אינן בלתי-תלויות סטטיסטית. תלות זו נובעת מקוהורטת ה-HC המשותפת ולא מחפיפה בין קבוצות המחלה.
    3. בצעו שחלוף (stratify) של הביצועים לפי מין ואתר רכישה והשוו את הערכים שהתקבלו באמצעות מבחני Welch t-tests דו-זנביים לאורך הרצות ה-5-fold cross-validation החוזרות.
  3. בחרו קבצי H5 ספציפיים למשימה והגדירו פילולי אימות צולב (cross-validation splits).
    1. עבור כל משימה, שמרו רק את קבוצת ה-HC ואת קבוצת המחלה המטרה. צרו 10 חזרות של 5-fold cross-validation ברמת המשתתף. בצעו שחלוף של משתתפים ייחודיים לפי תווית הסיווג הבינארית, HC מול מחלת המטרה, כדי לשמר את התפלגות הסוגים בין הפילולים.
    2. השתמשו במזהה המשתתף הייחודי כמשתנה הקיבוץ והקצו את כל הסשנים והרשומות הרב-מודאליות מאותו משתתף לאותו פילול. השתמשו בזרעים אקראיים (random seeds) 1–10, בהתאמה, כדי ליצור את 10 חלוקות האימות הצולב החוזרות. השתמשו בזרע אקראי קבוע של 1 עבור אתחול ואימון המודל.
    3. שמרו את הפילול המוחרג (held-out fold) אך ורק לצורך הערכה סופית, ושמרו את מזהי המשתתפים, רשימות הקבצים ומדדי החלוקה עבור כל פילול יחד עם נקודת הבקרה (checkpoint) המתאימה. עבור כל פילול אימון, חשבו משקולות סוג (class weights) מתוויות האימון והשתמשו בהן ב-cross-entropy loss כדי להפחית הטיות הנגרמות מחוסר איזון בין הסוגים.

4. בניית ארכיטקטורת BrainMoE לאבחון מחלות מוח בסיוע מחשב

הערה: ארכיטקטורת ה-BrainMoE תוכננה כמסגרת קומפקטית למיזוג EEG-fMRI עם מודאליות חסרה, המשלבת מקודד גרפים (graph encoder), ניתוב רך של מצב עצבי משותף (shared neural-state soft routing) ואינטגרציית תכונות מבוססת מומחים לצורך אבחנה בינארית ספציפית למחלה. הארכיטקטורה הכוללת מוצגת ב-איור 1, וקוד המימוש מסופק ב-קובץ משלים 6.

  1. הגדר את הקלטים של ה-BrainMoE ואת מצבי המודליות. השתמש במודליות EEG ובמודליות fMRI לאחר יישור מרחב-מקור (source-space alignment) כקלטי גרפים מזווגים. כאן, X מייצג מטריצת מאפיינים אזורית, A מייצג גרף מוחי ספציפי למודליות, וכל שורה תואמת לאחד מ-68 האזורים של Desikan-Killiany.
    figure-protocol-1
    figure-protocol-2
    הגדר את מסכת זמינות המודליות (Modality Availability Mask) כ-m = [mEEG, mfMRI]. השתמש ב-m = [1,1] עבור קלט EEG-fMRI מלא, ב-m = [1,0] עבור קלט EEG בלבד, וב-m = [0,1] עבור קלט fMRI בלבד.
  2. מקודד גרפים (Graph encoder): עבור כל מודליות q, כאשר q היא EEG או fMRI, העבר את מטריצת המאפיינים Xq ואת הגרף Aq למקודד הגרפים הספציפי למודליות שלה. המקודד הוא מודול עצבי הניתן לאימון הכולל היטלת צמתים (node projection), העברת הודעות בגרף (graph message passing), נורמליזציה, אקטיבציה ו-dropout (p=0.3).
    figure-protocol-3
    הערה: בסימון זה, Zq הוא הייצוג החבוי (latent representation) ברמת ה-ROI המופק על ידי מקודד הגרפים של ה-EEG או מקודד הגרפים של ה-fMRI. מקודד הגרפים של ה-EEG ממפה כל מטריצת קלט של 68 x 250 לייצוג חבוי של 68 x 128, בעוד שמקודד הגרפים של ה-fMRI ממפה כל מטריצת קלט של 68 x 370 לייצוג חבוי של 68 x 128. כל מקודד משתמש בהטלת קלט ולאחריה שתי שכבות קונבולוציית-גרפים רזידואליות עם 128 ממדים נסתרים, אקטיבציית GELU, נורמליזציית שכבה ו-dropout.
  3. טוקנים הניתנים לאימון עבור מודליות חסרה: יהי Tq הטוקן עבור מודליות q ו-mq מחוון הזמינות המתאים. שלב זה מייצר ייצוג מודע-מצב (state-aware representation) השומר על אותו פריסת 68 אזורים תחת קלטים של מודליות מלאה או מודליות בודדת.
    figure-protocol-4
    הערה: כל טוקן של מודליות חסרה הניתן לאימון הוא וקטור בעל 128 ממדים והוא מורחב על פני 68 שורות ROI כאשר המודליות המתאימה אינה זמינה.
  4. מודול ניתוב רך (Soft-Routing) משותף למצב עצבי: ראשית, שלב את ייצוג ה-EEG המודע-מצב ZEEG, את ייצוג ה-fMRI המודע-מצב ZfMRI ואת מסכת זמינות המודליות המוטמעת. מסכת זמינות המודליות מוטמעת על ידי MLP עם ממדים 2 → 128, אקטיבציית GELU ונורמליזציית שכבה. הנתב (Router) מורכב משתי שכבות קונבולוציה חד-ממדיות עם ממדי ערוצים 384 → 128 → 128, גודל גרעין (kernel size) 3 ו-padding 1. אקטיבציית GELU מיושמת לאחר כל קונבולוציה, עם dropout (p=0.3) לאחר הקונבולוציה הראשונה.
    figure-protocol-5
    figure-protocol-6
  5. מומחה מצב-עצבי משותף.
    1. שרשר את ייצוג ה-EEG המודע-מצב ZEEG, את ייצוג ה-fMRI המודע-מצב ZfMRI ואת ייצוג הניתוב הרך R לאורך ממד המאפיינים. החל שכבת מיזוג (fusion) מחוברת במלואה (384 ל-128), ולאחריה נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3), ובצע mean-pooling לייצוג שהתקבל על פני 68 ה-ROIs כדי לקבל את הייצוג הממוזג ברמת הנבדק בעל 128 ממדים zfused:
      figure-protocol-7
    2. העבר את zfused דרך המומחה למצב-עצבי המשותף, המורכב משכבה מחוברת במלואה (128 ל-128), נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3). סמן את ייצוג המומחה המשותף בעל 128 הממדים שהתקבל כ-Eshared:
      figure-protocol-8
  6. מומחי EEG ו-fMRI.
    1. עבור כל מודליות, בצע mean-pooling לייצוג המודע-מצב על פני 68 ה-ROIs והעבר את הייצוג בעל 128 הממדים שהתקבל דרך המומחה הספציפי למודליות המתאימה:
      figure-protocol-9
    2. כל מומחה ספציפי למודליות מורכב משכבה מחוברת במלואה (128 ל-128), נורמליזציית שכבה, אקטיבציית GELU ו-dropout (p=0.3). סמן את ייצוגי המומחים הספציפיים למודליות בעלי 128 הממדים שהתקבלו כ-EEEG ו-EfMRI, בהתאמה.
  7. מודול מיזוג (Fuse module).
    1. כדי לחשב את משקלי המומחים, שרשר את הייצוג הממוזג ברמת הנבדק בעל 128 הממדים zfused עם מסכת זמינות המודליות בעלת 2 הממדים m, מה שיוצר קלט Gate בעל 130 ממדים. מודול המיזוג מכיל Expert Gate המייצר את המשקלים הספציפיים לדגימה המשמשים למיזוג המומחים. ה-Expert Gate מורכב משכבה מחוברת במלואה (130 ל-128), ולאחריה אקטיבציית GELU, dropout (p = 0.3) ושכבה מחוברת במלואה של פלט (128 ל-3). החל softmax על שלושת ה-logits של הפלט כדי לקבל את משקלי המומחים הספציפיים לדגימה:figure-protocol-10
    2. המשקלים שהתקבלו הם אי-שליליים וסכומם הוא 1 עבור כל דגימה:
      figure-protocol-11
    3. הכפל כל ייצוג מומחה בעל 128 ממדים במשקל ה-Gate המתאים לו וסכם את שלושת הייצוגים המשוקללים:
      figure-protocol-12
      הערה: פעולה זו מממשת מיזוג dense soft MoE.
    4. העבר את ייצוג המומחה הסופי בעל 128 הממדים efused לראש הסיווג לאבחון הפרעות מוחיות המתואר בסעיף 4.8.
  8. ראש סיווג לאבחון הפרעות מוחיות: העבר את ייצוג המומחה הסופי בעל 128 הממדים דרך ראש סיווג המורכב מנורמליזציית שכבה, dropout (p = 0.3) ושכבה מחוברת במלואה הממפה 128 ממדים ל-2 logits של פלט. החל softmax כדי לקבל את ההסתברות ל-HC ואת ההסתברות למחלה המהווה את היעד. שייך את הדגימה למחלקת המחלה כאשר ההסתברות למחלה המהווה את היעד היא לפחות 0.5.
    figure-protocol-13
  9. אמת את עקביות המימוש לפני האימון. הרץ מעבר קדימה (forward pass) לדגימה תחת m = [1,1], m = [1,0], ו-m = [0,1]. ודא שייצוגי ה-EEG, ה-fMRI, המודע-מצב, הניתוב והמיזוג שומרים על 68 שורות ROI אלא אם בוצע pooling במפורש, וודא שסכום משקלי המומחים הוא 1 בסדר הבא: מומחה EEG, מומחה fMRI ומומחה מצב-עצבי משותף.

5. אימון חמשת מודלי ה-BrainMoE לאבחון הפרעות מוחיות

  1. אמנו מודל BrainMoE אחד עבור כל משימה בינארית ספציפית למחלה.
    1. השתמשו באותה ארכיטקטורה ובפרמטרים ראשוניים (hyperparameters) ברירת מחדג עבור כל המשימות: 30 epochs, גודל batch של 16, קצב למידה (learning rate) של 0.001, ו-weight decay של 0.0001. קבעו את ארכיטקטורת המודל ואת הפרמטרים הראשוניים לפני הערכת ה-test-fold, והשאירו אותם ללא שינוי בכל ה-folds, החזרות והמשימות הספציפיות למחלה.
    2. אין להשתמש בביצועי ה-test-fold המופרש לבחירת מודל או לכוונון פרמטרים ראשוניים. עבור כל mini-batch, בצעו שלושה מעברים קדימה (forward passes) באמצעות המסכות המלאה, EEG בלבד ו-fMRI בלבד עם משקולות מודל משותפות. הריצו את אימון ה-BrainMoE באופן הבא: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (Supplementary File 6). הגדירו את <TASK> כ-depression, anxiety, reading_disorder, autism, או adhd.
  2. בצעו אופטימיזציה של הפסד הסיווג הממוצע של שלושת המצבים. חשבו את הפסד ה-cross-entropy המשוקלל לפי מחלקות Ls עבור כל מצב כך:
    figure-protocol-14
    ומצעו את ההפסדים כך:
    figure-protocol-15
  3. אפסו את הגרדיאנטים, בצעו פשיטה לאחור (backpropagate) ועדכנו את כל הפרמטרים הניתנים לאימון באמצעות AdamW.

6. הערכת מצבי הסקת מסקנות במודאליות מלאה ובמודאליות חסרה

  1. שיטת הערכה: טענו את נקודת הבקרה (checkpoint) עבור משימת המחלה שנבחרה והשתמשו ברשימת קובצי הבדיקה השמורה מאותה נקודת בקרה. השתמשו ב-m = [1,1] עבור הסקת מסקנות (inference) מלאה של EEG-fMRI, ב-m = [1,0] עבור הסקת מסקנות של EEG בלבד, וב-m = [0,1] עבור הסקת מסקנות של fMRI בלבד. לבסוף, החילו softmax כדי לקבל את ההסתברות למחלה המטרה והקצו את סיווג המחלה כאשר ההסתברות היא לפחות 0.5.
  2. מדדי הערכה: חשבו את מדדי ההערכה מתוך מטריצת הבלבול (confusion matrix), כאשר TP מייצג דגימות חיוביות למחלה שסווגו נכונה כמחלה, TN מייצג HC (ביקורת בריאה) שסווגו נכונה כבריאים, FP מייצג HC שסווגו בטעות כמחלה, ו-FN מייצג דגימות חיוביות למחלה שסווגו בטעות כבריאות.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. השתמשו ב-accuracy כדי לדווח על שיעור הסיווג הנכון הכולל. השתמשו ב-sensitivity כדי לכמת את הגילוי של חיוביים למחלה וב-specificity כדי לכמת את הזיהוי של HC.
  4. השתמשו ב-F1 score כדי לסכם את האיזון בין precision ל-sensitivity. השתמשו ב-balanced accuracy כדי להפחית את השפעת חוסר האיזון בין המחלקות. בנוסף, חשבו את ה-AUC כדי להעריך אפליה שאינה תלויה בסף על פני ספי ההחלטה שונים.
  5. עבור כל חזרה, חשבו ממוצע של כל מדד ביצועים על פני חמשת הקיפולים (folds) שהושארו בחוץ. דווחו על התוצאות הסופיות כממוצע וסטיית התקן של 10 הממוצעים ברמת החזרות.
  6. השוו את BrainMoE לשיטות הבסיס (baseline). כל שיטות הבסיס השתמשו באותן חלוקות ברמת המשתתף ובקלט EEG-fMRI מלא כמו BrainMoE, עם הגדרות שנקבעו לפני ההערכה של הנתונים שהושארו בחוץ. BrainMoE הושווה לכל שיטת בסיס באמצעות מבחני t מזווגים דו-זנביים עם תיקון Holm.

7. ביצוע ייחוס חסימת צמתים ברמת הקבוצה עבור חמשת הפרעות מוחיות

  1. הגדירו את קהילת הייחוס (attribution cohort). טענו את נקודת הבקרה (checkpoint) המאומנת של BrainMoE ואת קובץ שמות אזורי ה-DK. בחרו דגימות בדיקה חיוביות למחלה שסווגו נכון תחת המצב המלא של EEG-fMRI עם m = [1,1]. השתמשו בקהילה זו לניתוח ייחוס ברמת הקבוצה ושמרו את הסתברות מחלת המטרה הבסיסית של כל דגימה.
  2. חשבו ציוני חסימת קשריות (node occlusion scores) ספציפיים למודאליות. עבור ייחוס המופק מ-EEG, חסמו ROI אחד של EEG בכל פעם על ידי הגדרת וקטור תכונות הקשר של ה-EEG הנבחר והשורה והעמודה המתאימות בגרף ה-EEG לאפס, תוך השארת קלט ה-fMRI ללא שינוי. עבור ייחוס המופק מ-fMRI, בצעו את אותה פעולה על מטריצת תכונות הקשריות של ה-fMRI ועל גרף ה-fMRI, תוך השארת קלט ה-EEG ללא שינוי. חזרו על הליך זה על פני כל 68 אזורי ה-DK. הרייצו את ניתוח ייחוס חסימת הקשריות באמצעות הקוד המסופק ב-קובץ משלים 7.
  3. חשבו והציגו ויזואלית את תרומת ה-ROI ברמת הקבוצה. עבור כל ROI וכל מודאליות, חשבו את ציון התרומה כירידה הממוצעת בהסתברות למחלת המטרה לאחר חסימה בכל הדגימות הנבחרות. דרוגו את הציונים המופקים מ-EEG ומ-fMRI בנפרד, ייצאו את 10 ה-ROIs המובילים עבור כל מודאליות, וסמנו את ה-ROI בעל הדירוג הגבוה ביותר באיור.

תוצאות

ביצועי BrainMoE על פני הפרעות ומצבי מודליות
הפרוטוקול יצר חמישה מסווגי BrainMoE ספציפיים למחלה להבחנה בין בריאים לחולים, והפיק טבלאות תחזית עבור מצבי הסקה של EEG-fMRI מלא, EEG בלבד, ו-fMRI בלבד. מצב ה-EEG-fMRI המלא הניב יכולת הבחנה גבוהה באופן עקבי בחמשת המשימות, עם ערכי AUC שנעו בין 84.4 ± 3.2% עבור RI ל-88.4 ± 3.8% עבור ASD (טבלה 1). ביצועי המצב המלא בממוצע מאקרו על פני חמש המשימות הגיעו ל-86.9 ± 3.0% AUC, 81.4 ± 3.1% דיוק (accuracy), 81.4 ± 2.5% דיוק מאוזן (balanced accuracy), ו-81.2 ± 3.0% במדד F1.

תחת תנאים מדמים של מודליות חסרה, BrainMoE שמר על ביצועים שמישים כאשר אחת ממודליות הקלט הייתה מוסתרת. במצב של EEG בלבד, המודל השיג AUC ממוצע-מאקרו של 83.1 ± 3.7%, כאשר ה-AUC הגבוה ביותר עבור EEG בלבד נצפה עבור ADHD ועמד על 87.9 ± 2.8%. במצב של fMRI בלבד, ה-AUC הממוצע-מאקרו היה 80.0 ± 3.9%. טווחי ביצועים אלו והיתרון הצפוי בביצועים במצב מלא משמשים כנקודות ייחוס מעשיות ליישום מוצלח, ומצביעים על כך שמסגרת BrainMoE המאומנת יכולה לבצע הסקה מלאה, הסקה של EEG בלבד והסקה של fMRI בלבד ללא צורך במודלים נפרדים עבור כל מודליות.

תוצאה תת-אופטימלית מייצגת היא כישלון בשחזור יתרון הביצועים הצפוי של המצב המלא (full-state), לדוגמה, כאשר ה-AUC של EEG-fMRI המלא נמוך מה-AUC של EEG בלבד או fMRI בלבד. לעומת זאת, יישום מוצלח צריך לשחזר את יתרון המצב המלא ואת טווחי ביצועי הייחוס המדווחים ב-טבלה 1. כאשר נצפית תבנית תת-אופטימלית, יש לאמת את ממדי הקלט של H5, את סדר אזורי ה-DK, את השיוך של מסכת זמינות המודליות (modality-availability mask) ואת חלוקות האימות הצולב (cross-validation partitions) השמורות לפני פרשנות פלט המודל.

השוואת ביצועים (Benchmark)
מודל ה-BrainMoE המוצע הושווה לשיטות למידה חישובית קלאסיות (מכונת וקטורים תומכים (SVM) ופרספטרון רב-שכבתי (MLP)), שיטות למידה עמוקה כלליות (Transformer7, 3D-CNN22 ו-ResNet6), שיטות למידה עמוקה מתקדמות (BrainNetCNN8, BNT10, BrainGNN9, MultiEpilepsyNet11, SZAtt-Net12), ושיטות למידה עמוקה מבוססות MoE (dFCExpert17, EvoMoE18, ו-NeuroMoE++19) (טבלה 2). BrainMoE השיג את ממוצע ה-AUC הגבוה ביותר מבין כל השיטות שהושוו, עם 86.9 ± 3.0%.

שיטות למידת מכונה קלאסיות הראו ביצועים ממוצעים נמוכים יותר, כאשר SVM השיגה AUC ממוצע של 66.7 ± 4.5% ו-MLP השיגה 64.6 ± 6.3%. שיטות למידה עמוקה כלליות הראו ביצועים משתנים, כאשר ResNet השיגה AUC ממוצע של 71.0 ± 3.3% ו-Transformer השיגה 63.8 ± 4.7%. מבין בסיסי ההשוואה של למידה עמוקה מתקדמת, BNT, BrainGNN, MultiEpilepsyNet ו-SZAtt-Net הציגו ביצועים טובים יותר מרוב שיטות למידת המכונה הקלאסיות והלמידה העמוקה הכללית, אך ה-AUC הממוצע שלהן נותר נמוך מזה של BrainMoE.

כדי לספק תמיכה סטטיסטית להשוואת מדדי הייחוס (benchmark), BrainMoE הושווה לקו הבסיס (baseline) החזק ביותר עבור כל מדד ביצועים (טבלה 3). BrainMoE הציג ביצועים טובים יותר מ-NeuroMoE++ ב-AUC ובדיוק מאוזן (BA), וביצועים טובים יותר מ-SZAtt-Net במדד F1 ובדיוק. כל ההשוואות נותרו מובהקות לאחר תיקון Holm.

ניתוח תתי-קבוצות לפי מין ואתר רכישה
מאפייני העשייה הספציפיים של הקוהורט, כולל מספר הרשומות הרב-מודאליות שנשמרו, יחסי מחלה-לבקרה, ספירות משתתפים ייחודיים, סיכומי גיל, התפלגויות מין והתפלגויות אתרי רכישה, מסוכמים בטבלת מאפייני הקוהורט (Table 4). יחסי המחלה-לבקרה מחושבים מספירות הרשומות הרב-מודאליות, בעוד שמאפיינים דמוגרפיים ומאפייני אתרי רכישה מסוכמים ברמת המשתתף הייחודי.

כדי להעריך את ההשפעות הפוטנציאליות של מין ואתר רכישה, ביצועי BrainMoE נחלקו לפי גורמים אלו (טבלה 5). תת-הקבוצה של הזכרים הראתה ממוצע גבוה יותר של AUC, BA, F1 score ודיוק מאשר תת-הקבוצה של הנקבות, בעוד שערכי ה-p המתאימים של Welch ללא התאמה נעו בין 0.089 ל-0.321. באופן דומה, תת-הקבוצה של RUBIC הראתה ביצועי ממוצע גבוהים יותר מאשר תת-הקבוצה של Staten Island, עם ערכי p שנעו בין 0.055 ל-0.309. בניתוחים אלו לא נמצא הבדל מובהק סטטיסטית בין תתי-הקבוצות.

ניתוח אבלציה של רכיבי BrainMoE
ניסויי אבלציה בוצעו כדי להעריך את תרומתם של מסיכת זמינות המודליות, הנתב הקונבולוציוני, המומחה המשותף ותכנון מיזוג המומחים של ה-MoE (טבלה 6). הסרת השכבת ה-embedding של המסיכה הפחיתה את ה-AUC הממוצע ל-79.2 ± 3.1%, והחלפת הנתב הקונבולוציוני בנתב MLP הפחיתה אותו ל-79.3 ± 3.7%. הסרת המומחה המשותף הפחיתה את ה-AUC של fMRI בלבד ל-73.5 ± 3.3%, הערך הנמוך ביותר מבין הגרסאות שנבדקו. הסרת כל מומחי ה-MoE הפחיתה גם היא את הדיוק המאוזן הכולל ל-74.2 ± 3.0%. תוצאות אבלציה אלו הראו כי תכנון ה-BrainMoE המלא השיג את הביצועים הכוללים החזקים ביותר הן במצבי מודליות מלאים והן במצבים של מודליות חסרות, בעוד ששכבת ה-embedding של המסיכה, הנתב הקונבולוציוני, המומחה המשותף ומיזוג מומחי ה-MoE תרמו כל אחד להתנהגות הסופית של המודל.

תוצאות פרשנות ברמת ROI עבור חמשה הפרעות מוחיות
כדי לבחון את התרומות האזוריות העומדות בבסיס התחזיות של BrainMoE, בוצע ייחוס באמצעות הסתרת צמתים (node-occlusion attribution) על דגימות חיוביות למחלה שסווגו נכון במצב EEG-fMRI המלא. תרומות ROI הנגזרות מ-EEG ומ-fMRI דורגו בנפרד על ידי מדידת הירידה בהסתברות למחלה המיועדת לאחר הסתרת כל אזור באטלס DK. הניתוח זיהה דפוסי תרומה ספציפיים למודליות לאורך חמש משימות המחלות (איור 2). עבור ייחוס נגזר fMRI, האזורים בעלי הדירוג הגבוה ביותר היו ה-posterior cingulate השמאלי ב-MDD, ה-pericalcarine cortex הימני ב-ANX, ה-parahippocampal cortex השמאלי ב-RI, ה-pars triangularis הימני ב-ASD, וה-entorhinal cortex השמאלי ב-ADHD. עבור ייחוס נגזר EEG, האזורים בעלי הדירוג הגבוה ביותר היו ה-banks of the superior temporal sulcus השמאליים ב-MDD, ה-precentral cortex השמאלי ב-ANX, ה-cuneus השמאלי ב-RI, ה-lingual cortex השמאלי ב-ASD, וה-insula הימני ב-ADHD. ה-ROIs בעלי הדירוג הגבוה ביותר הנגזרים מ-EEG ומ-fMRI עבור כל הפרעה מוצגים על פני שטח קורטקלי ב-איור 3. תוצאות אלו הראו כי BrainMoE סיפק פרשנות ברמת ROI תוך שמירה על פרופילי ייחוס נפרדים עבור ייצוגים נגזרי EEG ונגזרי fMRI. עבור דגימות חיוביות למחלה שסווגו נכון, נבחנה יציבות חוצת-קיפולים (cross-fold stability) באמצעות תדירות ה-Top-1 ROI על פני 50 קיפולים שהושארו בחוץ (טבלה 7). התדירויות שנצפו נעות בין 36% ל-68%, מה שעולה על רמת הייחוס התאורטית של בחירה אקראית של 1/68 (1.47%) ותומך בפרשנות המבוססת על דירוגים יחסיים ולא על גדלי תרומה מוחלטים. השוואות לממצאי דימות מוחי קודמים בוצעו באופן post hoc ושימשו רק כדי להקשיר את תוצאות הייחוס, ולא כתיקוף עצמאי.

figure-results-1
איור 1: סקירה כללית של מסגרת ה-BrainMoE עם מיזוג EEG-fMRI אדפטיבי לאבחון מחלות מוח בסיוע מחשב. מאפייני ROI של EEG ו-fMRI המיושרים למקור מעובדים על ידי מקודדי גרף (Graph Encoders) נפרדים. הייצוגים שמתקבלים מועברים למומחי ה-EEG וה-fMRI, ויחד עם מסכת זמינות המודליות (Modality Availability Mask), למודול הניתוב הרך (Soft-Routing Module) המשותף. ייצוגי המודליות וייצוג הניתוב ממוזגים ומעובדים על ידי מומחה המצב-העצבי המשותף. שלושת פלטי המומחים משולבים לאחר מכן במודול המיזוג (Fuse Module) ומועברים לראש סיווג האבחון (Diagnosis Classification Head) כדי להפיק את ההסתברויות ל-HC ולמחלה המדוברת. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-2
איור 2: ניתוח תרומת ROI מבוסס חסימת צמתים. התרומות של 10 ה-ROI המובילים שנגזרו מ-EEG ומ-fMRI הוצגו עבור כל משימת מחלה תחת מצב הסקת המסקנות המלא של EEG-fMRI. פאנלים (A–E) מראים את התוצאות שנגזרו מ-fMRI עבור MDD, ANX, RI, ASD ו-ADHD, בהתאמה, ופאנלים (F–J) מראים את התוצאות התואמות שנגזרו מ-EEG באותו סדר. רק ה-ROI בעל הדירוג הגבוה ביותר סומן בכל תרשים. תרומת ROI הוגדרה כהירידה בהסתברות למחלה המטרה לאחר חסימת אזור ה-DK atlas התואם. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-3
איור 3: מפות פירשביליות (interpretability) ברמת ROI קורטיקליים בחמש הפרעות מוחיות. פאנלים (A–E) מראים MDD, ANX, RI, ASD ו-ADHD, בהתאמה. כל פאנל מציג את ה-ROI בעל הדירוג הגבוה ביותר שנגזר מ-EEG באדום ואת ה-ROI בעל הדירוג הגבוה ביותר שנגזר מ-fMRI בכתום על פני השטח הקורטיקליים של DK. הצבעים מצביעים על המודליות ולא על עוצמת התרומה; לפיכך, לא יושם סולם צבעים כמותי. התחיליות lh ו-rh מסמנות את ההמיספרה השמאלית והימנית, בהתאמה. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

מטלת מחלהמצבשטח תחת העקוםדיוקBAF1רגישותספציפיות
דיכאון מז'ורי (MDD)מלא88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
דיכאון מזמני (MDD)EEG בלבד83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
דיכאון קליני (MDD)fMRI בלבד82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
חרדהמלא85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
חרדהEEG בלבד81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
חרדהfMRI בלבד74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIמלא84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
מדד שבירהEEG בלבד80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI בלבד81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
הפרעה בספקטרום האוטיסטימלא88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
הפרעה בספקטרום האוטיסטיEEG בלבד82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
הפרעה בספקטרום האוטיסטיfMRI בלבד81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
הפרעת קשב, היפראקטיביות ודחףיות (ADHD)מלא88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
הפרעת קשב, ריכוז והיפראקטיביות (ADHD)EEG בלבד87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
הפרעת קשב, היפראקטיביות ודחףיות (ADHD)fMRI בלבד80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

טבלה 1: ביצועי הסיווג של BrainMoE במשימות מחלה ובמצבים שונים של זמינות מודאליות. ביצועי BrainMoE עבור חמש משימות סיווג של בריאות מול מחלה תחת מצבי הסקה של EEG-fMRI מלא, EEG בלבד ו-fMRI בלבד. המדדים מדווחים כממוצע ± סטיית תקן וכוללים את השטח תחת העקומה של מאפייני המקלט (AUC), דיוק (accuracy), דיוק מאוזן (BA), מדד F1, רגישות וסגוליות.

שיטהקבוצת שיטותAUC ממוצעממוצע BAF1 ממוצעדיוק ממוצע
מכונת וקטורים תומכים (SVM)למידת מכונה קלאסית66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
פרספטרון רב-שכבתילמידת מכונה קלאסית64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
טרנספורמרלמידה עמוקה גנרית63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNלמידה עמוקה כללית65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetDL גנרי71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNלמידה עמוקה מתקדמת70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTלמידה עמוקה מתקדמת73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNלמידה עמוקה מתקדמת72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetלמידה עמוקה מתקדמת78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Netלמידה עמוקה מתקדמת78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertלמידה עמוקה מבוססת MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEלמידה עמוקה מבוססת MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++למידה עמוקה מבוססת MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (שלנו)למידה עמוקה מבוססת MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

טבלה 2: ביצועי סיווג ממוצעים של BrainMoE בהשוואה לשיטות למידה חישובית קלאסיות, מודלים גנריים של למידה עמוקה וארכיטקטורות למידה עמוקה מתקדמות לדימות עצבי. התוצאות מרוכזות על פני משימות סיווג המחלות שנבחנו ומדווחות כממוצע ± סטיית תקן עבור AUC, BA, מדד F1 ודיוק.

השוואהAUC ממוצעBA ממוצעF1 ממוצעדיוק ממוצע
קו הבסיס החזק ביותרNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
ביצועי קו הבסיס החזק ביותר81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
הפרש+5.4+3.5+3.8+3.3
p-test t0.00060.00650.01870.0276
p* מותאם לפי Holmp < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

טבלה 3: השוואה בין BrainMoE לבין קו הבסיס החזק ביותר עבור כל מדד ביצועים. ערכי P חושבו באמצעות מבחני t מזווגים דו-זנביים והותאמו באמצעות הליך Holm. dz של Cohen מציין את ההפרש המזווג הסטנדרטי.

קוהורטרשומות רב-מודאליות (n)יחס חולים לבקרהמשתתפים ייחודיים (n)טווח גילאים (שנים)מין (זכר/נקבה)אתר הרכישה (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
דיכאון מז'ורי (MDD)520.45:1338.36–19.7314/1915/18
חרדה1561.36:1985.53–21.0046/5245/53
דיפרקציה של קרני רנטגן (RI)1411.23:1855.75–19.6647/3839/46
הפרעה בספקטרום האוטיסטי820.71:1515.66–19.7945/627/24
הפרעת קשב, היפראקטיביות ודחפים (ADHD)5554.83:13385.04–21.72241/97136/202

טבלה 4: מאפיינים של קהל המחקר ששימש בחמש משימות הסיווג הספציפיות למחלה. הטבלה מציגה את מספר הרשומות הרב-מודאליות שנשמרו, יחסי מחלה-לבקרה, מספר המשתתפים הייחודיים, מאפיינים דמוגרפיים והתפלגויות לפי אתרי רכישת הנתונים.

תת-קבוצהמספרAUC ממוצעממוצע BAF1 ממוצעדיוק ממוצע
מין
זכר70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
נקבה39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
הבדל+1.6+2.2+2.4+2.9
ערך p של וולש (Welch p)--0.3210.1920.1590.089
אתר רכישה
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
סטטן איילנד42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
הבדל+2.4+1.6+2.9+3.3
ערך p של וולש (Welch p)--0.1760.3090.0850.055

טבלה 5: ביצועי BrainMoE מלוטבים לפי מין ואתר רכישה. התוצאות מדווחות כממוצע ± סטיית תקן על פני 10 חזרות של אימות צולב ב-5 קיפולים (5-fold cross-validation). ההפרש מייצג את תת-הקבוצה הראשונה פחות השנייה, וערכי P התקבלו באמצעות מבחני t של Welch דו-זנביים.

גרסהAUC מלאAUC עבור EEG בלבדAUC עבור fMRI בלבדממוצע AUCממוצע BA
ללא mask embedding83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
ללא Conv Router84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
MLP Router82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
ללא Shared Expert83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
ללא MoE Experts81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (שלנו)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

טבלה 6: ניתוח אבלציה של רכיבי מפתח ב-BrainMoE. תוצאות האבלציה המראות את התרומה של מסיכת זמינות המודליות, הנתב הקונבולוציוני, המומחה המשותף ועיצוב היתוך המומחים של MoE. כל גרסה מוערכת תחת תנאי הסקה של EEG-fMRI מלא, EEG בלבד ו-fMRI בלבד, כאשר AUC ממוצע ו-BA ממוצע מסכמים את הביצועים הכלליים.

מחלהEEG: ROI בעמדה גבוהה ביותרEEG: שכיחות Top-1, n/N (%)fMRI: ROI בעמדה גבוהה ביותרfMRI: שכיחות Top-1, n/N (%)הסתברות מקרית (%)
MDDגדות שמאל של החסך הרקבי העליון22/50 (44%)חגורת המוח האחורית שמאלית25/50 (50%)1.47
ANXקליפת המוח הפרה-מרכזית השמאלית18/50 (36%)קליפת המוח הפרי-קליקרן הימנית21/50 (42%)1.47
RIקונוס שמאלי26/50 (52%)קליפת המוח הפארה-היפוקמפלית השמאלית29/50 (58%)1.47
ASDקליפת המוח הלשונית השמאלית27/50 (54%)pars triangularis ימנית28/50 (56%)1.47
ADHDאינסולה ימנית31/50 (62%)קליפת המוח האנטורינלית השמאלית34/50 (68%)1.47

טבלה 7: יציבות צולבת (Cross-fold stability) של אזורי העניין (ROIs) המובילים שהופקו מ-EEG ומ-fMRI. תדירות Top-1 מציינת את מספר ואחוז ניתוחי ה-50-fold שבהם אזור העניין המדווח דורג במקום הראשון. רפרנס הברירה התאורטי היה 1/68 (1.47%).

קובץ משלים 1: סקריפט לבדיקת קלטי H5. סקריפט Python לאימות מפתחות הקלט הנדרשים של H5, סוגי נתונים, תוויות אבחנתיות וממדי קלט תואמים ל-DK-atlas לפני אימון BrainMoE. אנא לחצו כאן כדי להוריד קובץ זה.

קובץ משלים 2: סקריפט לעיבוד מקדים של fMRI. קובצי הגדרה והרצה של C-PAC ששימשו לעיבוד מקדים של fMRI, כולל הסרת נפחים ראשוניים, תיקון תנועה ועיוות (distortion), רישום ונורמליזציה, רגרסיה של משתפי רעש (nuisance regression), סינון זמני והחלקה מרחבית. אנא לחץ כאן כדי להוריד קובץ זה.

קובץ משלים 3: סקריפטים לעיבוד ב-FreeSurfer. סקריפטים לעיבוד נתוני MRI מבניים, ביצוע רישום משותף (coregistration) של חלוקה קורטיקלית לפי שיטת Desikan-Killiany למרחב fMRI מקורי, והפקת אותות fMRI ברמת ROI. אנא לחצו כאן להורדת קובץ זה.

קובץ משלים 4: סקריפטים לעיבוד מקדימה של EEG. סקריפטים של MATLAB/EEGLAB ששימשו לעיבוד מקדימה של EEG, כולל סינון, זיהוי והסרה של רכיבי ארטיפקט, ושינוי רפרנס (rereferencing). אנא לחצו כאן כדי להוריד קובץ זה.

קובץ משלים 5: סקריפט MNE-Python לאיתור מקורות והפקת מאפיינים.סקריפט Python לאיתור מקורות EEG, הפקת ROI (אזורי עניין) לפי אטלס DK, ויצירת מאפייני EEG ברמת ROI המשמשים כקלטים עבור BrainMoE. אנא לחצו כאן להורדת קובץ זה.

קובץ משלים 6: קוד מימוש של BrainMoE. Pקוד Python וקבצי הגדרה עבור ארכיטקטורת BrainMoE, מקודדי גרפים, טיפול במצבי מודליות, ניתוב ומיזוג מומחים, אימון המודל, הערכה ווריאנטים של ניתוח השפעות (ablation). אנא לחצו כאן להורדת קובץ זה.

קובץ משלים 7: קוד לייחוס חסימת צמתים (Node-occlusion attribution). קוד Python לניתוח חסימת צמתים ספציפי למודאליות, חישוב ציוני תרומה של ROI, דירוג של ROI שנגזרו מ-EEG ו-fMRI, ויצירת פלטי ייחוס. אנא לחצו כאן כדי להוריד קובץ זה.

דיון

ניתוח רב-מודאלי של אותות מוחיים הפך לכיוון חשוב לאבחון מחלות מוח בסיוע מחשב, מכיוון ש-EEG ו-fMRI מספקים מידע משלים על פעילות עצבית. בהשוואת ביצועים (benchmark), שיטות למידה חישובית קלאסיות כגון SVM ו-MLP הניבו ביצועי אבחון בסיסיים, אך יכולתן למדל אינטראקציות של מאפיינים היררכיים, מובני-גרף וחוצי-מודאליות הייתה מוגבלת. מודלים גנריים של למידה עמוקה, כולל 3D-CNN, ResNet ו-Transformer, הציעו יכולת מידול לא-ליניארית חזקה יותר, אך ארכיטקטורות אלו לא תוכננו במיוחד עבור היתוך EEG-fMRI או עבור ייצוגים של רשתות מוחיות. שיטות מתקדמות של למידה עמוקה השיגו ביצועים טובים יותר מרוב המודלים הקלאסיים והגנריים, אך רבות מהן עדיין הסתמכו על אסטרטגיות קבועות של שילוב מאפיינים ולא הפרידו באופן מפורש בין מידע ספציפי למודאליות לבין מידע משותף על המצב העצבי.

מחקר זה הציע את BrainMoE כדי לפתור בעיית מיזוג זו באמצעות שילוב של מקודדי מודליות מבוססי גרף, מומחים ספציפיים למודליות, מומחה מצב עצבי משותף ומנגנון ניתוב אדפטיבי. עיצוב זה אפשר למדל נציגויות המופקות מ-EEG ומ-fMRI בנפרד ולאחר מכן לשלבן באמצעות מיזוג ברמת מומחה. באמצעות הצגת מסכות מצב-מודליות וטוקנים של מודליות חסרות, אותו מודל מאומן יכול היה לבצע גם הסקה המבוססת על EEG בלבד או fMRI בלבד, ללא צורך בבניית מודלים נפרדים עבור כל מצב של מודליות חסרות. התוצאות הניסיוניות הראו כי BrainMoE השיג את הביצועים הכוללים החזקים ביותר בחמישה משימות של סיווג מחלות בינארי, ושמר על ביצועים שמישים הן במצבי EEG בלבד והן במצבי fMRI בלבד. ניתוח האבליציה תמך עוד יותר בתרומת השכבת ה-embedding של המסכה, הנתב הקונבולוציוני, המומחה המשותף ומיזוג מומחי ה-MoE. ממצאים אלו מצביעים על כך שהשיפור בביצועים לא נבע מרכיב בודד, אלא מהעיצוב המתואם של קידוד גרפי, מידול מצב-מודליות, ניתוב אדפטיבי ומיזוג מומחים.

שלבים קריטיים בפרוטוקול ופתרון בעיות
השלבים הקריטיים בפרוטוקול כוללים שמירה על אותו סדר של 68 אזורי DK במטריצות הצמתים והגרפים של ה-EEG וה-fMRI, החלה של הגדרות עיבוד מקדים שנקבעו מראש באופן עצמאי עבור כל משתתף, ואכיפת תיקוף צולב (cross-validation) ברמת המשתתף, כך שכל הרשומות מאותו משתתף יישארו בתוך קיפול (fold) בודד. על מסיכת זמינות המודליות (Modality Availability Mask) להתאים גם היא לקלטים שסופקו עבור כל מצב הסקה.

אם ההסקה נכשלת או שהיתרון הצפוי בביצועי המצב המלא (full-state) אינו משתחזר, יש לאמת תחילה את מפתחות ה-H5 הנדרשים, את ממדי המטריצות של ה-EEG וה-fMRI, את סדר האזורים ב-DK, את השמת מסכת הזמינות של המודליות (Modality Availability Mask) ואת חלוקות התיקוף הצולב השמורות. קבצים עם מפתחות חסרים, ממדים שגויים או סדר אזורים שאינו עקבי יש להסיר לפני האימון או ההערכה. ניתן לשנות את המסגרת עבור חלוקות קליפה (cortical parcellations) חלופיות או ייצוגי מאפיינים שונים של EEG/fMRI, בתנאי ששתי המודליות ממופות לסדר ROI עקבי וממדי הקלט של המודל התואמים הותאמו. ניתן להתאים את ראש הסיווג הספציפי למחלה למשימות סיווג בינארי אחרות תוך שמירה על מסגרת קידוד הגרף ומיזוג המומחים (expert-fusion). שינויים אלו דורשים אימון מחדש ותיקוף, ולא יישום ישיר של המודלים המדווחים כאן.

ניתוח פשרנות מבוסס חסימת צמתים
ניתוח חסימת הצמתים סיפק פשרנות נוספת ברמת ה-ROI עבור תחזיות ה-BrainMoE, כאשר ה-ROIs בעלי הדירוג הגבוה ביותר הקשורים למחלה מוצגים ב-איור 3. ה-ROI האחורי השמאלי שנגזר מ-EEG וזוהה על ידי BrainMoE עולה בקנה אחד עם ראיות מטא-אנליטיות קודמות מבוססות ווקסלים23 המדווחות על פעילות מוחית פנימית משובשת באזורים קורטיקליים אחוריים ב-MDD. ה-ROIs ב-precentral השמאלי וב-pericalcarine הימני שנגזרו מ-EEG/fMRI עולים בקנה אחד עם ראיות דימוי עצבי קודמות בהפרעות חרדה: מטא-אנליזה של עובי קורטיקלי24 דיווחה על עובי קורטיקלי מוגבר ב-precentral gyrus השמאלי בחולי הפרעות חרדה, בעוד שמחקר של רשת קווריאנס מבנית25 בהפרעת חרדה חברתית דיווח על מרכזיות צומתית (nodal centrality) חריגה הכוללת את ה-pericalcarine cortex הימני. עבור הפרעות קריאה, ה-ROI של ה-cuneus השמאלי שנגזר מ-EEG עולה בקנה אחד עם מחקר קישוריות של המוח כולו26 המדווח על קישוריות משובשת ב-cuneus השמאלי בדיסלקסיה, בעוד שה-ROI ב-parahippocampal השמאלי שנגזר מ-fMRI עולה בקנה אחד עם מחקר נפרד27 המדווח על צימוד parahippocampal/hippocampal חריג בבני נוער עם ליקויים ספציפיים בהבנת הנקרא. במשימה של הפרעות בספקטרום האוטיסטי, ה-ROI ב-lingual השמאלי שהודגש על ידי ייחוס (attribution) שנגזר מ-EEG מהדהד ראיות קודמות של fMRI במצב מנוחה28 על ReHo מופחת ב-lingual gyrus השמאלי בבנים טרום-בבגוריים עם ASD. ה-ROI ב-pars triangularis הימני שנגזר מ-fMRI הוא אף הוא סביר מבחינה ביולוגית, שכן ALFF משובש ב-pars triangularis הימני של ה-inferior frontal gyrus דווח29 בילדים אוטיסטים. עבור ADHD, ה-ROI ב-insula הימני שנגזר מ-EEG תואם לראיות MRI מבניות30 המראות נפח אינסולרי קדמי מופחת בבני נוער עם ADHD, במיוחד ב-insular short gyrus הימני. ה-ROI ב-entorhinal השמאלי שנגזר מ-fMRI עשוי לשקף ממצא ספציפי יותר לסוג-משנה, שכן מחקר נפרד ב-Psychological Medicine31 דיווח על נפח נמוך יותר של ה-entorhinal cortex השמאלי בתת-קבוצה של ADHD-C לאחר תיקון FDR. עם זאת, יש לפרש ממצאים אלה תוך התחשבות בתלות בין-אזורית, שכן אותות ROI מתואמים עלולים למנוע מחסימת צומת בודד לבודד באופן מלא את תרומתו של אזור בודד ועשויים להוביל להערכות שמרניות.

מגבלות וכיוונים עתידיים
למרות שנעשה שימוש בתיקוף צולב (cross-validation) חומש חוזר כדי לקבל הערכות ביצועים פנימיות, מחקרים עתידיים שישתמשו בתיקוף צולב מקונן (nested cross-validation) או בתיקוף חיצוני עצמאי יחזקו עוד יותר את הערכת היציבות של בחירת המודל ואת יכולת ההכללה שלו. מכיוון שהפלטים של EEG בלבד ו-fMRI בלבד הופקו על ידי מיסוך של מודליות אחת ברשומות מולטי-מודאליות מלאות ולא הוערכו על קוהורט תיקוף חיצוני, מחקרים עתידיים צריכים לכלול קוהורטים חיצוניים של תיקוף עבור מודליות בודדת כדי להעריך את יכולת ההכללה. מגבלה נוספת היא שעיצוב המחקר של בריאים מול מחלה אחת אינו לוכד מצבים של תחלואה נלווה (comorbidity), דבר המגביל את ההכללה הקלינית ומניע מחקרים עתידיים של סיווג רב-תוויות (multi-label classification) ואבחנה מבדלת. עבודה עתידית עשויה להעריך גם את החוסן של קשרי EEG ברמת המקור באמצעות מעריכי קישוריות מודעים לדליפה (leakage-aware connectivity estimators). למרות שחלוקת ה-DK המשותפת מספקת ממשק מבוסס-אנטומי למיזוג מולטי-מודאלי, זוהי הנחת מודלינג שייתכן שאינה לוכדת באופן מלא הבדלים ספציפיים למודליות ברזולוציה הטמפורלית ובמקור הפיזיולוגי. מעבר לחמש ההפרעות שהוערכו כאן, ניתן להתאים את המסגרת למשימות סיווג נוירולוגיות או פסיכיאטריות אחרות הכוללות נתוני מוח מולטי-מודאליים מיושרים אנטומית, ולהרחיבה אותה ליישומים של סיווג רב-תוויות או אבחנה מבדלת.

סיכום
לסיכום, BrainMoE מספק מסגרת מעשית וניתנת לפירוש למיזוג EEG-fMRI באבחון ממוחשב של הפרעות מוחיות. יתרונו העיקרי טמון באינטגרציה אדפטיבית של מאפיינים רב-מודאליים, המונחית על ידי ארכיטקטורת מומחים מרובה (multi-expert architecture) ומנגנון ניתוב רך (soft-routing mechanism) המאזן באופן דינמי בין מידע ספציפי למודאליות לבין מידע משותף. יתרה מכך, באמצעות שילוב חלק של מסכות מצב-מודאליות (modality-state masks) וטוקנים של מודאליות חסרה (missing-modality tokens), אותו מודל מאומן משיג ביצועים חסונים במהלך הסקה עם מודאליות חלקית, ללא צורך בתצורות נפרדות. באופן מכריע, המסגרת הניתנת לפירוש מספקת נתיבי שייכות אזוריים שקופים ברמת קבוצה עבור חמש הפרעות מוחיות שונות, ובכך הופכת את ארכיטקטורת "הקופסה השחורה" הקונבנציונלית לכלי מבוסס פיזיולוגיה לאבחון ממוחשב. דבר זה הוא חשוב עבור תהליכי עבודה עתידיים בדימות עצבי חישובי, שבהם מקורות נתונים הטרוגניים, זמינות חלקית של מודאליות ופלטי מודל הניתנים להסבר הם כולם שיקולים מרכזיים.

גילויים

המחברים מצהירים כי אין ניגודי אינטרסים. המחברים מצהירים כי לא נעשה שימוש בכלי בינה מלאכותית גנרטיבית בהכנת כתב יד זה, בקוד שלו, בניתוח הנתונים או ביצירת התרשימים.

תודות

מחקר זה מומן על ידי הקרן הלאומית למדעי הטבע של סין במסגרת מענקים מס' 62433002, 62277001 ו-U25A20446, פרויקט להקמה ותמיכה בצוותים חדשניים ברמה גבוהה של מוסדות עירוניים בבייג'ינג במסגרת מענק מס' BPHR20220104, ותוכנית מלגאי בייג'ינג במסגרת מענק מס' 099.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
Bashפרויקט GNU5.1.16(1)-שחרורתוכנה
C-PACFCP-INDIגרסה 1.8.7; תג מיכל release-v1.8.7.dev1תוכנה
CUDA ToolkitNVIDIA Corporationגרסה 12.4תוכנה
GPU תואם CUDANVIDIA CorporationGeForce RTX 4060 Laptop GPUציוד
אטלס קליפת המוח של Desikan-KillianyFreeSurfer, מרכז Athinoula A. Martinos לדימות ביו-רפואי, בית החולים הכללי של מסצ'וסטסaparc; 68 אזורים קורטיקליים (RRID:SCR_001847)אטלס/משאב
EEGLABמרכז Swartz למדעי המוח החישובים, אוניברסיטת קליפורניה סן דייגוגרסה 2022.1 (RRID:SCR_007292)תוכנה
FreeSurferמרכז אתינולה א. מרטינוס להדמיה ביו-רפואית, בית החולים הכללי של מסצ'וסטסגרסה 7.4.1 (RRID:SCR_001847)תוכנה
FSLFMRIB, אוניברסיטת אוקספורדמצורף ל-C-PAC 1.8.7; גרסה מדויקת לא צוינה (RRID:SCR_002823)תוכנה
מאגר הנתונים של Healthy Brain Network (HBN)Child Mind InstituteRRID:SCR_016989ערכת נתונים
MATLABMathWorksR2022a (RRID:SCR_001622)תוכנה
MNE-Pythonצוות הפיתוח של MNE-Pythonגרסה 1.9 (RRID:SCR_005972)תוכנה/ספרייה
PythonPython Software Foundationגרסה 3.12.4 (RRID:SCR_008394)תוכנה
PyTorchPyTorch Foundationגרסה 2.6.0+cu124 (RRID:SCR_018536)ספרייה

מקורות

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

הדפסות חוזרות והרשאות

תגיות

מיזוג EEG ו-fMRIדימות מוחי רב-מודאליאבחון מ komputer-סיועמקודדי גרףמפות שיוך של ROIמומחה למצב עצבימסכות מצב מודאליותניתוח הסתרת צמתים

מאמר זה פורסם

הסרטון יגיע בקרוב

צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.