مقالة منهجية

دمج تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفي باستخدام خليط الخبراء لتشخيص اضطرابات الدماغ بمساعدة الحاسوب القابل للتفسير

89 مشاهدة

⸱

DOI:

10.3791/73432

⸱

سبتمبر 25, 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

في هذه المقالة

ملخص

يقدم هذا البروتوكول نظام Brain Mixture-of-Experts، وهو إطار عمل تكاملي تكيفي وقابل للتفسير يجمع بين تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) للتشخيص بمساعدة الحاسوب للاضطرابات الدماغية. تدمج هذه الطريقة تمثيلات EEG وfMRI غير المتجانسة من خلال خبراء متخصصين في كل نمط، وخبير حالة عصبية مشترك، وتوجيه تكيفي، مع الحفاظ على القابلية للتفسير والاستنتاج في ظل ظروف محاكاة فقدان أحد الأنماط.

الملخص

يوفر تخطيط كهربائية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) معلومات متكاملة عن وظائف الدماغ، وقد أظهرا إمكانات كبيرة في الكشف عن الاختلالات الوظيفية في مختلف اضطرابات الدماغ. ومع ذلك، فإن خصائص الإشارات المتميزة ومساحات التمثيل المتباينة لـ EEG وfMRI تفرض تحديات جسيمة أمام الدمج الفعال متعدد الوسائط، مما يعيق التشخيص الدقيق المساعد بالحاسوب لاضطرابات الدماغ باستخدام النماذج الثابتة التقليدية. تقدم هذه الدراسة Brain Mixture-of-Experts (BrainMoE)، وهو إطار عمل تكيفي وقابل للتفسير لدمج EEG-fMRI للتشخيص المساعد بالحاسوب لاضطرابات الدماغ، حيث يدمج سمات الدماغ متعددة الوسائط من خلال خبراء متخصصين في كل وسيط، وخبير حالة عصبية مشترك، وآلية توجيه تكيفية. يقوم BrainMoE أولاً بإسقاط إشارات EEG وfMRI في مساحة موحدة لمناطق الاهتمام (ROI) وفق أطلس Desikan-Killiany (DK)، ثم يستخدم مشفرات الرسوم البيانية لاستخراج تمثيلات شبكة الدماغ الخاصة بكل وسيط. وتنتج وحدة التوجيه اللين تمثيلاً للتوجيه، بينما تقوم بوابة الخبراء في وحدة الدمج (Fuse Module) بتوليد أوزان خاصة بكل عينة لدمج تمثيلات EEG وfMRI وخبير الحالة العصبية المشترك. وللتعامل مع سيناريوهات الاستحواذ غير المكتملة، تم دمج أقنعة حالة الوسيط ورموز الوسائط المفقودة، مما يسمح للنموذج المدرب نفسه بإجراء الاستدلال الكامل لـ EEG-fMRI، أو EEG فقط، أو fMRI فقط. وأخيراً، يوفر تحليل حجب العقد خرائط إسناد على مستوى ROI للتنبؤات المشتقة من كل من EEG وfMRI. تم تقييم إطار العمل على مجموعة بيانات Healthy Brain Network (HBN) عبر خمس مهام تصنيف ثنائية لاضطرابات الدماغ، شملت الاضطراب الاكتئابي الجسيم، واضطراب القلق، وضعف القراءة، واضطراب طيف التوحد، واضطراب نقص الانتباه مع فرط النشاط. تفوق BrainMoE على الخوارزميات المقارنة الحديثة، محققاً متوسط AUC بنسبة 86.9 ± 3.0%، كما دعمت تجارب الاستئصال مساهمة مكونات التوجيه ودمج الخبراء. علاوة على ذلك، يحدد تحليل القابلية للتفسير مساهمات ROI على مستوى المجموعة في تصنيف الأمراض بما يتوافق مع نتائج التصوير العصبي المبلغ عنها سابقاً. تدعم هذه الطريقة التشخيص المساعد بالحاسوب لاضطرابات الدماغ من خلال معالجة تحدي دمج التمثيلات العصبية غير المتجانسة لـ EEG-fMRI مع الحفاظ على القابلية للتفسير والاستدلال في ظل ظروف الوسائط المفقودة المحاكات.

المقدمة

تتضمن اضطرابات الدماغ تغيرات معقدة في النشاط العصبي وتنظيم شبكة الدماغ، والتي يصعب توصيفها باستخدام وسيلة تصوير واحدة1. بعد إعادة بناء المصدر2، يوفر تخطيط كهربية الدماغ (EEG) نشاطاً كهروفيزيولوجياً على مستوى المنطقة، بينما يلتقط التصوير بالرنين المغناطيسي الوظيفي (fMRI) الاتصال الوظيفي على مستوى المنطقة، مما يقدم رؤى متكاملة لوظائف الدماغ. ولتسهيل تكاملهما، قامت أعمال سابقة متعددة الوسائط برسم خرائط لكلتا الوسيلتين وفقاً لأطلس Desikan-Killiany (DK) المكون من 68 منطقة3. ورغم أن هذا التطابق المكاني لا يعني التكافؤ في الدقة الزمنية أو الأصل الفسيولوجي، إلا أنه يوفر مؤشراً تشريحياً موحداً لدمج الرسوم البيانية على مستوى العقد، وأبعاد ثابتة للرسوم البيانية، وتفسيراً متسقاً على مستوى المنطقة المستهدفة (ROI) مع الحفاظ على المعلومات الخاصة بكل وسيلة تصوير. ويمكن أن يؤدي دمج هذه التمثيلات المتوافقة تشريحياً والمحددة لكل وسيلة إلى إثراء تمثيلات إشارات الدماغ المرتبطة بالمرض ودعم تشخيص اضطرابات الدماغ بمساعدة الحاسوب3,4.

على الرغم من إمكانات دمج EEG-fMRI في التشخيص بمساعدة الحاسوب لاضطرابات الدماغ، فإن التباين بين هاتين الوسيلتين يفرض تحديًا تقنيًا أمام تكاملهما الفعال. يمكن لطرق التعلم الآلي الكلاسيكية، مثل SVM و MLP، أن توفر نماذج تصنيف أساسية، ولكن قدرتها محدودة في التقاط التفاعلات غير الخطية عبر الوسائط. وتوفر نماذج التعلم العميق العامة، بما في ذلك بنيات GNN5 و ResNet6 و Transformer7، تعلم تمثيل أقوى ولكنها ليست مصممة خصيصًا للرسوم البيانية للدماغ على مستوى ROI أو لنمذجة حالة الوسائط. وقد عملت النماذج المتقدمة الحديثة3,8,9 على زيادة التعقيد غير الخطي لتحسين نمذجة شبكات الدماغ. حيث تم تقديم BrainNetCNN8 لتكييف العمليات الالتفافية مع مصفوفات اتصال الدماغ؛ كما قام BrainGNN9 بزيادة نمذجة طوبولوجيا الرسم البياني على مستوى ROI باستخدام الشبكات العصبية الرسومية والتجميع (pooling)؛ ولاحقًا قام BNT10 بتعزيز تحليل شبكة الدماغ الوظيفية من خلال آلية انتباه متعددة المستويات قائمة على الـ transformer. ومع ذلك، فقد تم تطوير هذه التطورات بشكل أساسي لإعدادات أحادية الوسائط. ثم قام MultiEpilepsyNet11 بتوسيع التعلم متعدد الوسائط للكشف عن النوبات باستخدام EEG-MRI من خلال إطار عمل هجين اتحادي، وحسّنت وحدة EpiSkullNet++ الخاصة بـ MRI عملية تقسيم الدماغ والمعالجة المسبقة. وبناءً على ذلك، طوّر SZAtt-Net12 نموذجًا لتصنيف الفصام متعدد الوسائط من خلال الجمع بين كتل CNN و BiGRU و MLP مع آليات انتباه القنوات، والذاتية، والمكانية، والزمانية. ومع ذلك، ظلت هذه الطرق مخصصة لمهام معينة واعتمدت على تصميمات دمج ثابتة نسبيًا، دون دعم صريح للتوجيه التكيفي عبر حالات الوسائط الكاملة والمفقودة.

تُعتمد نماذج خليط الخبراء (MoE)13,14 بشكل متزايد في التعلم متعدد الوسائط لأنها تسمح بمعالجة مصادر المعلومات غير المتجانسة بواسطة وحدات خبراء متخصصة ودمجها ديناميكيًا من خلال آليات التوجيه. يوفر نظام بوابات Softmax أوزان خبراء معيرة تعتمد على المدخلات، وقد تم توصيفها نظريًا من حيث معدلات التقارب15. كما أظهرت البنى ذات البوابات المتعددة ذات الصلة أن البوابات المنفصلة يمكنها تعلم تركيبات تعتمد على المهمة من الخبراء المشتركين في التعلم متعدد المهام واسع النطاق16. وفي الأبحاث العصبية ودراسات الدماغ، استُخدمت متغيرات MoE17,18,19 بشكل متزايد لتسهيل دمج الميزات غير المتجانسة. حيث استخدم dFCExpert17 الوحدات النمطية والخبراء القائمين على الحالة لنمذجة أنماط الاتصالية الوظيفية الديناميكية من fMRI. كما استخدم EvoMoE18 شبكة بوابات لاختيار الخبراء المناسبين لتصنيف SSVEP-EEG المستقل عن المستخدم. واستكشف NeuroMoE++19 الدمج متعدد الوسائط التكيفي مع المريض لتصنيف الاضطرابات العصبية. وعلى الرغم من نجاحها، تعتمد هذه النماذج عمومًا على خلط خشن وتوجيه منفصل يتجاهل الطبيعة المتزامنة للغاية للحالات العصبية عبر الوسائط، مما يعيق اكتشاف الأنماط الدقيقة ولكن الغنية بالمعلومات والضرورية لتشخيص اضطرابات الدماغ. علاوة على ذلك، وبدون آلية مخصصة لفصل الفروق الدقيقة الخاصة بكل وسائط عن حالة عصبية مشتركة وموحدة، توفر هذه النماذج قابلية محدودة للتفسير وتعاني من تدهور في الأداء عند فقدان وسيط حيوي (fMRI أو EEG).

لمعالجة هذه المحدوديات، تقدم هذه الدراسة إطار عمل Brain Mixture-of-Experts (BrainMoE)، وهو إطار عمل تكاملي تكيفي وقابل للتفسير لبيانات EEG-fMRI للتشخيص بمساعدة الحاسوب لخمس فئات من اضطرابات الدماغ، بما في ذلك الاضطراب الاكتئابي الجسيم (MDD)، واضطراب القلق (ANX)، واضطراب التعلم المحدد مع ضعف القراءة (RI)، واضطراب طيف التوحد (ASD)، واضطراب نقص الانتباه مع فرط النشاط (ADHD). يقوم البروتوكول أولاً بمحاذاة ميزات EEG المعاد بناؤها من المصدر وميزات fMRI مع فضاء المنطقة ذات الاهتمام (ROI) الخاص بأطلس DK-atlas20، ثم ينشئ تمثيلات نمطية قائمة على الرسوم البيانية لكلا النمطين. يستخدم BrainMoE خبيراً لـ EEG، وخبيراً لـ fMRI، وخبيراً مشتركاً للحالة العصبية، والتي يتم دمجها بواسطة وحدة توجيه مرنة للجمع بين المعلومات الخاصة بكل نمط والمعلومات المشتركة. كما يتم دمج أقنعة حالة النمط ورموز النمط المفقود لتمكين الاستدلال الكامل لـ EEG-fMRI، أو EEG فقط، أو fMRI فقط ضمن نموذج تدريبي واحد. ولدعم القابلية للتفسير البيولوجي، يطبق البروتوكول أيضاً تحليل حجب العقد، حيث يتم حجب كل منطقة ذات اهتمام في أطلس DK-atlas بشكل انتقائي، ويُستخدم التغيير الناتج في احتمالية التنبؤ بالمرض لتقدير المساهمات الإقليمية المشتقة من EEG وfMRI. يصف هذا البروتوكول سير العمل الكامل لمحاذاة البيانات، وبناء النموذج، والتدريب، والتقييم، وتفسير المناطق ذات الاهتمام بناءً على حجب العقد، مما يوفر استراتيجية تكيفية وقابلة للتفسير للتشخيص بمساعدة الحاسوب لاضطرابات الدماغ من خلال دمج إشارات الدماغ غير المتجانسة من EEG-fMRI. ولتسهيل إعادة الإنتاج والتوسعات المستقبلية، يوفر مستودع GitHub العام نموذج BrainMoE وأكواد التدريب والتقييم، بينما تم إجراء المعالجة المسبقة لبيانات EEG وfMRI باستخدام برمجيات خارجية متاحة للعموم. المستودع متاح على الرابط https://github.com/zhongruizhe123/BrainMoE.

البروتوكول

استخدمت هذه الدراسة بيانات مجهولة الهوية من قاعدة بيانات شبكة الدماغ السليمة (HBN)21، مع التركيز على خمسة اضطرابات سريرية متميزة لمهام التصنيف التشخيصي اللاحقة. وكانت مبادرة HBN قد حصلت مسبقاً على الموافقة الأخلاقية والموافقة المستنيرة المكتوبة من جميع المواقع والمشاركين. تم تسجيل تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) في جلسات منفصلة بدلاً من تسجيلهما في وقت واحد، وتم الربط بينهما باستخدام معرفات المشاركين والجلسات المتاحة في HBN.

1. تجهيز البيئة الحسابية وبيانات الإدخال

  1. تجهيز البيئة الحسابية
    1. إنشاء وتنشيط بيئة افتراضية لـ Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. تثبيت الحزم المطلوبة وإصداراتها المحددة باستخدام ملف requirements.txt المتوفر في مستودع GitHub العام: pip install -r requirements.txt
    3. التحقق من تكوين PyTorch وCUDA قبل البدء في التدريب: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." والتأكد من أن المخرجات تشير إلى PyTorch 2.6.0+cu124 وCUDA 12.4، وأن حالة توفر CUDA هي True. يتم إجراء تدريب النموذج باستخدام وحدة معالجة رسوميات GPU متوافقة مع CUDA.
  2. فحص جميع ملفات الإدخال بصيغة H5 قبل تدريب النموذج.
    1. التأكد من أن كل ملف يحتوي على sLORETA_mean_func لميزات عقد EEG، وsLORETA_mean_CorrMatrix لرسم EEG البياني، وfMRI-DK68-node-mat لميزات عقد fMRI، وfMRI-DK68-edge-mat لرسم fMRI البياني، بالإضافة إلى تسمية (label) للتشخيص. استبعاد الملفات التي تحتوي على مفاتيح مفقودة، أو إدخالات غير رقمية، أو تسميات غير صالحة، أو أبعاد غير متوافقة مع أطلس Desikan-Killiany المكون من 68 منطقة. يتم تشغيل سكربت فحص مدخلات H5 كالتالي: python checkH5.py (الملف التكميلي 1).

2. محاذاة سمات EEG وfMRI في حيز تشريحي مشترك

  1. المعالجة المسبقة لبيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI).
    1. معالجة بيانات fMRI باستخدام C-PAC (الإصدار 1.8.7). قم بتشغيل نص المعالجة المسبقة الخاص بـ C-PAC كما يلي: bash run_cpac_brainmoe.sh (الملف التكميلي 2). يتم استبعاد الأحجام الخمسة الأولى لتقليل تأثيرات إشارة الحالة غير المستقرة الأولية.
    2. إجراء تصحيح توقيت الشرائح (slice-timing correction)، وتصحيح الحركة، وتصحيح التشوه، والتسجيل (registration)، والنمذجة (normalization) إلى الفضاء التشريحي MNI152، والتنعيم المكاني (spatial smoothing). يتم حذف 24 معلماً مزعجاً متعلقاً بالحركة (nuisance parameters).
    3. تطبيق ترشيح تمرير النطاق الزمني (temporal band-pass filtering) عند 0.01-0.08 Hz.
  2. توليد سمات fMRI المحاذية للأطلس.
    1. معالجة التصوير بالرنين المغناطيسي الهيكلي المقابل باستخدام FreeSurfer (الإصدار 7.4.1). قم بتشغيل النصوص كما يلي: bash Step01_mgz_2_nifti.sh. يتم إجراء تسجيل مشترك (Coregister) لتقسيم القشرة الدماغية الناتج وفق منهج Desikan-Killiany إلى فضاء fMRI الأصلي الخاص بالمشارك. قم بتشغيل النصوص كما يلي: python Step02_CoRegistration.py. حساب متوسط الإشارة لكل فوكسل (voxel-wise signal) ضمن كل منطقة من المناطق القشرية الـ 68. قم بتشغيل النصوص كما يلي: python Step03_fMRI_Signal_Extraction.py (الملف التكميلي 3).
    2. الاحتفاظ بـ 370 نقطة زمنية متتالية من fMRI دون حشو زمني للحصول على مصفوفة سمات عقد fMRI بحجم 68 × 370، حيث يمثل الرقم 68 مناطق القشرة وفق DK، ويمثل الرقم 370 النقاط الزمنية المحتفظ بها لـ fMRI.
  3. بناء مخطط fMRI.
    1. حساب ارتباطات بيرسون (Pearson correlations) بين السلاسل الزمنية المكونة من 370 نقطة للمناطق الـ 68 وفق DK. يتم تخزين مصفوفة الاتصال الوظيفي الناتجة بحجم 68 × 68 كمصفوفة حواف fMRI.
  4. المعالجة المسبقة لبيانات تخطيط كهربائية الدماغ (EEG).
    1. معالجة تسجيلات EEG ذات الـ 129 قناة باستخدام مجموعة أدوات EEGLAB (الإصدار 2022.1) في برنامج MATLAB (الإصدار R2022a). قم بتشغيل نصي المعالجة المسبقة لـ EEGLAB بالتتابع كما يلي: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (الملف التكميلي 4). يتم الاحتفاظ بمعدل أخذ العينات 500 Hz وتطبيق مرشح تمرير نطاق 0.2–40 Hz. تحديد المقاطع المشوشة والأقطاب الكهربائية المعيبة، واستكمال القنوات السيئة باستخدام متوسط الإشارة من الأقطاب المجاورة.
    2. استخدام تحليل المكونات المستقلة (ICA) مع ملحق ICLabel لتصنيف المكونات المستقلة. حذف المكونات التي تزيد احتمالية تصنيفها كآثار عينية أو عضلية عن 0.90. تطبيق إعادة المرجعية المتوسطة (average re-referencing). استبعاد التسجيلات التي تحتوي على أقل من 250 s من البيانات القابلة للاستخدام بعد المعالجة المسبقة ورفض الآثار (artifact rejection).
  5. توليد سمات EEG المحاذية للأطلس.
    1. بناء نموذج رأس فردي بطريقة عنصر الحدود (BEM) ثلاثي الطبقات من التصوير بالرنين المغناطيسي الهيكلي لكل مشارك. تحديد فضاء المصدر على السطح القشري الفردي لكل مشارك. تسجيل مواقع أقطاب EEG على سطح BEM وحساب مصفوفة المجال الرائد (lead-field matrix).
    2. تطبيق مؤثر عكسي (inverse operator) منظم باستخدام مصفوفة تغاير الضجيج الأساسية. ضبط نسبة الإشارة إلى الضجيج (SNR) عند 3.0، مما يعطي λ2 = 1/SNR2 = 1/9 (حوالي 0.1111)، وإجراء تحديد موقع المصدر باستخدام التصوير المقطعي الكهرومغناطيسي القياسي منخفض الدقة (sLORETA) المطبق في MNE-Python (الإصدار 1.9).
    3. تجميع تقديرات المصدر لكل رأس (vertex-wise) ضمن كل قسم من أقسام Desikan-Killiany عن طريق المتوسط الحسابي للحصول على 68 سلسلة زمنية على مستوى المنطقة ذات الاهتمام (ROI). الاحتفاظ بأول مقطع مستمر لمدة 250 s وتقسيم كل سلسلة زمنية لـ ROI إلى 250 حقبة (epochs) متتالية غير متداخلة مدة كل منها 1 s.
    4. حساب قدرة نطاق ألفا (alpha-band power) عند 8–12 Hz ضمن كل حقبة للحصول على مصفوفة سمات عقد EEG بحجم 68 × 250، حيث يمثل الرقم 68 مناطق القشرة وفق DK، ويمثل الرقم 250 الحقبات الـ 250 المتتالية غير المتداخلة مدة كل منها 1 s.
  6. بناء مخطط EEG والتحقق من المحاذاة عبر الأنماط.
    1. حساب ارتباطات بيرسون بين سلاسل قدرة ألفا (8–12 Hz) للحقبات الـ 250 للمناطق الـ 68 وفق DK. يتم تخزين المصفوفة الناتجة بحجم 68 × 68 كمخطط EEG.
    2. التأكد من أن مصفوفتي EEG و fMRI تستخدمان نفس ترتيب مناطق DK وتستخدمان نفس ملف فهرس مناطق DK لإدخال النموذج، والإسناد، والتصور. قم بتشغيل نص تحديد موقع المصدر واستخراج السمات في MNE-Python كما يلي: python "Extract features - templates.py" (الملف التكميلي 5).
  7. تطبيع سمات العقد ضمن كل عينة.
    1. تطبيق تطبيع z-score على مستوى العقد لمصفوفات سمات عقد EEG و fMRI. يتم الاحتفاظ بمصفوفات المخطط كمدخلات للاتصال وتطبيق تطبيع المخطط داخل نموذج BrainMoE.
    2. إجراء المعالجة المسبقة لـ EEG و fMRI بشكل مستقل لكل مشارك باستخدام إعدادات ثابتة، ودون استخدام معلومات من طيات التحقق المتقاطع (cross-validation folds) لتحديد معاملات المعالجة المسبقة.

3. بناء مهام تصنيف ثنائي خاصة بالمرض

  1. تحديد خمس مهام تصنيف ثنائي خاصة بأمراض معينة.
    1. ترميز الضوابط الصحية (HC) كالفئة 0 في جميع المهام، وترميز مجموعة المرض المحددة فقط كالفئة 1 ضمن مهمتها الخاصة.
    2. بناء مهام منفصلة للمقارنة بين الحالة الصحية والمرض لكل من: الاكتئاب، واضطراب القلق، والاضطراب النمائي العصبي المصحوب باضطراب تعلم محدد وضعف في القراءة، واضطراب طيف التوحد، واضطراب نقص الانتباه مع فرط النشاط.
  2. توصيف مجموعات الدراسة وفحص التأثيرات المحتملة للجنس وموقع الحصول على البيانات.
    1. لكل مهمة خاصة بمرض معين، يتم تضمين المشاركين من HBN الذين تتوفر لديهم بيانات كاملة لتخطيط كهربية الدماغ (EEG)، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، والتصوير بالرنين المغناطيسي البنيوي (sMRI)، مع وجود تصنيف تشخيصي صحيح. يتم استبعاد المشاركين الذين يعانون من تشخيصات مشتركة من مجموعات المرض الإيجابية. كما يتم استبعاد تسجيلات EEG التي تحتوي على أقل من 250 s من البيانات القابلة للاستخدام بعد المعالجة المسبقة ورفض الشوائب، والاحتفاظ فقط بملفات الإدخال التي اجتازت معايير مراقبة الجودة الموضحة في القسم 1.2.
    2. تلخيص أعداد السجلات متعددة الوسائط والاشتراك الفريد للمشاركين، ونسب المرض إلى الضوابط، والنطاقات العمرية، وتوزيعات الجنس، وتوزيعات مواقع الحصول على البيانات لمجموعة HC المشتركة وكل مجموعة مرضية في Table 4.
      ملاحظة: تم إعادة استخدام مجموعة HC نفسها كالفئة 0 في جميع المهام الخمس، لذا فإن تقديرات الأداء على مستوى المهمة ليست مستقلة إحصائياً. ينشأ هذا الاعتماد من مجموعة HC المشتركة وليس من تداخل مجموعات المرض.
    3. تصنيف الأداء حسب الجنس وموقع الحصول على البيانات ومقارنة القيم الناتجة باستخدام اختبارات Welch t ذات الطرفين عبر عمليات التحقق المتقاطع خماسي الطيات المتكررة.
  3. اختيار ملفات H5 الخاصة بكل مهمة وتحديد تقسيمات التحقق المتقاطع.
    1. لكل مهمة، يتم الاحتفاظ فقط بمجموعة HC ومجموعة المرض المستهدفة. إنشاء 10 تكرارات من التحقق المتقاطع خماسي الطيات (5-fold cross-validation) على مستوى المشارك. يتم تقسيم المشاركين الفريدين طبقياً حسب تسمية الفئة الثنائية (HC مقابل المرض المستهدف) للحفاظ على توزيع الفئات عبر الطيات.
    2. استخدام المعرف الفريد للمشارك كمتغير تجميع، وتعيين جميع الجلسات والسجلات متعددة الوسائط لنفس المشارك إلى الطية نفسها. استخدام بذور عشوائية من 1 إلى 10، على التوالي، لإنشاء تقسيمات التحقق المتقاطع العشرة المتكررة. استخدام بذرة عشوائية ثابتة بقيمة 1 لتهيئة النموذج وتدريبه.
    3. تخصيص الطية المستبعدة حصرياً للتقييم النهائي وحفظ معرفات المشاركين، وقوائم الملفات، وفهارس التقسيم لكل طية مع نقطة التحقق المقابلة. بالنسبة لكل طية تدريب، يتم حساب أوزان الفئات من تسميات التدريب واستخدامها في خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لتقليل الانحياز الناتج عن عدم توازن الفئات.

4. بناء بنية BrainMoE لتشخيص اضطرابات الدماغ بمساعدة الحاسوب

ملاحظة: تم تصميم بنية BrainMoE كإطار عمل مدمج لدمج بيانات EEG-fMRI في حالة فقدان إحدى الوسائط، حيث تجمع بين مشفر رسومي، وتوجيه مرن للحالة العصبية المشتركة، وتكامل للميزات القائم على الخبراء من أجل التشخيص الثنائي الخاص بأمراض معينة. تظهر البنية العامة في الشكل 1، وكود التنفيذ متوفر في الملف التكميلي 6.

  1. تحديد مدخلات BrainMoE وحالات النمط. استخدام نمط EEG ونمط fMRI بعد المحاذاة في حيز المصدر كمدخلات رسم بياني مقترنة. هنا، يرمز X إلى مصفوفة ميزات إقليمية، ويرمز A إلى رسم بياني للدماغ خاص بالنمط، ويتوافق كل صف مع واحدة من 68 منطقة حسب تقسيم Desikan-Killiany.
    التوازن الاستاتيكي، ΣFx=0، التمثيل المصفوفي الرياضي، معادلات تحليل التوازن.
    معادلات بيانات MRI، X_MRI ∈ R^(68×370)، A_MRI ∈ R^(68×68)، صيغة التمثيل المصفوفي.
    تحديد قناع توفر النمط على أنه m = [mEEG, mfMRI]. استخدم m = [1,1] لمدخلات EEG-fMRI كاملة، و m = [1,0] لمدخلات EEG فقط، و m = [0,1] لمدخلات fMRI فقط.
  2. مشفر الرسم البياني: لكل نمط q، حيث يكون q هو EEG أو fMRI، يتم تمرير مصفوفة الميزات Xq والرسم البياني Aq إلى مشفر الرسم البياني الخاص بالنمط. المشفر عبارة عن وحدة عصبية قابلة للتدريب تتضمن إسقاط العقد، وتمرير رسائل الرسم البياني، والتطبيع، والتنشيط، والإسقاط (p=0.3).
    معادلة ترميز الرسم البياني لدمج البيانات العصبية مع معاملات EEG و fMRI.
    ملاحظة: في هذا الترميز، Zq هو التمثيل الكامن على مستوى ROI الناتج عن مشفر رسم EEG البياني أو مشفر رسم fMRI البياني. يقوم مشفر رسم EEG البياني بتحويل كل مصفوفة مدخلات 68 x 250 إلى تمثيل كامن 68 x 128، بينما يقوم مشفر رسم fMRI البياني بتحويل كل مصفوفة مدخلات 68 x 370 إلى تمثيل كامن 68 x 128. يستخدم كل مشفر إسقاطًا للمدخلات تتبعه طبقتان تلافيفيتان بيانيتان متبقيتان بأبعاد خفية 128، وتنشيط GELU، وتطبيع الطبقة، وإسقاط.
  3. رموز النمط المفقود القابلة للتدريب: لتكن Tq هي الرمز للنمط q و mq هو مؤشر التوفر المقابل. تنتج هذه الخطوة تمثيلًا مدركًا للحالة يحافظ على نفس توزيع الـ 68 منطقة تحت المدخلات الكاملة ومدخلات النمط الواحد.
    معادلة في مخطط دمج البيانات العصبية؛ صيغة تكامل تحليل EEG و fMRI مع عامل الوزن.
    ملاحظة: كل رمز نمط مفقود قابل للتدريب هو متجه بـ 128 بُعدًا ويتم توسيعه عبر صفوف الـ 68 ROI عندما يكون النمط المقابل غير متوفر.
  4. وحدة التوجيه المرن المشتركة للحالة العصبية: أولاً، يتم دمج تمثيل EEG المدرك للحالة ZEEG، وتمثيل fMRI المدرك للحالة ZfMRI، وقناع توفر النمط المدمج. يتم دمج قناع توفر النمط بواسطة MLP بأبعاد 2 ← 128، وتنشيط GELU، وتطبيع الطبقة. يتكون الموجه من طبقتين تلافيفيتين أحادية البعد بأبعاد قنوات 384 ← 128 ← 128، وحجم نواة 3، وحشوة 1. يتم تطبيق تنشيط GELU بعد كل تلافيف، مع إسقاط (p=0.3) بعد التلافيف الأول.
    معادلة رياضية لدمج بيانات EEG و MRI في تحليل المدرك متعدد الطبقات.
    ترميز التوازن الاستاتيكي Π=Router(U)؛ تصور الصيغة الرياضية.
  5. الخبير المشترك للحالة العصبية.
    1. دمج تمثيل EEG المدرك للحالة ZEEG، وتمثيل fMRI المدرك للحالة ZfMRI، وتمثيل التوجيه المرن R على طول بُعد الميزة. تطبيق طبقة دمج متصلة بالكامل (384 إلى 128)، يتبعها تطبيع الطبقة، وتنشيط GELU، وإسقاط (p=0.3)، ثم إجراء تجميع متوسط (mean-pool) للتمثيل الناتج عبر الـ 68 ROI للحصول على التمثيل المدمج على مستوى الشخص بـ 128 بُعدًا zfused:
      المعادلة: Z_fused=MeanPool(Fusion(Cat[Z_EEG,Z_MRI,Π]))؛ مخطط طريقة دمج البيانات.
    2. تمرير zfused عبر الخبير المشترك للحالة العصبية، والذي يتكون من طبقة متصلة بالكامل (128 إلى 128)، وتطبيع الطبقة، وتنشيط GELU، وإسقاط (p=0.3). يُرمز لتمثيل الخبير المشترك الناتج بـ 128 بُعدًا بـ Eshared:
      معادلة تحويل الخبير المشترك، E_shared = SharedExpert(z_user).
  6. خبراء EEG و fMRI.
    1. لكل نمط، يتم إجراء تجميع متوسط للتمثيل المدرك للحالة عبر الـ 68 ROI وتمرير التمثيل الناتج بـ 128 بُعدًا عبر الخبير الخاص بهذا النمط:
      تحليل بيانات EEG و fMRI؛ معادلة؛ Expert_q(MeanPool(Z_q))؛ علوم الأعصاب، أبحاث الدماغ
    2. يتكون كل خبير خاص بنمط من طبقة متصلة بالكامل (128 إلى 128)، وتطبيع الطبقة، وتنشيط GELU، وإسقاط (p=0.3). يُرمز لتمثيلات الخبراء الخاصة بالأنماط الناتجة بـ 128 بُعدًا بـ EEEG و EfMRI على التوالي.
  7. وحدة الدمج.
    1. لحساب أوزان الخبراء، يتم دمج التمثيل المدمج على مستوى الشخص بـ 128 بُعدًا zfused مع قناع توفر النمط ثنائي الأبعاد m، مما ينتج عنه مدخل بوابة بـ 130 بُعدًا. تحتوي وحدة الدمج على بوابة خبراء تولد أوزانًا خاصة بكل عينة تُستخدم لدمج الخبراء. تتكون بوابة الخبراء من طبقة متصلة بالكامل (130 إلى 128)، يتبعها تنشيط GELU، وإسقاط (p = 0.3)، وطبقة مخرجات متصلة بالكامل (128 إلى 3). يتم تطبيق softmax على اللوغيتات الثلاثة الناتجة للحصول على أوزان الخبراء الخاصة بالعينة:مخطط صيغة التعلم العميق؛ دالة Softmax؛ معادلة الشبكة العصبية؛ مفهوم الخوارزمية.
    2. الأوزان الناتجة غير سالبة ومجموعها يساوي 1 لكل عينة:
      معادلة التوزيع الموزون، W_EEG + W_fMRI + W_shared = 1، لتحليل تصوير الدماغ.
    3. ضرب كل تمثيل خبير بـ 128 بُعدًا في وزن البوابة المقابل له وجمع التمثيلات الموزونة الثلاثة:
      معادلة التوازن الاستاتيكي، الصيغة: Z final = w EEG E EEG + w MRI E MRI + w shared E shared
      ملاحظة: هذه العملية تنفذ دمج MoE المرن الكثيف.
    4. تمرير تمثيل الخبير النهائي الناتج بـ 128 بُعدًا efused إلى رأس تصنيف تشخيص اضطرابات الدماغ الموصوف في القسم 4.8.
  8. رأس تصنيف تشخيص اضطرابات الدماغ: تمرير تمثيل الخبير النهائي بـ 128 بُعدًا عبر رأس تصنيف يتكون من تطبيع الطبقة، وإسقاط (p = 0.3)، وطبقة متصلة بالكامل تحول 128 بُعدًا إلى لوغيتين مخرجات. تطبيق softmax للحصول على احتمال HC واحتمال المرض المستهدف. يتم تعيين العينة إلى فئة المرض عندما يكون احتمال المرض المستهدف 0.5 على الأقل.
    معادلة تصنيف Softmax، صيغة تنبؤ مخرجات الشبكة العصبية في تعلم الآلة.
  9. التحقق من اتساق التنفيذ قبل التدريب. تشغيل عملية تمرير أمامي تجريبية تحت m = [1,1] و m = [1,0] و m = [0,1]. التأكد من أن تمثيلات EEG و fMRI والمدركة للحالة والتوجيه والمدمجة تحافظ على 68 صفًا من ROI ما لم يتم تجميعها صراحةً، والتأكد من أن مجموع أوزان الخبراء يساوي 1 بالترتيب: خبير EEG، خبير fMRI، والخبير المشترك للحالة العصبية.

5. تدريب نماذج BrainMoE الخمسة لتشخيص اضطرابات الدماغ

  1. تدريب نموذج BrainMoE واحد لكل مهمة ثنائية خاصة بمرض معين.
    1. استخدام نفس البنية والمعلمات الفائقة الافتراضية لجميع المهام: 30 epochs، وحجم دفعة 16، ومعدل تعلم 0.001، واضمحلال وزن 0.0001. يتم تثبيت بنية النموذج والمعلمات الفائقة قبل تقييم طية الاختبار، مع إبقائها دون تغيير عبر جميع الطيات والتكرارات والمهام الخاصة بالأمراض.
    2. عدم استخدام أداء طية الاختبار المستبعدة لاختيار النموذج أو ضبط المعلمات الفائقة. لكل دفعة صغيرة، يتم إجراء ثلاث تمريرات أمامية باستخدام الأقنعة الكاملة، والخاصة بـ EEG فقط، والخاصة بـ fMRI فقط مع أوزان نموذج مشتركة. يتم تشغيل تدريب BrainMoE على النحو التالي: python train.py --config configs/brain_moe.json --task --data_dir (الملف التكميلي 6). يتم تعيين إلى depression، أو anxiety، أو reading_disorder، أو autism، أو adhd.
  2. تحسين متوسط خسارة التصنيف ثلاثية الحالات. يتم حساب خسارة الإنتروبيا المتقاطعة الموزونة حسب الفئة Ls لكل حالة كما يلي:
    صيغة التوازن الساكن في العلوم العصبية؛ معادلة تصور طريقة دمج بيانات الدماغ متعددة الوسائط.
    ويتم حساب متوسط الخسائر كما يلي:
    معادلة خسارة التدريب L_train=(L_full+L_EEG-only+L_MRI-only)/3؛ معادلة الدراسة.
  3. إعادة تعيين التدرجات، وإجراء الانتشار العكسي، وتحديث جميع المعلمات القابلة للتدريب باستخدام AdamW.

6. تقييم حالات الاستدلال ذات النمط الكامل والنمط المفقود

  1. طريقة التقييم: يتم تحميل نقطة التحقق (checkpoint) لمهمة المرض المختارة واستخدام قائمة ملفات الاختبار المحفوظة من نقطة التحقق ذاتها. تُستخدم القيمة m = [1,1] للاستدلال الكامل باستخدام EEG-fMRI، والقيمة m = [1,0] للاستدلال باستخدام EEG فقط، والقيمة m = [0,1] للاستدلال باستخدام fMRI فقط. أخيراً، تُطبق دالة softmax للحصول على احتمالية المرض المستهدف، ويتم تعيين فئة المرض عندما تكون الاحتمالية 0.5 على الأقل.
  2. مقاييس التقييم: يتم حساب مقاييس التقييم من مصفوفة الارتباك (confusion matrix)، حيث تشير TP إلى العينات الإيجابية للمرض التي صُنفت بشكل صحيح على أنها مرض، وتشير TN إلى الأصحاء (HC) الذين صُنفو بشكل صحيح على أنهم أصحاء، وتشير FP إلى الأصحاء (HC) الذين صُنفو بشكل خاطئ على أنهم مرض، وتشير FN إلى العينات الإيجابية للمرض التي صُنفت بشكل خاطئ على أنها صحيحة.
    صيغة التوازن الساكن، حساب الدقة، معادلة تحليل الإيجابيات/السلبيات الحقيقية والكاذبة.
    صيغة حساب الحساسية، معادلة تحليل معدل الإيجابيات الحقيقية في البحث.
    صيغة النوعية، \( \text{Specificity} = \frac{TN}{TN + FP} \)، معادلة، تحليل إحصائي.
    صيغة مقياس F1: المتوسط التوافقي للدقة والحساسية، المستخدم في التحليل الإحصائي.
    صيغة الدقة المتوازنة؛ معادلة لتقييم أداء نموذج التصنيف.
  3. تُستخدم الدقة (accuracy) للإبلاغ عن معدل التصنيف الصحيح الإجمالي. وتُستخدم الحساسية (sensitivity) لقياس الكشف عن الحالات الإيجابية للمرض، والنوعية (specificity) لقياس تحديد الأصحاء (HC).
  4. يُستخدم مقياس F1 لتلخيص التوازن بين الدقة والحساسية. وتُستخدم الدقة المتوازنة (balanced accuracy) لتقليل تأثير عدم التوازن بين الفئات. بالإضافة إلى ذلك، يتم حساب المساحة تحت المنحنى (AUC) لتقييم التمييز المستقل عن العتبة عبر عتبات القرار المختلفة.
  5. لكل تكرار، يتم حساب متوسط كل مقياس أداء عبر الطيات الخمس المستبعدة (held-out folds). وتُعرض النتائج النهائية كمتوسط وانحراف معياري لمتوسطات التكرارات العشرة.
  6. تتم مقارنة BrainMoE مع الطرق المرجعية (baseline methods). استخدمت جميع الطرق المرجعية نفس تقسيمات مستوى المشاركين ومدخلات EEG-fMRI الكاملة مثل BrainMoE، مع تثبيت التكوينات قبل التقييم المستبعد. تمت مقارنة BrainMoE مع كل طريقة مرجعية باستخدام اختبارات t المزدوجة ثنائية الجانب مع تعديل Holm.

7. إجراء إسناد حجب العقد على مستوى المجموعة عبر خمسة اضطرابات دماغية

  1. حدد مجموعة العينات المخصصة لتحليل الإسناد. قم بتحميل نقطة تحقق BrainMoE المدربة وملف أسماء مناطق DK. اختر عينات الاختبار الإيجابية للمرض والتي تم تصنيفها بشكل صحيح في ظل حالة EEG-fMRI الكاملة مع m = [1,1]. استخدم هذه المجموعة لإجراء تحليل الإسناد على مستوى المجموعة، واحفظ احتمال الإصابة بالمرض المستهدف كخط أساس لكل عينة.
  2. احسب درجات حجب العقد الخاصة بكل نمط. بالنسبة للإسناد المشتق من تخطيط كهربائية الدماغ (EEG)، يتم حجب منطقة اهتمام (ROI) واحدة من تخطيط كهربائية الدماغ في كل مرة عن طريق ضبط متجه ميزات عقدة تخطيط كهربائية الدماغ المختارة والصف والعمود المقابلين في مخطط تخطيط كهربائية الدماغ على صفر، مع إبقاء مدخلات التصوير بالرنين المغناطيسي الوظيفي (fMRI) دون تغيير. وبالنسبة للإسناد المشتق من التصوير بالرنين المغناطيسي الوظيفي، يتم تطبيق العملية نفسها على مصفوفة ميزات عقد التصوير بالرنين المغناطيسي الوظيفي ومخطط التصوير بالرنين المغناطيسي الوظيفي، مع إبقاء مدخلات تخطيط كهربائية الدماغ دون تغيير. كرر هذا الإجراء عبر جميع مناطق DK الـ 68. قم بإجراء تحليل الإسناد عن طريق حجب العقد باستخدام الكود الموفر في الملف التكميلي 7.
  3. احسب مساهمات المناطق ذات الاهتمام (ROI) على مستوى المجموعة وقم بتمثيلها مرئياً. لكل منطقة ذات اهتمام ولكل نمط، احسب درجة المساهمة باعتبارها متوسط الانخفاض في احتمالية الإصابة بالمرض المستهدف بعد عملية الحجب عبر جميع العينات المختارة. قم بترتيب الدرجات المشتقة من تخطيط كهربائية الدماغ (EEG) والدرجات المشتقة من التصوير بالرنين المغناطيسي الوظيفي (fMRI) بشكل منفصل، وصَدّر أفضل 10 مناطق ذات اهتمام لكل نمط، مع وضع تسمية على المنطقة ذات الاهتمام الأعلى ترتيباً في الشكل.

النتائج

أداء BrainMoE عبر الاضطرابات وحالات الوسائط
أنتج البروتوكول خمسة مصنفات BrainMoE مخصصة لكل مرض للمقارنة بين الأصحاء والمصابين، كما أنتج جداول تنبؤ لحالات الاستدلال الخاصة بـ EEG-fMRI الكاملة، وEEG فقط، وfMRI فقط. أنتجت حالة EEG-fMRI الكاملة تمييزاً عالياً باستمرار عبر المهام الخمس، حيث تراوحت قيم AUC من 84.4 ± 3.2% لـ RI إلى 88.4 ± 3.8% لـ ASD (الجدول 1). وبلغ متوسط الأداء العام (macro-averaged) للحالة الكاملة عبر المهام الخمس 86.9 ± 3.0% لـ AUC، و81.4 ± 3.1% للدقة، و81.4 ± 2.5% للدقة الموزونة، و81.2 ± 3.0% لدرجة F1.

تحت ظروف محاكاة فقدان الوسائط، حافظ BrainMoE على أداء قابل للاستخدام عند حجب وسيط إدخال واحد. وفي حالة الاعتماد على EEG فقط، حقق النموذج متوسط AUC كلي بلغ 83.1 ± 3.7%، مع تسجيل أعلى AUC لـ EEG فقط في حالة ADHD بنسبة 87.9 ± 2.8%. أما في حالة الاعتماد على fMRI فقط، فقد بلغ متوسط AUC الكلي 80.0 ± 3.9%. وتعمل نطاقات الأداء هذه، بالإضافة إلى الميزة المتوقعة للأداء في الحالة الكاملة، كمعايير مرجعية عملية للتنفيذ الناجح، مما يشير إلى أن إطار BrainMoE المدرب يمكنه إجراء الاستدلال الكامل، أو الاستدلال المعتمد على EEG فقط، أو الاستدلال المعتمد على fMRI فقط، دون الحاجة إلى نماذج منفصلة لكل وسيط.

تتمثل إحدى النتائج غير المثالية النموذجية في الفشل في إعادة إنتاج ميزة الأداء المتوقعة للحالة الكاملة، على سبيل المثال، عندما تكون قيمة AUC لـ EEG-fMRI الكاملة أقل من قيمة AUC لـ EEG فقط أو fMRI فقط. في المقابل، يجب أن يؤدي التنفيذ الناجح إلى إعادة إنتاج ميزة الحالة الكاملة ونطاقات أداء المرجعية الواردة في الجدول 1. عند ملاحظة نمط غير مثالي، تحقق من أبعاد إدخال H5، وترتيب منطقة DK، وتعيين قناع توفر الوسائط، وأقسام التحقق المتقاطع المحفوظة قبل تفسير مخرجات النموذج.

مقارنة مرجعية
تمت مقارنة نموذج BrainMoE المقترح مع طرق تعلم الآلة التقليدية (آلة ناقلات الدعم (SVM) والبرسيبترون متعدد الطبقات (MLP))، وطرق التعلم العميق العامة (Transformer7، و3D-CNN22 وResNet6)، وطرق التعلم العميق المتقدمة (BrainNetCNN8، وBNT10، وBrainGNN9، وMultiEpilepsyNet11، وSZAtt-Net12)، وطرق التعلم العميق القائمة على Mixture of Experts (dFCExpert17، وEvoMoE18، وNeuroMoE++19) (الجدول 2). وقد حقق نموذج BrainMoE أعلى متوسط AUC من بين جميع الطرق التي تمت مقارنتها، بنسبة 86.9 ± 3.0%.

أظهرت طرق تعلم الآلة التقليدية أداءً متوسطًا أقل، حيث حقق نموذج SVM متوسط AUC بنسبة 66.7 ± 4.5% ونموذج MLP بنسبة 64.6 ± 6.3%. وأظهرت طرق التعلم العميق العامة أداءً متفاوتًا، حيث حقق نموذج ResNet متوسط AUC بنسبة 71.0 ± 3.3% وحقق نموذج Transformer بنسبة 63.8 ± 4.7%. ومن بين خطوط الأساس المتقدمة للتعلم العميق، تفوقت نماذج BNT وBrainGNN وMultiEpilepsyNet وSZAtt-Net على معظم طرق تعلم الآلة التقليدية وطرق التعلم العميق العامة، ومع ذلك ظل متوسط AUC الخاص بها أقل من متوسط AUC لنموذج BrainMoE.

ولتوفير الدعم الإحصائي لمقارنة القياس المرجعي، تمت مقارنة BrainMoE بأقوى خط أساس لكل مقياس من مقاييس الأداء (الجدول 3تفوق BrainMoE على NeuroMoE++ في المساحة تحت المنحنى (AUC) والدقة المتوازنة (BA)، كما تفوق على SZAtt-Net في مقياس F1 والدقة. وظلت جميع المقارنات ذات دلالة إحصائية بعد إجراء تعديل هولم (Holm adjustment).

تحليل المجموعات الفرعية حسب الجنس وموقع الاقتناء
تم تلخيص خصائص المجموعة وفقاً للمهام المحددة، بما في ذلك أعداد السجلات متعددة الوسائط المحتفظ بها، ونسب الإصابة إلى الضابطة، وأعداد المشاركين الفريدين، وملخصات الأعمار، وتوزيعات الجنس، وتوزيعات مواقع الاقتناء، في جدول خصائص المجموعة (الجدول 4). وقد حُسبت نسب الإصابة إلى الضابطة من أعداد السجلات متعددة الوسائط، بينما لُخصت الخصائص الديموغرافية وخصائص مواقع الاقتناء على مستوى المشارك الفريد.

لتقييم التأثيرات المحتملة للجنس وموقع الحصول على العينات، تم تقسيم أداء BrainMoE وفقاً لهذه العوامل (الجدول 5). أظهرت المجموعة الفرعية للذكور متوسطاً أعلى في كل من AUC وBA وF1 score والدقة مقارنة بالمجموعة الفرعية للإناث، بينما تراوحت قيم Welch p غير المعدلة المقابلة بين 0.089 و0.321. وبالمثل، أظهرت المجموعة الفرعية RUBIC متوسط أداء أعلى من المجموعة الفرعية Staten Island، حيث تراوحت قيم p بين 0.055 و0.309. لم يتم الكشف عن أي فرق ذو دلالة إحصائية بين المجموعات الفرعية في هذه التحليلات.

تحليل الاستئصال لمكونات BrainMoE
أُجريت تجارب الاستئصال لتقييم مساهمة قناع توفر الوسائط، والموجه التلافيفي، والخبير المشترك، وتصميم دمج خبراء MoE (الجدول 6). أدى إزالة تضمين القناع إلى خفض متوسط AUC إلى 79.2 ± 3.1%، كما أدى استبدال الموجه التلافيفي بموجه MLP إلى خفضه إلى 79.3 ± 3.7%. وأدى إزالة الخبير المشترك إلى خفض AUC الخاص بـ fMRI فقط إلى 73.5 ± 3.3%، وهي القيمة الأدنى بين المتغيرات المختبرة. كما أدت إزالة جميع خبراء MoE إلى خفض الدقة المتوازنة الإجمالية إلى 74.2 ± 3.0%. وأظهرت نتائج الاستئصال هذه أن تصميم BrainMoE الكامل حقق أقوى أداء إجمالي عبر حالتي توفر الوسائط الكاملة والمفقودة، بينما ساهم كل من تضمين القناع، والموجه التلافيفي، والخبير المشترك، ودمج خبراء MoE في السلوك النهائي للنموذج.

نتائج القابلية للتفسير على مستوى المنطقة ذات الاهتمام (ROI) لخمسة اضطرابات دماغية
لبحث المساهمات الإقليمية الكامنة وراء تنبؤات BrainMoE، تم إجراء إسناد عن طريق حجب العقد (node-occlusion attribution) على العينات الإيجابية للمرض التي تم تصنيفها بشكل صحيح في حالة EEG-fMRI الكاملة. تم ترتيب مساهمات مناطق الاهتمام (ROI) المشتقة من EEG والمشتقة من fMRI بشكل منفصل عن طريق قياس الانخفاض في احتمالية المرض المستهدف بعد حجب كل منطقة في أطلس DK. وحدد التحليل أنماط مساهمة خاصة بكل نمط تصوير عبر مهام الأمراض الخمسة (الشكل 2). بالنسبة للإسناد المشتق من fMRI، كانت المناطق الأعلى تصنيفاً هي التلفيف الحزامي الخلفي الأيسر في MDD، والقشرة المحيطة بالتلم المخطط الأيمن في ANX، والقشرة المجاورة للحصين اليسرى في RI، والجزء المثلثي الأيمن في ASD، والقشرة الشمية الداخلية اليسرى في ADHD. أما بالنسبة للإسناد المشتق من EEG، فقد كانت المناطق الأعلى تصنيفاً هي ضفاف الثلم الصدغي العلوي الأيسر في MDD، والقشرة أمام المركزية اليسرى في ANX، والإسفين الأيسر في RI، والقشرة اللسانية اليسرى في ASD، والفص الجزيري الأيمن في ADHD. تم تصور مناطق الاهتمام الأعلى تصنيفاً المشتقة من EEG وfMRI لكل اضطراب على الأسطح القشرية في الشكل 3. وأظهرت هذه النتائج أن BrainMoE وفر قابلية للتفسير على مستوى منطقة الاهتمام مع الحفاظ على ملفات إسناد منفصلة للتمثيلات المشتقة من EEG والمشتقة من fMRI. بالنسبة للعينات الإيجابية للمرض المصنفة بشكل صحيح، تم تقييم استقرار التبادل بين الطيات باستخدام تكرار أعلى منطقة اهتمام (Top-1 ROI) عبر 50 طية مستبعدة (الجدول 7). تراوحت التكرارات الملحوظة من 36% إلى 68%، متجاوزة المرجع النظري للاختيار العشوائي البالغ 1/68 (1.47%)، مما يدعم التفسير القائم على التصنيفات النسبية بدلاً من أحجام المساهمة المطلقة. أُجريت المقارنات مع نتائج التصوير العصبي السابقة لاحقاً (post hoc) واستُخدمت فقط لسياق نتائج الإسناد، وليس كتحقق مستقل.

مخطط دمج أنماط EEG/fMRI؛ خبير الحالة العصبية المشترك؛ تصنيف التشخيص لاضطرابات الدماغ.
الشكل 1: نظرة عامة على إطار عمل BrainMoE مع دمج تكيفي بين EEG-fMRI لتشخيص اضطرابات الدماغ بمساعدة الحاسوب. تتم معالجة سمات EEG وfMRI ROI المحاذية للمصدر بواسطة مشفرات رسومية (Graph Encoders) منفصلة. تُمرر التمثيلات الناتجة إلى خبراء EEG وfMRI، ومعها قناع توفر النمط (Modality Availability Mask)، إلى وحدة التوجيه اللين (Soft-Routing Module) المشتركة. يتم دمج تمثيلات الأنماط وتمثيل التوجيه ومعالجتهما بواسطة خبير الحالة العصبية المشترك. ثم تدمج مخرجات الخبراء الثلاثة في وحدة الدمج (Fuse Module) وتُمرر إلى رأس تصنيف التشخيص لإنتاج احتمالات HC والمرض المستهدف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخططات شريطية لمساهمة المناطق ذات الاهتمام في الدماغ؛ تحليل EEO بواسطة fMRI للاضطرابات: الاكتئاب، القلق، واضطراب نقص الانتباه مع فرط النشاط.
الشكل 2: تحليل مساهمة المناطق ذات الاهتمام (ROI) القائم على حجب العقد. تم تصور أعلى 10 مساهمات للمناطق ذات الاهتمام المستمدة من EEG وfMRI لكل مهمة مرضية تحت حالة استدلال EEG-fMRI الكاملة. تظهر اللوحات (A–E) النتائج المستمدة من fMRI لكل من MDD وANX وRI وASD وADHD على التوالي، وتظهر اللوحات (F–J) النتائج المقابلة المستمدة من EEG بنفس الترتيب. تم وضع تسمية فقط للمنطقة ذات الاهتمام الأعلى تصنيفاً في كل مخطط. عُرّفت مساهمة المنطقة ذات الاهتمام بأنها الانخفاض في احتمالية المرض المستهدف بعد حجب منطقة أطلس DK المقابلة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مخططات تنشيط مناطق الدماغ؛ الاضطرابات النفسية MDD وANX وRI وASD وADHD؛ تحليل الدماغ بواسطة MRI.
الشكل 3: خرائط القابلية للتفسير على مستوى منطقة الاهتمام (ROI) القشرية عبر خمسة اضطرابات دماغية. تظهر اللوحات (A–E) حالات MDD وANX وRI وASD وADHD على التوالي. تعرض كل لوحة منطقة الاهتمام (ROI) المشتقة من EEG الأعلى ترتيباً باللون الأحمر ومنطقة الاهتمام (ROI) المشتقة من fMRI الأعلى ترتيباً باللون البرتقالي على السطح القشري لـ DK. تشير الألوان إلى النمط بدلاً من مقدار المساهمة؛ لذا لم يتم تطبيق مقياس ألوان كمي. تشير البادئات lh وrh إلى النصفين الكرويين الأيسر والأيمن على التوالي. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مهمة المرضالحالةAUCالدقةBAF1الحساسيةالنوعية
MDDكاملة88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEG فقط83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRI فقط82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXكاملة85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEG فقط81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRI فقط74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIكاملة84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEG فقط80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI فقط81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDكاملة88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEG فقط82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRI فقط81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDكاملة88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEG فقط87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRI فقط80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

الجدول 1: أداء تصنيف BrainMoE عبر مهام الأمراض وحالات توفر الوسائط. أداء BrainMoE لخمس مهام تصنيف (أصحاء مقابل مرضى) في حالات الاستدلال باستخدام EEG-fMRI الكاملة، وEEG فقط، وfMRI فقط. تم تقديم المقاييس كمتوسط ± الانحراف المعياري، وتشمل المساحة تحت منحنى خصائص التشغيل المستلم (AUC)، والدقة، والدقة المتوازنة (BA)، ودرجة F1، والحساسية، والنوعية.

الطريقةمجموعة الطرقمتوسط AUCمتوسط BAمتوسط F1متوسط الدقة
SVMML الكلاسيكي66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPML الكلاسيكي64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
TransformerDL عام63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNDL عام65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetDL عام71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNDL متقدم70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTDL متقدم73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNDL متقدم72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetDL متقدم78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-NetDL متقدم78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertDL قائم على MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEDL قائم على MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++DL قائم على MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (طريقتنا)DL قائم على MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

الجدول 2: متوسط أداء التصنيف لـ BrainMoE مقارنة بطرق التعلم الآلي الكلاسيكية، ونماذج التعلم العميق العامة، وبنيات التعلم العميق المتقدمة للتصوير العصبي. تم تجميع النتائج عبر مهام تصنيف الأمراض التي تم تقييمها، وأُبلغ عنها كمتوسط ± الانحراف المعياري لكل من AUC وBA وF1 score والدقة.

مقارنةمتوسط المساحة تحت المنحنى (AUC)متوسط BAمتوسط F1متوسط الدقة
أقوى خط أساسNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
أقوى أداء مرجعي81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
الفرق+5.4+3.5+3.8+3.3
قيمة p في اختبار t0.00060.00650.01870.0276
قيمة p* المعدلة بطريقة هولمp < 0.01p < 0.05p < 0.05p < 0.05
معامل دي لكوهين (Cohen's d)ز1.631.110.910.83

الجدول 3: مقارنة بين BrainMoE وأقوى نموذج مرجعي لكل مقياس من مقاييس الأداء. تم حساب قيم P باستخدام اختبارات t المزدوجة ذات الطرفين، وتم تعديلها باستخدام إجراء Holm. يشير Cohen's dz إلى الفرق المزدوج الموحد.

المجموعةالسجلات متعددة الوسائط (n)نسبة المرضى إلى المجموعة الضابطةالمشاركون الفريدون (n)النطاق العمري (سنوات)الجنس (ذكر/أنثى)موقع الاقتناء (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

الجدول 4: خصائص مجموعات الدراسة المستخدمة في خمس مهام تصنيف خاصة بأمراض معينة. يوضح الجدول عدد السجلات متعددة الوسائط المستبقاة، ونسب المرضى إلى الضوابط، وأعداد المشاركين الفريدين، والخصائص الديموغرافية، وتوزيعات مواقع الحصول على البيانات.

المجموعة الفرعيةالعددمتوسط AUCمتوسط BAمتوسط F1متوسط الدقة
الجنس
ذكر70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
أنثى39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
الفرق+1.6+2.2+2.4+2.9
قيمة p حسب اختبار Welch--0.3210.1920.1590.089
موقع الحصول على البيانات
RUBIC67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
Staten Island42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
الفرق+2.4+1.6+2.9+3.3
قيمة p حسب اختبار Welch--0.1760.3090.0850.055

الجدول 5: أداء BrainMoE مصنفاً حسب الجنس وموقع الاكتساب. يتم عرض النتائج كمتوسط ± الانحراف المعياري عبر 10 تكرارات من التحقق المتقاطع خماسي الطيات (5-fold cross-validation). يمثل الفرق طرح المجموعة الفرعية الثانية من الأولى، وتم الحصول على قيم P باستخدام اختبارات Welch t ثنائية الجانب.

المتغيرالمساحة الكلية تحت المنحنى (Full AUC)المساحة تحت المنحنى لـ EEG فقط (EEG-only AUC)المساحة تحت المنحنى لـ fMRI فقط (fMRI-only AUC)متوسط المساحة تحت المنحنى (Mean AUC)متوسط دقة التصنيف (Mean BA)
بدون تضمين القناع (w/o mask embedding)83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
بدون موجه تلافيفي (w/o Conv Router)84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
موجه MLP (MLP Router)82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
بدون خبير مشترك (w/o Shared Expert)83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
بدون خبراء MoE (w/o MoE Experts)81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (نموذجنا)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

الجدول 6: تحليل الاستئصال لمكونات BrainMoE الرئيسية. تظهر نتائج الاستئصال مساهمة قناع توفر النمط، والموجه الالتفافي، والخبير المشترك، وتصميم دمج خبراء MoE. يتم تقييم كل متغير تحت ظروف الاستنتاج باستخدام EEG-fMRI الكامل، وEEG فقط، وfMRI فقط، مع تلخيص الأداء العام بواسطة متوسط AUC ومتوسط BA.

مرضتخطيط كهربائية الدماغ: منطقة الاهتمام الأعلى تصنيفاًتخطيط كهربائية الدماغ: التردد الأكثر شيوعاً، n/N (%)التصوير بالرنين المغناطيسي الوظيفي: المنطقة ذات الاهتمام الأعلى تصنيفاًالتصوير بالرنين المغناطيسي الوظيفي (fMRI): التردد الأعلى، n/N (%)المرجع الاحتمالي (%)
اضطراب الاكتئاب الجسيمالضفاف اليسرى للتلم الصدغي العلوي22/50 (44%)القشرة الحزامية الخلفية اليسرى25/50 (50%)1.47
القلقالقشرة أمام المركزية اليسرى18/50 (36%)القشرة حول السويداء اليمنى21/50 (42%)1.47
الرنين المغناطيسي (RI)الوتد الأيسر26/50 (52%)القشرة جنيب الحصينية اليسرى29/50 (58%)1.47
اضطراب طيف التوحدالقشرة اللسانية اليسرى27/50 (54%)الجزء المثلثي الأيمن28/50 (56%)1.47
اضطراب نقص الانتباه مع فرط النشاط (ADHD)القشرة الجزيرية اليمنى31/50 (62%)القشرة الشمية الداخلية اليسرى34/50 (68%)1.47

الجدول 7: استقرار التحقق المتقاطع للمناطق ذات الأهمية (ROIs) الأعلى تصنيفاً والمشتقة من تخطيط كهربائية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI). يشير التكرار الأعلى (Top-1 frequency) إلى عدد ونسبة تحليلات مستوى 50-fold التي احتلت فيها المنطقة ذات الأهمية المذكورة المرتبة الأولى. كانت المرجعية النظرية للاختيار العشوائي هي 1/68 (1.47%).

الملف التكميلي 1: نص برمجي للتحقق من مدخلات H5.نص برمجي بلغة Python للتحقق من مفاتيح مدخلات H5 المطلوبة، وأنواع البيانات، والتسميات التشخيصية، وأبعاد المدخلات المتوافقة مع أطلس DK-atlas قبل تدريب BrainMoE. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 2: نص برمجي للمعالجة المسبقة لصور الرنين المغناطيسي الوظيفي (fMRI).ملفات التكوين والتنفيذ الخاصة ببرنامج C-PAC المستخدمة في المعالجة المسبقة لصور fMRI، بما في ذلك إزالة الأحجام الأولية، وتصحيح الحركة والتشوه، والتسجيل والتقييس، وانحدار العوامل المزعجة، والترشيح الزمني، والتنعيم المكاني. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 3: برامج معالجة FreeSurfer. برامج لمعالجة بيانات التصوير بالرنين المغناطيسي البنيوي، وإجراء التسجيل المشترك لتقسيم القشرة الدماغية وفق أطلس Desikan-Killiany مع حيز التصوير بالرنين المغناطيسي الوظيفي الأصلي، واستخراج إشارات التصوير بالرنين المغناطيسي الوظيفي على مستوى المنطقة ذات الاهتمام. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 4: برمجيات المعالجة المسبقة لتخطيط كهربية الدماغ (EEG). برمجيات MATLAB/EEGLAB المستخدمة في المعالجة المسبقة لتخطيط كهربية الدماغ، بما في ذلك الترشيح، وتحديد وإزالة المكونات الاصطناعية، وإعادة تعيين المرجع. يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 5: نص برمجي لـ MNE-Python لتحديد موقع المصدر واستخراج الميزات. نص برمجي بلغة Python لتحديد موقع مصدر EEG، واستخراج المناطق ذات الاهتمام (ROI) من أطلس DK، وتوليد ميزات EEG على مستوى المنطقة ذات الاهتمام لاستخدامها كمدخلات لـ BrainMoE. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 6: كود تنفيذ BrainMoE. كود Python وملفات التكوين الخاصة ببنية BrainMoE، ومشفّرات الرسوم البيانية، ومعالجة حالات الوسائط، وتوجيه ودمج الخبراء، وتدريب النموذج، والتقييم، ومتغيرات الاستئصال. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 7: كود إسناد حجب العقدات.كود بلغة Python لتحليل حجب العقدات الخاص بكل نمط، وحساب درجات مساهمة المناطق ذات الاهتمام (ROI)، وتصنيف المناطق ذات الاهتمام المشتقة من EEG وfMRI، وتوليد مخرجات الإسناد. يرجى النقر هنا لتحميل هذا الملف.

المناقشة

أصبح تحليل إشارات الدماغ متعدد الوسائط اتجاهاً مهماً لتشخيص اضطرابات الدماغ بمساعدة الحاسوب، نظراً لأن تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) يوفران معلومات متكاملة حول النشاط العصبي. وفي مقارنة معيارية، قدمت طرق التعلم الآلي التقليدية، مثل آلات المتجهات الداعمة (SVM) والبيرسيبترون متعدد الطبقات (MLP)، أداءً تشخيصياً أساسياً، ولكنها كانت ذات قدرة محدودة على نمذجة التفاعلات الميزية الهرمية، وذات البنية الرسومية، وتلك العابرة للوسائط. ووفرت نماذج التعلم العميق العامة، بما في ذلك الشبكات العصبية التلافيفية ثلاثية الأبعاد (3D-CNN)، والشبكات العصبية المتبقية (ResNet)، والمحول (Transformer)، قدرة أقوى على النمذجة غير الخطية، إلا أن هذه البنى لم تكن مصممة خصيصاً لدمج بيانات EEG-fMRI أو تمثيلات شبكة الدماغ. وقد حققت طرق التعلم العميق المتقدمة أداءً أفضل من معظم النماذج التقليدية والعامة، ولكن العديد منها ظل يعتمد على استراتيجيات ثابتة لدمج الميزات ولم تفصل بشكل صريح بين المعلومات الخاصة بكل وسيط والمعلومات المشتركة للحالة العصبية.

اقترحت هذه الدراسة نموذج BrainMoE لمعالجة مشكلة الدمج هذه عن طريق الجمع بين مشفرات الأنماط القائمة على الرسوم البيانية (graph-based modality encoders)، وخبراء متخصصين في أنماط محددة، وخبير حالة عصبية مشترك، وآلية توجيه تكيفية. وقد سمح هذا التصميم بنمذجة التمثيلات المشتقة من EEG وfMRI بشكل منفصل ثم دمجها من خلال دمج على مستوى الخبراء. ومن خلال إدخال أقنعة حالة النمط (modality-state masks) وعلامات النمط المفقود (missing-modality tokens)، تمكن النموذج المدرب نفسه من إجراء الاستدلال باستخدام EEG فقط أو fMRI فقط دون الحاجة إلى بناء نماذج منفصلة لكل حالة نمط مفقود. وأظهرت النتائج التجريبية أن BrainMoE حقق أقوى أداء إجمالي عبر مهام تصنيف الأمراض الثنائية الخمس، وحافظ على أداء قابل للاستخدام في حالتي EEG فقط وfMRI فقط. كما دعم تحليل الاستئصال (ablation analysis) بشكل أكبر مساهمة تضمين القناع، والموجه التلافيفي، والخبير المشترك، ودمج خبراء MoE. وتشير هذه النتائج إلى أن تحسن الأداء لم يكن بسبب مكون واحد، بل نتيجة للتصميم المنسق لترميز الرسوم البيانية، ونمذجة حالة النمط، والتوجيه التكيفي، ودمج الخبراء.

خطوات البروتوكول الحرجة واستكشاف الأخطاء وإصلاحها
تتضمن خطوات البروتوكول الحرجة الحفاظ على نفس ترتيب مناطق DK الـ 68 عبر مصفوفات العقد والرسوم البيانية لكل من EEG وfMRI، وتطبيق إعدادات المعالجة المسبقة المحددة مسبقاً بشكل مستقل لكل مشارك، وفرض التحقق المتقاطع على مستوى المشارك بحيث تظل جميع السجلات الخاصة بالمشارك الواحد في طية واحدة. كما يجب أن يتوافق قناع توافر النمط (Modality Availability Mask) مع المدخلات المقدمة لكل حالة استنتاج.

إذا فشلت عملية الاستدلال أو لم يتم تكرار ميزة الأداء المتوقعة للحالة الكاملة، فيجب أولاً التحقق من مفاتيح H5 المطلوبة، وأبعاد مصفوفات EEG وfMRI، وترتيب مناطق DK، وتعيين قناع توفر الوسائط (Modality Availability Mask)، وأقسام التحقق المتقاطع المحفوظة. يجب استبعاد الملفات التي تحتوي على مفاتيح مفقودة، أو أبعاد غير صالحة، أو ترتيب غير متسق للمناطق قبل البدء في التدريب أو التقييم. يمكن تعديل إطار العمل ليتناسب مع تقسيمات قشرية بديلة أو تمثيلات ميزات EEG/fMRI مختلفة، شريطة أن يتم ربط كلتا الوسائط بترتيب متسق للمناطق ذات الاهتمام (ROI) وضبط أبعاد إدخال النموذج المقابلة. كما يمكن تكييف رأس التصنيف الخاص بالمرض لمهام تصنيف ثنائية أخرى مع الاحتفاظ بإطار ترميز الرسوم البيانية ودمج الخبراء. تتطلب هذه التعديلات إعادة التدريب والتحقق بدلاً من التطبيق المباشر للنماذج المذكورة هنا.

تحليل القابلية للتفسير القائم على حجب العقد
قدم تحليل حجب العقد مزيداً من القابلية للتفسير لتنبؤات BrainMoE على مستوى المناطق ذات الاهتمام (ROIs)، حيث تظهر المناطق ذات الاهتمام المرتبطة بالمرض والأعلى تصنيفاً في الشكل 3. تتوافق منطقة الاهتمام الخلفية اليسرى المستمدة من EEG والتي حددها BrainMoE مع الأدلة السابقة لتحليل ميتا القائم على الفوكسل23 التي أفادت بتغير نشاط الدماغ الجوهري في المناطق القشرية الخلفية في حالة الاكتئاب الجسيم (MDD). وتتوافق مناطق الاهتمام أمام المركزية اليسرى والمحيطية المهدبة اليمنى المستمدة من EEG/fMRI مع أدلة التصوير العصبي السابقة في اضطرابات القلق: حيث أفاد تحليل ميتا لسماكة القشرة24 بزيادة سماكة القشرة في التلفيف أمام المركزي الأيسر لدى المرضى الذين يعانون من اضطرابات القلق، بينما أفادت دراسة لشبكة التغاير الهيكلي25 في اضطراب القلق الاجتماعي بمرکزية عقدية غير طبيعية تشمل القشرة المحيطية المهدبة اليمنى. وبالنسبة لاضطراب القراءة، فإن منطقة الاهتمام في الإسفين الأيسر المستمدة من EEG تتوافق مع دراسة للاتصال في الدماغ بأكمله26 أفادت بتغير الاتصال في الإسفين الأيسر في حالات عسر القراءة، بينما تتوافق منطقة الاهتمام جنيب الحصين اليسرى المستمدة من fMRI مع دراسة منفصلة27 أفادت باقتران غير طبيعي بين منطقة جنيب الحصين والحصين لدى المراهقين الذين يعانون من عجز محدد في استيعاب القراءة. وفي مهمة اضطراب طيف التوحد، تعكس منطقة الاهتمام اللسانية اليسرى التي أبرزها الإسناد المستمد من EEG أدلة fMRI السابقة في حالة الراحة28 على انخفاض ReHo في التلفيف اللساني الأيسر لدى الأولاد في مرحلة ما قبل البلوغ المصابين بـ ASD. كما تعد منطقة الاهتمام في الجزء المثلثي الأيمن المستمدة من fMRI منطقية بيولوجياً، حيث تم الإبلاغ29 عن تغير ALFF في الجزء المثلثي الأيمن من التلفيف الجبهي السفلي لدى الأطفال المصابين بالتوحد. أما بالنسبة لـ ADHD، فإن منطقة الاهتمام في الفص الجزيري الأيمن المستمدة من EEG تتوافق مع أدلة MRI الهيكلية30 التي تظهر انخفاض حجم الفص الجزيري الأمامي لدى الشباب المصابين بـ ADHD، وتحديداً فيما يتعلق بالتلفيف الجزيري القصير الأيمن. وقد تعكس منطقة الاهتمام القشرية الشمية الداخلية اليسرى المستمدة من fMRI نتيجة أكثر تحديداً لنوع فرعي، حيث أفادت دراسة منفصلة في الطب النفسي31 بانخفاض حجم القشرة الشمية الداخلية اليسرى في مجموعة فرعية من ADHD-C بعد تصحيح FDR. ومع ذلك، يجب تفسير هذه النتائج مع مراعاة الاعتماد المتبادل بين المناطق، لأن إشارات مناطق الاهتمام المترابطة قد تمنع حجب عقدة واحدة من عزل مساهمة منطقة فردية بشكل كامل وقد تؤدي إلى تقديرات متحفظة.

القيود والتوجهات المستقبلية
على الرغم من استخدام التحقق المتقاطع خماسي الطيات المتكرر للحصول على تقديرات الأداء الداخلي، فإن الدراسات المستقبلية التي تستخدم التحقق المتقاطع المتداخل أو التحقق الخارجي المستقل من شأنها أن تعزز تقييم استقرار اختيار النموذج وقابلية التعميم. ونظرًا لأن مخرجات EEG فقط وfMRI فقط تم توليدها عن طريق حجب نمط واحد في السجلات متعددة الأنماط الكاملة ولم يتم تقييمها على مجموعة تحقق خارجية، يجب أن تتضمن الدراسات المستقبلية مجموعات تحقق خارجية أحادية النمط لتقييم قابلية التعميم. ومن القيود الإضافية أن تصميم "الأصحاء مقابل مرض واحد" لا يرصد الحالات المرضية المصاحبة، مما يحد من قابلية التعميم السريري ويدفع نحو إجراء دراسات مستقبلية حول التصنيف متعدد التسميات والتشخيص التفريقي. كما يمكن للعمل المستقبلي تقييم متانة ارتباطات EEG على مستوى المصدر باستخدام مقدرات الاتصال الواعية للتسريب. ورغم أن تقسيم DK المشترك يوفر واجهة قائمة على التشريح للدمج متعدد الأنماط، إلا أنه يظل افتراضًا في النمذجة قد لا يستوعب بشكل كامل الاختلافات الخاصة بالنمط في الدقة الزمنية والأصل الفسيولوجي. وبالإضافة إلى الاضطرابات الخمسة التي تم تقييمها هنا، يمكن تكييف هذا الإطار مع مهام تصنيف عصبية أو نفسية أخرى تتضمن بيانات دماغية متعددة الأنماط ومصطفة تشريحيًا، وتوسيع نطاقه ليشمل تطبيقات التصنيف متعدد التسميات أو التشخيص التفريقي.

الخلاصة
باختصار، يوفر BrainMoE إطار عمل عملي وقابل للتفسير لدمج بيانات EEG-fMRI في التشخيص بمساعدة الكمبيوتر للاضطرابات الدماغية. وتكمن ميزته الرئيسية في التكامل التكيفي للميزات متعددة الوسائط، والذي يتم توجيهه بواسطة بنية متعددة الخبراء وآلية توجيه مرنة (soft-routing) توازن ديناميكيًا بين المعلومات الخاصة بكل وسيط والمعلومات المشتركة. علاوة على ذلك، من خلال دمج أقنعة حالة الوسائط (modality-state masks) ورموز الوسائط المفقودة (missing-modality tokens) بسلاسة، يحقق النموذج المدرب نفسه أداءً قويًا أثناء الاستدلال في حالة نقص الوسائط دون الحاجة إلى تكوينات منفصلة. والأهم من ذلك، يوفر إطار العمل القابل للتفسير مسارات عزو إقليمية شفافة على مستوى المجموعة عبر خمسة اضطرابات دماغية متميزة، مما يحول بنية "الصندوق الأسود" التقليدية إلى أداة مستنيرة فسيولوجيًا للتشخيص بمساعدة الكمبيوتر. وهذا أمر بالغ الأهمية لسير عمل التصوير العصبي الحاسوبي المستقبلي، حيث تكون مصادر البيانات غير المتجانسة، وتوفر الوسائط غير المكتملة، ومخرجات النماذج القابلة للتفسير، كلها اعتبارات مركزية.

الإفصاحات

يعلن المؤلفون عن عدم وجود تضارب في المصالح. كما يعلن المؤلفون أنه لم يتم استخدام أي أدوات ذكاء اصطناعي توليدي في إعداد هذه المخطوطة، أو الأكواد البرمجية الخاصة بها، أو تحليل البيانات، أو إنشاء المخططات البيانية.

شكر وتقدير

تم تمويل هذا البحث من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين بموجب المنح رقم 62433002 و62277001 وU25A20446، ومشروع بناء ودعم الفرق الابتكارية رفيعة المستوى لمؤسسات بلدية بكين بموجب المنحة رقم BPHR20220104، وبرنامج علماء بكين بموجب المنحة رقم 099.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
باشمشروع GNUإصدار 5.1.16(1)برمجيات
C-PACFCP-INDIالإصدار 1.8.7؛ علامة الحاوية release-v1.8.7.dev1برمجيات
مجموعة أدوات CUDANVIDIA Corporationالإصدار 12.4البرمجيات
وحدة معالجة رسوميات متوافقة مع CUDAشركة NVIDIAوحدة معالجة الرسوميات GeForce RTX 4060 للمحمولالأجهزة والمعدات
أطلس ديسيكان-كيلياني للقشرة الدماغيةFreeSurfer، أثينولا أ. مركز مارتينوس للتصوير الطبي الحيوي، مستشفى ماساتشوستس العامaparc؛ 68 منطقة قشرية (RRID:SCR_001847)أطلس/مرجع
EEGLABمركز سوارتز لعلوم الأعصاب الحسابية، جامعة كاليفورنيا سان دييغوالإصدار 2022.1 (RRID:SCR_007292)برمجيات
FreeSurferمركز أثينولا أ. مارتينوس للتصوير الطبي الحيوي، مستشفى ماساتشوستس العامالإصدار 7.4.1 (RRID:SCR_001847)برمجيات
FSLوحدة التصوير بالرنين المغناطيسي الوظيفي (FMRIB)، جامعة أكسفوردمرفق مع C-PAC 1.8.7؛ الإصدار المحدد غير مذكور (RRID:SCR_002823)برمجيات
مجموعة بيانات شبكة الدماغ السليم (HBN)معهد عقل الطفل (Child Mind Institute)RRID:SCR_016989مجموعة البيانات
MATLABMathWorksR2022a (RRID:SCR_001622)البرمجيات
MNE-Pythonفريق تطوير MNE-Pythonالإصدار 1.9 (RRID:SCR_005972)برمجيات/مكتبة
بايثونمؤسسة برمجيات بايثون (Python Software Foundation)الإصدار 3.12.4 (RRID:SCR_008394)برمجيات
PyTorchمؤسسة PyTorchالإصدار 2.6.0+cu124 (RRID:SCR_018536)المكتبة

المراجع

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

إعادة الطباعة والأذونات

استكشف المزيد من المقالات

دمج تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفيتصوير الدماغ متعدد الوسائطالتشخيص بمساعدة الحاسوبمشفرات الرسوم البيانيةخرائط إسناد مناطق الاهتمامخبير الحالة العصبيةأقنعة حالة الوسائطتحليل حجب العقد

تم نشر هذه المقالة

الفيديو قريباً

تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.