مقالة منهجية

دمج تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفي باستخدام خليط الخبراء لتشخيص اضطرابات الدماغ بمساعدة الحاسوب القابل للتفسير

0 مشاهدة

⸱

DOI:

10.3791/73432

⸱

سبتمبر 25, 2026

 ,  , 
1National Engineering Laboratory for Agri-Product Quality Traceability, Beijing Technology and Business University, 2Beijing Key Laboratory of Commercial Data Security Protection and Intelligent Governance, Beijing Technology and Business University

في هذه المقالة

ملخص

يقدم هذا البروتوكول نظام Brain Mixture-of-Experts، وهو إطار عمل تكاملي تكيفي وقابل للتفسير يجمع بين تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) للتشخيص بمساعدة الحاسوب للاضطرابات الدماغية. تدمج هذه الطريقة تمثيلات EEG وfMRI غير المتجانسة من خلال خبراء متخصصين في كل نمط، وخبير حالة عصبية مشترك، وتوجيه تكيفي، مع الحفاظ على القابلية للتفسير والاستنتاج في ظل ظروف محاكاة فقدان أحد الأنماط.

الملخص

يوفر تخطيط كهربائية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) معلومات متكاملة عن وظائف الدماغ، وقد أظهرا إمكانات كبيرة في الكشف عن الاختلالات الوظيفية في مختلف اضطرابات الدماغ. ومع ذلك، فإن خصائص الإشارات المتميزة ومساحات التمثيل المتباينة لـ EEG وfMRI تفرض تحديات جسيمة أمام الدمج الفعال متعدد الوسائط، مما يعيق التشخيص الدقيق المساعد بالحاسوب لاضطرابات الدماغ باستخدام النماذج الثابتة التقليدية. تقدم هذه الدراسة Brain Mixture-of-Experts (BrainMoE)، وهو إطار عمل تكيفي وقابل للتفسير لدمج EEG-fMRI للتشخيص المساعد بالحاسوب لاضطرابات الدماغ، حيث يدمج سمات الدماغ متعددة الوسائط من خلال خبراء متخصصين في كل وسيط، وخبير حالة عصبية مشترك، وآلية توجيه تكيفية. يقوم BrainMoE أولاً بإسقاط إشارات EEG وfMRI في مساحة موحدة لمناطق الاهتمام (ROI) وفق أطلس Desikan-Killiany (DK)، ثم يستخدم مشفرات الرسوم البيانية لاستخراج تمثيلات شبكة الدماغ الخاصة بكل وسيط. وتنتج وحدة التوجيه اللين تمثيلاً للتوجيه، بينما تقوم بوابة الخبراء في وحدة الدمج (Fuse Module) بتوليد أوزان خاصة بكل عينة لدمج تمثيلات EEG وfMRI وخبير الحالة العصبية المشترك. وللتعامل مع سيناريوهات الاستحواذ غير المكتملة، تم دمج أقنعة حالة الوسيط ورموز الوسائط المفقودة، مما يسمح للنموذج المدرب نفسه بإجراء الاستدلال الكامل لـ EEG-fMRI، أو EEG فقط، أو fMRI فقط. وأخيراً، يوفر تحليل حجب العقد خرائط إسناد على مستوى ROI للتنبؤات المشتقة من كل من EEG وfMRI. تم تقييم إطار العمل على مجموعة بيانات Healthy Brain Network (HBN) عبر خمس مهام تصنيف ثنائية لاضطرابات الدماغ، شملت الاضطراب الاكتئابي الجسيم، واضطراب القلق، وضعف القراءة، واضطراب طيف التوحد، واضطراب نقص الانتباه مع فرط النشاط. تفوق BrainMoE على الخوارزميات المقارنة الحديثة، محققاً متوسط AUC بنسبة 86.9 ± 3.0%، كما دعمت تجارب الاستئصال مساهمة مكونات التوجيه ودمج الخبراء. علاوة على ذلك، يحدد تحليل القابلية للتفسير مساهمات ROI على مستوى المجموعة في تصنيف الأمراض بما يتوافق مع نتائج التصوير العصبي المبلغ عنها سابقاً. تدعم هذه الطريقة التشخيص المساعد بالحاسوب لاضطرابات الدماغ من خلال معالجة تحدي دمج التمثيلات العصبية غير المتجانسة لـ EEG-fMRI مع الحفاظ على القابلية للتفسير والاستدلال في ظل ظروف الوسائط المفقودة المحاكات.

المقدمة

تتضمن اضطرابات الدماغ تغيرات معقدة في النشاط العصبي وتنظيم شبكة الدماغ، والتي يصعب توصيفها باستخدام وسيلة تصوير واحدة1. بعد إعادة بناء المصدر2، يوفر تخطيط كهربية الدماغ (EEG) نشاطاً كهروفيزيولوجياً على مستوى المنطقة، بينما يلتقط التصوير بالرنين المغناطيسي الوظيفي (fMRI) الاتصال الوظيفي على مستوى المنطقة، مما يقدم رؤى متكاملة لوظائف الدماغ. ولتسهيل تكاملهما، قامت أعمال سابقة متعددة الوسائط برسم خرائط لكلتا الوسيلتين وفقاً لأطلس Desikan-Killiany (DK) المكون من 68 منطقة3. ورغم أن هذا التطابق المكاني لا يعني التكافؤ في الدقة الزمنية أو الأصل الفسيولوجي، إلا أنه يوفر مؤشراً تشريحياً موحداً لدمج الرسوم البيانية على مستوى العقد، وأبعاد ثابتة للرسوم البيانية، وتفسيراً متسقاً على مستوى المنطقة المستهدفة (ROI) مع الحفاظ على المعلومات الخاصة بكل وسيلة تصوير. ويمكن أن يؤدي دمج هذه التمثيلات المتوافقة تشريحياً والمحددة لكل وسيلة إلى إثراء تمثيلات إشارات الدماغ المرتبطة بالمرض ودعم تشخيص اضطرابات الدماغ بمساعدة الحاسوب3,4.

على الرغم من إمكانات دمج EEG-fMRI في التشخيص بمساعدة الحاسوب لاضطرابات الدماغ، فإن التباين بين هاتين الوسيلتين يفرض تحديًا تقنيًا أمام تكاملهما الفعال. يمكن لطرق التعلم الآلي الكلاسيكية، مثل SVM و MLP، أن توفر نماذج تصنيف أساسية، ولكن قدرتها محدودة في التقاط التفاعلات غير الخطية عبر الوسائط. وتوفر نماذج التعلم العميق العامة، بما في ذلك بنيات GNN5 و ResNet6 و Transformer7، تعلم تمثيل أقوى ولكنها ليست مصممة خصيصًا للرسوم البيانية للدماغ على مستوى ROI أو لنمذجة حالة الوسائط. وقد عملت النماذج المتقدمة الحديثة3,8,9 على زيادة التعقيد غير الخطي لتحسين نمذجة شبكات الدماغ. حيث تم تقديم BrainNetCNN8 لتكييف العمليات الالتفافية مع مصفوفات اتصال الدماغ؛ كما قام BrainGNN9 بزيادة نمذجة طوبولوجيا الرسم البياني على مستوى ROI باستخدام الشبكات العصبية الرسومية والتجميع (pooling)؛ ولاحقًا قام BNT10 بتعزيز تحليل شبكة الدماغ الوظيفية من خلال آلية انتباه متعددة المستويات قائمة على الـ transformer. ومع ذلك، فقد تم تطوير هذه التطورات بشكل أساسي لإعدادات أحادية الوسائط. ثم قام MultiEpilepsyNet11 بتوسيع التعلم متعدد الوسائط للكشف عن النوبات باستخدام EEG-MRI من خلال إطار عمل هجين اتحادي، وحسّنت وحدة EpiSkullNet++ الخاصة بـ MRI عملية تقسيم الدماغ والمعالجة المسبقة. وبناءً على ذلك، طوّر SZAtt-Net12 نموذجًا لتصنيف الفصام متعدد الوسائط من خلال الجمع بين كتل CNN و BiGRU و MLP مع آليات انتباه القنوات، والذاتية، والمكانية، والزمانية. ومع ذلك، ظلت هذه الطرق مخصصة لمهام معينة واعتمدت على تصميمات دمج ثابتة نسبيًا، دون دعم صريح للتوجيه التكيفي عبر حالات الوسائط الكاملة والمفقودة.

تُعتمد نماذج خليط الخبراء (MoE)13,14 بشكل متزايد في التعلم متعدد الوسائط لأنها تسمح بمعالجة مصادر المعلومات غير المتجانسة بواسطة وحدات خبراء متخصصة ودمجها ديناميكيًا من خلال آليات التوجيه. يوفر نظام بوابات Softmax أوزان خبراء معيرة تعتمد على المدخلات، وقد تم توصيفها نظريًا من حيث معدلات التقارب15. كما أظهرت البنى ذات البوابات المتعددة ذات الصلة أن البوابات المنفصلة يمكنها تعلم تركيبات تعتمد على المهمة من الخبراء المشتركين في التعلم متعدد المهام واسع النطاق16. وفي الأبحاث العصبية ودراسات الدماغ، استُخدمت متغيرات MoE17,18,19 بشكل متزايد لتسهيل دمج الميزات غير المتجانسة. حيث استخدم dFCExpert17 الوحدات النمطية والخبراء القائمين على الحالة لنمذجة أنماط الاتصالية الوظيفية الديناميكية من fMRI. كما استخدم EvoMoE18 شبكة بوابات لاختيار الخبراء المناسبين لتصنيف SSVEP-EEG المستقل عن المستخدم. واستكشف NeuroMoE++19 الدمج متعدد الوسائط التكيفي مع المريض لتصنيف الاضطرابات العصبية. وعلى الرغم من نجاحها، تعتمد هذه النماذج عمومًا على خلط خشن وتوجيه منفصل يتجاهل الطبيعة المتزامنة للغاية للحالات العصبية عبر الوسائط، مما يعيق اكتشاف الأنماط الدقيقة ولكن الغنية بالمعلومات والضرورية لتشخيص اضطرابات الدماغ. علاوة على ذلك، وبدون آلية مخصصة لفصل الفروق الدقيقة الخاصة بكل وسائط عن حالة عصبية مشتركة وموحدة، توفر هذه النماذج قابلية محدودة للتفسير وتعاني من تدهور في الأداء عند فقدان وسيط حيوي (fMRI أو EEG).

لمعالجة هذه المحدوديات، تقدم هذه الدراسة إطار عمل Brain Mixture-of-Experts (BrainMoE)، وهو إطار عمل تكاملي تكيفي وقابل للتفسير لبيانات EEG-fMRI للتشخيص بمساعدة الحاسوب لخمس فئات من اضطرابات الدماغ، بما في ذلك الاضطراب الاكتئابي الجسيم (MDD)، واضطراب القلق (ANX)، واضطراب التعلم المحدد مع ضعف القراءة (RI)، واضطراب طيف التوحد (ASD)، واضطراب نقص الانتباه مع فرط النشاط (ADHD). يقوم البروتوكول أولاً بمحاذاة ميزات EEG المعاد بناؤها من المصدر وميزات fMRI مع فضاء المنطقة ذات الاهتمام (ROI) الخاص بأطلس DK-atlas20، ثم ينشئ تمثيلات نمطية قائمة على الرسوم البيانية لكلا النمطين. يستخدم BrainMoE خبيراً لـ EEG، وخبيراً لـ fMRI، وخبيراً مشتركاً للحالة العصبية، والتي يتم دمجها بواسطة وحدة توجيه مرنة للجمع بين المعلومات الخاصة بكل نمط والمعلومات المشتركة. كما يتم دمج أقنعة حالة النمط ورموز النمط المفقود لتمكين الاستدلال الكامل لـ EEG-fMRI، أو EEG فقط، أو fMRI فقط ضمن نموذج تدريبي واحد. ولدعم القابلية للتفسير البيولوجي، يطبق البروتوكول أيضاً تحليل حجب العقد، حيث يتم حجب كل منطقة ذات اهتمام في أطلس DK-atlas بشكل انتقائي، ويُستخدم التغيير الناتج في احتمالية التنبؤ بالمرض لتقدير المساهمات الإقليمية المشتقة من EEG وfMRI. يصف هذا البروتوكول سير العمل الكامل لمحاذاة البيانات، وبناء النموذج، والتدريب، والتقييم، وتفسير المناطق ذات الاهتمام بناءً على حجب العقد، مما يوفر استراتيجية تكيفية وقابلة للتفسير للتشخيص بمساعدة الحاسوب لاضطرابات الدماغ من خلال دمج إشارات الدماغ غير المتجانسة من EEG-fMRI. ولتسهيل إعادة الإنتاج والتوسعات المستقبلية، يوفر مستودع GitHub العام نموذج BrainMoE وأكواد التدريب والتقييم، بينما تم إجراء المعالجة المسبقة لبيانات EEG وfMRI باستخدام برمجيات خارجية متاحة للعموم. المستودع متاح على الرابط https://github.com/zhongruizhe123/BrainMoE.

البروتوكول

استخدمت هذه الدراسة بيانات مجهولة الهوية من قاعدة بيانات شبكة الدماغ السليمة (HBN)21، مع التركيز على خمسة اضطرابات سريرية متميزة لمهام التصنيف التشخيصي اللاحقة. وكانت مبادرة HBN قد حصلت مسبقاً على الموافقة الأخلاقية والموافقة المستنيرة المكتوبة من جميع المواقع والمشاركين. وقد تم تسجيل تخطيط كهربائية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) في جلسات منفصلة بدلاً من التسجيل المتزامن، وتم الربط بينهما باستخدام معرفات المشاركين والجلسات المتاحة في HBN.

1. تجهيز البيئة الحوسبية وبيانات الإدخال

  1. تكوين البيئة الحسابية
    1. إنشاء وتنشيط بيئة افتراضية لغة Python 3.12.4: python -m venv brainmoe_env
      source brainmoe_env/bin/activate
    2. تثبيت الحزم المطلوبة وإصداراتها المحددة باستخدام ملف requirements.txt المتوفر في مستودع GitHub العام: pip install -r requirements.txt
    3. التحقق من تكوين PyTorch و CUDA قبل التدريب: python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())." تأكد من أن المخرجات تشير إلى PyTorch 2.6.0+cu124 و CUDA 12.4، وأن حالة توفر CUDA هي True. قم بإجراء تدريب النموذج باستخدام وحدة معالجة رسومات (GPU) متوافقة مع CUDA.
  2. فحص جميع ملفات الإدخال بصيغة H5 قبل تدريب النموذج.
    1. التأكد من أن كل ملف يحتوي على sLORETA_mean_func لميزات عقد EEG، و sLORETA_mean_CorrMatrix للرسم البياني لـ EEG، و fMRI-DK68-node-mat لميزات عقد fMRI، و fMRI-DK68-edge-mat للرسم البياني لـ fMRI، وتصنيف للتشخيص. استبعاد الملفات التي تحتوي على مفاتيح مفقودة، أو مدخلات غير رقمية، أو تصنيفات غير صالحة، أو أبعاد غير متوافقة مع أطلس Desikan-Killiany المكون من 68 منطقة. قم بتشغيل نص فحص مدخلات H5 البرمجي كما يلي: python checkH5.py (الملف التكميلي 1).

2. محاذاة سمات EEG وfMRI إلى حيز تشريحي مشترك

  1. المعالجة المسبقة لبيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI).
    1. معالجة بيانات fMRI باستخدام C-PAC (الإصدار 1.8.7). قم بتشغيل نص المعالجة المسبقة C-PAC كما يلي: bash run_cpac_brainmoe.sh (الملف التكميلي 2). استبعد الأحجام الخمسة الأولى لتقليل تأثيرات إشارة الحالة غير المستقرة الأولية.
    2. إجراء تصحيح توقيت الشرائح، وتصحيح الحركة، وتصحيح التشوه، والتسجيل، والتطبيع إلى الحيز التشريحي MNI152، والتنعيم المكاني. قم بإجراء تراجع لـ 24 معلمة إزعاج مرتبطة بالحركة.
    3. تطبيق ترشيح تمرير النطاق الزمني عند 0.01-0.08 Hz.
  2. توليد ميزات fMRI المحاذية للأطلس.
    1. معالجة صور الرنين المغناطيسي الهيكلية المقابلة باستخدام FreeSurfer (الإصدار 7.4.1). قم بتشغيل النصوص البرمجية كما يلي: bash Step01_mgz_2_nifti.sh. قم بالتسجيل المشترك لتقسيم القشرة المخية Desikan-Killiany الناتج في حيز fMRI الأصلي للمشارك. قم بتشغيل النصوص البرمجية كما يلي: python Step02_CoRegistration.py. احسب متوسط الإشارة لكل فوكسل ضمن كل منطقة من المناطق القشرية الـ 68. قم بتشغيل النصوص البرمجية كما يلي: python Step03_fMRI_Signal_Extraction.py (الملف التكميلي 3).
    2. الاحتفاظ بـ 370 نقطة زمنية متتالية من fMRI بدون حشو زمني للحصول على مصفوفة ميزات عقد fMRI بحجم 68 × 370، حيث يشير 68 إلى مناطق DK القشرية، ويشير 370 إلى نقاط fMRI الزمنية المحتفظ بها.
  3. بناء مخطط fMRI.
    1. حساب ارتباطات بيرسون بين السلاسل الزمنية المكونة من 370 نقطة للمناطق الـ 68 في DK. قم بتخزين مصفوفة الاتصال الوظيفي الناتجة بحجم 68 × 68 كمصفوفة حواف fMRI.
  4. المعالجة المسبقة لبيانات تخطيط كهربائية الدماغ (EEG).
    1. معالجة تسجيلات EEG المكونة من 129 قناة باستخدام مجموعة أدوات EEGLAB (الإصدار 2022.1) في برنامج MATLAB (الإصدار R2022a). قم بتشغيل نصي المعالجة المسبقة لـ EEGLAB بالتتابع كما يلي: matlab -batch "run('eegpre_mark.m'); run('eegpre_mark_after.m')" (الملف التكميلي 4). الاحتفاظ بمعدل أخذ العينات 500 Hz وتطبيق مرشح تمرير النطاق من 0.2–40 Hz. تحديد المقاطع المشوشة والأقطاب الكهربائية التالفة، واستيفاء القنوات السيئة باستخدام متوسط الإشارة من الأقطاب الكهربائية المجاورة.
    2. استخدام تحليل المكونات المستقلة مع إضافة ICLabel لتصنيف المكونات المستقلة. إزالة المكونات التي تزيد احتمالية تصنيفها كآثار عين أو عضلات عن 0.90. تطبيق إعادة المرجعية المتوسطة. استبعاد التسجيلات التي تحتوي على أقل من 250 s من البيانات القابلة للاستخدام بعد المعالجة المسبقة ورفض الآثار.
  5. توليد ميزات EEG المحاذية للأطلس.
    1. بناء نموذج رأس بطريقة عناصر الحدود (BEM) المكون من ثلاث طبقات ومخصص لكل مشارك بناءً على صور الرنين المغناطيسي الهيكلية الخاصة به. تحديد حيز المصدر على السطح القشري الفردي لكل مشارك. تسجيل مواضع أقطاب EEG على سطح BEM وحساب مصفوفة المجال الرائد.
    2. تطبيق عامل عكسي منتظم باستخدام مصفوفة تغاير ضوضاء خط الأساس. تعيين نسبة الإشارة إلى الضوضاء عند 3.0، مما ينتج عنه λ2 = 1/SNR2 = 1/9 (حوالي 0.1111)، وإجراء تحديد موقع المصدر باستخدام التصوير المقطعي الكهرومغناطيسي القياسي منخفض الدقة (sLORETA) المنفذ في MNE-Python (الإصدار 1.9).
    3. تجميع تقديرات المصدر لكل رأس (vertex) ضمن كل جزء من Desikan-Killiany عن طريق المتوسط الحسابي للحصول على 68 سلسلة زمنية على مستوى المنطقة المهتمة (ROI). الاحتفاظ بأول مقطع مستمر مدته 250 s وتقسيم كل سلسلة زمنية للمنطقة المهتمة إلى 250 حقبة زمنية متتالية غير متداخلة مدتها 1 s.
    4. حساب قدرة نطاق ألفا عند 8–12 Hz ضمن كل حقبة للحصول على مصفوفة ميزات عقد EEG بحجم 68 × 250، حيث يشير 68 إلى مناطق DK القشرية، ويشير 250 إلى الحقبات الـ 250 المتتالية غير المتداخلة مدتها 1 s.
  6. بناء مخطط EEG والتحقق من المحاذاة عبر الأنماط.
    1. حساب ارتباطات بيرسون بين سلاسل قدرة ألفا 8–12 Hz لـ 250 حقبة للمناطق الـ 68 في DK. قم بتخزين المصفوفة الناتجة بحجم 68 × 68 كمخطط EEG.
    2. التأكد من أن مصفوفات EEG و fMRI تستخدم نفس ترتيب مناطق DK واستخدام نفس ملف فهرس مناطق DK لإدخال النموذج والعزو والتصور. قم بتشغيل نص تحديد موقع المصدر واستخراج الميزات في MNE-Python كما يلي: python "Extract features - templates.py" (الملف التكميلي 5).
  7. تطبيع ميزات العقد ضمن كل عينة.
    1. تطبيق تطبيع z-score على مستوى العقد لمصفوفات ميزات عقد EEG و fMRI. الاحتفاظ بمصفوفات المخططات كمدخلات للاتصال وتطبيق تطبيع المخطط داخل نموذج BrainMoE.
    2. إجراء المعالجة المسبقة لـ EEG و fMRI بشكل مستقل لكل مشارك باستخدام إعدادات ثابتة، دون استخدام معلومات من طيات التحقق المتقاطع لتحديد معاملات المعالجة المسبقة.

3. بناء مهام تصنيف ثنائية خاصة بالمرض

  1. تحديد خمس مهام تصنيف ثنائي خاصة بأمراض معينة.
    1. ترميز الضوابط الصحية (HC) كفئة 0 في جميع المهام، وترميز مجموعة المرضى المختارة فقط كفئة 1 ضمن المهمة الخاصة بها.
    2. إنشاء مهام منفصلة للمقارنة بين الحالة الصحية والمرضية لكل من الاكتئاب، واضطراب القلق، والاضطراب النمائي العصبي المصحوب باضطراب تعلم محدد وضعف في القراءة، واضطراب طيف التوحد، واضطراب نقص الانتباه مع فرط النشاط.
  2. توصيف مجموعات الدراسة وفحص التأثيرات المحتملة للجنس وموقع الحصول على البيانات.
    1. لكل مهمة خاصة بمرض معين، يتم تضمين المشاركين في HBN الذين لديهم بيانات كاملة من تخطيط كهربائية الدماغ (EEG)، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، والتصوير بالرنين المغناطيسي البنيوي (sMRI)، وتصنيف تشخيصي صالح. استبعاد المشاركين الذين يعانون من تشخيصات مصاحبة من مجموعات المرضى الإيجابية. استبعاد تسجيلات EEG التي تحتوي على أقل من 250 s من البيانات القابلة للاستخدام بعد المعالجة المسبقة ورفض الشوائب، والاحتفاظ فقط بملفات الإدخال التي اجتازت معايير مراقبة الجودة الموضحة في القسم 1.2.
    2. تلخيص أعداد السجلات متعددة الوسائط والمشاركين الفريدين الذين تم الاحتفاظ بهم، ونسب المرضى إلى الضوابط، ونطاقات الأعمار، وتوزيعات الجنس، وتوزيعات مواقع الحصول على البيانات لمجموعة HC المشتركة وكل مجموعة مرضية في الجدول 4.
      ملاحظة: تم إعادة استخدام نفس مجموعة HC كفئة 0 في جميع المهام الخمس، لذا فإن تقديرات الأداء على مستوى المهمة ليست مستقلة إحصائياً. ينشأ هذا الاعتماد من مجموعة HC المشتركة وليس من تداخل مجموعات المرضى.
    3. تقسيم الأداء حسب الجنس وموقع الحصول على البيانات ومقارنة القيم الناتجة باستخدام اختبارات Welch t ثنائية الجانب عبر عمليات التحقق المتقاطع الخماسية المكررة 5-fold.
  3. اختيار ملفات H5 الخاصة بكل مهمة وتحديد تقسيمات التحقق المتقاطع.
    1. لكل مهمة، يتم الاحتفاظ فقط بمجموعة HC ومجموعة المرضى المستهدفة. إنشاء 10 تكرارات من التحقق المتقاطع الخماسي (5-fold cross-validation) على مستوى المشارك. تقسيم المشاركين الفريدين حسب تسمية الفئة الثنائية، HC مقابل المرض المستهدف، للحفاظ على توزيع الفئات عبر الطيات (folds).
    2. استخدام المعرف الفريد للمشارك كمتغير تجميع، وتعيين جميع الجلسات والسجلات متعددة الوسائط لنفس المشارك إلى نفس الطية. استخدام البذور العشوائية من 1 إلى 10، على التوالي، لإنشاء أقسام التحقق المتقاطع المكررة العشرة. استخدام بذرة عشوائية ثابتة رقم 1 لتهيئة النموذج وتدريبه.
    3. تخصيص الطية المستبعدة للتقييم النهائي فقط، وحفظ معرفات المشاركين، وقوائم الملفات، وفهارس الأقسام لكل طية مع نقطة التحقق المقابلة. لكل طية تدريب، يتم حساب أوزان الفئات من تسميات التدريب واستخدامها في خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لتقليل الانحياز الناتج عن عدم توازن الفئات.

4. بناء بنية BrainMoE لتشخيص اضطرابات الدماغ بمساعدة الحاسوب

ملاحظة: تم تصميم بنية BrainMoE كإطار عمل مدمج لدمج بيانات EEG-fMRI في حالة فقدان إحدى الوسائط، حيث يجمع بين مشفر رسم بياني (graph encoder)، وتوجيه مرن مشترك للحالة العصبية (shared neural-state soft routing)، وتكامل للميزات القائم على الخبراء من أجل التشخيص الثنائي الخاص بالأمراض. تظهر البنية العامة في الشكل 1، وكود التنفيذ متوفر في الملف التكميلي 6.

  1. حدِّد مدخلات BrainMoE وحالات النمط. استخدم نمط تخطيط كهربائية الدماغ (EEG) ونمط التصوير بالرنين المغناطيسي الوظيفي (fMRI) بعد محاذاة حيز المصدر كمدخلات رسم بياني مزدوجة. هنا، ترمز X إلى مصفوفة السمات الإقليمية، وترمز A إلى رسم بياني للدماغ خاص بكل نمط، حيث يتوافق كل صف مع واحدة من مناطق Desikan-Killiany الـ 68.
    figure-protocol-1
    figure-protocol-2
    عرّف قناع توفر النمط (Modality Availability Mask) كـ m = [متخطيط كهربائية الدماغ, مـالتصوير بالرنين المغناطيسي الوظيفياستخدم m = [1,1] لمدخلات EEG-fMRI الكاملة، وm = [1,0] لمدخلات EEG فقط، وm = [0,1] لمدخلات fMRI فقط.
  2. مشفر الرسم البياني: لكل نمط q، حيث يكون q هو تخطيط كهربائية الدماغ (EEG) أو التصوير بالرنين المغناطيسي الوظيفي (fMRI)، يتم تمرير مصفوفة السمات سق وتمثيل بياني Aس إلى مشفر الرسوم البيانية (Graph Encoder) الخاص بنمطها. هذا المشفر عبارة عن وحدة عصبية قابلة للتدريب تتضمن إسقاط العقد (node projection)، وتمرير رسائل الرسم البياني (graph message passing)، والتطبيع (normalization)، والتنشيط (activation)، والإسقاط العشوائي (dropout) بقيمة (p=0.3).
    figure-protocol-3
    ملاحظة: في هذا الترميز، زدس يمثل هذا التمثيل الكامن على مستوى المنطقة ذات الاهتمام (ROI) الناتج عن مُشفّر الرسوم البيانية لتخطيط كهربائية الدماغ (EEG Graph Encoder) أو مُشفّر الرسوم البيانية للتصوير بالرنين المغناطيسي الوظيفي (fMRI Graph Encoder). يقوم مُشفّر الرسوم البيانية لتخطيط كهربائية الدماغ بتحويل كل مصفوفة إدخال بحجم 68 × 250 إلى تمثيل كامن بحجم 68 × 128، بينما يقوم مُشفّر الرسوم البيانية للتصوير بالرنين المغناطيسي الوظيفي بتحويل كل مصفوفة إدخال بحجم 68 × 370 إلى تمثيل كامن بحجم 68 × 128. يستخدم كل مُشفّر إسقاطاً للمدخلات تتبعه طبقتان تلافيفيتان رسوميتان متبقيتان (residual graph-convolution layers) بأبعاد خفية تبلغ 128، وتنشيط GELU، وتطبيع الطبقة (layer normalization)، وإسقاط (dropout).
  3. رموز الوسائط المفقودة القابلة للتدريب: لنفترض تق ليكن الرمز الخاص بالنمط q و مترس سيكون مؤشر التوفر المقابل. وتنتج هذه الخطوة تمثيلاً مدركاً للحالة يحافظ على نفس تخطيط المناطق الـ 68 تحت المدخلات الكاملة وأحادية النمط.
    figure-protocol-4
    ملاحظة: كل رمز (token) قابل للتدريب للمنوال المفقود هو عبارة عن متجه بـ 128 بُعداً، ويتم توسيعه عبر صفوف المناطق ذات الاهتمام (ROI) الـ 68 عندما يكون المنوال المقابل غير متاح.
  4. وحدة التوجيه المرن للحالة العصبية المشتركة: أولاً، يتم دمج تمثيل تخطيط كهربية الدماغ المدرك للحالة Zتخطيط كهربائية الدماغ، والتمثيل التصويري بالرنين المغناطيسي الوظيفي (fMRI) المدرك للحالة زالتصوير بالرنين المغناطيسي الوظيفي، وقناع توفر النمط المدمج. يتم دمج قناع توفر النمط بواسطة مدرك متعدد الطبقات (MLP) بأبعاد 2 → 128، وتنشيط GELU، وتسوية الطبقة (layer normalization). يتكون الموجه (Router) من طبقتين تلافيفيتين أحادية الأبعاد بأبعاد قنوات تبلغ 384 → 128 → 128، وحجم نواة 3، وحشوة 1. ويتم تطبيق تنشيط GELU بعد كل عملية تلافيف، مع تطبيق إسقاط (p=0.3) بعد عملية التلافيف الأولى.
    figure-protocol-5
    figure-protocol-6
  5. خبير الحالة العصبية المشتركة.
    1. دمج تمثيل تخطيط كهربائية الدماغ (EEG) المدرك للحالة Zتخطيط كهربائية الدماغ، والتمثيل الخاص بالتصوير بالرنين المغناطيسي الوظيفي (fMRI) المدرك للحالة زالتصوير بالرنين المغناطيسي الوظيفي، وتمثيل التوجيه المرن R على طول بُعد السمات. ثم يتم تطبيق طبقة دمج متصلة بالكامل (من 384 إلى 128)، تليها عملية تسوية الطبقة (layer normalization)، وتنشيط GELU، وإسقاط (dropout) بنسبة (p=0.3)، ومن ثم إجراء تجميع متوسط (mean-pool) للتمثيل الناتج عبر مناطق الاهتمام (ROIs) الـ 68 للحصول على التمثيل المدمج على مستوى الشخص بأبعاد تبلغ 128. زمندمج:
      figure-protocol-7
    2. تجاوز زملتحم من خلال خبير الحالة العصبية المشترك (Shared neural-state expert)، والذي يتكون من طبقة متصلة بالكامل (128 إلى 128)، وتطبيع الطبقة (layer normalization)، وتنشيط GELU، وإسقاط (dropout) بنسبة (p=0.3). ويُرمز لتمثيل الخبير المشترك الناتج ذي الـ 128 بُعداً بـ هـمشترك:
      figure-protocol-8
  6. خبراء في تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفي.
    1. لكل نمط، يتم إجراء تجميع متوسط (mean-pool) للتمثيل المدرك للحالة عبر الـ 68 منطقة ذات اهتمام (ROIs)، ثم تمرير التمثيل الناتج ذي الـ 128 بُعداً عبر "الخبير" (Expert) المخصص للنمط المقابل:
      figure-protocol-9
    2. يتكون كل خبير مخصص للنمط من طبقة متصلة بالكامل (128 إلى 128)، وتسوية الطبقة، وتنشيط GELU، وإسقاط (p=0.3). ويُرمز لتمثيلات الخبير المخصصة للنمط والناتجة ذات الأبعاد 128 بـ هـتخطيط كهربائية الدماغ و هـالتصوير بالرنين المغناطيسي الوظيفيعلى التوالي.
  7. وحدة الصهر.
    1. لحساب أوزان الخبراء، قم بدمج التمثيل المدمج على مستوى الشخص ذات الـ 128 بُعداً زملتحم مع قناع توفر الوسائط ثنائي الأبعاد (2-dimensional Modality Availability Mask) ممما ينتج عنه مدخل بوابة ذو 130 بُعداً. وتتضمن وحدة الدمج (Fuse Module) بوابة خبراء (Expert Gate) تعمل على توليد أوزان محددة لكل عينة تُستخدم في دمج الخبراء. وتتكون بوابة الخبراء من طبقة متصلة بالكامل (من 130 إلى 128)، تليها دالة تنشيط GELU، وطبقة إسقاط (dropout)p = 0.3)، وطبقة اتصال كاملة للمخرجات (من 128 إلى 3). يتم تطبيق دالة softmax على لوجيتات المخرجات الثلاثة للحصول على أوزان الخبراء الخاصة بكل عينة:figure-protocol-10
    2. تكون الأوزان الناتجة غير سالبة ومجموعها يساوي 1 لكل عينة:
      figure-protocol-11
    3. اضرب كل تمثيل خبير ذي 128 بُعداً في وزن البوابة المقابل له، ثم اجمع التمثيلات الموزونة الثلاثة:
      figure-protocol-12
      ملاحظة: تنفذ هذه العملية دمج خليط الخبراء اللين الكثيف (dense soft MoE fusion).
    4. مرر تمثيل الخبير النهائي الناتج ذي الـ 128 بُعداً هـمندمج إلى رأس تصنيف تشخيص اضطرابات الدماغ الموصوف في القسم 4.8.
  8. رأس تصنيف تشخيص اضطرابات الدماغ: يتم تمرير التمثيل النهائي للخبير ذي الـ 128 بُعداً عبر رأس تصنيف يتكون من تسوية الطبقة (layer normalization)، وإسقاط عشوائي (dropout)p = 0.3)، وطبقة متصلة بالكامل تقوم بنقل 128 بُعداً إلى لوجيتين (logits) للمخرجات. يتم تطبيق دالة softmax للحصول على احتمالية التحكم الصحي (HC) واحتمالية المرض المستهدف. يتم تعيين العينة إلى فئة المرض عندما تكون احتمالية المرض المستهدف 0.5 على الأقل.
    figure-protocol-13
  9. تحقق من اتساق التنفيذ قبل التدريب. قم بإجراء تمريرة أمامية تجريبية (dry forward pass) تحت الظروف m = [1,1] و m = [1,0] و m = [0,1]. تأكد من أن تمثيلات تخطيط كهربائية الدماغ (EEG)، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، والتمثيلات المدركة للحالة (state-aware)، والتوجيه (routing)، والتمثيلات المدمجة (fused) تحتفظ بـ 68 صفاً لمناطق الاهتمام (ROI) ما لم يتم تجميعها صراحةً، وتأكد من أن مجموع أوزان الخبراء يساوي 1 بترتيب: خبير EEG، ثم خبير fMRI، ثم خبير الحالة العصبية المشترك.

5. تدريب نماذج BrainMoE الخمسة لتشخيص اضطرابات الدماغ

  1. تدريب نموذج BrainMoE واحد لكل مهمة ثنائية خاصة بمرض معين.
    1. استخدام البنية ذاتها والمعلمات الفائقة الافتراضية لجميع المهام: 30 حقبة (epoch)، وحجم دفعة 16، ومعدل تعلم 0.001، واضمحلال وزن 0.0001. يتم تثبيت بنية النموذج والمعلمات الفائقة قبل تقييم طية الاختبار، مع الإبقاء عليها دون تغيير عبر جميع الطيات والتكرارات والمهام الخاصة بالأمراض.
    2. عدم استخدام أداء طية الاختبار المستبعدة لاختيار النموذج أو ضبط المعلمات الفائقة. بالنسبة لكل دفعة صغيرة (mini-batch)، يتم تشغيل ثلاث تمريرات أمامية باستخدام الأقنعة الكاملة، والخاصة بـ EEG فقط، والخاصة بـ fMRI فقط مع أوزان نموذج مشتركة. يتم تشغيل تدريب BrainMoE كما يلي: python train.py --config configs/brain_moe.json --task <TASK> --data_dir <H5_DIR> (الملحق 6). يتم تعيين <TASK> لتكون depression، أو anxiety، أو reading_disorder، أو autism، أو adhd.
  2. تحسين متوسط فقد التصنيف ثلاثي الحالة. يتم حساب فقد الإنتروبيا المتقاطعة المرجح بالفئات Ls لكل حالة وفقاً لـ
    figure-protocol-14
    ويتم حساب متوسط الفقد وفقاً لـ
    figure-protocol-15
  3. إعادة تعيين التدرجات، وإجراء الانتشار العكسي، وتحديث جميع المعلمات القابلة للتدريب باستخدام AdamW.

6. تقييم حالات الاستدلال كاملة النمط ومفقودة النمط

  1. طريقة التقييم: قم بتحميل نقطة التحقق (checkpoint) لمهمة المرض المختارة واستخدم قائمة ملفات الاختبار المحفوظة من نقطة التحقق ذاتها. استخدم m = [1,1] للاستدلال الكامل باستخدام EEG-fMRI، وm = [1,0] للاستدلال باستخدام EEG فقط، وm = [0,1] للاستدلال باستخدام fMRI فقط. وأخيرًا، قم بتطبيق دالة softmax للحصول على احتمالية المرض المستهدف وتعيين فئة المرض عندما تكون الاحتمالية 0.5 على الأقل.
  2. مقاييس التقييم: احسب مقاييس التقييم من مصفوفة الارتباك (confusion matrix)، حيث يشير TP إلى العينات الإيجابية للمرض التي تم تصنيفها بشكل صحيح على أنها مصابة، ويشير TN إلى الأصحاء (HC) الذين تم تصنيفهم بشكل صحيح على أنهم أصحاء، ويشير FP إلى الأصحاء (HC) الذين تم تصنيفهم بشكل خاطئ على أنهم مصابون، ويشير FN إلى العينات الإيجابية للمرض التي تم تصنيفها بشكل خاطئ على أنها سليمة.
    figure-protocol-16
    figure-protocol-17
    figure-protocol-18
    figure-protocol-19
    figure-protocol-20
  3. استخدم الدقة (accuracy) للإبلاغ عن المعدل الإجمالي للتصنيف الصحيح. واستخدم الحساسية (sensitivity) لقياس الكشف عن الحالات الإيجابية للمرض، والنوعية (specificity) لقياس تحديد الأصحاء (HC).
  4. استخدم مقياس F1 score لتلخيص التوازن بين الدقة التنبؤية (precision) والحساسية. واستخدم الدقة الموزونة (balanced accuracy) للتقليل من تأثير عدم توازن الفئات. بالإضافة إلى ذلك، احسب المساحة تحت المنحنى (AUC) لتقييم التمييز المستقل عن العتبة عبر عتبات القرار المختلفة.
  5. لكل تكرار، احسب متوسط كل مقياس أداء عبر الطيات الخمس المستبعدة (held-out folds). وأبلغ عن النتائج النهائية كمتوسط وانحراف معياري لمتوسطات التكرارات العشرة.
  6. قارن BrainMoE بطرق المرجعية (baseline methods). استخدمت جميع الطرق المرجعية نفس تقسيمات مستوى المشاركين ومدخلات EEG-fMRI الكاملة المستخدمة في BrainMoE، مع تثبيت الإعدادات قبل تقييم العينات المستبعدة. تمت مقارنة BrainMoE بكل طريقة مرجعية باستخدام اختبارات t المزدوجة ثنائية الجانب مع تعديل Holm.

7. إجراء إسناد حجب العقد على مستوى المجموعة عبر خمسة اضطرابات دماغية

  1. حدد مجموعة العينات المخصصة لتحليل الإسناد (attribution cohort). قم بتحميل نقطة فحص (checkpoint) نموذج BrainMoE المدرب وملف أسماء مناطق DK. اختر عينات الاختبار الإيجابية للمرض والتي تم تصنيفها بشكل صحيح في ظل حالة EEG-fMRI الكاملة عندما تكون m = [1,1]. استخدم هذه المجموعة لتحليل الإسناد على مستوى المجموعة، واحفظ احتمالية المرض المستهدفة المرجعية لكل عينة.
  2. احسب درجات حجب العقد الخاصة بكل نمط. بالنسبة للنسب المنسوبة إلى تخطيط كهربائية الدماغ (EEG)، قم بحجب منطقة اهتمام (ROI) واحدة من تخطيط كهربائية الدماغ في كل مرة عن طريق تعيين متجه سمات عقدة تخطيط كهربائية الدماغ المختارة والصف والعمود المقابلين في مخطط تخطيط كهربائية الدماغ إلى صفر، مع إبقاء مدخلات التصوير بالرنين المغناطيسي الوظيفي (fMRI) دون تغيير. وبالنسبة للنسب المنسوبة إلى التصوير بالرنين المغناطيسي الوظيفي، طبق العملية نفسها على مصفوفة سمات عقد التصوير بالرنين المغناطيسي الوظيفي ومخطط التصوير بالرنين المغناطيسي الوظيفي، مع إبقاء مدخلات تخطيط كهربائية الدماغ دون تغيير. كرر هذا الإجراء عبر جميع مناطق DK الـ 68. قم بإجراء تحليل النسب المنسوبة إلى حجب العقد باستخدام الكود الموفر في الملف التكميلي 7.
  3. احسب ومثّل مساهمات المناطق ذات الاهتمام (ROI) على مستوى المجموعة بيانياً. لكل منطقة ذات اهتمام ولكل نمط تصوير، احسب درجة المساهمة باعتبارها متوسط الانخفاض في احتمالية الإصابة بالمرض المستهدف بعد عملية الحجب عبر جميع العينات المختارة. رتب الدرجات المستمدة من تخطيط كهربية الدماغ (EEG) والدرجات المستمدة من التصوير بالرنين المغناطيسي الوظيفي (fMRI) بشكل منفصل، وصَدّر أعلى 10 مناطق ذات اهتمام لكل نمط تصوير، وحدد المنطقة ذات الاهتمام الأعلى ترتيباً في الشكل.

النتائج

أداء BrainMoE عبر مختلف الاضطرابات وحالات الوسائط
أنتج البروتوكول خمسة مصنفات BrainMoE خاصة بكل مرض للمقارنة بين الأصحاء والمرضى، كما استخرج جداول تنبؤ لحالات الاستدلال باستخدام EEG-fMRI الكامل، وEEG فقط، وfMRI فقط. وقد أظهرت حالة EEG-fMRI الكاملة تمييزاً عالياً باستمرار عبر المهام الخمس، حيث تراوحت قيم AUC من 84.4 ± 3.2% لمرض RI إلى 88.4 ± 3.8% لاضطراب ASD (الجدول 1). وبلغ متوسط الأداء الكلي (macro-averaged) للحالة الكاملة عبر المهام الخمس 86.9 ± 3.0% لقيمة AUC، و81.4 ± 3.1% للدقة، و81.4 ± 2.5% للدقة المتوازنة، و81.2 ± 3.0% لمقياس F1 score.

تحت ظروف محاكاة فقدان النمط، حافظ BrainMoE على أداء قابل للاستخدام عند حجب نمط إدخال واحد. وفي حالة الاعتماد على EEG فقط، حقق النموذج متوسط AUC كلي بلغ 83.1 ± 3.7%، حيث لوحظ أقوى AUC للـ EEG فقط في حالة ADHD بنسبة 87.9 ± 2.8%. أما في حالة الاعتماد على fMRI فقط، فقد بلغ متوسط AUC الكلي 80.0 ± 3.9%. وتعمل نطاقات الأداء هذه، إلى جانب الميزة المتوقعة لأداء الحالة الكاملة، كمعايير مرجعية عملية للتنفيذ الناجح، مما يشير إلى أن إطار عمل BrainMoE المدرب يمكنه إجراء الاستنتاج للحالة الكاملة، أو للـ EEG فقط، أو للـ fMRI فقط دون الحاجة إلى نماذج منفصلة لكل نمط.

تتمثل إحدى النتائج غير المثالية النموذجية في الفشل في إعادة إنتاج ميزة الأداء المتوقعة للحالة الكاملة، على سبيل المثال، عندما تكون قيمة AUC لـ EEG-fMRI الكاملة أقل من قيمة AUC لـ EEG فقط أو fMRI فقط. وفي المقابل، يجب أن يؤدي التنفيذ الناجح إلى إعادة إنتاج ميزة الحالة الكاملة ونطاقات أداء القياس المرجعي الواردة في الجدول 1. عند ملاحظة نمط غير مثالي، تحقق من أبعاد إدخال H5، وترتيب منطقة DK، وتعيين قناع توفر النمط، وأقسام التحقق المتبادل المحفوظة قبل تفسير مخرجات النموذج.

مقارنة المرجعية
تمت مقارنة نموذج BrainMoE المقترح مع طرق التعلم الآلي الكلاسيكية (آلة متجه الدعم (SVM) والبيرسيبترون متعدد الطبقات (MLP))، وطرق التعلم العميق العامة (Transformer7، و3D-CNN22، وResNet6)، وطرق التعلم العميق المتقدمة (BrainNetCNN8، وBNT10، وBrainGNN9، وMultiEpilepsyNet11، وSZAtt-Net12)، وطرق التعلم العميق القائمة على Mixture of Experts (dFCExpert17، وEvoMoE18، وNeuroMoE++19) (الجدول 2). حقق BrainMoE أعلى متوسط AUC بين جميع الطرق التي تمت مقارنتها، حيث بلغت النسبة 86.9 ± 3.0%.

أظهرت طرق تعلم الآلة التقليدية متوسط أداء أقل، حيث حققت SVM متوسط AUC بنسبة 66.7 ± 4.5% وحققت MLP نسبة 64.6 ± 6.3%. وأظهرت طرق التعلم العميق العامة أداءً متفاوتاً، حيث حققت ResNet متوسط AUC بنسبة 71.0 ± 3.3% وحققت Transformer نسبة 63.8 ± 4.7%. ومن بين النماذج المرجعية المتقدمة للتعلم العميق، تفوقت كل من BNT وBrainGNN وMultiEpilepsyNet وSZAtt-Net على معظم طرق تعلم الآلة التقليدية وطرق التعلم العميق العامة، ومع ذلك ظل متوسط AUC الخاص بها أقل من BrainMoE.

لتوفير الدعم الإحصائي للمقارنة المرجعية، تمت مقارنة BrainMoE بأقوى خط أساس لكل مقياس من مقاييس الأداء (الجدول 3). تفوق BrainMoE على NeuroMoE++ في المساحة تحت المنحنى (AUC) والدقة المتوازنة (BA)، وتفوق على SZAtt-Net في درجة F1 والدقة. وظلت جميع المقارنات ذات دلالة إحصائية بعد تعديل Holm.

تحليل المجموعات الفرعية حسب الجنس وموقع الاكتساب
تتلخص خصائص المجموعة المختارة لكل مهمة، بما في ذلك أعداد السجلات متعددة الوسائط المحتفظ بها، ونسب المرضى إلى الضوابط، وأعداد المشاركين الفريدين، وملخصات العمر، وتوزيعات الجنس، وتوزيعات مواقع الاكتساب، في جدول خصائص المجموعة (الجدول 4). تم حساب نسب المرضى إلى الضوابط من أعداد السجلات متعددة الوسائط، بينما لخصت الخصائص الديموغرافية وخصائص مواقع الاكتساب على مستوى المشاركين الفريدين.

لتقييم التأثيرات المحتملة للجنس وموقع الحصول على العينات، تم تقسيم أداء BrainMoE وفقاً لهذه العوامل (الجدول 5). أظهرت المجموعة الفرعية للذكور متوسطاً أعلى في كل من AUC وBA ودرجة F1 والدقة مقارنة بالمجموعة الفرعية للإناث، بينما تراوحت قيم p غير المعدلة وفق اختبار Welch المقابلة بين 0.089 و0.321. وبالمثل، أظهرت المجموعة الفرعية RUBIC متوسط أداء أعلى من مجموعة Staten Island، حيث تراوحت قيم p بين 0.055 و0.309. ولم يتم اكتشاف أي فرق ذو دلالة إحصائية بين المجموعات الفرعية في هذه التحليلات.

تحليل الاستئصال لمكونات BrainMoE
أُجريت تجارب الاستئصال لتقييم مساهمة قناع توافر النمط، والموجه التلافيفي، والخبير المشترك، وتصميم دمج خبراء MoE (الجدول 6). أدى إزالة تضمين القناع إلى خفض متوسط AUC إلى 79.2 ± 3.1%، كما أدى استبدال الموجه التلافيفي بموجه MLP إلى خفضه إلى 79.3 ± 3.7%. وأدى إزالة الخبير المشترك إلى خفض AUC الخاص بـ fMRI فقط إلى 73.5 ± 3.3%، وهي القيمة الأدنى بين المتغيرات المختبرة. كما أدت إزالة جميع خبراء MoE إلى خفض الدقة المتوازنة العامة إلى 74.2 ± 3.0%. وأظهرت نتائج الاستئصال هذه أن تصميم BrainMoE الكامل حقق أقوى أداء عام عبر كل من حالات توافر الأنماط الكاملة والمفقودة، بينما ساهم كل من تضمين القناع، والموجه التلافيفي، والخبير المشترك، ودمج خبراء MoE في سلوك النموذج النهائي.

نتائج القابلية للتفسير على مستوى المنطقة ذات الاهتمام (ROI) لخمسة اضطرابات دماغية
لفحص المساهمات الإقليمية التي تستند إليها تنبؤات BrainMoE، أُجري تحليل إسناد حجب العقد (node-occlusion attribution) على العينات الإيجابية للمرض التي تم تصنيفها بشكل صحيح في حالة EEG-fMRI الكاملة. صُنفت مساهمات المناطق ذات الاهتمام (ROI) المستمدة من EEG وتلك المستمدة من fMRI بشكل منفصل عن طريق قياس الانخفاض في احتمالية الإصابة بالمرض المستهدف بعد حجب كل منطقة في أطلس DK. وقد حدد التحليل أنماط مساهمة خاصة بكل نمط تصوير عبر مهام المرض الخمس (الشكل 2أما بالنسبة للإسناد المستمد من التصوير بالرنين المغناطيسي الوظيفي (fMRI)، فقد كانت المناطق الأعلى تصنيفاً هي التلفيف الحزامي الخلفي الأيسر في اضطراب الاكتئاب الجسيم (MDD)، والقشرة حول الشق البصري اليمنى في اضطراب القلق (ANX)، والقشرة المجاورة للحصين اليسرى في ضعف الإدراك (RI)، والجزء المثلثي الأيمن في اضطراب طيف التوحد (ASD)، والقشرة الشمية الداخلية اليسرى في اضطراب نقص الانتباه مع فرط النشاط (ADHD). وبالنسبة للإسناد المستمد من تخطيط كهربائية الدماغ (EEG)، فقد كانت المناطق الأعلى تصنيفاً هي ضفاف الثلم الصدغي العلوي اليسرى في اضطراب الاكتئاب الجسيم (MDD)، والقشرة أمام المركزية اليسرى في اضطراب القلق (ANX)، والإسفين الأيسر في ضعف الإدراك (RI)، والقشرة اللسانية اليسرى في اضطراب طيف التوحد (ASD)، والفص الجزيري الأيمن في اضطراب نقص الانتباه مع فرط النشاط (ADHD). وتم تصور المناطق ذات الاهتمام (ROIs) الأعلى تصنيفاً المستمدة من تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفي لكل اضطراب على الأسطح القشرية في الشكل 3أظهرت هذه النتائج أن نموذج BrainMoE وفر إمكانية تفسير على مستوى المنطقة ذات الاهتمام (ROI)، مع الحفاظ على ملفات تعريف إسناد منفصلة للتمثيلات المشتقة من تخطيط كهربائية الدماغ (EEG) وتلك المشتقة من التصوير بالرنين المغناطيسي الوظيفي (fMRI). وبالنسبة للعينات الإيجابية للمرض التي تم تصنيفها بشكل صحيح، فقد تم تقييم استقرار الطيات المتقاطعة باستخدام تردد المنطقة ذات الاهتمام (ROI) الأعلى تصنيفاً (Top-1) عبر 50 طية مستبعدة (جدول 7تراوحت الترددات الملحوظة بين 36% و68%، وهو ما يتجاوز المرجع النظري للاختيار العشوائي البالغ 1/68 (1.47%)، مما يدعم التفسير القائم على التصنيفات النسبية بدلاً من مقادير المساهمة المطلقة. وأُجريت المقارنات مع نتائج التصوير العصبي السابقة كتحليل بعدي (post hoc)، واستُخدمت فقط لوضع نتائج الإسناد في سياقها، وليس كتحقق مستقل.

figure-results-1
الشكل 1: نظرة عامة على إطار عمل BrainMoE مع دمج تكيفي لبيانات EEG-fMRI لتشخيص اضطرابات الدماغ بمساعدة الحاسوب. تتم معالجة سمات EEG وfMRI ROI المحاذية للمصدر بواسطة مشفرات رسومية (Graph Encoders) منفصلة. تُمرر التمثيلات الناتجة إلى خبراء EEG وfMRI، وإلى وحدة التوجيه المرنة (Soft-Routing Module) المشتركة جنباً إلى جنب مع قناع توفر النمط (Modality Availability Mask). يتم دمج تمثيلات الأنماط وتمثيل التوجيه ومعالجتهما بواسطة خبير الحالة العصبية المشترك (Shared neural-state expert). ثم تُجمع مخرجات الخبراء الثلاثة في وحدة الدمج (Fuse Module) وتُمرر إلى رأس تصنيف التشخيص (Diagnosis Classification Head) لإنتاج احتمالات HC والمرض المستهدف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-2
الشكل 2تحليل مساهمة المنطقة ذات الاهتمام (ROI) بناءً على سد العقد. تم تصور أعلى 10 مساهمات للمناطق ذات الاهتمام (ROI) المستمدة من تخطيط كهربائية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) لكل مهمة مرضية تحت حالة استدلال EEG-fMRI الكاملة. الألواح (أ-هـتوضح اللوحات ( ) نتائج التصوير بالرنين المغناطيسي الوظيفي (fMRI) لكل من الاضطراب الاكتئابي الجسيم (MDD)، واضطرابات القلق (ANX)، وإصابات الدماغ الرضية (RI)، واضطراب طيف التوحد (ASD)، واضطراب نقص الانتباه مع فرط النشاط (ADHD)، على التوالي، واللوحات ( )و–ي(توضح النتائج المقابلة المستمدة من تخطيط كهربائية الدماغ (EEG) بنفس الترتيب. تم وضع علامة على المنطقة ذات الاهتمام (ROI) الأعلى تصنيفاً فقط في كل مخطط. وقد عُرِّفت مساهمة المنطقة ذات الاهتمام بأنها الانخفاض في احتمالية الإصابة بالمرض المستهدف بعد حجب المنطقة المقابلة في أطلس DK.) يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-3
الشكل 3: خرائط القابلية للتفسير على مستوى المنطقة المهتمة (ROI) القشرية عبر خمسة اضطرابات دماغية. تعرض اللوحات (A–E) كلًا من MDD و ANX و RI و ASD و ADHD، على التوالي. تعرض كل لوحة المنطقة المهتمة (ROI) ذات التصنيف الأعلى المستمدة من EEG باللون الأحمر، والمنطقة المهتمة (ROI) ذات التصنيف الأعلى المستمدة من fMRI باللون البرتقالي على السطح القشري لـ DK. تشير الألوان إلى الوسيلة المستخدمة وليس إلى حجم المساهمة؛ وبناءً على ذلك، لم يتم تطبيق مقياس ألوان كمي. تشير البادئات lh و rh إلى نصف الكرة المخية الأيسر والأيمن، على التوالي. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مهمة المرضالحالةAUCالدقةBAF1الحساسيةالخصوصية
MDDكاملة88.0 ± 3.2%84.8 ± 3.7%82.0 ± 2.3%76.2 ± 4.1%72.7 ± 3.0%91.3 ± 4.7%
MDDEEG فقط83.4 ± 3.4%81.8 ± 4.5%77.9 ± 3.0%73.7 ± 3.9%68.2 ± 2.8%87.6 ± 4.2%
MDDfMRI فقط82.1 ± 3.3%78.5 ± 4.7%74.0 ± 4.1%71.8 ± 4.9%66.6 ± 3.5%81.3 ± 5.6%
ANXكاملة85.5 ± 2.5%76.1 ± 2.4%78.2 ± 2.0%79.4 ± 3.3%78.1 ± 3.6%78.2 ± 3.1%
ANXEEG فقط81.7 ± 3.9%73.2 ± 3.2%75.6 ± 3.1%78.1 ± 3.9%76.6 ± 3.8%74.6 ± 4.0%
ANXfMRI فقط74.8 ± 4.1%74.4 ± 3.7%72.8 ± 3.6%76.4 ± 4.2%72.6 ± 3.9%73.0 ± 4.4%
RIكاملة84.4 ± 3.2%76.5 ± 3.0%77.3 ± 2.9%76.7 ± 2.8%77.9 ± 3.1%76.7 ± 3.3%
RIEEG فقط80.2 ± 4.0%71.5 ± 4.4%73.4 ± 3.5%73.0 ± 3.4%73.8 ± 3.9%72.9 ± 3.3%
RIfMRI فقط81.3 ± 4.5%71.1 ± 3.9%67.9 ± 3.7%68.5 ± 3.2%69.4 ± 4.5%66.3 ± 4.2%
ASDكاملة88.4 ± 3.8%79.5 ± 3.5%81.4 ± 3.0%81.0 ± 2.8%83.4 ± 2.9%79.4 ± 3.0%
ASDEEG فقط82.5 ± 4.3%77.3 ± 4.1%78.2 ± 3.7%78.6 ± 3.5%79.3 ± 3.4%77.1 ± 4.1%
ASDfMRI فقط81.3 ± 4.4%73.8 ± 3.7%74.4 ± 3.4%75.0 ± 3.2%76.1 ± 4.2%72.6 ± 4.5%
ADHDكاملة88.2 ± 2.2%90.3 ± 2.7%88.4 ± 2.5%92.8 ± 1.9%87.0 ± 2.4%89.7 ± 2.5%
ADHDEEG فقط87.9 ± 2.8%88.1 ± 2.6%86.4 ± 3.1%90.2 ± 3.4%85.1 ± 3.1%87.7 ± 3.0%
ADHDfMRI فقط80.5 ± 3.2%85.7 ± 3.0%84.7 ± 3.5%87.9 ± 4.1%83.2 ± 3.6%86.2 ± 3.4%

الجدول 1: أداء تصنيف BrainMoE عبر مهام الأمراض وحالات توفر الوسائط. أداء BrainMoE لخمس مهام تصنيف (أصحاء مقابل مرضى) في حالات الاستدلال الكاملة لـ EEG-fMRI، وEEG فقط، وfMRI فقط. تُعرض المقاييس كمتوسط ± انحراف معياري وتشمل المساحة تحت منحنى خصائص التشغيل للمستقبل (AUC)، والدقة، والدقة المتوازنة (BA)، ومقياس F1، والحساسية، والخصوصية.

الطريقةمجموعة الطرقمتوسط AUCمتوسط BAمتوسط F1متوسط الدقة
SVMالتعلم الآلي التقليدي66.7 ± 4.5%70.6 ± 3.4%61.7 ± 5.8%70.7 ± 4.6%
MLPالتعلم الآلي التقليدي64.6 ± 6.3%63.5 ± 8.2%64.5 ± 6.1%64.2 ± 6.2%
Transformerالتعلم العميق العام63.8 ± 4.7%64.4 ± 4.8%65.2 ± 5.1%66.1 ± 4.9%
3D-CNNالتعلم العميق العام65.3 ± 4.3%65.2 ± 4.0%64.8 ± 4.5%60.0 ± 4.2%
ResNetالتعلم العميق العام71.0 ± 3.3%70.2 ± 3.6%67.5 ± 3.8%69.3 ± 3.0%
BrainNetCNNالتعلم العميق المتقدم70.2 ± 3.6%70.9 ± 3.1%69.2 ± 3.6%71.2 ± 3.1%
BNTالتعلم العميق المتقدم73.6 ± 3.1%76.4 ± 2.7%74.7 ± 2.3%76.6 ± 2.6%
BrainGNNالتعلم العميق المتقدم72.4 ± 2.8%72.7 ± 2.3%71.0 ± 3.4%72.3 ± 2.5%
MultiEpilepsyNetالتعلم العميق المتقدم78.3 ± 3.7%75.2 ± 3.5%76.5 ± 3.6%77.2 ± 3.3%
SZAtt-Netالتعلم العميق المتقدم78.7 ± 3.2%76.1 ± 3.8%77.4 ± 3.9%78.1 ± 3.4%
dFCExpertالتعلم العميق القائم على MoE80.1 ± 3.2%77.3 ± 2.9%76.7 ± 3.1%77.6 ± 2.9%
EvoMoEالتعلم العميق القائم على MoE79.6 ± 3.6%76.2 ± 3.1%76.2 ± 3.3%76.5 ± 3.2%
NeuroMoE++التعلم العميق القائم على MoE81.5 ± 2.8%77.9 ± 2.7%77.1 ± 3.4%78.0 ± 2.7%
BrainMoE (من عملنا)التعلم العميق القائم على MoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%

الجدول 2: متوسط أداء التصنيف لنموذج BrainMoE مقارنة بطرق التعلم الآلي الكلاسيكية، ونماذج التعلم العميق العامة، وبنيات التعلم العميق المتقدمة للتصوير العصبي. تم تجميع النتائج عبر مهام تصنيف الأمراض التي تم تقييمها، وذكرت كمتوسط ± الانحراف المعياري لكل من AUC و BA و F1 score والدقة.

مقارنةمتوسط AUCمتوسط BAمتوسط F1متوسط الدقة
أقوى خط أساسNeuroMoE++NeuroMoE++SZAtt-NetSZAtt-Net
أداء أقوى خط أساس81.5 ± 2.8%77.9 ± 2.7%77.4 ± 3.9%78.1 ± 3.4%
BrainMoE86.9 ± 3.0%81.4 ± 2.5%81.2 ± 3.0%81.4 ± 3.1%
الفرق+5.4+3.5+3.8+3.3
قيمة p لاختبار t0.00060.00650.01870.0276
قيمة p المعدلة بطريقة Holm*p < 0.01p < 0.05p < 0.05p < 0.05
Cohen's dz1.631.110.910.83

الجدول 3: مقارنة BrainMoE مع أقوى خط أساس لكل مقياس من مقاييس الأداء. تم حساب قيم P باستخدام اختبارات t المزدوجة ثنائية الجانب، وتم تعديلها باستخدام إجراء Holm. يشير Cohen's dz إلى الفرق المزدوج المعياري.

المجموعةالسجلات متعددة الوسائط (n)نسبة المرضى إلى مجموعة الضبطالمشاركون الفريدون (n)النطاق العمري (سنوات)الجنس (ذكر/أنثى)موقع الاكتساب (Staten Island/RUBIC)
HC115--755.02–21.9035/4026/49
MDD520.45:1338.36–19.7314/1915/18
ANX1561.36:1985.53–21.0046/5245/53
RI1411.23:1855.75–19.6647/3839/46
ASD820.71:1515.66–19.7945/627/24
ADHD5554.83:13385.04–21.72241/97136/202

الجدول 4: خصائص مجموعات الدراسة المستخدمة في مهام التصنيف الخمس المحددة للأمراض. يوضح الجدول عدد السجلات متعددة الوسائط التي تم الاحتفاظ بها، ونسب المرضى إلى مجموعات الضبط، وأعداد المشاركين الفريدين، والخصائص الديموغرافية، وتوزيعات مواقع الحصول على البيانات.

مجموعة فرعيةرقممتوسط المساحة تحت المنحنى (Mean AUC)متوسط BAمتوسط F1متوسط الدقة
الجنس
ذكر70587.2 ± 3.783.4 ± 3.282.1 ± 3.582.5 ± 3.8
أنثى39685.6 ± 3.381.2 ± 4.079.7 ± 3.879.6 ± 3.4
الفرق+1.6+2.2+2.4+2.9
قيمة p لاختبار ويلش (Welch p)--0.3210.1920.1590.089
موقع الاستحواذ
روبيك (RUBIC)67487.6 ± 4.083.3 ± 3.182.3 ± 3.783.4 ± 3.5
ستاتن آيلاند42785.2 ± 3.681.7 ± 3.779.4 ± 3.480.1 ± 3.7
الفرق+2.4+1.6+2.9+3.3
قيمة p لاختبار ويلش (Welch p)--0.1760.3090.0850.055

الجدول 5: أداء BrainMoE موزَّعاً حسب الجنس وموقع الاكتساب. يتم تقديم النتائج في شكل المتوسط ± الانحراف المعياري عبر 10 تكرارات من التحقق المتقاطع الخماسي (5-fold cross-validation). ويمثل الفرق قيمة المجموعة الفرعية الأولى ناقص المجموعة الثانية، بينما تم الحصول على قيم P باستخدام اختبار t لـ Welch ثنائي الجانب.

المتغيرAUC كاملAUC لـ EEG فقطAUC لـ fMRI فقطمتوسط AUCمتوسط BA
بدون تضمين القناع83.2 ± 2.9%79.5 ± 3.9%76.4 ± 3.7%79.2 ± 3.1%76.1 ± 3.4%
بدون موجه Conv84.6 ± 3.6%80.7 ± 3.5%78.2 ± 4.2%81.6 ± 3.3%75.7 ± 3.1%
موجه MLP82.8 ± 2.7%80.1 ± 4.1%76.6 ± 4.4%79.3 ± 3.7%74.1 ± 3.8%
بدون خبير مشترك83.3 ± 3.6%80.8 ± 4.0%73.5 ± 3.3%80.1 ± 3.6%75.5 ± 3.2%
بدون خبراء MoE81.9 ± 3.3%78.7 ± 3.6%78.0 ± 3.8%80.8 ± 4.1%74.2 ± 3.0%
BrainMoE (طريقتنا)86.9 ± 3.0%83.1 ± 3.7%80.0 ± 3.9%86.9 ± 3.0%81.4 ± 2.5%

الجدول 6: تحليل الاستئصال لمكونات BrainMoE الرئيسية. تظهر نتائج الاستئصال مساهمة قناع توفر الوسائط، والموجه الالتفافي، والخبير المشترك، وتصميم دمج خبراء MoE. يتم تقييم كل متغير تحت ظروف الاستدلال الكامل لـ EEG-fMRI، وEEG فقط، وfMRI فقط، مع تلخيص الأداء العام بواسطة متوسط AUC ومتوسط BA.

مرضتخطيط كهربية الدماغ (EEG): المنطقة ذات الاهتمام (ROI) الأعلى تصنيفاًتخطيط كهربائية الدماغ: التردد الأكثر شيوعاً، ن/ن (%)التصوير بالرنين المغناطيسي الوظيفي (fMRI): المنطقة ذات الاهتمام الأعلى تصنيفاًالتصوير بالرنين المغناطيسي الوظيفي (fMRI): التردد الأعلى (Top-1)، العدد/العدد الكلي (n/N) (%)مرجع الصدفة (%)
الاكتئاب الجسيمالضفاف اليسرى للتلم الصدغي العلوي22/50 (44%)القشرة الحزامية الخلفية اليسرى25/50 (50%)1.47
قلقالقشرة أمام المركزية اليسرى18/50 (36%)القشرة المحيطة بالتلفيف حول المِـنـقـار اليمنى21/50 (42%)1.47
الرنين التصويري (RI)الوتد الأيسر26/50 (52%)القشرة جانب الحصين اليسرى29/50 (58%)1.47
اضطراب طيف التوحدالقشرة اللسانية اليسرى27/50 (54%)الجزء المثلثي الأيمن28/50 (56%)1.47
اضطراب نقص الانتباه مع فرط النشاطالقشرة الجزيرية اليمنى31/50 (62%)القشرة الشمية الداخلية اليسرى34/50 (68%)1.47

الجدول 7: استقرار التحقق المتقاطع للمناطق ذات الاهتمام (ROIs) الأعلى تصنيفاً والمستمدة من EEG وfMRI. يشير التردد الأعلى (Top-1 frequency) إلى عدد ونسبة تحليلات مستوى 50 طية التي احتلت فيها المنطقة ذات الاهتمام المذكورة المرتبة الأولى. كان المرجع النظري للاختيار العشوائي هو 1/68 (1.47%).

الملف التكميلي 1: نص برمجى للتحقق من مدخلات H5. نص برمجي بلغة Python للتحقق من مفاتيح الإدخال المطلوبة في ملف H5، وأنواع البيانات، والتسميات التشخيصية، وأبعاد الإدخال المتوافقة مع أطلس DK-atlas قبل تدريب نموذج BrainMoE. يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 2: نص برمجي للمعالجة المسبقة للتصوير بالرنين المغناطيسي الوظيفي (fMRI).ملفات التكوين والتنفيذ الخاصة ببرنامج C-PAC المستخدمة في المعالجة المسبقة للتصوير بالرنين المغناطيسي الوظيفي، بما في ذلك إزالة الأحجام الأولية، وتصحيح الحركة والتشوه، والتسجيل والنمذجة المعيارية، وانحدار العناصر المزعجة، والترشيح الزمني، والتنعيم المكاني. يرجى النقر هنا لتنزيل هذا الملف.

الملف التكميلي 3: نصوص FreeSurfer البرمجية للمعالجة. نصوص برمجية لمعالجة بيانات MRI التركيبية، وإجراء التسجيل المشترك لتقسيم Desikan-Killiany القشري في مساحة fMRI الأصلية، واستخراج إشارات fMRI على مستوى المنطقة ذات الاهتمام (ROI). يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 4: سكربتات المعالجة المسبقة لتخطيط كهربية الدماغ (EEG).سكربتات MATLAB/EEGLAB المستخدمة في المعالجة المسبقة لتخطيط كهربية الدماغ، بما في ذلك الترشيح، وتحديد وإزالة مكونات الشوائب، وإعادة المرجعية. يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 5: نص برمجي باستخدام MNE-Python لتحديد موقع المصدر واستخراج الميزات.نص برمجي بلغة Python لتحديد موقع مصدر تخطيط كهربائية الدماغ (EEG)، واستخراج المناطق ذات الاهتمام (ROI) من أطلس DK، وتوليد ميزات تخطيط كهربائية الدماغ على مستوى المنطقة ذات الاهتمام والمستخدمة كمدخلات لـ BrainMoE. يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 6: كود تنفيذ BrainMoE. ملفات التكوين وكود Python الخاصة ببنية BrainMoE، ومشفرات الرسوم البيانية (graph encoders)، والتعامل مع حالة الوسائط (modality-state handling)، وتوجيه ودمج الخبراء، وتدريب النموذج، والتقييم، ومتغيرات الاستئصال (ablation variants). يرجى النقر هنا لتحميل هذا الملف.

الملف التكميلي 7: كود إسناد حجب العقدات.كود بلغة Python لتحليل حجب العقدات الخاص بكل نمط، وحساب درجات مساهمة المناطق ذات الاهتمام (ROI)، وتصنيف المناطق ذات الاهتمام المشتقة من EEG و fMRI، وإنشاء مخرجات الإسناد. يرجى النقر هنا لتنزيل هذا الملف.

المناقشة

أصبح تحليل إشارات الدماغ متعدد الوسائط اتجاهاً مهماً لتشخيص اضطرابات الدماغ بمساعدة الحاسوب، نظراً لأن تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) يوفران معلومات متكاملة حول النشاط العصبي. وفي مقارنة معيارية، قدمت طرق التعلم الآلي التقليدية، مثل آلات المتجهات الداعمة (SVM) والبيرسيبترون متعدد الطبقات (MLP)، أداءً تشخيصياً أساسياً، ولكنها كانت ذات قدرة محدودة على نمذجة التفاعلات الميزية الهرمية، وذات البنية الرسومية، وتلك العابرة للوسائط. ووفرت نماذج التعلم العميق العامة، بما في ذلك الشبكات العصبية التلافيفية ثلاثية الأبعاد (3D-CNN)، والشبكات العصبية المتبقية (ResNet)، والمحول (Transformer)، قدرة أقوى على النمذجة غير الخطية، إلا أن هذه البنى لم تكن مصممة خصيصاً لدمج بيانات EEG-fMRI أو تمثيلات شبكة الدماغ. وقد حققت طرق التعلم العميق المتقدمة أداءً أفضل من معظم النماذج التقليدية والعامة، ولكن العديد منها ظل يعتمد على استراتيجيات ثابتة لدمج الميزات ولم تفصل بشكل صريح بين المعلومات الخاصة بكل وسيط والمعلومات المشتركة للحالة العصبية.

اقترحت هذه الدراسة نموذج BrainMoE لمعالجة مشكلة الدمج هذه عن طريق الجمع بين مشفرات الأنماط القائمة على الرسوم البيانية (graph-based modality encoders)، وخبراء متخصصين في أنماط محددة، وخبير حالة عصبية مشترك، وآلية توجيه تكيفية. وقد سمح هذا التصميم بنمذجة التمثيلات المشتقة من EEG وfMRI بشكل منفصل ثم دمجها من خلال دمج على مستوى الخبراء. ومن خلال إدخال أقنعة حالة النمط (modality-state masks) وعلامات النمط المفقود (missing-modality tokens)، تمكن النموذج المدرب نفسه من إجراء الاستدلال باستخدام EEG فقط أو fMRI فقط دون الحاجة إلى بناء نماذج منفصلة لكل حالة نمط مفقود. وأظهرت النتائج التجريبية أن BrainMoE حقق أقوى أداء إجمالي عبر مهام تصنيف الأمراض الثنائية الخمس، وحافظ على أداء قابل للاستخدام في حالتي EEG فقط وfMRI فقط. كما دعم تحليل الاستئصال (ablation analysis) بشكل أكبر مساهمة تضمين القناع، والموجه التلافيفي، والخبير المشترك، ودمج خبراء MoE. وتشير هذه النتائج إلى أن تحسن الأداء لم يكن بسبب مكون واحد، بل نتيجة للتصميم المنسق لترميز الرسوم البيانية، ونمذجة حالة النمط، والتوجيه التكيفي، ودمج الخبراء.

خطوات البروتوكول الحرجة واستكشاف الأخطاء وإصلاحها
تتضمن خطوات البروتوكول الحرجة الحفاظ على نفس ترتيب مناطق DK الـ 68 عبر مصفوفات العقد والرسوم البيانية لكل من EEG وfMRI، وتطبيق إعدادات المعالجة المسبقة المحددة مسبقاً بشكل مستقل لكل مشارك، وفرض التحقق المتقاطع على مستوى المشارك بحيث تظل جميع السجلات الخاصة بالمشارك الواحد في طية واحدة. كما يجب أن يتوافق قناع توافر النمط (Modality Availability Mask) مع المدخلات المقدمة لكل حالة استنتاج.

إذا فشلت عملية الاستدلال أو لم يتم تكرار ميزة الأداء المتوقعة للحالة الكاملة، فيجب أولاً التحقق من مفاتيح H5 المطلوبة، وأبعاد مصفوفات EEG وfMRI، وترتيب مناطق DK، وتعيين قناع توفر الوسائط (Modality Availability Mask)، وأقسام التحقق المتقاطع المحفوظة. يجب استبعاد الملفات التي تحتوي على مفاتيح مفقودة، أو أبعاد غير صالحة، أو ترتيب غير متسق للمناطق قبل البدء في التدريب أو التقييم. يمكن تعديل إطار العمل ليتناسب مع تقسيمات قشرية بديلة أو تمثيلات ميزات EEG/fMRI مختلفة، شريطة أن يتم ربط كلتا الوسائط بترتيب متسق للمناطق ذات الاهتمام (ROI) وضبط أبعاد إدخال النموذج المقابلة. كما يمكن تكييف رأس التصنيف الخاص بالمرض لمهام تصنيف ثنائية أخرى مع الاحتفاظ بإطار ترميز الرسوم البيانية ودمج الخبراء. تتطلب هذه التعديلات إعادة التدريب والتحقق بدلاً من التطبيق المباشر للنماذج المذكورة هنا.

تحليل القابلية للتفسير القائم على حجب العقد
قدم تحليل حجب العقد مزيداً من القابلية للتفسير لتنبؤات BrainMoE على مستوى المناطق ذات الاهتمام (ROIs)، حيث تظهر المناطق ذات الاهتمام المرتبطة بالمرض والأعلى تصنيفاً في الشكل 3. تتوافق منطقة الاهتمام الخلفية اليسرى المستمدة من EEG والتي حددها BrainMoE مع الأدلة السابقة لتحليل ميتا القائم على الفوكسل23 التي أفادت بتغير نشاط الدماغ الجوهري في المناطق القشرية الخلفية في حالة الاكتئاب الجسيم (MDD). وتتوافق مناطق الاهتمام أمام المركزية اليسرى والمحيطية المهدبة اليمنى المستمدة من EEG/fMRI مع أدلة التصوير العصبي السابقة في اضطرابات القلق: حيث أفاد تحليل ميتا لسماكة القشرة24 بزيادة سماكة القشرة في التلفيف أمام المركزي الأيسر لدى المرضى الذين يعانون من اضطرابات القلق، بينما أفادت دراسة لشبكة التغاير الهيكلي25 في اضطراب القلق الاجتماعي بمرکزية عقدية غير طبيعية تشمل القشرة المحيطية المهدبة اليمنى. وبالنسبة لاضطراب القراءة، فإن منطقة الاهتمام في الإسفين الأيسر المستمدة من EEG تتوافق مع دراسة للاتصال في الدماغ بأكمله26 أفادت بتغير الاتصال في الإسفين الأيسر في حالات عسر القراءة، بينما تتوافق منطقة الاهتمام جنيب الحصين اليسرى المستمدة من fMRI مع دراسة منفصلة27 أفادت باقتران غير طبيعي بين منطقة جنيب الحصين والحصين لدى المراهقين الذين يعانون من عجز محدد في استيعاب القراءة. وفي مهمة اضطراب طيف التوحد، تعكس منطقة الاهتمام اللسانية اليسرى التي أبرزها الإسناد المستمد من EEG أدلة fMRI السابقة في حالة الراحة28 على انخفاض ReHo في التلفيف اللساني الأيسر لدى الأولاد في مرحلة ما قبل البلوغ المصابين بـ ASD. كما تعد منطقة الاهتمام في الجزء المثلثي الأيمن المستمدة من fMRI منطقية بيولوجياً، حيث تم الإبلاغ29 عن تغير ALFF في الجزء المثلثي الأيمن من التلفيف الجبهي السفلي لدى الأطفال المصابين بالتوحد. أما بالنسبة لـ ADHD، فإن منطقة الاهتمام في الفص الجزيري الأيمن المستمدة من EEG تتوافق مع أدلة MRI الهيكلية30 التي تظهر انخفاض حجم الفص الجزيري الأمامي لدى الشباب المصابين بـ ADHD، وتحديداً فيما يتعلق بالتلفيف الجزيري القصير الأيمن. وقد تعكس منطقة الاهتمام القشرية الشمية الداخلية اليسرى المستمدة من fMRI نتيجة أكثر تحديداً لنوع فرعي، حيث أفادت دراسة منفصلة في الطب النفسي31 بانخفاض حجم القشرة الشمية الداخلية اليسرى في مجموعة فرعية من ADHD-C بعد تصحيح FDR. ومع ذلك، يجب تفسير هذه النتائج مع مراعاة الاعتماد المتبادل بين المناطق، لأن إشارات مناطق الاهتمام المترابطة قد تمنع حجب عقدة واحدة من عزل مساهمة منطقة فردية بشكل كامل وقد تؤدي إلى تقديرات متحفظة.

القيود والتوجهات المستقبلية
على الرغم من استخدام التحقق المتقاطع خماسي الطيات المتكرر للحصول على تقديرات الأداء الداخلي، فإن الدراسات المستقبلية التي تستخدم التحقق المتقاطع المتداخل أو التحقق الخارجي المستقل من شأنها أن تعزز تقييم استقرار اختيار النموذج وقابلية التعميم. ونظرًا لأن مخرجات EEG فقط وfMRI فقط تم توليدها عن طريق حجب نمط واحد في السجلات متعددة الأنماط الكاملة ولم يتم تقييمها على مجموعة تحقق خارجية، يجب أن تتضمن الدراسات المستقبلية مجموعات تحقق خارجية أحادية النمط لتقييم قابلية التعميم. ومن القيود الإضافية أن تصميم "الأصحاء مقابل مرض واحد" لا يرصد الحالات المرضية المصاحبة، مما يحد من قابلية التعميم السريري ويدفع نحو إجراء دراسات مستقبلية حول التصنيف متعدد التسميات والتشخيص التفريقي. كما يمكن للعمل المستقبلي تقييم متانة ارتباطات EEG على مستوى المصدر باستخدام مقدرات الاتصال الواعية للتسريب. ورغم أن تقسيم DK المشترك يوفر واجهة قائمة على التشريح للدمج متعدد الأنماط، إلا أنه يظل افتراضًا في النمذجة قد لا يستوعب بشكل كامل الاختلافات الخاصة بالنمط في الدقة الزمنية والأصل الفسيولوجي. وبالإضافة إلى الاضطرابات الخمسة التي تم تقييمها هنا، يمكن تكييف هذا الإطار مع مهام تصنيف عصبية أو نفسية أخرى تتضمن بيانات دماغية متعددة الأنماط ومصطفة تشريحيًا، وتوسيع نطاقه ليشمل تطبيقات التصنيف متعدد التسميات أو التشخيص التفريقي.

الخلاصة
باختصار، يوفر BrainMoE إطار عمل عملي وقابل للتفسير لدمج بيانات EEG-fMRI في التشخيص بمساعدة الكمبيوتر للاضطرابات الدماغية. وتكمن ميزته الرئيسية في التكامل التكيفي للميزات متعددة الوسائط، والذي يتم توجيهه بواسطة بنية متعددة الخبراء وآلية توجيه مرنة (soft-routing) توازن ديناميكيًا بين المعلومات الخاصة بكل وسيط والمعلومات المشتركة. علاوة على ذلك، من خلال دمج أقنعة حالة الوسائط (modality-state masks) ورموز الوسائط المفقودة (missing-modality tokens) بسلاسة، يحقق النموذج المدرب نفسه أداءً قويًا أثناء الاستدلال في حالة نقص الوسائط دون الحاجة إلى تكوينات منفصلة. والأهم من ذلك، يوفر إطار العمل القابل للتفسير مسارات عزو إقليمية شفافة على مستوى المجموعة عبر خمسة اضطرابات دماغية متميزة، مما يحول بنية "الصندوق الأسود" التقليدية إلى أداة مستنيرة فسيولوجيًا للتشخيص بمساعدة الكمبيوتر. وهذا أمر بالغ الأهمية لسير عمل التصوير العصبي الحاسوبي المستقبلي، حيث تكون مصادر البيانات غير المتجانسة، وتوفر الوسائط غير المكتملة، ومخرجات النماذج القابلة للتفسير، كلها اعتبارات مركزية.

الإفصاحات

يعلن المؤلفون عن عدم وجود تضارب في المصالح. كما يعلن المؤلفون أنه لم يتم استخدام أي أدوات ذكاء اصطناعي توليدي في إعداد هذه المخطوطة، أو الأكواد البرمجية الخاصة بها، أو تحليل البيانات، أو إنشاء المخططات البيانية.

شكر وتقدير

تم تمويل هذا البحث من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين بموجب المنح رقم 62433002 و62277001 وU25A20446، ومشروع بناء ودعم الفرق الابتكارية رفيعة المستوى لمؤسسات بلدية بكين بموجب المنحة رقم BPHR20220104، وبرنامج علماء بكين بموجب المنحة رقم 099.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
باشمشروع GNUإصدار 5.1.16(1)برمجيات
C-PACFCP-INDIالإصدار 1.8.7؛ علامة الحاوية release-v1.8.7.dev1برمجيات
مجموعة أدوات CUDANVIDIA Corporationالإصدار 12.4البرمجيات
وحدة معالجة رسوميات متوافقة مع CUDAشركة NVIDIAوحدة معالجة الرسوميات GeForce RTX 4060 للمحمولالأجهزة والمعدات
أطلس ديسيكان-كيلياني للقشرة الدماغيةFreeSurfer، أثينولا أ. مركز مارتينوس للتصوير الطبي الحيوي، مستشفى ماساتشوستس العامaparc؛ 68 منطقة قشرية (RRID:SCR_001847)أطلس/مرجع
EEGLABمركز سوارتز لعلوم الأعصاب الحسابية، جامعة كاليفورنيا سان دييغوالإصدار 2022.1 (RRID:SCR_007292)برمجيات
FreeSurferمركز أثينولا أ. مارتينوس للتصوير الطبي الحيوي، مستشفى ماساتشوستس العامالإصدار 7.4.1 (RRID:SCR_001847)برمجيات
FSLوحدة التصوير بالرنين المغناطيسي الوظيفي (FMRIB)، جامعة أكسفوردمرفق مع C-PAC 1.8.7؛ الإصدار المحدد غير مذكور (RRID:SCR_002823)برمجيات
مجموعة بيانات شبكة الدماغ السليم (HBN)معهد عقل الطفل (Child Mind Institute)RRID:SCR_016989مجموعة البيانات
MATLABMathWorksR2022a (RRID:SCR_001622)البرمجيات
MNE-Pythonفريق تطوير MNE-Pythonالإصدار 1.9 (RRID:SCR_005972)برمجيات/مكتبة
بايثونمؤسسة برمجيات بايثون (Python Software Foundation)الإصدار 3.12.4 (RRID:SCR_008394)برمجيات
PyTorchمؤسسة PyTorchالإصدار 2.6.0+cu124 (RRID:SCR_018536)المكتبة

المراجع

  1. Shao Y, et al. Exploring cognitive workload recognition using CogRepLKNet with EEG-fMRI. Neural Netw. 2026;198:108575.
  2. Jatoi MA, et al. A survey of methods used for source localization using EEG signals. Biomed Signal Process Control. 2014;11:42-52.
  3. Wei X, et al. Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion. Neural Netw. 2025;184:107066.
  4. Lang J, Yang LZ, Li H. Multi-modal dynamic brain graph representation learning for brain disorder diagnosis via temporal sequence model. Neurocomputing. 2025;656:131509.
  5. Zhu W, et al. CGLK-GNN: a connectome generation network with large kernels for GNN based Alzheimer's disease analysis. Neural Netw. 2026;199:108689.
  6. Wu Z, Shen C, van den Hengel A. Wider or deeper: revisiting the ResNet model for visual recognition. Pattern Recogn. 2019;90:119-33.
  7. Vaswani A, et al. Attention is all you need [conference paper]. Presented at: 31st Conference on Neural Information Processing Systems; Long Beach, CA; 2017. Available from: https://papers.nips.cc/paper/7181-attention-is-all-you-need
  8. Kawahara J, et al. BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. Neuroimage. 2017;146:1038-49.
  9. Li X, et al. BrainGNN: interpretable brain graph neural network for fMRI analysis. Med Image Anal. 2021;74:102233.
  10. Kan X, et al. Dynamic brain transformer with multi-level attention for functional brain network analysis [conference paper]. Presented at: 2023 IEEE EMBS International Conference on Biomedical and Health Informatics; Pittsburgh, PA; 2023. Available from: https://doi.org/10.1109/BHI58575.2023.10313480
  11. Khan MAR, et al. MultiEpilepsyNet: an EEG and MRI data based multimodal seizure detection model using hybrid deep learning model. Brain Res Bull. 2025;233:111645.
  12. Saha A, Ghosh D, Ali F, Singh PK. SZAtt-Net: a unified deep learning model with different attention mechanisms for schizophrenia classification from multimodal data. Med Nov Technol Devices. 2026;29:100428.
  13. Liu J, et al. A survey on inference optimization techniques for mixture of experts models. ACM Comput Surv. 2026;58(10):1-37.
  14. Xu H, et al. MCMoE: completing missing modalities with mixture of experts for incomplete multimodal action quality assessment [conference paper]. Presented at: 40th Annual AAAI Conference on Artificial Intelligence; Singapore; 2026. Available from: https://doi.org/10.1609/aaai.v40i13.38104
  15. Nguyen H, Ho N, Rinaldo A. Convergence rates for softmax gating mixture of experts. IEEE Trans Inf Theory. 2025;72(2):1276-304.
  16. Ma J, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts [conference paper]. Presented at: 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; London, United Kingdom; 2018. Available from: https://doi.org/10.1145/3219819.3220007
  17. Chen T, Li H, Zheng H, Fan Y. dFCExpert: learning dynamic functional connectivity patterns with modularity and state experts. IEEE Trans Med Imaging. 2026;45(3):1088-98.
  18. Yang X, et al. EvoMoE: evolutionary mixture-of-experts for SSVEP-EEG classification with user-independent training. IEEE J Biomed Health Inform. 2025;29(9):6538-50.
  19. Raza WH, et al. NeuroMoE++: patient-adaptive multi-level multimodal fusion with mixture-of-experts for neurological disorder classification. IEEE Trans Biomed Eng. 2026;73(8):2784-94.
  20. Desikan RS, et al. An automated labeling system for subdividing the human cerebral cortex on MRI scans into gyral based regions of interest. Neuroimage. 2006;31(3):968-80.
  21. Alexander LM, et al. An open resource for transdiagnostic research in pediatric mental health and learning disorders. Sci Data. 2017;4(1):170181.
  22. Ji S, Xu W, Yang M, Yu K. 3D convolutional neural networks for human action recognition. IEEE Trans Pattern Anal Mach Intell. 2013;35(1):221-31.
  23. Gong J, et al. Common and distinct patterns of intrinsic brain activity alterations in major depression and bipolar disorder: voxel-based meta-analysis. Transl Psychiatry. 2020;10(1):353.
  24. Wang L, et al. Alterations in cortical thickness in anxiety disorders and their association with atlas-based neurotransmitter maps. Acad Radiol. 2026;33(7):3011-22.
  25. Zhang X, et al. Disrupted brain gray matter connectome in social anxiety disorder: a novel individualized structural covariance network analysis. Cereb Cortex. 2023;33(16):9627-38.
  26. Finn ES, et al. Disruption of functional networks in dyslexia: a whole-brain, data-driven analysis of connectivity. Biol Psychiatry. 2014;76(5):397-404.
  27. Cutting LE, et al. Not all reading disabilities are dyslexia: distinct neurobiology of specific comprehension deficits. Brain Connect. 2013;3(2):199-211.
  28. Yue X, et al. Brain functional alterations in prepubertal boys with autism spectrum disorders. Front Hum Neurosci. 2022;16:891965.
  29. Karavallil Achuthan S, Coburn KL, Beckerson ME, Kana RK. Amplitude of low frequency fluctuations during resting state fMRI in autistic children. Autism Res. 2023;16(1):84-98.
  30. Lopez-Larson MP, et al. Reduced insular volume in attention deficit hyperactivity disorder. Psychiatry Res Neuroimaging. 2012;204(1):32-9.
  31. Yamashita M, Shou Q, Mizuno Y. Unsupervised machine learning for identifying attention-deficit/hyperactivity disorder subtypes based on cognitive function and their implications for brain structure. Psychol Med. 2024;54(14):3917-29.

إعادة الطباعة والأذونات

الوسوم

دمج تخطيط كهربائية الدماغ والتصوير بالرنين المغناطيسي الوظيفيتصوير الدماغ متعدد الوسائطالتشخيص بمساعدة الحاسوبمشفرات الرسوم البيانيةخرائط إسناد مناطق الاهتمامخبير الحالة العصبيةأقنعة حالة الوسائطتحليل حجب العقد

تم نشر هذه المقالة

الفيديو قريباً

تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.