مقالة منهجية

شبكة فك التشابك ثلاثية المسارات مع دمج تكيفي ثنائي الحيز لإعادة بناء الصور بناءً على تخطيط كهربائية الدماغ على مجموعة بيانات THINGS-EEG2

7 مشاهدة

⸱

DOI:

10.3791/73434

⸱

أكتوبر 6, 2026

 ,  ,  ,  ,  ,  , 
1Research Centre for Agri-Product Quality Traceability, Beijing Technology and Business University, 2School of Computer and Artificial Intelligence, Beijing Technology and Business University

في هذه المقالة

ملخص

يقدم هذا البروتوكول الشبكة ذات التدفقات الثلاثة المفككة (TDE-Net)، وهي إطار عمل لإعادة بناء الصور من مخطط كهربية الدماغ (EEG)، يجمع بين تمثيلات EEG التكاملية، والمحاذاة البصرية مزدوجة الفضاء، وفك التشفير بالانتشار.

الملخص

تتطلب عملية إعادة بناء المحفزات البصرية من تخطيط كهربائية الدماغ (EEG) غير الباضع ربط الاستجابات العصبية القصيرة والمشوبة بالضجيج بتمثيلات بصرية ذات معنى، رغم محدودية أخذ العينات المكانية. وتعتمد النهج الحالية لتحويل EEG إلى صور على تمثيلات عصبية واستراتيجيات توليدية متنوعة، مما يستدعي وجود سير عمل قابل للتكرار يفصل بين المساهمات الهيكلية والدلالية. يقدم هذا البروتوكول "الشبكة المفككة ثلاثية المسارات" (TDE-Net)، وهي إطار حوسبي لإعادة بناء الصور استناداً إلى تخطيط كهربائية الدماغ. يستخدم البروتوكول تسجيلات THINGS-EEG2 التي تمت معالجتها مسبقاً، وينظم معلومات EEG إلى مرساة EEG خام، ومسار رسم بياني وظيفي خاص بالعينة، ومسار دلالي زمني متعدد المقاييس. يلتقط مسار الرسم البياني العلاقات في نطاق التردد بين قنوات EEG عبر التلافيف الرسومية والتعلم التبايني عبر التجارب، بينما يستخلص المسار الدلالي الميزات ذات الصلة بالمهمة عبر التوزين المكاني التكيفي والتلافيف الزمنية متعددة المقاييس. يتم تعيين الميزات الهيكلية والدلالية بشكل منفصل إلى الفضاءات الكامنة للمشفّر التلقائي التبايني (VAE) والتدريب المسبق للغة والصور التبايني (CLIP)، ثم يتم دمجها باستخدام أوزان دمج مختارة من مجموعة التطوير، وفك تشفيرها باستخدام Stable UnCLIP. ومن خلال تجارب على 10 مشاركين، حققت TDE-Net متوسط دقة تحديد زوجي في CLIP قدره 0.8135، مع مقاييس تكميلية تثبت التطابق في الفضاء الهيكلي وفضاء الميزات. كما ساهمت تحليلات الاستئصال والتحليلات على مستوى التمثيل في توصيف مساهمات كل مسار على حدة. يوفر هذا البروتوكول إطاراً قابلاً للتكرار لاستكشاف تمثيلات EEG التكميلية وإعادة البناء البصري القائم على نماذج الانتشار.

المقدمة

يعد فك تشفير الإدراك البصري مجالاً بحثياً متعدد التخصصات في واجهات الدماغ والحاسوب (BCIs) وعلم الأعصاب المعرفي. لقد مكّن التصوير بالرنين المغناطيسي الوظيفي (fMRI) من إعادة بناء صور واقعية1,2,3,4، إلا أن تكلفته، ومحدودية إمكانية نقله، والتأخر في الاستجابة الديناميكية الدموية تقيد بعض تطبيقاته. يوفر تخطيط كهربائية الدماغ (EEG) قياسات زمنية بمقياس الميلي ثانية باستخدام أجهزة ميسورة التكلفة نسبياً، ولكن انخفاض نسبة الإشارة إلى الضجيج ومحدودية أخذ العينات المكانية تجعل إعادة بناء الصور من تخطيط كهربائية الدماغ أمراً صعباً.

يجب تفسير تعقيد الطريقة في ضوء المقايضة العامة بين الانحياز والتباين5. استخدمت طرق فك التشفير البصري المبكرة تمثيلات ضحلة أو خطية، بينما قدمت الدراسات اللاحقة مشفرات مدمجة تعتمد على التلافيف، والرسوم البيانية، وآليات الانتباه6,7,8,9,10,11. كما تطور المحاذاة عبر الأنماط من تعلم الميزات متعددة الأنماط12,13 إلى نماذج الانتشار الكامنة ومشفرات الرؤية الكبيرة14,15,16. تضع هذه النهج خطوط أساس مفيدة، ولكن تختلف تمثيلات المدخلات والأهداف الكامنة وأجهزة فك التشفير الخاصة بها، لذا يجب تفسير النتائج ضمن الإعدادات التجريبية الخاصة بكل منها.

يتمثل الهدف من TDE-Net في توفير إطار عمل نمطي لإعادة بناء الصور من تخطيط كهربائية الدماغ (EEG)، بحيث يفصل بين التمثيلات البنيوية والدلالية لـ EEG، ويقوم بمحاذاتها مع مساحات كامنة بصرية تكميلية، ثم يدمج هذه التوقعات لإعادة بناء الصور بناءً على نماذج الانتشار (diffusion). وقد قدمت الدراسات الحديثة حول فك تشفير EEG-البصري توليداً موجهاً بـ EEG يعتمد على المحولات (transformers) في EEG-CLIP17، ومحاذاة مدركة للمقدمة مع شبكات دماغية ديناميكية في FSDBN18، وتضبيب تكيُّفي موجه معرفياً مع محاذاة مقيدة بالمعلومات19، وتعلماً محاكياً حيوياً ثنائي الاتجاه متعدد المستويات20. وتوفر مسارات EEG-إلى-الصورة ذات الصلة، بما في ذلك Perceptogram والانتشار الموجه بناءً على تضمينات EEG، مراجع إضافية للتنبؤ الكامن21,22. ويختلف TDE-Net في تنظيم نموذجه: حيث يفصل صراحةً بين مرساة EEG خام، وتمثيل رسم بياني وظيفي خاص بالعينة، وتمثيل دلالي زمني، ثم يجري محاذاة غير متماثلة مع مساحات VAE وCLIP قبل عملية الدمج. ويسمح هذا التنظيم بفحص المساهمات البنيوية والدلالية بشكل منفصل من خلال تحليلات المساحة الكامنة ومستوى الصورة. وبالمقارنة مع نهج EEG-إلى-الصورة ذات التمثيل الواحد أو المحاذاة المباشرة، يوفر هذا التصميم النمطي مسارات بنيوية ودلالية منفصلة، ويحافظ على مرجع EEG خطي أثناء التنبؤ الكامن، كما يتيح تقييم مساهمة كل تمثيل بشكل مستقل من خلال تحليلات الاستئصال (ablation) والمساحة الكامنة.

صُممت شبكة TDE-Net للتجارب التي تتضمن استجابات EEG مقترنة بمحفزات بصرية، وظروف تدريب كافية، ونافذة زمنية قصيرة بعد التحفيز يكون فيها الهدف الأساسي هو إعادة البناء الدلالي. ويدعم تنظيمها المرحلي الفحص المنفصل لكل من استخراج الميزات، والمحاذاة الكامنة، والدمج، وفك تشفير الانتشار. وتظل التخطيطات الخطية مناسبة لمجموعات البيانات الصغيرة جدًا أو الإعدادات التي تعطي الأولوية للحد الأدنى من تعقيد النموذج، بينما قد تكون مفككات التشفير العصبية الشاملة (end-to-end) مفضلة عند توفر مجموعات بيانات كبيرة خاصة بالمهمة وإمكانية النشر في الوقت الفعلي.

يُقيّم البروتوكول الحالي التكوين المقترح في إعداد العرض البصري المتسلسل السريع (RSVP) الخاص بقاعدة بيانات THINGS-EEG2. وتشمل المساهمات الرئيسية مخطط تمثيل لبيانات EEG ثلاثي التدفق يتكون من مرساة خطية خام، وتدفق رسم بياني وظيفي خاص بالعينة، وتدفق دلالي زمني متعدد المقاييس. يتم تعيين هذه التمثيلات المتكاملة إلى فضاءات كامنة من نوع VAE وCLIP، ثم تُدمج التنبؤات المقابلة قبل عملية فك ترميز الانتشار (diffusion decoding). تم تقييم هذا الإطار عمليًّا على جميع الأشخاص العشرة المشاركين في THINGS-EEG2 باستخدام مقاييس إعادة البناء على مستوى الشخص، وتحليلات الاستئصال والنوافذ الزمنية، وتصورات على مستوى التمثيل، مع تفسير خرائط الانتباه المكاني كتحليلات لقنوات فروة الرأس (طوبوغرافية).

البروتوكول

يتكون البروتوكول من ست مراحل متتالية: تحضير تجارب EEG والصور الكامنة؛ بناء تدفق البنية الرسومية؛ تدريب مشفر EEG الدلالي؛ ملاءمة تخطيطات CLIP/VAE؛ دمج التنبؤات الكامنة، يليها فك تشفير الصور؛ وتقييم النتائج على مستوى الصورة ومستوى التمثيل (الشكل 1).

1. تحضير تجارب تخطيط كهربائية الدماغ (EEG) وتضمينات الصور

  1. توثيق المجموعة المصدرية وبروتوكول الاستحواذ.
    ملاحظة: تألفت المجموعة المصدرية من 10 بالغين أصحاء (متوسط العمر 28.5 سنة، SD 4.0؛ ثماني إناث وذكرين) يتمتعون برؤية طبيعية أو مصححة لتصبح طبيعية. قدم المشاركون موافقة مستنيرة مكتوبة، وتلقوا تعويضاً مادياً، وأتموا البروتوكول الأصلي بموافقة لجنة الأخلاقيات في قسم التربية وعلم النفس بجامعة Freie Universität Berlin، وفقاً لإعلان هلسنكي23.
    1. استخدام مجموعة بيانات THINGS-EEG2 المتاحة للعموم كمورد للتحليل الثانوي.
    2. استخدام التقسيم المصدري المكون من 1,654 مفهوماً تدريبياً و200 مفهوم اختباري غير متداخلة مستمدة من THINGS، مع موازنة نسب 27 فئة عالية المستوى بين التقسيمات. اختيار عشر صور بخلفيات طبيعية لكل مفهوم تدريبي وصورة واحدة لكل مفهوم اختباري، لإنتاج 16,540 حالة تدريبية و200 حالة اختبارية مستبعدة.
      ملاحظة: في الدراسة الحالية، استخدمت مهمة اكتشاف الهدف صور "Buzz Lightyear" منفصلة تم استبعادها من تحليل إعادة البناء الحالي23.
    3. اتباع توقيت بروتوكول العرض البصري المتسلسل السريع الأصلي عند تفسير الحقب الزمنية (epochs).
      ملاحظة: بدأت كل سلسلة بفاصل فارغ مدته 750 ms، تلتها 20 صورة عُرضت مركزياً. كانت كل صورة تغطي 7 درجات من الزاوية البصرية، وبقيت على الشاشة لمدة 100 ms، وكان هناك تباين زمني في بدء المثير (stimulus-onset asynchrony) قدره 200 ms، ما يعادل 5 صور/ثانية. سبق فترة استجابة تصل إلى 2 s فاصل فارغ ثانٍ مدته 750 ms، قام المشاركون خلالها بالرمش أولاً ثم أفادوا ما إذا كانت صورة الهدف قد ظهرت. وظل هدف تثبيت مركزي على شكل "عين الثور" مرئياً طوال السلسلة23.
    4. مراعاة هيكل جلسة التسجيل الأصلي عند تنظيم مجموعة البيانات. استخدام البيانات من جلسات التسجيل الأربع التي أتمها كل مشارك، حيث تتكون كل جلسة من أربع جولات اختبارية و15 جولة تدريبية مدة كل منها 5 min تقريباً. الاحتفاظ بأربعة تكرارات لكل حالة تدريبية و80 تكراراً لكل حالة اختبارية، ما يعادل 82,160 تجربة صور غير مستهدفة مُحللة لكل مشارك23.
    5. استخدام بيانات EEG التي تم الحصول عليها بتكوين تسجيل THINGS-EEG2 الأصلي. تم الحصول على هذه التسجيلات بتردد 1,000 Hz باستخدام EASYCAP ذات 64 قطباً مرتبة وفقاً للنظام الدولي 10-10 ومضخم BrainVision actiCHamp، مع تعيين Fz كمرجع مباشر (online reference) واستخدام مرشح تمرير نطاقي مباشر يتراوح بين 0.1–100 Hz.
    6. استخدام البيانات التي تمت معالجتها مسبقاً والمنشورة، والتي تم تقسيمها إلى حقب زمنية من -200 إلى 800 ms بالنسبة لبدء ظهور الصورة، وصُحح خط الأساس فيها باستخدام فاصل ما قبل المثير، وخُفض معدل أخذ العينات فيها إلى 100 Hz، وقُصرت على 17 قناة جدارية قفوية، ونُظفت من تجارب الأهداف، وخضعت لتطبيع الضوضاء متعدد المتغيرات بشكل مستقل داخل كل جلسة تسجيل23.
  2. تجهيز تنسورات تجارب EEG
    1. تحميل تنسورات THINGS-EEG2 المعالجة مسبقاً والمنشورة لجميع المشاركين العشرة. من كل حقبة مصدرية، يتم اختيار الفاصل الزمني ما بعد المثير من 0–800 ms والقنوات الجدارية القفوية الـ 17، مع الاحتفاظ بمعدل أخذ العينات 100 Hz للحصول على 80 نقطة زمنية لكل تجربة. الحفاظ على التقسيم المصدري لـ 16,540 حالة صور تدريبية و200 حالة صور اختبارية مستبعدة لكل مشارك23 (الشكل 2).
    2. بالنسبة للتدريب المسبق لتدفق الرسم البياني (graph-stream)، يتم الاحتفاظ بالتكرارات التدريبية الأربعة المستقلة لكل حالة صورة وأخذ عينة من تكرارين لتشكيل زوج إيجابي. أما بالنسبة للتدفقات الخام والدلالية، يتم حساب متوسط التكرارات التدريبية الأربعة ومتوسط تكرارات الاختبار الـ 80 المتاحة لكل حالة.
    3. استخدام تنسورات THINGS-EEG2 المعالجة مسبقاً والناتجة عن مسار عمل MVNN الأصلي؛ وضمن كل مستخرج ميزات مُنفذ، يتم تطبيق درجة Z (Z-scoring) الموثقة على مستوى الملف قبل حساب الميزات.
      ملاحظة: هذا الاستخدام غير المتماثل للتكرارات متعمد: حيث توفر التجارب المتكررة أزواجاً إيجابية للتدريب المسبق التبايني لتدفق الرسم البياني، بينما تستخدم التدفقات الخام والدلالية متوسطات على مستوى الحالة للرسم الخرائطي الخاضع للإشراف. يجمع التصميم الناتج بين تعلم الثبات على مستوى التكرار في التدفق الهيكلي والتنبؤ الكامن على مستوى الحالة في التدفقات الخام والدلالية.
  3. تجهيز الكوامن الصورية المزدوجة
    1. استخدام مشفر رؤية CLIP ذو الـ 1,024 بُعد ومشفر VAE المرتبط بـ sd2-community/stable-diffusion-2-1-unclip لاستخراج أهداف صور مزدوجة. تغيير حجم صور إدخال VAE إلى 768 x 768 بكسل، وتخزين نمط VAE البعدي كمتجه ذو 36,864 بُعد (4 x 96 x 96)، والحفاظ على ترتيب حالة الصورة.
    2. حفظ ثلاثة أشكال للإدخال: تنسورات التجارب المكررة للتعلم التبايني للرسم البياني، وتنسورات EEG المتوسطة للتدفقات الخام والدلالية، وكوامن صور CLIP/VAE المزدوجة للرسم الخرائطي الخاضع للإشراف.
  4. تطبيع وتخزين المدخلات مؤقتاً
    1. تخزين تنسورات EEG المعالجة مسبقاً، وميزات الرسم البياني والدلالية المستخرجة، وكوامن الصور المزدوجة مؤقتاً مع ترتيب ثابت للحالات.
    2. أثناء رسم Ridge الخرائطي، يتم تقدير معاملات التوحيد القياسي لكل ميزة من مدخلات التدريب وتطبيق هذه المعاملات على مدخلات التطوير والاختبار.

2. إنشاء تدفق البنية الرسومية

  1. قم ببناء تدفق الرسم البياني (graph stream) من تجارب التدريب المتكررة وصدّر السمات على مستوى العقدة بعد التدريب المسبق التبايني. استخدم نفس قاعدة بناء الرسم البياني لاستخراج سمات الاختبار، دون استخدام الكوامن الصورية (image latents) الخاصة بالاختبار أثناء حساب السمات.
  2. حول تجارب تخطيط كهربائية الدماغ (EEG) إلى مدخلات رسم بياني في النطاق الترددي
    1. حول كل تجربة باستخدام تحويل فوريه السريع (FFT) بنقطة 80 واحتفظ بأول 40 صندوق تردد غير سالب، والتي تمتد من 0 Hz إلى 48.75 Hz عند معدل أخذ عينات 100 Hz. استخدم طيف السعة اللوغاريتمي كمصفوفة سمات عقد X بأبعاد 17 x 40. لكل عينة EEG، احسب C_ij = |corr(X_i, X_j)| بين كل زوج من متجهات سمات القنوات الـ 17.
    2. في كل صف، احتفظ بالارتباط الذاتي القطري وأقوى ثلاثة ارتباطات خارج القطر (k = 4 مدخلات محتفظ بها بما في ذلك الذات)، ثم قم بتماثل المصفوفة المحتفظ بها لتحديد مصفوفة التجاور الوظيفية الموزونة A الخاصة بالعينة. طبق تطبيع الدرجة المتماثل قبل الالتفاف الرسومي (graph convolution).
    3. استخدم هذا البناء أثناء التدريب والاختبار؛ لا تُستخدم الإحداثيات الفيزيائية للأقطاب الكهربائية لتحديد رسم بياني ثابت.
      ملاحظة: الحفاظ على الاتصال الذاتي يحافظ على إشارة كل عقدة، بينما يؤدي تقييد الاتصالات عبر القنوات إلى 3 لكل صف إلى التحكم في كثافة الرسم البياني قبل التماثل. يوفر التمثيل في النطاق الترددي وصفاً مدمجاً قائماً على السعة لبناء الرسم البياني، ولكنه لا يحافظ على الطور أو جميع توقيتات الاستجابة المرتبطة بالحدث (ERP) الدقيقة والمقيدة بالطور؛ تظل هذه الجوانب الزمنية متاحة في التدفقات الزمنية للمرساة والدلالية الخام.
  3. قم بتجميع توبولوجيا الأقطاب الكهربائية باستخدام الالتفاف الرسومي الطيفي
    1. طبق شبكة التفاف رسومية (GCN)24 مكونة من خمس طبقات مع 80 وحدة خفية لكل طبقة، وتنشيطات ReLU، ومعدل إسقاط (dropout) 0.3، وتطبيع درجة متماثل، وتجميع رسم بياني متوسط.
    2. استخدم رأس إسقاط مكون من طبقتين وبأبعاد 80 للهدف التبايني، وصدّر تمثيل مستوى العقدة بأبعاد 17 x 80 للدمج الهيكلي. طبق الالتفاف الرسومي الطيفي على مصفوفة التجاور المعتمدة على المدخلات؛ لا تقم بإدراج عامل التفاف ديناميكي منفصل.
  4. درب تدفق الرسم البياني باستخدام التعلم التبايني عبر التجارب
    1. ضمن قسم التدريب، اختر عشوائياً تكرارين من نفس حالة الصورة كزوج إيجابي، وتعامل مع التمثيلات من الحالات الأخرى في الدفعة كسلبيات. قم بتحسين هدف InfoNCE التبايني25 بدرجة حرارة τ = 0.5، وحجم دفعة 32، ومحسن Adam بمعدل تعلم 5 x 10–4، و20 حقبة (epochs)، وتخميد جيب التمام (cosine annealing) إلى eta_min = 10–6، وبذرة عشوائية 42.figure-protocol-1   (1)
    2. حدد تشابه جيب التمام في الهدف التبايني واستخدم دالة المؤشر لتحديد التكرارات المزدوجة. حافظ على بُعد الإسقاط عند 80 وطبق نفس درجة الحرارة على كلا اتجاهي الخسارة التباينية.
  5. صدّر سمات الرسم البياني على مستوى العقدة للدمج المبكر
    1. قم بتجميد مشفر الرسم البياني بعد التدريب المسبق وصدّر سمات العقد لـ 17 قناة بأبعاد 80 لكل عقدة. قم بربط هذه السمات مع متوسط EEG الخام على طول بُعد السمات للحصول على المدخل الهيكلي (الخام + الرسم البياني) لرسم VAE.
    2. احفظ موتر السمات الناتج (الخام + الرسم البياني) واستخدمه فقط كمدخل هيكلي لفرع انحدار VAE.

3. تدريب مشفر EEG الدلالي

  1. قم بتدريب مشفر EEG الدلالي على تنسورات EEG ذات 17 قناة و80 نقطة بمتوسط حسابي.
  2. قم بتحسين فقدان التضمين الجيبي (cosine embedding loss) باستخدام AdamW (معدل تعلم 5 x 10–4؛ واضمحلال وزن 0.01)، وحجم دفعة 64، و50 حقبة (epochs)، وتخميد جيبي إلى eta_min = 10–6، وبذرة عشوائية 42، ومخرج بأبعاد 1,024.
  3. تطبيق الترشيح المكاني التكيفي القائم على البيانات
    1. طبق عملية وزن للقنوات تعتمد على ضرب التنسورات والقابلة للتعلم على تنسور EEG المدخل، ثم وسع التمثيل إلى عمق 9. تعامل مع هذه العملية كطبقة لوزن القنوات قائمة على البيانات بدلاً من كونها تطبيقاً لمرشح النمط المكاني المشترك (CSP) الكلاسيكي26.
      figure-protocol-2    (2)
    2. استخدم عملية وزن القنوات المتعلمة لإنتاج تسع خرائط ميزات، ثم مررها إلى كتلة الالتفاف الزمني متعددة المقاييس.
  4. نمذجة الحقول الاستقبالية الزمنية بمقاييس متعددة
    1. طبق ثلاثة التفافات زمنية متوازية بأحجام نواة 5 و15 و31 عينة، مع استخدام حشو (padding) بنفس الطول. قم بدمج المخرجات الثلاثة للحصول على 24 قناة ميزات زمنية، ثم طبق تطبيع الدفعة (batch normalization) وتنشيط GELU. 
      figure-protocol-3   (3)
      ملاحظة: توفر الالتفافات حقولاً استقبالية زمنية متعددة المقاييس ضمن إطار نمذجة الالتفاف الزمني الأوسع27.
    2. استخدم أحجام النواة الثلاثة كمرشحات زمنية متعددة المقاييس؛ وفسر مخرجاتها كتمثيلات إشارات متعلمة بدلاً من تعيينات مباشرة لمكونات ERP محددة.
  5. إعادة معايرة قنوات الميزات ذات الصلة بالمهمة
    1. طبق انتباه العمق مع تجميع متوسط تكيفي للبعد الزمني والتفاف بنواة-7 متبوعاً بتطبيع Softmax، بما يتوافق مع مبادئ إعادة معايرة القنوات28. اضرب أوزان الانتباه الناتجة عنصراً بعنصر مع تنسور الميزات متعدد المقاييس. 
      figure-protocol-4  (4)
    2. استخدم مخرج الانتباه كمدخل لكتلة الالتفاف المكاني، ولا تفسر الأوزان المتعلمة على أنها تحديد مكاني عصبي سببي.
  6. تصدير ميزة EEG الدلالية العالمية
    1. طبق التفاف 1 x 1 متبوعاً بالتفاف عمقي يمتد عبر 17 قناة قطب كهربائي، وتطبيع الدفعة، وتنشيط GELU، وتجميع متوسط بمعامل 2، وإسقاط (dropout) p = 0.5. قم بتسطيح النتيجة وإسقاطها على متجه ميزات دلالي بأبعاد 1,024.
    2. احفظ متجهاً واحداً للميزات الدلالية بأبعاد 1,024 لكل عينة EEG بمتوسط حسابي.

4. ربط سمات تخطيط كهربائية الدماغ (EEG) بمساحات التمثيل الكامنة لـ CLIP و VAE

  1. قم بإقران كل تنسور لميزات EEG مع الكامن الصوري (image latent) الذي يحمل مؤشر الحالة نفسه. قم بملاءمة عمليات رسم خرائط منفصلة لأهداف CLIP وVAE، واجعل جميع حالات الصور في قسم التدريب منفصلة عن تلك الموجودة في قسم الاختبار المستبعد.
  2. قم بملاءمة انحدار ريدج (ridge regression)29 مع وجود تقاطع وبحد أقصى 50,000 تكرار. استخدم λCLIP = 1,000 لعمليات رسم الخرائط من الخام إلى CLIP ومن الدلالي إلى CLIP، و λVAE = 0 لمرساة الخام إلى VAE، و λVAE, struct = 1,000 لعملية رسم الخرائط من التدفق الهيكلي إلى VAE. قم بتنميط مدخلات رسم الخرائط باستخدام إحصائيات قسم الملاءمة.
    ملاحظة: التدفق الهيكلي هو دمج لـ EEG الخام وميزات الرسم البياني؛ أما التدفق الدلالي فيحتوي على مخرجات المشفر الدلالي دون دمج الميزات الخام.
  3. رسم خرائط الميزات الهيكلية إلى الفضاء الكامن VAE
    1. قم بملاءمة رسم خرائط ريدج من التدفق الهيكلي إلى VAE باستخدام λVAE,struct = 1,000 وتوقع الكامن VAE ذو الأبعاد 36,864. يستقبل هذا الفرع تمثيلات EEG الخام والرسم البياني المدمجة؛ وهو الفرع غير الخطي الوحيد الذي يدمج الميزات الخام بشكل صريح.
  4. رسم خرائط الميزات الدلالية إلى الفضاء الكامن CLIP
    1. قم بملاءمة رسم خرائط ريدج من التدفق الدلالي إلى CLIP باستخدام λCLIP = 1,000 وتوقع تمثيل CLIP ذو الأبعاد 1,024. المدخل الدلالي لا يتم دمجه مع EEG الخام.
      ملاحظة: في هذا المقال، يشير λ إلى تنظيم ريدج وتشير α إلى وزن دمج الكوامن.
    2. قيم محاذاة الفضاء الكامن باستخدام معامل ارتباط بيرسون (PCC) لكل عينة. استخدم حالات التطوير لاختيار وزن الدمج، وقيم حالات الاختبار الـ 200 المستبعدة فقط بعد تجميد عمليات رسم الخرائط وأوزان الدمج.

5. دمج التنبؤات الكامنة وتشغيل إعادة بناء الانتشار

  1. قم باختيار αVAE و αCLIP باستخدام تقسيم تطوير على مستوى الحالة مشتق فقط من 16,540 حالة تدريب. وباستخدام البذرة العشوائية 42، استخدم نفس مؤشرات الملاءمة بنسبة 90% ومؤشرات التطوير بنسبة 10% لجميع الأشخاص العشرة؛ مع إبقاء 200 حالة اختبار مستبعدة خارج هذا الإجراء.
    ملاحظة: تم تثبيت جزاءات ريج (ridge penalties) ومعامل الحفاظ الهيكلي كقيم تكوين قبل التقييم النهائي للحالات المستبعدة، ولم يتم ضبطها مقابل 200 حالة اختبار.
  2. لكل شخص ولكل قيمة مرشحة لـ α في {0.00, 0.05, ..., 1.00}، قم بملاءمة المشفر الخاضع لإشراف الهدف وتعيينات ريج على مجموعة الملاءمة الفرعية، واحسب متوسط معامل ارتباط بيرسون (PCC) الكامن لكل عينة على مجموعة التطوير الفرعية.
  3. احسب متوسط قيم PCC على مستوى الأشخاص بوزن متساوٍ عبر الأشخاص العشرة، واختر أوزان فضاء CLIP وفضاء VAE بشكل مستقل بناءً على أقصى متوسط عبر الأشخاص. قم بتجميد القيمتين قبل إعادة ملاءمة نماذج التدريب النهائية وتقييم حالات الاختبار المستبعدة.
    ملاحظة: اختار هذا الإجراء αCLIP = 0.55 و αVAE = 0.65.
  4. بالنسبة لفضاء VAE، حدد التنبؤ المدمج على أنه المجموع الموزون للمرتكز من الخام إلى VAE والتنبؤ بـ VAE للتدفق الهيكلي:
    figure-protocol-5   (5)
  5. اضبط αVAE = 0.65، بحيث يساهم المرتكز من الخام إلى VAE بنسبة 0.65 ويساهم تنبؤ التدفق الهيكلي بنسبة 0.35. حافظ على هذه القيمة ثابتة لكل شخص وحالة اختبار.
  6. بالنسبة لفضاء CLIP، حدد التنبؤ المدمج على أنه المجموع الموزون للمرتكز من الخام إلى CLIP وتنبؤ CLIP للتدفق الدلالي:
    figure-protocol-6   (6)
  7. اضبط αCLIP = 0.55، بحيث يساهم المرتكز من الخام إلى CLIP بنسبة 0.55 ويساهم تنبؤ التدفق الدلالي بنسبة 0.45. حافظ على هذه القيمة ثابتة لكل شخص وحالة اختبار.
    ملاحظة: يتم تفسير عملية الدمج على أنها تجميع موزون ثابت للتنبؤات الكامنة بالمعنى العام لدمج المجموعات30. لا تصفها على أنها تقليل مضمون في فرط الملاءمة أو كحل أمثل بشكل موحد عبر جميع المقاييس.
  8. قم بتحميل خط أنابيب Stable UnCLIP لتحويل الصور إلى صور المجمد من sd2-community/stable-diffusion-2-1-unclip مع أوزان تباين fp16. استخدم تضمين CLIP المدمج كشرط دلالي والـ VAE الكامن المدمج كتهيئة هيكلية.
    ملاحظة: يتبع وحدة فك التشفير مبادئ انتشار إزالة الضجيج والتوجيه الخالي من المصنف31,32.
  9. طبق تهيئة هيكلية مشوشة على الكوامن الانتشارية. أعد تشكيل كل تنبؤ VAE ذي 36,864 بُعدًا إلى 4 x 96 x 96، باتباع صيغة المشفر التلقائي التبايني الكامنة33، وأضف ضجيج Gaussian بعد ضرب الكامن الهيكلي في المقياس الهيكلي gamma = 0.02. استخدم خطوات زمنية لتدريب الانتشار T_diff = 1,000 وبذرة انتشار ثابتة بقيمة 0 لإجراء إعادة البناء المذكور.
    figure-protocol-7   (7)
  10. اضبط معامل الحفاظ الهيكلي gamma على 0.02 في التهيئة المشوشة وحافظ على هذه القيمة ثابتة لجميع حالات الاختبار. مرر الكامن الناتج إلى وحدة فك التشفير دون استخدام معلومات الصورة الأصلية.
  11. طبق توجيه الانتباه المتقاطع وقم بفك تشفير كامن الصورة. قم بربط متجه CLIP المدمج ذي 1,024 بُعدًا مع ملحق التكييف ذي 1,024 بُعدًا المستخدم في خط الأنابيب، وأضف متجه شرط سلبي صفري في البداية للتوجيه الخالي من المصنف (CFG)، وقم بفك التشفير بمقياس توجيه 7.5. استخدم القيمة الافتراضية لخط الأنابيب وهي 20 خطوة لإزالة الضجيج واحفظ صورة PNG واحدة لكل حالة اختبار.
  12. احفظ الصورة المعاد بناؤها مع فهرس حالة الاختبار الأصلي واحتفظ بنفس الفهرس لجميع حسابات المقاييس اللاحقة.
    ملاحظة: يلخص الجدول 1 تقسيم البيانات، والمعالجة المسبقة، وبناء الرسم البياني، وتدريب النموذج، ورسم الخرائط الكامنة، والدمج، وإعدادات فك التشفير المستخدمة في سير العمل المذكور. توفر ورقة العمل المرفقة نفس ملخص المعلمات بتنسيق قابل للقراءة آليًا.

6. تقييم إعادة البناء والمحاذاة على مستوى التمثيل

  1. احسب دقة المطابقة منخفضة المستوى باستخدام ارتباط البكسل (PixCorr) والتشابه الهيكلي (SSIM). احسب دقة التحديد الزوجي لكل من AlexNet Layer 2 وAlexNet Layer 5 وInception-v3 وOpenAI CLIP ViT-L/14؛ واحسب مسافات الارتباط لـ EfficientNet (EffNet) وSwAV، حيث تشير القيم الأدنى إلى تمثيلات ميزات أكثر تقارباً.
  2. بالنسبة لتحليل CLIP، قم بتكوين مصفوفة الارتباط بين الميزات المستخرجة من 200 صورة مُعاد بناؤها والصور المرجعية المقابلة لها (ground-truth). لكل عملية إعادة بناء، قارن ارتباط الصورة الصحيحة بالارتباطات مع الـ 199 صورة الأخرى، واحسب متوسط المقارنات الثنائية الناتجة (200 × 199) للحصول على دقة التحديد الزوجي لـ CLIP.
  3. بالنسبة للنوافذ المتوسعة التي تنتهي عند 8، 16، ...، 80 نقطة زمنية، قم بمواءمة تخاريط ridge لبيانات EEG الخام واحسب متوسط معامل ارتباط بيرسون (PCC) لكل عينة بين تمثيلات CLIP وVAE الكامنة المتوقعة والمرجعية عبر 200 حالة اختبار لـ sub-01. استخدم تنبؤات CLIP وVAE الخاصة بالتدفق الدلالي فقط للنوافذ الكاملة كمستويات مرجعية متقطعة.
  4. قم بإنشاء مصفوفات التشابه التمثيلي (RSMs) من ميزات CLIP المعيرة بـ L2 باستخدام تشابه جيب التمام. قم بترتيب كلتا المصفوفتين عن طريق التجميع الهرمي بطريقة Ward لتضمينات CLIP المرجعية باستخدام المسافة الإقليدية.
  5. بالنسبة للتصور ثنائي الأبعاد، استخلص خمس مجموعات k-means من التضمينات المرجعية، وطبق إسقاطاً مشتركاً واحداً يتكون من PCA-50 متبوعاً بتمثيل الجوار العشوائي الموزع t (t-SNE) على الميزات المرجعية والمتوقعة؛ استخدم t-SNE للتصور النوعي فقط.
  6. قم بتصور أنماط EEG المبيضة وأوزان نموذج قنوات فروة الرأس مع تحديد القنوات، ومقاييس ألوان صريحة، وقواعد ترتيب قابلة للتكرار. تُفسر هذه المخططات كتحليلات إضافية لإشارات فروة الرأس المقاسة ومعلمات النموذج، وليس كدليل على تحديد مصدر القشرة المخية، أو التنشيط التشريحي، أو السببية.

النتائج

تم تقييم TDE-Net من ستة منظورات تكميلية: أداء إعادة البناء، والنتائج المرئية التمثيلية، ومساهمة المكونات، والاعتماد الزمني، وبنية التمثيل الدلالي، والانتباه لقنوات فروة الرأس. تم تقييم الدقة منخفضة المستوى باستخدام PixCorr وSSIM، ومحاذاة حيز الميزات باستخدام مقاييس AlexNet وInception-v3 وCLIP وEffNet وSwAV، والأداء على مستوى الأشخاص باستخدام النتائج من جميع الأشخاص العشرة في مجموعة THINGS-EEG2. وما لم ينص على خلاف ذلك، يحدد كل شكل نوعي الشخص المقابل ومجموعة فرعية من ظروف الاختبار.

أداء إعادة البناء والنتائج التمثيلية

كنموذج مرجعي داخلي، قمنا بالإضافة إلى ذلك بتنفيذ نموذج أساسي لمشفر EEG يعتمد على الانتباه التلافيفي خفيف الوزن. يستخلص هذا النموذج تمثيلاً واحداً لـ EEG بأبعاد 1024 من كل تجربة، ويقوم برسم خرائط له بشكل مستقل على المساحات الكامنة لـ CLIP وVAE، باستخدام نفس بروتوكول انحدار ريدج وفك تشفير الانتشار المستخدم في الطريقة المقترحة. في الأقسام التالية، يُشار إلى هذا النموذج باسم Baseline. المشفر هو المرجع الدلالي للانتباه التلافيفي بنمط LMDA المستخدم في التنفيذ المحلي، ويحتوي على 373,950 معامل قابلة للتدريب ومخرجات بأبعاد 1,024.

يقارن الجدول 2 بين TDE-Net والخط المرجعي للاهتمام التلفيفي الداخلي وطرق إعادة بناء الصور المعتمدة على EEG التمثيلية عبر المقاييس المسجلة. ولضمان تقييم متسق، تم تنفيذ الطرق ضمن إطار تجريبي موحد باستخدام نفس تقسيم THINGS-EEG2، ومدخلات مكونة من 17 قناة، والمعالجة المسبقة، وظروف الاختبار المستبعدة، وتعريفات المقاييس، مع الاحتفاظ بالبنيات الخاصة بكل طريقة. وفي ملخص العشرة أشخاص، حققت TDE-Net قيم متوسط ± انحراف معياري بلغت 0.2531 ± 0.0138 لـ PixCorr، و0.3388 ± 0.0025 لـ SSIM، و0.8777 ± 0.0115 لـ AlexNet Layer 2، و0.9153 ± 0.0116 لـ AlexNet Layer 5، و0.7606 ± 0.0213 لـ Inception-v3، و0.8135 ± 0.0074 لدقة تحديد CLIP الزوجية، و0.8285 ± 0.0122 لمسافة EffNet، و0.5085 ± 0.0101 لمسافة SwAV. ويكمل ملخص مستوى الأشخاص الأمثلة النوعية للشخص الواحد.

تشير قيمة CLIP إلى دقة التعرف الزوجي بدلاً من تشابه جيب التمام (cosine similarity) أو درجة سمات CLIP العامة. ونظراً لأن التدفق الدلالي يتم تدريبه نحو هدف في فضاء CLIP، فإن هذا المقياس يعكس كلاً من إعادة البناء الدلالي والمحاذاة مع هدف أحد الفروع. لذا، يتم النظر إليه جنباً إلى جنب مع PixCorr وSSIM وAlexNet وInception-v3 وEffNet وSwAV، والتي توصّف جوانب متكاملة من الدقة منخفضة المستوى والتوافق في فضاء السمات.

لتوصيف الأداء على مستوى المشاركين، قمنا بتطبيق إجراء اختبار TDE-Net الكامل على المشاركين من sub-01 إلى sub-10، باستخدام نفس الـ 200 حالة صور مستبعدة لكل مشارك. يوضح الجدول 3 جميع مقاييس التقييم الثمانية لكل مشارك، بالإضافة إلى المتوسط العام والانحراف المعياري (SD) للعينة عبر جميع المشاركين. بلغ متوسط دقة التعرف الزوجي لنموذج CLIP قيمة 0.8135 (SD, 0.0074). وكان متوسط PixCorr وSSIM على التوالي 0.2531 و0.3388. وبلغ متوسط دقة الطبقة 2 والطبقة 5 في نموذج AlexNet قيمتي 0.8777 و0.9153، بينما بلغ متوسط دقة Inception-v3 قيمة 0.7606. أما مسافات EffNet وSwAV، التي تُعتبر القيم الأقل فيها أفضل، فقد بلغ متوسطها 0.8285 و0.5085 على التوالي. يشير التشتت المحدود على مستوى المشاركين عبر هذه المقاييس إلى سلوك إعادة بناء كمي متماثل لدى المشاركين العشرة في مجموعة THINGS-EEG2.

يُظهر الشكل 3 عمليات إعادة بناء لنفس مؤشرات الحالات السبعة المستبعدة (1، 32، 62، 86، 87، 108، و175؛ ترقيم الملفات الذي يبدأ من الصفر) عبر جميع الأشخاص العشرة. يوضح الصف العلوي المحفزات المرجعية (ground-truth)، بينما توضح الصفوف اللاحقة عمليات إعادة البناء المقابلة من الشخص sub-01 إلى الشخص sub-10. تحافظ عمليات إعادة البناء على الفئات الدلالية المشتركة والسمات البصرية المميزة للمحفزات، بينما تتباين هوية الكائن الدقيقة وشكله وملمسه المحلي بين الأشخاص. يوفر هذا التنسيق نظيراً نوعياً لنتائج المقارنة بين الأشخاص الملخصة في الجدول 3.

يوضح الشكل 4 عمليات إعادة بناء نوعية لست حالات اختبار محددة من sub-01. تعرض الصفوف المثير المرجعي (ground-truth)، ومقارن Perceptogram تم إنشاؤه بواسطة تنفيذنا المحلي21، وإعادة البناء بواسطة TDE-Net. وتبرز الأمثلة الحفاظ على فئة الكائن، والشكل، واللون، وسمات الخلفية، بينما تتباين تفاصيل الهوية الدقيقة وتفاصيل الخلفية عبر الطرق المستخدمة.

الشكل التكميلي 1 يعرض أفضل وموسط وأسوأ مجموعات إعادة البناء المختارة من بين 200 حالة اختبار لـ sub-01 في THINGS-EEG223. تم ترتيب الحالات وفقًا لاتفاق جيب التمام (cosine agreement) بين تضمين CLIP المتوقع بواسطة EEG المدمج والمجمد، وتضمين CLIP للصورة الحقيقية المقابلة. وتوضح المجموعات المعروضة نطاق الاتفاق الدلالي الملحوظ لهذا الشخص.

مساهمة المكونات وسلوك الاندماج

يعرض الجدول 4 عملية استئصال تدريجي للمسارات الهيكلية والدلالية بناءً على متوسط القيم عبر الأشخاص والتي تم الحصول عليها تحت نفس إجراء التقييم. يتنبأ "المرتكز الخطي" (Linear Anchor) مباشرةً بالتمثيلات الكامنة لـ CLIP و VAE من بيانات EEG التي تمت معالجتها مسبقاً باستخدام انحدار ريدج (ridge regression)، ويعمل كنقطة بداية مضبوطة لدراسة الاستئصال. ويتبع هذا المرتكز مبدأ تعيين التمثيلات الكامنة الخطي العام المستخدم في دراسات تحويل EEG إلى صور سابقة، بما في ذلك Perceptogram21، مع استخدام إعدادات المعالجة المسبقة، والمنتظمة، وفك التشفير، والتقييم الخاصة بمسار العمل الحالي. ويسمح هذا التصميم بفحص المسار الهيكلي، والمسار الدلالي، والدمج ثنائي المساحة بالنسبة لمرجع خطي مشترك.

بدءاً من المرجع الخطي (Linear Anchor)، أدت إضافة التدفق الهيكلي إلى زيادة مؤشر التشابه الهيكلي (SSIM) من 0.331 إلى 0.339 وزيادة دقة الطبقة الخامسة لشبكة AlexNet من 0.913 إلى 0.932، على الرغم من انخفاض دقة الطبقة الثانية لشبكة AlexNet قليلاً من 0.889 إلى 0.886. وفي المقابل، أدت إضافة التدفق الدلالي إلى تحقيق أعلى قيمة لارتباط البكسل (PixCorr) بلغت (0.237)، مع الحفاظ على دقة عالية للطبقة الثانية لشبكة AlexNet بلغت (0.888) وتقليل مسافات EffNet وSwAV إلى 0.865 و0.531 على التوالي. وعند دمج كلا التدفقين من خلال دمج الفضاء المزدوج، حققت شبكة TDE-Net أعلى دقة لتحديد الأزواج في Inception-v3 (0.761) وCLIP (0.814)، جنباً إلى جنب مع أدنى مسافات لـ EffNet (0.829) وSwAV (0.509). وظلت دقة الطبقة الثانية لشبكة AlexNet (0.878) أقل من دقة المرجع الخطي، كما ظل مؤشر SSIM (0.339) أقل قليلاً من قيمة تكوين التدفق الهيكلي. وبشكل عام، تظهر نتائج الاستئصال عبر الأشخاص (across-subject ablation) أن التدفقين الهيكلي والدلالي يؤثران على جوانب مختلفة من إعادة البناء، بينما يعمل دمجهما بشكل أساسي على تعزيز التحديد الدلالي واتساق فضاء السمات العميق.

يوضح الشكل 5 حساسية مجموعة التطوير لوزني الدمج الاثنين عبر المدى α = 0.00–1.00 بزيادات قدرها 0.05. يصل منحنى مساحة CLIP إلى ذروته عند αCLIP = 0.55، بينما يصل منحنى مساحة VAE إلى ذروته عند αVAE = 0.65. لُوحظت قيم PCC مماثلة للمرشحين المتجاورين، بينما حدثت القيم القصوى عند أوزان مختلفة للمساحتين الكامنتين.

المساهمة الزمنية لإشارات تخطيط كهربائية الدماغ (EEG)

يوضح الشكل 6 متوسط معامل ارتباط بيرسون (PCC) الكامن لكل حالة لنوافذ EEG الخام التي تنتهي عند 8، 16، ...، 80 نقطة زمنية في العينة sub-01 (عدد الحالات المختبرة n = 200). تزداد منحنيات CLIP وVAE مع توسع نافذة التحليل ثم تستقر عند النوافذ اللاحقة. وتشير الخطوط المتقطعة إلى القيم المرجعية المقابلة لتدفق الدلالات فقط للنوافذ الكاملة. يحدد هذا التحليل الاعتماد على النافذة الزمنية في ظل بروتوكول الربط المذكور.

المحاذاة الدلالية والتحليل على مستوى التمثيل

الشكل 7 يقارن هذا الشكل معامل ارتباط بيرسون (PCC) الكامن لنماذج CLIP لكل عينة، وذلك بين مرجع CLIP الخام وتنبؤ CLIP المدمج والمجمد عبر 200 حالة اختبار من مجموعة sub-01. وتستخدم تقديرات كثافة النواة الغاوسية عرض نطاق سكوت (Scott's bandwidth)، بينما تشير الخطوط الرأسية المتقطعة إلى متوسطات العينات. ويظهر التوزيع المدمج زيادة في متوسط معامل ارتباط بيرسون تبلغ 0.013 تقريباً مقارنة بالمرجع الخام. كما تم ذكر دقة التحديد الزوجي لنماذج CLIP على مستوى الصورة بشكل منفصل في الجدول ٢.

تقارن الشكل 8 بين مصفوفات التشابه الجيبي (RSMs) لتمثيلات CLIP للصور المرجعية (ground-truth) وتمثيلات CLIP المتوقعة من دمج بيانات EEG. تشترك كلتا المصفوفتين في نطاق بيانات مشترك وترتيب Ward مشتق من المسافات الإقليدية بين تمثيلات CLIP المرجعية. وتوضح لوحة المتبقيات مصفوفة RSM المتوقعة مطروحاً منها مصفوفة RSM المرجعية على مقياس متماثل محدد بأقصى قيمة مطلقة للمتبقيات، مما يوفر تصوراً لمدى التوافق في التمثيل.

الشكل التكميلي 2 يعرض إسقاطاً مشتركاً لـ 200 من تضمينات CLIP المرجعية (ground-truth) و200 من التضمينات المتوقعة عبر تخطيط كهربية الدماغ (EEG). تم الحصول على خمس تسميات من خلال تجميع k-means للتضمينات المرجعية المعيرة وفقاً لمعيار L2 (بقيم n_init = 50 و seed = 7). تم تقليل الميزات المرجعية والمتوقعة المدمجة إلى 50 بُعداً بواسطة PCA، ثم أُسقطت بشكل مشترك بواسطة t-SNE مع perplexity 28، ومسافة إقليدية (Euclidean distance)، و seed 12. ويوفر هذا الإسقاط رؤية نوعية لتنظيم مجموعتي التمثيلات.

نمط تخطيط كهربية الدماغ وقابلية تفسير الانتباه المكاني

الشكل التكميلي 3 يجمع مفاهيم الاختبار في مجموعات تشمل الحيوانات، والمفاهيم المتعلقة بالغذاء/النباتات، وأشياء أخرى باستخدام تعيين صريح لتسميات المفاهيم. داخل كل مجموعة، تم ترتيب الصفوف وفقاً لتجميع Ward لتضمينات CLIP الأساسية المبيضة، وتم أخذ عينات منتظمة بما لا يتجاوز 30 مفهوماً لضمان وضوح القراءة. تعرض الخريطة الحرارية سعات EEG المبيضة، والمعيرة، والمقصقصة على مقياس من -1 إلى 1؛ وقد استُخدمت تضمينات CLIP فقط لتحديد الترتيب داخل المجموعة.

الشكل التكميلي 4 يعرض تضاريس فروة الرأس القياسية 10–20 لأوزان القنوات المطلقة الموحدة لتدفق الدلالات عبر الأقطاب الكهربائية الـ 17 المختارة. تلخص الخريطة التوزين النسبي للنموذج عبر قنوات فروة الرأس المقاسة، ويتم تفسيرها على أنها تصور لأوزان النموذج على مستوى القناة.

تعد هذه الدراسة تحليلاً حاسوبياً ثانوياً لمجموعة بيانات THINGS-EEG2 مجهولة الهوية. تتوفر تسجيلات EEG الأصلية، ومصفوفات EEG التي تمت معالجتها مسبقاً، والبيانات الوصفية والصور الخاصة بالمثيرات، وملفات حالة الراحة من خلال مشروع THINGS-EEG2 على الرابط https://osf.io/3jk45/ وموقع +Figshare على الرابط (https://doi.org/10.25452/figshare.plus.18470912). كما يتوفر برنامج الاستحواذ والمعالجة المسبقة الأصلي على الرابط https://github.com/gifale95/eeg_encoding. ويخضع الوصول إلى بيانات EEG وصور المثيرات وإعادة استخدامها للتراخيص ومتطلبات الإسناد المحددة في المستودعات المصدرية.

يتوفر تنفيذ TDE-Net، بما في ذلك نصوص البرمجة الخاصة بالمحاذاة والدمج وإعادة البناء والتقييم والتصور، على الرابط https://github.com/Yuan-ui198/TDE-Net. الإصدار المقابل لهذه المخطوطة مثبت عند الالتزام (commit) c99325d7f9e090ddd7cd5816aeabda7a9b9364da (https://github.com/Yuan-ui198/TDE-Net/tree/c99325d7f9e090ddd7cd5816aeabda7a9b9364da). لم يتم جمع أي بيانات جديدة قابلة لتحديد هوية المشاركين في هذه الدراسة.

figure-results-1
الشكل 1: مخطط لشبكة TDE-Net. يوضح الرسم التخطيطي مرساة EEG الخام، وتدفق الرسم البياني الوظيفي الخاص بالعينة، والتدفق الزمني الدلالي، ورسم الخرائط ثنائي الفضاء إلى VAE وCLIP، والدمج الموزون، وفك تشفير Stable UnCLIP ثنائي الشرط. تم توضيح أبعاد الموتر حيثما كان ذلك مناسباً. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-2
الشكل 2: اختيار أقطاب تخطيط كهربائية الدماغ (EEG) والتوقيت التجريبي. (A) التوزيع المكاني للأقطاب الجدارية القفوية الـ 17 المختارة من عملية الاستحواذ الأصلية ذات الـ 64 قناة. (B) تسميات الأقطاب: Pz, P3, P7, O1, Oz, O2, P4, P8, P1, P5, PO7, PO3, POz, PO4, PO8, P6, و P2. (C) مخطط لتوقيت العرض التسلسلي السريع للمثيرات (RSVP) وتعريف حقبة تخطيط كهربائية الدماغ. في المخطط، تشير كلمة "Task" إلى فاصل عرض الصورة، بينما تشير كلمة "Rest" إلى الفاصل الزمني بين الصور؛ وتشير كتل المهام (Task) المرقمة إلى فواصل عرض متتالية وليس إلى ظروف تجريبية مختلفة. عُرضت كل صورة لمدة 100 ms مع تباين زمني لبداية المثير قدره 200 ms. امتدت حقبة تخطيط كهربائية الدماغ من -200 إلى 800 ms بالنسبة لبداية المثير، وهو ما يتوافق مع حقبة تحليل لتخطيط كهربائية الدماغ مدتها 1000 ms. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-3
الشكل 3: نتائج إعادة البناء النوعية عبر الأشخاص لسبع حالات صور مستثناة. تُستخدم نفس مؤشرات الحالات القائمة على الصفر (1، 32، 62، 86، 87، 108، و175) من sub-01 إلى sub-10. يوضح الصف العلوي عينات صور الحقيقة الأرضية المقابلة من مجموعة اختبار THINGS-EEG2، والتي سُحبت صورها من قاعدة بيانات صور THINGS34، بينما توضح الصفوف المتبقية عمليات إعادة البناء بواسطة TDE-Net لكل شخص. يوضح الشكل المحتوى الدلالي المشترك والتباين على مستوى الشخص؛ وقد وردت النتائج الكمية عبر الأشخاص في الجدول 3. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-4
الشكل 4مقارنة إعادة البناء النوعية لست حالات اختبار محددة من الفئة sub-01. تعرض الصفوف المثير المرجعي (ground-truth)، وإعادة بناء مقارنة تم إنشاؤها بواسطة التنفيذ المحلي، وإعادة بناء شبكة TDE-Net؛ بينما تتوافق الأعمدة مع مؤشرات الظروف الفردية. سُحبت عينات الصور المرجعية من قاعدة بيانات صور THINGS.34. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-5
الشكل 5: حساسية مجموعة التطوير لأوزان الدمج الكامن. يشير المحور الأفقي إلى وزن المرساة الخطية α، بينما يكون وزن التدفق المكمل 1 - α، ويشير المحور الرأسي إلى معامل ارتباط بيرسون (PCC) الكامن لمجموعة التطوير. تتراوح القيم المرشحة من 0.00 إلى 1.00 بزيادات قدرها 0.05. تم اختيار أوزان فضاء CLIP وفضاء VAE بشكل مستقل بناءً على أقصى متوسط PCC على مستوى الخاضعين للدراسة بوزن متساوٍ عبر 10 خاضعين للدراسة، مما نتج عنه αCLIP = 0.55 و αVAE = 0.65. PCC، معامل ارتباط بيرسون. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-6
الشكل 6: تحليل النافذة الزمنية للمحاذاة الكامنة في sub-01 (ن = 200 حالة مستبعدة). توضح المنحنيات المتصلة متوسط PCC لكل عينة لتنبؤات ridge من البيانات الخام إلى CLIP ومن الخام إلى VAE مع توسع نقطة نهاية نافذة EEG من 8 إلى 80 نقطة زمنية عند 100 Hz. تشير الخطوط المتقطعة إلى قيم المرجع لـ CLIP و VAE لتدفق دلالي فقط للنافذة الكاملة. PCC، معامل ارتباط بيرسون. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-7
الشكل 7: توزيع محاذاة CLIP الكامنة لكل عينة في sub-01 (العدد = 200 حالة مستبعدة). تمثل المنحنيات تقديرات كثافة النواة الغاوسية (Gaussian kernel density estimates) باستخدام نطاق سكوت (Scott's bandwidth) لمرساة CLIP الخام وتنبؤ CLIP المدمج بواسطة TDE-Net-fused المجمد. تشير الخطوط المتقطعة الرأسية إلى متوسطات العينات، ويوضح التعليق الفرق بينها. PCC، معامل ارتباط بيرسون؛ KDE، تقدير كثافة النواة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-8
الشكل 8: التشابه التمثيلي المرتب في فضاء CLIP للمشارك sub-01 (العدد = 200 حالة مستبعدة). (A) مصفوفة التشابه التمثيلي (RSM) لتشابه جيب التمام لتضمينات صور CLIP المرجعية المُسوية وفق المعيار L2. (B) مصفوفة التشابه التمثيلي (RSM) لتشابه جيب التمام لتضمينات CLIP المتوقعة من بيانات EEG المدمجة، معروضة باستخدام نفس الترتيب ومقياس الألوان الموجود في اللوحة A. (C) مصفوفة التشابه التمثيلي (RSM) للمتبقيات، والتي تم حسابها كطرح القيمة المرجعية من القيمة المتوقعة، ومعروضة على مقياس متماثل يحدده أقصى متبقٍ مطلق. تم الحصول على الترتيب بواسطة المسافة الإقليدية وربط Ward لتضمينات CLIP المرجعية. RSM: مصفوفة التشابه التمثيلي. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مكوّنمَعلمةالإعدادات
البيانات والمعالجة المسبقةتقسيم مجموعة البيانات16,540 حالة تدريب و200 حالة اختبار مستبعدة؛ تقسيم بنسبة 90%/10% للملاءمة/التطوير (البذرة 42)
مدخلات تخطيط كهربية الدماغ (EEG)17 قناة جدارية قفوية؛ 0-800 مللي ثانية؛ 100 هرتز؛ 80 نقطة زمنية
التمثيل الطيفيتحويل فوريه السريع (FFT) بـ 80 نقطة؛ 40 نطاق تردد موجب؛ طيف سعة لوغاريتمي يتراوح من 0 إلى 50 هرتز
التدفق الهيكليبناء الرسم البيانيارتباط بيرسون المطلق المحدد لكل عينة؛ الجيران الـ k الأعلى وزناً = 4 لكل عقدة؛ التماثل والحلقات الذاتية
بنية الشبكة العصبية التلافيفية الرسومية (GCN)٥ طبقات؛ ٨٠ وحدة خفية؛ وحدة خطية مستقيمة (ReLU)؛ إسقاط بنسبة ٠.٣؛ تسوية درجة متماثلة؛ تجميع متوسط
الهدف التباينيرأس إسقاط ذو 80 بُعداً؛ درجة حرارة InfoNCE τ = 0.5
تدريبAdam؛ معدل التعلم 5 × 10⁻⁴؛ حجم الدفعة 32؛ 20 حقبة؛ التلدين الجيبي؛ الحد الأدنى لمعدل التعلم 10⁻⁶؛ البذرة 42
التدفق الدلاليالبنية الهيكليةنوى زمنية 5/15/31؛ العمق 9؛ 24 قناة ميزات؛ إسقاط عشوائي 0.5؛ بُعد المخرج 1,024
تدريبAdamW؛ معدل التعلم 5 × 10⁻⁴؛ اضمحلال الوزن 0.01؛ حجم الدفعة 64؛ 50 حقبة؛ التلدين الجيبي؛ الحد الأدنى لمعدل التعلم 10⁻⁶؛ البذرة 42
التخطيط الكامنانحدار ريدج (Ridge regression)تم ضبط التقاطع؛ الحد الأقصى للتكرارات 50,000؛ تم توحيد المدخلات باستخدام إحصائيات تقسيم الملاءمة
التنظيم (Regularization)جزاء CLIP λ = 1,000؛ جزاء VAE الخام λ = 0؛ جزاء المشفر التلقائي المتغير الهيكلي (structural VAE penalty) λ = 1,000
أبعاد الهدفCLIP: 1,024؛ VAE: 36,864
الدمج وفك التشفيرأوزان الدمجوزن مرساة CLIP α = 0.55؛ وزن مرساة VAE α = 0.65؛ تم اختياره بناءً على بيانات التطوير وتثبيته قبل الاختبار
نموذج الانتشارsd2-community/stable-diffusion-2-1-unclip؛ المقياس الهيكلي γ = 0.02؛ الخطوات الزمنية للانتشار T = 1,000
أخذ العينات20 خطوة لإزالة الضجيج؛ مقياس التوجيه 7.5؛ بذرة الانتشار 0

الجدول 1: ملخص المعايير الموحد لـ TDE-Net. يسرد الجدول تقسيم البيانات، والمعالجة المسبقة، وبناء المجاورة الوظيفية، وإعدادات مشفر الرسم البياني والدلالي، وعقوبات التعيين الكامن، وأوزان الدمج، وإعدادات فك تشفير الانتشار المستخدمة في جميع التجارب المذكورة.

الطريقةبيكس كور (PixCorr)figure-results-9مؤشر التشابه الهيكلي (SSIM)figure-results-10AlexNet(2)figure-results-11AlexNet(5)figure-results-12البدايةfigure-results-13CLIPfigure-results-14إيف نت (EffNet)figure-results-15SwAVfigure-results-16
الخط المرجعي0.1410.3210.8230.8780.7040.7390.8980.564
فك تشفير صور تخطيط كهربائية الدماغ (EEGImageDecode)-0.3450.7760.8660.7340.786-0.582
مخطط الإدراك (unCLIP)0.2230.3700.8750.9150.7490.8060.8700.530
TDE-Net (الخاص بنا)0.253 ± 0.0140.339 ± 0.0030.878 ± 0.0120.915 ± 0.0120.761 ± 0.0210.814 ± 0.0070.829 ± 0.0120.509 ± 0.010

الجدول 2: نتائج إعادة البناء الكمية. تم تقييم طرق المقارنة، وهي النموذج المرجعي Baseline الذي يعتمد على الالتفاف والانتباه الداخلي، وTDE-Net، ضمن إطار تجريبي مشترك باستخدام نفس تقسيم THINGS-EEG2، ومدخلات مكونة من 17 قناة، والمعالجة المسبقة، وظروف الاختبار المستبعدة، وتعريفات المقاييس، مع الاحتفاظ بالبنى الخاصة بكل طريقة. يتم تلخيص النموذج الحالي كمتوسط ± الانحراف المعياري (SD) عبر 10 أشخاص. تُعد مقاييس PixCorr وSSIM وAlexNet Layer 2 وAlexNet Layer 5 وInception-v3 وCLIP مقاييس يكون فيها الارتفاع أفضل؛ أما EffNet وSwAV فهي مسافات ارتباط، ويكون الانخفاض فيها أفضل. يوضح عمود CLIP دقة التحديد الزوجي باستخدام نموذج OpenAI CLIP ViT-L/14.

الموضوعPixCorr figure-results-17مؤشر التشابه الهيكلي (SSIM) figure-results-18تنظيم L2 لشبكة AlexNet figure-results-19AlexNet L5 figure-results-20البداية figure-results-21CLIP figure-results-22EffNet figure-results-23SwAV figure-results-24
العينة-010.22600.33610.88310.92030.75330.81200.85670.5285
فرعي-020.24880.33780.86990.90530.72680.80740.83350.5167
فرعي-030.25640.33970.87280.90700.76580.81430.82680.5096
فرعي-040.24200.33560.85980.90340.78540.81120.82550.5091
فرعي-050.24990.33850.87600.89630.72510.80160.83940.5189
الفرعي-060.26210.33950.89100.93310.78180.82150.82020.5009
فرعي-070.24890.33780.86430.91850.77040.82000.82220.5017
الفرعي-080.27860.34250.89510.92160.75240.82450.82140.5010
فرعي-090.26090.33700.87750.92380.76620.80550.82500.5009
أقل من 100.25710.34330.88710.92400.77920.81750.81400.4977
المتوسط الحسابي0.25310.33880.87770.91530.76060.81350.82850.5085
المتوسط الحسابي ± الانحراف المعياري0.2531 ± 0.01380.3388 ± 0.00250.8777 ± 0.01150.9153 ± 0.01160.7606 ± 0.02130.8135 ± 0.00740.8285 ± 0.01220.5085 ± 0.0101
فاصل ثقة 95%0.2432-0.26300.3370-0.34060.8695-0.88590.9070-0.92360.7454-0.77590.8082-0.81890.8198-0.83720.5013-0.5157

الجدول 3: النتائج الكمية عبر المشاركين لنموذج TDE-Net. يساهم كل مشارك بـ 200 حالة اختبار محجوزة. يوضح الجدول المقاييس الثمانية للمشاركين من sub-01 إلى sub-10، متبوعة بالمتوسط عبر المشاركين، والانحراف المعياري للعينة (SD)، وفاصل الثقة 95% (CI). يشير CLIP إلى دقة تحديد الأزواج لنموذج OpenAI CLIP ViT-L/14؛ بينما تمثل EffNet وSwAV مسافات ارتباط تكون فيها القيم الأقل هي الأفضل.

الطريقةPixCorrfigure-results-25SSIMfigure-results-26AlexNet(2)figure-results-27AlexNet(5)figure-results-28Inceptionfigure-results-29CLIPfigure-results-30EffNetfigure-results-31SwAVfigure-results-32
Linear Anchor0.21570.33090.88910.91280.74930.79670.86830.5394
Linear + Struct-Stream0.23180.33930.88610.93190.74390.79960.86570.5359
Linear + Sem-Stream0.23720.33820.88790.92280.74470.80260.86550.5307
TDE-Net (طريقتنا)0.25310.33880.87770.91530.76070.81350.82850.5085

الجدول 4: نتائج الاستئصال المسجلة كقيم متوسطة عبر الأشخاص وفقاً لإجراء التقييم الموضح في القسم 6 من البروتوكول. يمثل Linear Anchor مرجعاً داخلياً لتعيين الحواف المباشر يتم تقييمه محلياً؛ وتستخدم التكوينات الهيكلية والدلالية والكاملة نفس مؤشرات الحالة وتعاريف المقاييس. تعتبر مقاييس PixCorr و SSIM و AlexNet Layer 2 و AlexNet Layer 5 و Inception-v3 و CLIP مقاييس تكون فيها القيم الأعلى أفضل؛ بينما تعتبر EffNet و SwAV مسافات ارتباط تكون فيها القيم الأدنى أفضل. القيم معروضة لثلاث خانات عشرية.

الشكل التكميلي 1: حالات إعادة بناء تمثيلية تغطي نطاق توافق CLIP للمشارك sub-01. تم ترتيب 200 حالة مستثناة بناءً على تشابه جيب التمام (cosine similarity) بين تضمينات CLIP المتوقعة من تخطيط كهربائية الدماغ (EEG) المدمجة وتضمينات CLIP المرجعية؛ حيث يتم عرض أفضل ست حالات، وست حالات متوسطة، وأسوأ ست حالات. يجمع كل عمود بين عينة صورة مرجعية من مجموعة اختبار THINGS-EEG2 وإعادة البناء الخاصة بها بواسطة TDE-Net. استُمدت الصور المرجعية من قاعدة بيانات صور THINGS34. يرجى النقر هنا لتنزيل هذا الملف.

الشكل التكميلي 2: التصور المشترك لتمثيلات CLIP الحقيقية والمتوقعة عبر تخطيط كهربائية الدماغ (EEG) في الشخص sub-01 (العدد = 200 حالة لكل تمثيل). (أ) تمثيلات CLIP الحقيقية. (ب) تمثيلات CLIP المتوقعة عبر EEG. تشير الألوان إلى خمس مجموعات k-means تم ملاءمتها مع تضمينات CLIP الحقيقية والمعيرة وفق معيار L2 (k = 5, n_init = 50, seed = 7). هذه المجموعات هي مجموعات قائمة على البيانات ولا تتوافق مع فئات دلالية محددة مسبقاً. تم دمج التضمينات الحقيقية والمتوقعة، وتقليل أبعادها إلى 50 بُعداً بواسطة PCA، ثم إسقاطها بشكل مشترك بواسطة t-SNE (perplexity = 28, learning rate = auto, Euclidean metric, seed = 12). PCA: تحليل المكونات الرئيسية؛ t-SNE: تضمين الجوار العشوائي الموزع t. يرجى النقر هنا لتحميل هذا الملف.

الشكل التكميلي 3: أنماط EEG مجمعة حسب فئة مفهوم الصورة العامة للمشارك sub-01. يتم تعيين المفاهيم إلى الحيوانات، أو المفاهيم المتعلقة بالغذاء/النباتات، أو الأشياء الأخرى. وضمن كل فئة، تتبع الصفوف ترتيب Ward الهرمي لـ CLIP embeddings المبيضة والمطابقة للحقيقة، ويتم أخذ عينات منها بشكل موحد بحيث لا تتجاوز 30 مفهوماً لضمان وضوح القراءة. وتوضح الأعمدة 17 قناة EEG، مع 80 نقطة زمنية لكل قناة. ويمثل المقياس اللوني (-1 إلى 1) سعة EEG المبيضة والمطبعة والمقصوصة. يرجى النقر هنا لتحميل هذا الملف.

الشكل التكميلي 4: تضاريس انتباه قنوات فروة الرأس في التدفق الدلالي. توضح الألوان المقادير النسبية الموحدة لمعلمات وزن القناة المتعلمة عبر 17 قطباً كهربائياً مختاراً في إسقاط قياسي لفروة الرأس وفق نظام 10–20؛ وتحدد نقاط وتسميات الأقطاب مواقع القياس. يتراوح المقياس من 0 إلى 1 ويلخص وزن القناة النسبي الذي تعلمه النموذج. يرجى النقر هنا لتنزيل هذا الملف.

المناقشة

تُقدم هذه الدراسة سير عمل حوسبي نمطي يفصل بين المعالجة المسبقة لتخطيط كهربية الدماغ (EEG)، وتعلم التمثيل الهيكلي والدلالي، ورسم الخرائط الكامنة لـ CLIP/VAE، والدمج، وفك التشفير بالانتشار. يتيح هذا التنظيم المرحلي فحص المخرجات الوسيطة بشكل منفصل عن الصور المولدة، ويتبع التطور الأوسع من مشفرات EEG المدمجة إلى طرق إعادة البناء القائمة على الانتشار والأنماط المتعددة6,11,12,13,14,15,16,,17,18,19,20,21,22. كما يعرض تحليل الأشخاص المختلفين القيم على مستوى الفرد إلى جانب المتوسط العام والانحراف المعياري للعينة (SD) لتقييم مجموعة البيانات المستبعدة المكونة من عشرة أشخاص. وبالاقتران مع الاستئصال التدريجي الموضح في الجدول 4، يعمل هذا التحليل على قياس التأثيرات الخاصة بكل تدفق والتباين بين الأشخاص ضمن مسار العمل المذكور.

الخطوات الحرجة واستكشاف الأخطاء وإصلاحها

تتمثل أهم ضوابط التنفيذ في عزل الأقسام، والتقييس المتسق، والحفاظ على مؤشر الحالة، وخرائط CLIP/VAE المنفصلة. يجب اختيار أوزان الدمج بناءً على ظروف التطوير وتجميدها قبل عملية إعادة البناء الاختبارية. وعندما يكون الأداء منخفضاً بشكل غير متوقع، يجب أولاً التحقق من ترتيب المصفوفة وأبعادها، ثم فحص معامل الارتباط لبيرسون (PCC) الكامن الخام والخاص بكل فرع، والبيانات الوصفية للدمج، ومخرجات المقاييس على مستوى الصورة. يشير فشل المحاذاة الكامنة إلى وجود مشكلة في التعيين في المراحل السابقة، بينما يمكن أن تعكس الصور المتغيرة ذات القيم الكامنة المستقرة سلوكاً عشوائياً أو سلوكاً يعتمد على وحدة فك التشفير14,21,22,29.

يتطلب تغيير ترتيب الأقطاب الكهربائية، أو معدل أخذ العينات، أو النافذة الزمنية إجراء تغييرات مقابلة في بناء الرسم البياني، والميزات الطيفية، والنوى الزمنية. وينبغي تقييم جودة إعادة البناء باستخدام مقاييس تكميلية منخفضة المستوى ومقاييس دلالية، نظرًا لعدم وجود درجة واحدة يمكنها رصد دقة البكسل، والبنية، والتوافق على مستوى الكائن6,11,21,22,23. أما مقياس CLIP المستخدم هنا فهو دقة التعرف الزوجي، بينما يستخدم الشكل 7 والشكل 8 معامل ارتباط بيرسون (PCC) على المستوى الكامن؛ وهذه الكميات غير قابلة للتبادل.

يوفر التنظيم التركيبي لشبكة TDE-Net إطاراً لبحث ما إذا كانت تمثيلات EEG المتكاملة تساهم بشكل متفاوت في الجوانب الهيكلية والدلالية لإعادة البناء البصري. وقد يسهل هذا النهج المقارنة المنهجية لتمثيلات سمات EEG، والأهداف الكامنة، ومفككات الشفرة التوليدية دون الاعتماد كلياً على الصور النهائية المعاد بناؤها. وتشمل النهج البديلة التخطيط الخطي المباشر من EEG إلى التمثيل الكامن، والمشفرات التلافيفية أحادية التدفق أو المشفرات القائمة على آلية الانتباه، والتمثيلات القائمة على الرسوم البيانية، وأطر فك التشفير العصبي من الطرف إلى الطرف6,7,8,9,10,11,17,18,19,20,21,22. وقد يكون سير العمل الحالي مفيداً بشكل خاص في الأبحاث المتعلقة بفك تشفير الإدراك البصري، وتحليل التمثيل العصبي، وواجهات الدماغ والحاسوب غير الغازية، حيث يمكن أن يساعد فصل التنبؤات الوسيطة من EEG إلى التمثيل الكامن في تحديد المكونات التي تساهم في أداء إعادة البناء.

القيود

تتمثل القيود الرئيسية في عملية استحواذ RSVP الثابتة لنظام THINGS-EEG2، والقنوات الجدارية القذالية الـ 17 المختارة، والخرائط الخاصة بكل فرد، واستخدام مفكك انتشار واحد، وتحليلات القابلية للتفسير النوعية21,22,23. ويعالج ملخص الـ 10 أشخاص التباين بين الأفراد داخل مجموعة البيانات نفسها، ولكنه لا يثبت إمكانية النقل عبر مجموعات بيانات أو نماذج مختلفة. كما يمكن أن تحتوي الصور المولدة على تفاصيل تبدو منطقية ولكنها غير مدعومة بمدخلات EEG، كما أن مناظير RSM وt-SNE وأنماط EEG ومناظير الانتباه لا تثبت آليات عصبية سببية. ويقوم الاستئصال التدريجي بتوصيف مساهمات التدفق الهيكلي، والتدفق الدلالي، والدمج ثنائي المساحة في ظل مرساة EEG خام مشتركة، وأهداف كامنة، ومفكك انتشار، وبروتوكول تقييم موحد.

التوجهات المستقبلية

في ظل هذه القيود، تدعم النتائج تقييم تمثيلات EEG التكميلية في مساحات دلالية وكامنة للصور منفصلة قبل عملية فك تشفير الانتشار. ويجب أن تختبر الأعمال المستقبلية مجموعات بيانات مستقلة، وتكيف الأشخاص، وتقديرات عدم اليقين، وتوزيعات القنوات البديلة، وأجهزة فك التشفير ذات الضوابط الأكثر صرامة على التفاصيل المرئية غير المدعومة14,15,16,17,18,19,20,21,22,23. وتُعد مثل هذه الدراسات ضرورية قبل تعميم النتائج الحالية على نطاقات أوسع في علوم الأعصاب أو إعدادات واجهة الدماغ والحاسوب.

الخلاصة:

تجمع شبكة TDE-Net بين مرساة EEG خام وتمثيلات EEG بنيوية ودلالية، وتقوم بمحاذاتها بشكل منفصل مع المساحات الكامنة لـ VAE و CLIP، ثم تدمج التنبؤات الناتجة قبل عملية فك ترميز الانتشار. ومن خلال تطبيق ذلك على 10 مشاركين في THINGS-EEG2، حافظت الصور المعاد بناؤها على تطابق ملموس على مستوى البكسل والبنية والدلالة مع المحفزات التي تمت مشاهدتها، بينما ميز الاستئصال التدريجي بين تأثيرات المسار البنيوي، والمسار الدلالي، والدمج ثنائي المساحة. ومن خلال عرض ميزات EEG المتوسطة، والتنبؤات الكامنة، ومخرجات الدمج، وعمليات إعادة البناء النهائية، يوفر هذا البروتوكول إطاراً قابلاً للتكرار لاستقصاء إعادة البناء البصري القائم على EEG ولتقييم إمكانية توسيعه مستقبلاً ليشمل مجموعات بيانات وإعدادات استحواذ مستقلة.

الإفصاحات

يقر المؤلفون بعدم وجود أي تضارب في المصالح المالية أو علاقات شخصية من شأنها أن تؤثر على هذا العمل. كما يقر المؤلفون بأنه لم يتم استخدام أي أدوات ذكاء اصطناعي توليدي في كتابة المخطوطة، أو البرمجيات، أو تحليل البيانات، أو إعداد الأشكال التوضيحية.

شكر وتقدير

تم تمويل هذا البحث من قبل المؤسسة الوطنية للعلوم الطبيعية في الصين بموجب (Grant No. 62433002) و(Grant No. 62476014)، والمشروع الوطني الرئيسي للعلوم والتكنولوجيا (No. 2021ZD0113703)، ومشروع التخطيط السنوي لمؤسسة بكين للعلوم الاجتماعية (No. 23GLB014)، ومشروع بناء ودعم الفرق الابتكارية رفيعة المستوى في مؤسسات بلدية بكين بموجب (Grant No. BPHR20220104)، وبرنامج علماء بكين بموجب (Grant No. 099).

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
تسريعHugging Face0.30.1إدارة أجهزة مسار انتشار النماذج؛ https://github.com/huggingface/accelerate
CLIP ViT-L/14OpenAIViT-L/14; openai-clip 1.0.1مشفر سمات الصور المستخدم للأهداف الدلالية والتعرف الزوجي باستخدام CLIP؛ https://github.com/openai/CLIP
المشتتاتHugging Face0.32.2تنفيذ مسار عمل Stable UnCLIP؛ https://github.com/huggingface/diffusers
Matplotlibفريق تطوير Matplotlib3.10.6توليد الأشكال العلمية؛ https://matplotlib.org/
MNE-Pythonمطورو MNE1.11.0توزيع الأقطاب القياسي 10-20 وتضاريس قنوات فروة الرأس؛ https://mne.tools/
NumPyمطورو NumPy2.3.4مصفوفات تخطيط كهربائية الدماغ، والتضمينات الكامنة، والدمج، وتجميع المقاييس؛ https://numpy.org/
وحدة معالجة الرسومات NVIDIA GeForce RTX 4070 للمحمولNVIDIA٨ جيجابايت؛ برنامج التشغيل 595.97وحدة معالجة الرسوميات (GPU) المستخدمة في تدريب المشفر المحلي وإعادة بناء الانتشار.
وسادةاشتقاق مكتبة بايثون للتصوير (Python Imaging Library Fork)11.1.0تحميل الصور وتغيير حجمها وتصديرها؛ https://python-pillow.org/
بايثونمؤسسة برمجيات بايثون (Python Software Foundation)3.12.12بيئة التشغيل الأساسية؛ https://www.python.org/
PyTorchمؤسسة PyTorch2.9.1+cu128تدريب مشفر تخطيط كهربائية الدماغ (EEG) والاستدلال بالشبكات العصبية؛ https://pytorch.org/
scikit-imageمطورو scikit-image0.25.2أدوات معالجة الصور ومؤشر التشابه الهيكلي (SSIM)؛ https://scikit-image.org/
scikit-learnمطورو scikit-learn1.7.2انحدار ريدج، وk-means، وتحليل المكونات الرئيسية (PCA)، وتقنية t-SNE؛ https://scikit-learn.org/
SciPyمطورو SciPy1.16.3الارتباط، والمسافة الإحصائية، والتجميع الهرمي؛ https://scipy.org/
Seabornمُطوّرو Seaborn0.13.2تصوير كثافة النواة الغاوسية؛ https://seaborn.pydata.org/
مشفر تخطيط كهربائية الدماغ للتدفق الدلاليمؤلفو TDE-Net؛ مقتبس من LMDA-Netإيداع المستودع c99325dتمثيل دلالي زمني متعدد المقاييس؛ تتوفر تفاصيل التنفيذ والبيانات الوصفية لنقاط الفحص في مستودع الكود.
Stable Diffusion 2.1 UnCLIPStability AI / SD2 Communitysd2-community/stable-diffusion-2-1-unclipفك تشفير الانتشار المجمد؛ https://huggingface.co/sd2-community/stable-diffusion-2-1-unclip
مشفر تخطيط كهربائية الدماغ ذو التدفق البنيويمؤلفو TDE-Netإيداع المستودع c99325dتمثيل الرسوم البيانية ذاتي الإشراف؛ يتم دمج بيانات تخطيط كهربائية الدماغ (EEG) الخام وسمات الرسوم البيانية فقط من أجل التعيين الهيكلي في فضاء المشفر التلقائي المتغير (VAE-space).
برامج نصية لمحاذاة TDE-Net ودمجه وتقييمه وتصويره مرئياًيوان-وي198الالتزام c99325d7f9e090ddd7cd581
6aeabda7a9b9364da		https://github.com/Yuan-ui198/TDE-Net/tree/c99325d7f9e0
يبدو أن النص المقدم عبارة عن سلسلة من الرموز (Hash) وليس نصاً علمياً أو تعليمياً باللغة الإنجليزية للترجمة. يرجى تزويدي بالنص المراد ترجمته لأتمكن من صياغته باللغة العربية الأكاديمية المتخصصة وفقاً للمعايير المطلوبة.
قاعدة بيانات THINGSهيبارت وآخرون.doi:10.1371/journal.pone.0223792مصدر منبهات الأشياء الطبيعية؛ https://things-initiative.org/
مجموعة بيانات THINGS-EEG2جيفورد وآخرون.doi:10.1016/j.neuroimage.2022.119754تخطيط كهربائية الدماغ بـ 64 قناة من 10 أشخاص؛ تختار هذه الدراسة 17 قناة جدارية قفوية؛ https://osf.io/anp5v/
تيم (timm)روس وايتمن والمساهمون1.0.22أدوات نماذج الرؤية مسبقة التدريب المستخدمة في تقييم الميزات؛ https://github.com/huggingface/pytorch-image-models
torchvisionمؤسسة PyTorch0.24.1+cu128النماذج الأساسية لتقييم AlexNet وInception-v3 وEfficientNet؛ https://pytorch.org/vision/
tqdmمطورو tqdm4.67.1تقرير التقدم لعمليات استخراج الميزات، وإعادة البناء، والتقييم؛ https://tqdm.github.io/
المحولات (Transformers)Hugging Face4.37.2واجهات لمكونات النماذج المدربة مسبقاً؛ https://github.com/huggingface/transformers

المراجع

  1. Shen G, Horikawa T, Majima K, Kamitani Y. Deep image reconstruction from human brain activity. PLoS Comput Biol. 2019;15(1):e1006633. doi:10.1371/journal.pcbi.1006633.
  2. Chen Z, Qing J, Xiang T, Yue W, Zhou JH. Seeing beyond the brain: conditional diffusion model with sparse masked modeling for vision decoding. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. p. 22710-22720. Available from: https://openaccess.thecvf.com/content/CVPR2023/html/Chen_Seeing_Beyond_the_Brain_Conditional_Diffusion_Model_With
    _Sparse_Masked_Modeling_CVPR_2023_paper.html
  3. Takagi Y, Nishimoto S. High-resolution image reconstruction with latent diffusion models from human brain activity. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. p. 14453-14463. Available from: https://openaccess.thecvf.com/content/CVPR2023/html/Takagi_High-Resolution_Image_Reconstruction_With_Latent_Diffusion_Models_
    From_Human_Brain_CVPR_2023_paper.html
  4. Scotti PS et al. Reconstructing the mind's eye: fMRI-to-image with contrastive learning and diffusion priors. Adv Neural Inf Process Syst. 2023;36:24705-24728. doi:10.52202/075280-1073.
  5. Geman S, Bienenstock E, Doursat R. Neural networks and the bias/variance dilemma. Neural Comput. 1992;4(1):1-58. doi:10.1162/neco.1992.4.1.1.
  6. Lawhern VJ et al. EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces. J Neural Eng. 2018;15(5):056013. doi:10.1088/1741-2552/aace8c.
  7. Kostas D, Aroca-Ouellette S, Rudzicz F. BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data. Front Hum Neurosci. 2021;15:653659. doi:10.3389/fnhum.2021.653659.
  8. Song Y, Zheng Q, Liu B, Gao X. EEG Conformer: convolutional transformer for EEG decoding and visualization. IEEE Trans Neural Syst Rehabil Eng. 2023;31:710-719. doi:10.1109/TNSRE.2022.3230250.
  9. Cui CM et al. "Pre-Train, Prompt" framework to boost graph neural networks performance in EEG analysis. IEEE J Biomed Health Inform. 2025;29(7):4847-4860. doi:10.1109/JBHI.2025.3541058.
  10. Meng X, Qiu S, Wan S, Cheng K, Cui L. A motor imagery EEG signal classification algorithm based on recurrence plot convolution neural network. Pattern Recognit Lett. 2021;146:134-141. doi:10.1016/j.patrec.2021.03.023.
  11. Miao Z, Zhao M, Zhang X, Ming D. LMDA-Net: a lightweight multi-dimensional attention network for general EEG-based brain-computer interfaces. Neuroimage. 2023;276:120209. doi:10.1016/j.neuroimage.2023.120209.
  12. Zhang S, Tang C, Guan C. Visual-to-EEG cross-modal knowledge distillation for continuous emotion recognition. Pattern Recognit. 2022;130:108833. doi:10.1016/j.patcog.2022.108833.
  13. Palazzo S et al. Decoding brain representations by multimodal learning of neural activity and visual features. IEEE Trans Pattern Anal Mach Intell. 2021;43(11):3833-3849. doi:10.1109/TPAMI.2020.2995909.
  14. Rombach R, Blattmann A, Lorenz D, Esser P, Ommer B. High-resolution image synthesis with latent diffusion models. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. p. 10684-10695. Available from: https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR
    _2022_paper.html
  15. Radford A et al. Learning transferable visual models from natural language supervision. In: Proceedings of the 38th International Conference on Machine Learning. PMLR. 2021;139:8748-8763. Available from: https://proceedings.mlr.press/v139/radford21a.html
  16. Bai Y et al. DreamDiffusion: high-quality EEG-to-image generation with temporal masked signal modeling and CLIP alignment. In: Computer Vision - ECCV 2024. Cham: Springer; 2024. p. 472-488. doi:10.1007/978-3-031-72751-1_27.
  17. Cao X, Gong P, Zhang L, Zhang D. EEG-CLIP: a transformer-based framework for EEG-guided image generation. Neural Netw. 2026;194:108167. doi:10.1016/j.neunet.2025.108167.
  18. Liu Y et al. FSDBN: foreground-aware EEG-visual alignment via dynamic brain networks. arXiv [Preprint]. 2026. Available from: https://arxiv.org/abs/2607.18344
  19. Yin F, Zheng C, Gong P, Guan D, Zhu Q. Neural visual decoding via cognitive-guided adaptive blurring and information-constrained alignment. arXiv [Preprint]. 2026. Available from: https://arxiv.org/abs/2605.16418
  20. Liu J, Gong P, Zheng C, Liu Y, Zhu Q. Multi-level bidirectional biomimetic learning for EEG-based visual decoding. arXiv [Preprint]. 2026. Available from: https://arxiv.org/abs/2605.04680
  21. Fei T et al. Perceptogram: reconstructing visual percepts and presumptive electrode preference from EEG. arXiv [Preprint]. 2024. Available from: https://arxiv.org/abs/2404.01250
  22. Li D, Wei C, Li S, Zou J, Liu Q. Visual decoding and reconstruction via EEG embeddings with guided diffusion. Adv Neural Inf Process Syst. 2024;37:102822-102864. doi:10.52202/079017-3266.
  23. Gifford AT, Dwivedi K, Roig G, Cichy RM. A large and rich EEG dataset for modeling human visual object recognition. Neuroimage. 2022;264:119754. doi:10.1016/j.neuroimage.2022.119754.
  24. Kipf TN, Welling M. Semi-supervised classification with graph convolutional networks. In: International Conference on Learning Representations. 2017. Available from: https://openreview.net/forum?id=SJU4ayYgl
  25. Chen T, Kornblith S, Norouzi M, Hinton G. A simple framework for contrastive learning of visual representations. In: Proceedings of the 37th International Conference on Machine Learning. PMLR. 2020;119:1597-1607. Available from: https://proceedings.mlr.press/v119/chen20j.html
  26. Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement. IEEE Trans Rehabil Eng. 2000;8(4):441-446. doi:10.1109/86.895946.
  27. Bai S, Kolter JZ, Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling. arXiv [Preprint]. 2018. Available from: https://arxiv.org/abs/1803.01271
  28. Woo S, Park J, Lee JY, Kweon IS. CBAM: convolutional block attention module. In: European
    Conference on Computer Vision. Cham: Springer; 2018. p. 3-19. Available from:
    https://doi.org/10.1007/978-3-030-01234-2_1
  29. Hoerl AE, Kennard RW. Ridge regression: biased estimation for nonorthogonal problems. Technometrics. 1970;12(1):55-67. doi:10.1080/00401706.1970.10488634.
  30. Zhou ZH. Ensemble Methods: Foundations and Algorithms. Boca Raton: Chapman and Hall/CRC; 2012.
  31. Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models. Adv Neural Inf Process Syst. 2020;33:6840-6851. Available from: https://proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b-Abstract.html
  32. Ho J, Salimans T. Classifier-free diffusion guidance. arXiv [Preprint]. 2022. Available from: https://arxiv.org/abs/2207.12598
  33. Kingma DP, Welling M. Auto-encoding variational Bayes. In: International Conference on Learning Representations. 2014. Available from: https://openreview.net/forum?id=33X9fd2-9FyZd
  34. Hebart MN et al. THINGS: a database of 1,854 object concepts and more than 26,000 naturalistic object images. PLoS One. 2019;14(10):e0223792. doi:10.1371/journal.pone.0223792.

إعادة الطباعة والأذونات

استكشف المزيد من المقالات

إعادة بناء الصور من تخطيط كهربائية الدماغالشبكة ثلاثية المساراتالتمثيل المفككالالتفاف الرسوميالمسار الدلالي الزمنيالتعلم التباينيالمشفر التلقائي التباينيالفضاء الكامن لنموذج CLIPنموذج Stable UnCLIPإعادة بناء المحفزات البصرية

تم نشر هذه المقالة

الفيديو قريباً

تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.