فك تشفير الصور السمعية باستخدام تحليل نمط Multivoxel
المصدر: مختبرات جوناس ت. كابلان وسارة آي جيمبل - جامعة جنوب كاليفورنيا
تخيل صوت رنين الجرس. ماذا يحدث في الدماغ عندما نستحضر صوتا كهذا في "أذن العقل"؟…
1. توظيف المشاركين
- تجنيد 20 مشاركا.
- يجب أن يكون المشاركون يستخدمون اليد اليمنى وليس لديهم تاريخ من الاضطرابات العصبية أو النفسية.
- يجب أن يكون لدى المشاركين رؤية طبيعية أو مصححة إلى طبيعية للتأكد من أنهم سيكونون قادرين على رؤية الإشارات المرئية بشكل صحيح.
- يجب ألا يكون لدى المشاركين معدن في أجسامهم. هذا مطلب أمان مهم بسبب المجال المغناطيسي العالي الذي ينطوي عليه التصوير بالرنين المغناطيسي الوظيفي.
- يجب ألا يعاني المشاركون من رهاب الأماكن المغلقة ، لأن الرنين المغناطيسي الوظيفي يتطلب الاستلقاء في مساحة صغيرة من تجويف الماسح الضوئي.
2. إجراءات ما قبل الفحص
- املأ الأوراق المسحية المسحية.
- عندما يأتي المشاركون لإجراء فحص الرنين المغناطيسي الوظيفي ، اطلب منهم أولا ملء نموذج شاشة معدني للتأكد من عدم وجود مؤشرات مضادة للتصوير بالرنين المغناطيسي ، ونموذج النتائج العرضية الذي يمنح الموافقة على فحص فحصهم من قبل أخصائي الأشعة ، ونموذج موافقة يوضح بالتفصيل مخاطر وفوائد الدراسة.
- جهز المشاركين للذهاب إلى الماسح الضوئي عن طريق إزالة جميع المعادن من أجسامهم ، بما في ذلك الأحزمة والمحافظ والهواتف ومشابك الشعر والعملات المعدنية وجميع المجوهرات.
3. تقديم التعليمات للمشارك.
- أخبر المشاركين أنهم سيشاهدون سلسلة من العديد من مقاطع الفيديو القصيرة داخل الماسح الضوئي. ستكون مقاطع الفيديو هذه صامتة ، لكنها قد تثير صوتا في "أذن أذنهم". اطلب من المشارك التركيز على هذه الصور السمعية وتشجيعها ، لمحاولة "سماع" الصوت بأفضل ما يمكن.
- شدد على المشارك على أهمية إبقاء رأسه ثابتا طوال فترة الفحص.
4. ضع المشارك في الماسح الضوئي.
- امنح المشارك سدادات أذن لحماية آذانهم من ضوضاء الماسح الضوئي وهواتف الأذن لارتدائها حتى يتمكنوا من سماع المجرب أثناء الفحص ، واجعلهم يستلقيون على السرير ورؤوسهم في الملف.
- امنح المشارك كرة الضغط في حالات الطوارئ واطلب منه الضغط عليها في حالة الطوارئ أثناء الفحص.
- استخدم وسادات الرغوة لتأمين رأس المشاركين في الملف لتجنب الحركة الزائدة أثناء المسح ، وتذكير المشارك بأنه من المهم جدا البقاء ثابتا قدر الإمكان أثناء المسح ، حيث أن أصغر الحركات تطمس الصور.
5. جمع البيانات
- جمع المسح التشريحي عالي الدقة.
- ابدأ المسح الوظيفي.
- مزامنة بداية عرض التحفيز مع بداية الماسح الضوئي.
- لتحقيق أخذ العينات الزمنية المتناثرة ، اضبط وقت اكتساب حجم التصوير بالرنين المغناطيسي على 2 ثانية ، مع تأخير 9 ثوان بين عمليات الاستحواذ على الحجم.
- اعرض مقاطع الفيديو الصامتة عبر جهاز كمبيوتر محمول متصل بجهاز عرض. المشارك لديه مرآة فوق عينيه ، تعكس شاشة في الجزء الخلفي من تجويف الماسح الضوئي.
- قم بمزامنة بداية كل مقطع فيديو 5 ثوان لتبدأ 4 ثوان بعد بدء الحصول على التصوير بالرنين المغناطيسي السابق. سيضمن ذلك الحصول على حجم التصوير بالرنين المغناطيسي التالي بعد 7 ثوان من بدء مقطع الفيديو ، لالتقاط النشاط الديناميكي الدموي الذي يتوافق مع منتصف الفيلم.
- قدم ثلاثة مقاطع فيديو صامتة مختلفة تستحضر صورا سمعية حية: جرس يتأرجح ذهابا وإيابا ، ومنشار يقطع شجرة ، وشخص يعزف على الكمان.
- في كل فحص وظيفي ، قدم كل مقطع فيديو 10 مرات بترتيب عشوائي. مع كل تجربة تدوم 11 ثانية ، سيؤدي ذلك إلى مسح ضوئي بطول 330 ثانية (5.5 دقيقة).
- إجراء 4 عمليات مسح وظيفية.
6. تحليل البيانات
- تحديد منطقة الاهتمام (ROI).
- استخدم الفحص التشريحي عالي الدقة لكل مشارك لتتبع الفوكسل التي تتوافق مع القشرة السمعية المبكرة (الشكل 1). هذا يتوافق مع سطح الفص الصدغي ، المسمى المسطح الصدغي. استخدم السمات التشريحية لدماغ كل شخص لإنشاء قناع خاص بالقشرة السمعية.
الشكل 1: تتبع منطقة الاهتمام. تم تتبع سطح المسطح الصدغي على الصورة التشريحية عالية الدقة لهذا المشارك ، وهو موضح هنا باللون الأزرق. باللون الأخضر هو قناع التحكم في القطب الأمامي. سيتم استخدام هذه الفوكسل لتحليل MVPA.
- المعالجة المسبقة للبيانات.
- قم بإجراء تصحيح الحركة لتقليل القطع الأثرية للحركة.
- قم بإجراء التصفية الزمنية لإزالة انجرافات الإشارة.
- تدريب واختبار خوارزمية المصنف.
- قسم البيانات إلى مجموعات تدريب واختبار. سيتم استخدام بيانات التدريب لتدريب المصنف ، وسيتم استخدام بيانات الاختبار المتبقية لتقييم ما تعلمه. لتحقيق أقصى قدر من استقلالية بيانات التدريب والاختبار ، اترك البيانات من مسح وظيفي واحد كمجموعة اختبار.
- تدريب خوارزمية آلة ناقلات الدعم على بيانات التدريب المسماة من القشرة السمعية في كل موضوع. اختبر قدرة المصنف على تخمين هوية مجموعة الاختبار غير المسماة بشكل صحيح، وسجل دقة المصنف.
- كرر هذا الإجراء 4 مرات ، مع ترك كل فحص كبيانات اختبار في كل مرة. يسمى هذا النوع من الإجراءات ، حيث يتم استبعاد كل قسم من البيانات مرة واحدة ، التحقق المتبادل.
- اجمع بين دقة المصنف عبر 4 طيات التحقق المتقاطع من خلال حساب المتوسط.
- الاختبار الإحصائي
- لتحديد ما إذا كان أداء المصنف أفضل من الصدفة (33٪) ، يمكننا مقارنة النتائج على مستوى المجموعة بالصدفة. للقيام بذلك ، اجمع الدقة لكل موضوع ، واختبر أن التوزيع يختلف عن الصدفة باستخدام اختبار Wilcoxon Signed-Rank غير البارامتري.
- يمكننا أيضا أن نسأل عما إذا كان أداء المصنف أفضل من الفرصة لكل فرد. لتحديد احتمالية مستوى دقة معين في بيانات الصدفة ، قم بإنشاء توزيع فارغ عن طريق تدريب خوارزمية MVPA واختبارها على البيانات التي تم خلط تسمياتها بشكل عشوائي. قم بتبديل التسميات 10,000 مرة لإنشاء توزيع فارغ لقيم الدقة، ثم قارن قيمة الدقة الفعلية بهذا التوزيع.
- لإثبات خصوصية المعلومات داخل القشرة السمعية ، يمكننا تدريب واختبار المصنف على فوكسيل من موقع مختلف في الدماغ. هنا ، سنستخدم قناعا للقطب الأمامي ، مأخوذ من أطلس احتمالي ومشوه ليناسب الدماغ الفردي لكل شخص.
تسجيل الدخول أو للوصول إلى المحتوى الكامل. تعرّف على المزيد حول وصول مؤسستك إلى محتوى JoVE هنا
الصور السمعية هي عملية تؤدي إلى تجربة سماع الأصوات ، حتى في حالة عدم وجود محفزات سمعية خارجية.
على سبيل المثال ، فكر في سماع صوت رنين الهاتف الخلوي. في حين أن المعلومات الموجودة في الذاكرة تكمن وراء هذا الحدث الخيالي ، تشير الأدلة إلى أن دماغ الفرد يستخدم نفس آليات الخيال مثل تلك التي تشارك في الإدراك الفعلي.
فقط عند تخيل الرنين ، يتم تنشيط المناطق داخل القشرة السمعية. ومع ذلك ، على الرغم من أن هذا صحيح عبر المحفزات الصوتية ، إلا أن كيفية تشفير الأصوات للسماح بالمعالجة التفصيلية للأصوات المميزة - مثل التمييز بين رنين جرس الباب والأغنية التي يتم تشغيلها على الراديو - هو سؤال مهم.
استنادا إلى العمل السابق الذي قام به ماير وزملاؤه ، يوضح هذا الفيديو كيفية الجمع بين التصوير بالرنين المغناطيسي الوظيفي مع عروض تقديمية لمقاطع فيديو صامتة مختلفة للتحقيق في كيفية استجابة الدماغ للصور السمعية.
سنصف أيضا كيفية استخدام طريقة تسمى تحليل نمط الفوكسل المتعدد؟ MVPA باختصار؟للتنبؤ بما تخيله الأشخاص من خلال تحليل أنماط التنشيط التي تم الحصول عليها أثناء جلسات التصوير بالرنين المغناطيسي الوظيفي.
في هذه التجربة ، يستلقي المشاركون في ماسح التصوير بالرنين المغناطيسي الوظيفي ويعرضون عليهم سلسلة من مقاطع الفيديو الصامتة. كل واحد - سواء كان صراخ الديك ، أو منشارا يقطع شجرة ، أو شخص يعزف على البيانو - يثير صورا سمعية مميزة وحيوية ، ويطلب منهم تخيل الأصوات أثناء كل عرض تقديمي.
يعتمد إجراء الحصول على التصوير على أخذ عينات زمنية متفرقة ، حيث يتم الحصول على حجم واحد للتصوير بالرنين المغناطيسي الوظيفي بعد 4 إلى 5 ثوان من تقديم كل محفز. يلتقط هذا التوقيت ذروة الاستجابة الديناميكية الدموية ويقلل من احتمالية إخفاء الإشارات بضوضاء الماسح الضوئي.
من المتوقع أن يحفز كل صوت متخيل أنماطا خفية ومميزة للنشاط العصبي ، وتحديدا في القشرة السمعية. هنا ، النمط هو الكلمة الأساسية: تستخدم الطريقة الكلاسيكية لتحليل هذه البيانات نهجا أحادي المتغير ، حيث يتم طي voxels الفردية - التي تمثل مستوى معينا من التنشيط - في متوسط واحد.
ثم تتم مقارنة هذه القيم عبر الأصوات وقد لا تنتج أي اختلافات كبيرة في مستويات التنشيط.
بدلا من ذلك ، باستخدام تحليل متعدد المتغيرات ، يتم وضع فوكسل متعددة لكل صوت ويمكن مقارنة مستويات التنشيط بشكل جماعي ، عبر جميع فوكسيل - مما يساهم في نمط عام فريد لكل صوت متخيل.
مع نهج تحليل النمط متعدد الفوكسل ، أو MVPA ، إذا كانت الأنماط حساسة بالفعل لمحتوى معين ، فمن الممكن استخدامها للتنبؤ بالحافز الأصلي. هذا صحيح؟ غالبا ما يشار إلى MVPA على أنه تقنية قراءة الأفكار!
لتحقيق جانب التنبؤ هذا ، يجب إجراء معالجة أكثر كثافة بعد جمع المشاركين؟ البيانات ، والتي تنقسم إلى مجموعات التدريب والاختبار.
تخضع البيانات المصنفة من مجموعة التدريب أولا لحسابات التعلم الآلي ، على وجه التحديد ، خوارزمية آلة ناقل الدعم. تستخدم هذه العملية لتصنيف البيانات بدقة من خلال التعرف على الميزات في الأنماط العصبية التي قد تميز الأنواع الثلاثة من الأصوات عن بعضها البعض.
بعد أن يتعلم المصنف ميزات لتحديد الأنواع بدقة ، يتم تقديمه ببيانات غير مسماة من مجموعة الاختبار ، ثم تتم مقارنة تخميناته بملصقات المحفزات الصحيحة.
في هذه الحالة ، يعمل أداء التصنيف كمتغير تابع - مسجل كدقة المصنف - والذي تتم مقارنته أيضا بفوكسل التي يتم استحضارها في مكان مختلف في الدماغ ، مثل القطب الأمامي.
من المتوقع أن يتنبأ المصنف بتحديد الصور السمعية ، مما يكشف عن أهمية MVPA في اكتشاف النشاط الخاص بالمحتوى داخل القشرة السمعية.
وفقا للمخاوف التجريبية والمتعلقة بالسلامة ، تحقق من أن جميع المشاركين يستخدمون اليد اليمنى ، ولديهم رؤية طبيعية أو مصححة إلى طبيعية ، وليس لديهم تاريخ من الاضطرابات العصبية أو رهاب الأماكن المغلقة ، ولا يمتلكون أي معدن في أجسامهم. تأكد أيضا من ملء نماذج الموافقة اللازمة.
قبل المتابعة ، اشرح لهم أنهم سيشاهدون العديد من مقاطع الفيديو الصامتة القصيرة في الماسح الضوئي والتي قد تثير صوتا في أذهانهم. اطلب منهم التركيز على الأصوات المتخيلة ، و "سماعها" بأفضل ما في وسعهم ، والبقاء ثابتين طوال مدة المهمة.
الآن ، قم بإعداد المشارك لدخول الماسح الضوئي. لرؤية هذه الخطوات بالتفصيل ، يرجى الرجوع إلى فيديو آخر بالرنين المغناطيسي الوظيفي تم إنتاجه في هذه المجموعة.
بعد التحضير ، قم بمحاذاة المشارك وأرسله داخل التجويف. في الغرفة المجاورة ، قم أولا بجمع مسح تشريحي عالي الدقة. بعد ذلك ، قم بمزامنة بداية عرض الفيديو الصامت مع بداية المسح الوظيفي.
لتحقيق أخذ عينات زمنية متفرقة ، اضبط وقت اكتساب حجم التصوير بالرنين المغناطيسي على 2 ثانية ، مع تأخير 9 ثوان بينهما.
الأهم من ذلك ، قم بتنسيق بداية كل مقطع فيديو 5 ثوان ليبدأ 4 ثوان بعد أن يبدأ اكتساب التصوير بالرنين المغناطيسي السابق في التقاط النشاط الديناميكي الدموي الذي يتوافق مع منتصف الفيلم.
قدم كل مقطع فيديو 10 مرات ، بترتيب عشوائي ، وقم بإنشاء جلسة مسح واحدة تستغرق 5.5 دقيقة. كرر تسلسل الاستحواذ الوظيفي هذا ثلاث مرات أخرى.
بعد إجراء عمليات المسح الوظيفية الأربعة ، أخرج المشارك من الماسح الضوئي ، واستأخر من استخلاص المعلومات لإنهاء الدراسة.
لتحديد مناطق الاهتمام ، استخدم عمليات المسح التشريحي عالية الدقة لكل مشارك وتتبع الفوكسل على سطح الفص الصدغي التي تتوافق مع القشرة السمعية المبكرة ، والمعروفة أيضا باسم المسطح الصدغي. بالإضافة إلى ذلك ، قم بإنشاء قناع يحتوي على voxels في الفص الجبهي ، والذي سيتم استخدامه كمنطقة تحكم.
بعد ذلك ، قم بالمعالجة المسبقة للبيانات عن طريق إجراء تصحيح الحركة لتقليل القطع الأثرية للحركة والتصفية الزمنية لإزالة انجرافات الإشارة.
بعد ذلك ، قسم البيانات إلى مجموعتين: التدريب والاختبار. في مجموعة بيانات واحدة ، قم بتدريب المصنف - خوارزمية آلة متجهة الدعم - مع التأكد من إبقاء البيانات من منطقتي الدماغ منفصلة لكل موضوع.
في المجموعة الأخرى ، قم بتقييم ما تعلمه المصنف - قدرته على تخمين هوية البيانات غير المسماة بشكل صحيح - وتسجيل دقة الخوارزمية عبر عمليات التشغيل. قم بتنفيذ هذا الإجراء ما مجموعه أربع مرات ، مع ترك فحص وظيفي واحد كبيانات اختبار في كل مرة - وهي عملية تسمى التحقق المتبادل.
لتصور البيانات، قم برسم بياني لمتوسط دقة المصنف عبر طيات التحقق المتبادل الأربعة لكل مشارك.
ارسم هذه المتوسطات لكل من المنطقة الأساسية ذات الاهتمام - المسطح الصدغي - ومنطقة التحكم - القطب الأمامي - لمقارنة الخصوصية البؤرية للمصنف ، ومدى التنبؤ بشكل انتقائي بمنطقة معينة ، مثل القشرة السمعية ، بالمشاركة في الخيال السمعي.
في هذه الحالة ، قم بإجراء إحصائية غير معلمية ، اختبار Wilcoxon Signed-Rank ، لاختبار الأداء مقابل الصدفة ، وهو 33٪. لاحظ أن متوسط دقة المصنف في القشرة السمعية كان 59٪ ، وهو ما يختلف اختلافا كبيرا عن مستوى الفرصة.
في المقابل ، كان متوسط الأداء في قناع العمود الأمامي 33٪ ، وهو ما لا يختلف اختلافا كبيرا عن الصدفة.
علاوة على ذلك ، لاحظ أن أداء المصنف يختلف بين الأفراد. بعد استخدام اختبار التقليب لحساب عتبة إحصائية جديدة تبلغ 42٪ ، انظر أن 19 من 20 شخصا لديهم قيم دقة أكبر بكثير من هذا المستوى باستخدام voxels من planum temporale ، في حين لم يكن لدى أي منهم أداء أكبر من الصدفة باستخدام voxels من القطب الأمامي.
بشكل عام ، تشير هذه النتائج إلى أن تقنيات MVPA تنبأت بدقة بأي من الأصوات الثلاثة التي كان المشاركون يتخيلونها بناء على أنماط النشاط العصبي. تم إجراء مثل هذه التنبؤات فقط داخل القشرة السمعية ، مما يشير إلى أن المحتوى الصوتي لا يتم تمثيله عالميا في جميع أنحاء الدماغ.
الآن بعد أن أصبحت على دراية بكيفية تطبيق تحليل الأنماط متعددة الفوكسل لدراسة الصور السمعية ، دعنا نلقي نظرة على كيفية استخدام علماء النفس العصبي لتقنيات متعددة المتغيرات لتطوير نهج مستقبلي لقراءة العقل - فك تشفير الحالات العقلية - في مجالات أخرى.
تم استخدام المصنفات في بيانات الرنين المغناطيسي الوظيفي التي تم الحصول عليها من القشرة الصدغية البطنية للتنبؤ بأنواع الأشياء التي شاهدها المشاركون ، والتمييز بين المنازل والوجوه ، على سبيل المثال.
مع أخذ هذه الخطوة إلى الأمام ، من الممكن حتى التنبؤ بما إذا كان الفرد سيشتري هذا المنزل أو يجد الشخص ممتعا. بقدر ما يبدو ذلك مخيفا ، فإن هذه الآثار المترتبة على التسويق العصبي ليست بعيدة المنال!
يمكن أيضا استخدام نفس النهج لاكتشاف الحالات العاطفية بعد مشاهدة العرض - مع الاعتراف بأن الفيلم المخيف مرعب بالفعل - أو حتى نوع الفيلم. على سبيل المثال ، قد يؤدي النقر المخيف إلى إشراك اللوزة بشكل أكثر توقعا على اللوزة التأملية التي من شأنها أن تشمل قشرة الفص الجبهي بشكل موثوق.
بالإضافة إلى ذلك ، يمكن لواجهات الدماغ والحاسوب تحويل الحالات العقلية إلى إشارات من شأنها أن تعزز التواصل ، في حالة الأفراد الذين يخضعون لعلاج النطق ، أو الحركات ، لأولئك الذين عانوا من بتر أحد الأطراف.
لقد شاهدت للتو فيديو JoVE حول فهم الصور السمعية باستخدام تحليل نمط متعدد الفوكسل. الآن يجب أن يكون لديك فهم جيد لكيفية تصميم وإجراء تجربة الصور السمعية جنبا إلى جنب مع التصوير العصبي الوظيفي ، وأخيرا كيفية تحليل وتفسير أنماط معينة من نشاط الدماغ.
شكرا للمشاهدة!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.