مقالة منهجية

من خلال عيون: فك تشفير الرنين المغناطيسي الوظيفي لمقاطع الفيديو الطبيعية من قشرة

9.2K مشاهدة

⸱

DOI:

10.3791/64442

⸱

سبتمبر 13, 2022

 ,  ,  , 
1Psychology Department, Emory University

في هذه المقالة

ملخص

تم تدريب خوارزميات التعلم الآلي على استخدام أنماط نشاط الدماغ "لفك تشفير" المحفزات المقدمة للبشر. هنا ، نوضح أن نفس التقنية يمكنها فك تشفير محتوى الفيديو الطبيعي من أدمغة كلبين منزليين. وجدنا أن أجهزة فك التشفير بناء على الإجراءات الموجودة في مقاطع الفيديو كانت ناجحة في.

الملخص

أدت التطورات الحديثة باستخدام التعلم الآلي والتصوير بالرنين المغناطيسي الوظيفي (fMRI) لفك تشفير المحفزات البصرية من القشرة البشرية وغير البشرية إلى رؤى جديدة حول طبيعة الإدراك. ومع ذلك ، لم يتم تطبيق هذا النهج بشكل كبير على بخلاف الرئيسيات ، مما يثير تساؤلات حول طبيعة مثل هذه التمثيلات في جميع أنحاء مملكة. هنا ، استخدمنا التصوير بالرنين المغناطيسي الوظيفي المستيقظ في كلبين منزليين وشخصين ، تم الحصول عليها بينما كان كل منهما يشاهد مقاطع فيديو طبيعية مناسبة للكلاب تم إنشاؤها خصيصا. ثم قمنا بتدريب شبكة عصبية (Ivis) لتصنيف محتوى الفيديو من إجمالي 90 دقيقة من نشاط الدماغ المسجل من كل منها. اختبرنا كلا من المصنف المستند إلى الكائنات ، في محاولة للتمييز بين فئات مثل والإنسان والسيارة ، والمصنف القائم على العمل ، في محاولة للتمييز بين فئات مثل الأكل والاستنشاق والتحدث. بالمقارنة مع الشخصين البشريين ، اللذين كان أداء كلا النوعين من المصنفين أعلى بكثير من الصدفة ، نجحت المصنفات القائمة على العمل فقط في فك تشفير محتوى الفيديو من. توضح هذه النتائج أول تطبيق معروف للتعلم الآلي لفك تشفير مقاطع الفيديو الطبيعية من دماغ آكل اللحوم وتشير إلى أن وجهة نظر عين للعالم قد تكون مختلفة تماما عن رؤيتنا.

المقدمة

توضح أدمغة البشر ، مثل الرئيسيات الأخرى ، تقسيم التيار البصري إلى مسارات ظهرية وبطنية ذات وظائف مميزة ومعروفة - "ماذا" و "أين" الأشياء1. كان هذا الانقسام ماذا / أين إرشادا مفيدا لعقود من الزمن ، ولكن من المعروف الآن أن أساسه التشريحي أكثر تعقيدا ، حيث يفضل العديد من الباحثين التقسيم القائم على الاعتراف مقابل الفعل ("ماذا" مقابل "كيف") 2،3،4،5. بالإضافة إلى ذلك ، بينما يستمر فهمنا لتنظيم النظام البصري للرئيسيات في التنقيح والنقاش ، لا يزال الكثير مجهولا حول كيفية تمثيل أدمغة أنواع الثدييات الأخرى للمعلومات المرئية. جزئيا ، هذه الثغرة هي نتيجة للتركيز التاريخي على حفنة من الأنواع في علم الأعصاب البصري. ومع ذلك ، فإن الأساليب الجديدة لتصوير الدماغ تفتح إمكانية دراسة الأنظمة البصرية لمجموعة واسعة من بشكل غير جراحي ، مما قد يؤدي إلى رؤى جديدة حول تنظيم الجهاز العصبي للثدييات.

تقدم (Canis lupus familiaris) فرصة غنية لدراسة تمثيل المحفزات البصرية في نوع بعيد تطوريا عن الرئيسيات ، حيث قد يكون الوحيد الذي يمكن تدريبه على المشاركة بشكل تعاوني في فحص التصوير بالرنين المغناطيسي دون الحاجة إلى التخدير أو القيود6،7،8. نظرا لتطورها المشترك مع البشر على مدار ال 15,000 عام الماضية ، تعيش أيضا في بيئاتنا وتتعرض للعديد من المحفزات التي يواجهها البشر على أساس يومي ، بما في ذلك شاشات الفيديو ، وهي الطريقة المفضلة لتقديم المحفزات في ماسح التصوير بالرنين المغناطيسي. ومع ذلك ، قد تعالج هذه المحفزات البيئية الشائعة بطرق مختلفة تماما عن البشر ، مما يطرح السؤال عن كيفية تنظيم القشرة البصرية. قد يكون للاختلافات الأساسية - مثل عدم وجود نقرة ، أو كونها ثنائي اللون - عواقب نهائية كبيرة ليس فقط على الإدراك البصري منخفض المستوى ولكن أيضا على التمثيل المرئي عالي المستوى. أظهرت العديد من دراسات التصوير بالرنين المغناطيسي الوظيفي في وجود مناطق معالجة الوجه والأشياء التي يبدو أنها تتبع بنية التيار الظهري / البطني العامة التي شوهدت في الرئيسيات ، على الرغم من أنه لا يزال من غير الواضح ما إذا كانت لديها مناطق معالجة الوجه في حد ذاتها أو ما إذا كانت هذه المناطق انتقائية لتشكل الرأس (على سبيل المثال ، مقابل الإنسان)9 ، 10،11،12،13. بغض النظر ، من المتوقع أن يكون دماغ ، الأصغر من معظم الرئيسيات ، أقل نمطية14 ، لذلك قد يكون هناك المزيد من الاختلاط بين أنواع المعلومات في التدفقات أو حتى امتياز أنواع معينة من المعلومات ، مثل الإجراءات. لقد تم اقتراح ، على سبيل المثال ، أن الحركة قد تكون سمة أكثر بروزا في الإدراك البصري للكلاب من الملمس أو اللون15. بالإضافة إلى ذلك ، نظرا لأن ليس لديها أيدي ، فإن إحدى الوسائل الأساسية التي نتفاعل من خلالها مع العالم ، قد تكون معالجتها البصرية ، وخاصة الأشياء ، مختلفة تماما عن تلك الخاصة بالرئيسيات. تماشيا مع هذا ، وجدنا مؤخرا دليلا على أن التفاعل مع الأشياء عن طريق الفم مقابل المخلب أدى إلى تنشيط أكبر في المناطق الانتقائية للكائنات في دماغ16.

على الرغم من أن قد تكون معتادة على شاشات الفيديو في بيئتها المنزلية ، إلا أن هذا لا يعني أنها معتادة على النظر إلى الصور في بيئة تجريبية بنفس الطريقة التي ينظر بها الإنسان. قد يساعد استخدام المزيد من المحفزات الطبيعية في حل بعض هذه الأسئلة. في العقد الماضي ، حققت خوارزميات التعلم الآلي نجاحا كبيرا في فك تشفير المحفزات البصرية الطبيعية من نشاط الدماغ البشري. ركزت النجاحات المبكرة على تكييف التصاميم الكلاسيكية المحظورة لاستخدام نشاط الدماغ لتصنيف أنواع المحفزات التي كان الفرد يراها ، بالإضافة إلى شبكات الدماغ التي قامت بترميز هذه التمثيلات17،18،19. مع تطوير خوارزميات أكثر قوة ، وخاصة الشبكات العصبية ، يمكن فك تشفير المحفزات الأكثر تعقيدا ، بما في ذلك مقاطع الفيديو الطبيعية20،21. تعمم هذه المصنفات ، التي يتم تدريبها عادة على الاستجابات العصبية لمقاطع الفيديو هذه ، على محفزات جديدة ، مما يسمح لها بتحديد ما كان يلاحظه موضوع معين في وقت استجابة الرنين المغناطيسي الوظيفي. على سبيل المثال ، يمكن فك تشفير أنواع معينة من الإجراءات في الأفلام بدقة من الدماغ البشري ، مثل القفز والدوران ، بينما لا يمكن للآخرين (على سبيل المثال ، السحب)22. وبالمثل ، على الرغم من أنه يمكن فك تشفير العديد من أنواع الكائنات من استجابات الرنين المغناطيسي الوظيفي ، إلا أن الفئات العامة تبدو أكثر صعوبة. لا يقتصر فك تشفير الدماغ على البشر ، مما يوفر أداة قوية لفهم كيفية تنظيم المعلومات في أدمغة الأنواع الأخرى. وجدت تجارب الرنين المغناطيسي الوظيفي المماثلة مع الرئيسيات غير البشرية تمثيلات مميزة في الفص الصدغي لأبعاد العداء والراحت / الجسد ، وهو ما يوازي ذلك في البشر23.

كخطوة أولى نحو فهم تمثيلات للمنبهات البصرية الطبيعية ، تم استخدام التصوير بالرنين المغناطيسي الوظيفي المستيقظ في كلبين أليفين بارعين في التصوير بالرنين المغناطيسي لقياس الاستجابات القشرية لمقاطع الفيديو المناسبة للكلاب. في هذه الدراسة ، تم استخدام مقاطع الفيديو الطبيعية بسبب مصلاحيتها البيئية المحتملة للكلب وبسبب نجاحها الواضح مع الشبكات العصبية التي تعين محتوى الفيديو لحركة24. على مدار ثلاث جلسات منفصلة ، تم الحصول على 90 دقيقة من بيانات الرنين المغناطيسي الوظيفي من ردود كل على 256 مقطع فيديو فريد. للمقارنة ، تم تنفيذ نفس الإجراء على متطوعين بشريين. بعد ذلك ، باستخدام شبكة عصبية ، قمنا بتدريب واختبار المصنفات للتمييز بين "الأشياء" (على سبيل المثال ، الإنسان ، ، السيارة) أو "الإجراءات" (على سبيل المثال ، التحدث ، الأكل ، الاستنشاق) باستخدام أعداد متفاوتة من الفئات. كانت أهداف هذه الدراسة ذات شقين: 1) تحديد ما إذا كان يمكن فك تشفير محفزات الفيديو الطبيعية من قشرة. و 2) إذا كان الأمر كذلك ، فقم بإلقاء نظرة أولية على ما إذا كانت المنظمة مشابهة لمنظمة البشر.

البروتوكول

تمت الموافقة على دراسة من قبل جامعة إيموري IACUC (PROTO201700572) ، وأعطى جميع المالكين موافقة خطية على مشاركة كلابهم في الدراسة. تمت الموافقة على إجراءات الدراسة البشرية من قبل IRB بجامعة إيموري ، وقدم جميع المشاركين موافقة خطية قبل المسح (IRB00069592).

1. المشاركون

  1. حدد المشاركين (والبشر) دون التعرض المسبق للمنبهات المقدمة في الدراسة.
    ملاحظة: كان المشاركون في عبارة عن كلبين أليفين محليين تطوعوا من قبل أصحابهم للمشاركة في تدريب الرنين المغناطيسي الوظيفي والمسح بما يتفق مع ما تم وصفهسابقا 7. كان بوبو ذكرا يبلغ من العمر 4 سنوات من مزيج الملاكم ، وكانت ديزي أنثى من مزيج جحر بوسطن تبلغ من العمر 11 عاما. شارك كلا الكلبين سابقا في العديد من دراسات الرنين المغناطيسي الوظيفي (بوبو: 8 دراسات ، ديزي: 11 دراسة) ، بعضها تضمن مشاهدة المحفزات البصرية المعروضة على الشاشة أثناء وجودها في الماسح الضوئي. تم اختيارهم بسبب قدرتهم المثبتة على البقاء في الماسح الضوئي دون التحرك لفترات طويلة من الوقت مع مالكهم بعيدا عن الأنظار. كما شارك في الدراسة شخصان (ذكر واحد ، 34 عاما ، وأنثى ، 25 عاما). لم تتعرض ولا البشر سابقا للمنبهات الموضحة في هذه الدراسة.

2. المحفزات

  1. قم بتصوير مقاطع الفيديو (1920 بكسل × 1440 بكسل ، 60 إطارا في الثانية [fps]) مثبتة على محور تثبيت محمول باليد.
    ملاحظة: في هذه الدراسة ، تم تصوير مقاطع الفيديو في أتلانتا ، جورجيا ، في عام 2019.
    1. قم بتصوير مقاطع فيديو طبيعية من "منظر عين" ، مع الاحتفاظ بالمحور على ارتفاع الركبة تقريبا. صمم مقاطع الفيديو لالتقاط السيناريوهات اليومية في حياة.
      ملاحظة: تضمنت هذه مشاهد المشي والتغذية واللعب وتفاعل البشر (مع بعضهم البعض ومع) التي تتفاعل مع بعضها البعض والمركبات المتحركة غير (الشكل 1 أ ؛ فيلم تكميلي 1). في بعض المقاطع، تفاعلت الأهداف في الفيديو مباشرة مع الكاميرا، على سبيل المثال، المداعبة أو الاستنشاق أو اللعب بها، بينما في مقاطع أخرى، تم تجاهل الكاميرا. تم الحصول على لقطات إضافية للغزلان من مصيدة كاميرا موضوعة محليا (1920 بكسل × 1080 بكسل ، 30 إطارا في الثانية).
    2. قم بتحرير مقاطع الفيديو إلى 256 "مشاهدة" فريدة من نوعها 7 ثوان. يصور كل مشهد حدثا واحدا ، مثل معانقة البشر أو ركض أو مشي غزال. قم بتعيين رقم وتسمية فريدة لكل مشهد وفقا لمحتواه (انظر أدناه).
  2. قم بتحرير المشاهد في خمسة مقاطع فيديو مجمعة أكبر مدة كل منها حوالي 6 دقائق. استخدم مقاطع فيديو مجمعة بدلا من فيلم طويل واحد لتقديم مجموعة متنوعة من المحفزات بالتسلسل.
    ملاحظة: سيكون من الصعب تحقيق تقديم مجموعة متنوعة من المحفزات إذا تم التقاط مقاطع الفيديو في "لقطة" واحدة. هذا يتوافق مع دراسات فك تشفير الرنين المغناطيسي الوظيفي على البشر20،22. بالإضافة إلى ذلك ، سمح تقديم مجموعات من المقاطع القصيرة بإنشاء مجموعة تعليق يمكن اختبار الخوارزمية المدربة عليها (انظر القسم 7 ، التحليلات أدناه) ، حيث كان من الممكن الاحتفاظ بالمقاطع الفردية بدلا من فيلم طويل واحد. تحتوي أربعة مقاطع فيديو مجمعة على 51 مشهدا فريدا ، وواحد يحتوي على 52. لم تكن هناك فواصل أو شاشات فارغة بين المشاهد.
  3. حدد المشاهد بشكل شبه عشوائي للتأكد من أن كل مقطع فيديو يحتوي على نماذج من جميع فئات الملصقات الرئيسية - والبشر والمركبات غير البشرية والتفاعلات.
    ملاحظة: أثناء عملية التجميع ، تم تقليل جميع المشاهد إلى 1920 بكسل × 1080 بكسل بمعدل 30 إطارا في الثانية لتتناسب مع دقة جهاز عرض التصوير بالرنين المغناطيسي.

3. التصميم التجريبي

  1. قم بفحص المشاركين في ماسح التصوير بالرنين المغناطيسي 3T أثناء مشاهدة مقاطع الفيديو المجمعة المعروضة على شاشة مثبتة في الجزء الخلفي من تجويف التصوير بالرنين المغناطيسي.
  2. قم بتشغيل مقاطع الفيديو بدون صوت.
  3. بالنسبة للكلاب ، حقق وضعا ثابتا للرأس من خلال التدريب المسبق لوضع رؤوسهم في مسند ذقن مصنوع خصيصا ، مصبوب في الفك السفلي من منتصف الخطم إلى خلف الفك السفلي.
    1. قم بلصق مسند الذقن على رف خشبي يمتد على الملف ولكنه يتيح مساحة كافية للأقدام الموجودة تحتها ، مما يؤدي إلى اتخاذ كل وضع "أبو الهول" (الشكل 1 ب). لم يتم استخدام أي قيود. لمزيد من المعلومات حول بروتوكول التدريب ،راجع دراسات المستيقظة 7.
  4. دع الأشخاص يشاركون في خمس جولات في كل جلسة ، كل جولة تتكون من فيديو تجميع واحد تمت مشاهدته من البداية إلى النهاية ، ويتم تقديمه بترتيب عشوائي. بالنسبة للكلاب ، خذ فترات راحة قصيرة بين كل شوط. قم بتسليم مكافآت الطعام خلال فترات الراحة هذه للكلب.
  5. دع كل موضوع يشارك في ثلاث جلسات على مدار أسبوعين. يسمح ذلك للموضوع بمشاهدة كل مقطع فيديو من مقاطع الفيديو الفريدة الخمسة ثلاث مرات ، مما ينتج عنه وقت إجمالي للتصوير بالرنين المغناطيسي الوظيفي يبلغ 90 دقيقة لكل فرد.

4. التصوير

  1. افحص المشاركين في باتباع بروتوكول يتوافق مع البروتوكول المستخدم في دراسات بالرنين المغناطيسي الوظيفي المستيقظةالسابقة 7،25.
    1. احصل على عمليات المسح الوظيفية باستخدام تسلسل تصوير مستو صدى أحادي اللقطة للحصول على أحجام من 22 شريحة متسلسلة مقاس 2.5 مم مع فجوة 20٪ (TE = 28 مللي ثانية ، TR = 1,430 مللي ثانية ، زاوية الوجه = 70 درجة ، مصفوفة 64 × 64 ، حجم فوكسيل 2.5 مم ، مجال الرؤية = 160 مم).
    2. بالنسبة للكلاب ، قم بتوجيه الشرائح ظهريا إلى الدماغ باتجاه ترميز الطور من اليمين إلى اليسار ، حيث تجلس في التصوير بالرنين المغناطيسي في وضع "أبو الهول" ، مع الرقبة بما يتماشى مع الدماغ. يتجنب ترميز الطور من اليمين إلى اليسار القطع الأثرية الملتفة من الرقبة إلى مقدمة الرأس. بالإضافة إلى ذلك ، فإن القطعة الأثرية الرئيسية للحساسية في مسح تأتي من الجيب الجبهي ، مما يؤدي إلى تشويه الفص الجبهي.
  2. بالنسبة للبشر ، احصل على شرائح محورية مع ترميز الطور في الاتجاه الأمامي الخلفي.
    1. للسماح بالمقارنة مع عمليات مسح (نفس TR / TE) ، استخدم الحصول على شرائح متعددة النطاقات (CMRR ، جامعة مينيسوتا) للبشر بعامل تسارع متعدد النطاق يبلغ 2 (GRAPPA = 2 ، TE = 28 مللي ثانية ، TR = 1،430 مللي ثانية ، زاوية الوجه = 55 درجة ، مصفوفة 88 × 88 ، فوكسل 2.5 مم ، أربع وأربعون شريحة 2.5 مم مع فجوة 20٪).
  3. بالنسبة للكلاب ، احصل أيضا على صورة هيكلية مرجحة T2 للدماغ بأكمله لكل مشارك باستخدام تسلسل صدى الدوران التوربيني مع فوكسيل متناحي 1.5 مم. بالنسبة للمشاركين من البشر ، استخدم تسلسل MPRAGE المرجح T1 مع فوكسيل متناحي 1 مم.
    ملاحظة: على مدار ثلاث جلسات، تم الحصول على ما يقرب من 000 4 مجلد وظيفي لكل مشارك.

5. تسميات التحفيز

  1. لتدريب نموذج لتصنيف المحتوى المقدم في مقاطع الفيديو ، قم بتسمية المشاهد أولا. للقيام بذلك ، قسم مشاهد 7 ثوان التي تشكل كل فيديو تجميع إلى مقاطع 1.4 ثانية. قم بتسمية المقاطع القصيرة بدلا من الإطارات الفردية حيث توجد عناصر فيديو لا يمكن التقاطها بواسطة الإطارات الثابتة ، وقد يكون بعضها بارزا بشكل خاص للكلاب ، وبالتالي ، مفيد في فك التشفير ، مثل الحركة.
    ملاحظة: تم اختيار طول مقطع يبلغ 1.4 ثانية لأن هذا كان طويلا بما يكفي لالتقاط هذه العناصر الديناميكية ويتطابق بشكل وثيق مع TR البالغ 1.43 ثانية، مما يسمح بإجراء التصنيف على أساس كل حجم على حدة.
  2. قم بتوزيع مقاطع 1.4 ثانية هذه بشكل عشوائي (ن = 1,280) على أعضاء المختبر لتسمية كل مقطع يدويا باستخدام نموذج إرسال نمط مربع اختيار مبرمج مسبقا.
    ملاحظة: تم اختيار 94 تصنيفا لتشمل أكبر عدد ممكن من الميزات الرئيسية لمقاطع الفيديو ، بما في ذلك الموضوعات (على سبيل المثال ، ، الإنسان ، القط) ، عدد الموضوعات (1 ، 2 ، 3+) ، الأشياء (على سبيل المثال ، السيارة ، الدراجة ، اللعبة) ، الإجراءات (على سبيل المثال ، الأكل ، الاستنشاق ، التحدث) ، التفاعلات (على سبيل المثال ، الإنسان والإنسان ، الإنسان -) ، والإعداد (في الداخل ، في الهواء الطلق) ، من بين أمور أخرى. أنتج هذا متجه تسمية 94 بعدا لكل مقطع (الجدول التكميلي 1).
  3. كفحص تناسق، حدد مجموعة فرعية عشوائية لإعادة التسمية بواسطة عضو مختبر ثان. هنا ، وجد أن الملصقات متسقة للغاية عبر الأفراد (>95٪). بالنسبة لتلك الملصقات التي لم تكن متسقة ، اسمح لعضوي المختبر بإعادة مشاهدة المقطع المعني والتوصل إلى توافق في الآراء حول الملصق.
  4. لكل تشغيل، استخدم ملفات السجل ذات الطابع الزمني لتحديد بداية حافز الفيديو بالنسبة إلى وحدة تخزين المسح الضوئي الأولى.
  5. لحساب التأخير بين عرض التحفيز واستجابة BOLD ، قم بلف الملصقات بوظيفة استجابة ديناميكية دموية مزدوجة جاما (HRF) واستيفاء TR للصور الوظيفية (1,430 مللي ثانية) باستخدام وظائف Python numpy.convolve () و interp ().
    ملاحظة: كانت النتيجة النهائية عبارة عن مصفوفة من التسميات المعقدة حسب العدد الإجمالي لأحجام المسح لكل مشارك (94 تسمية × 3,932 و 3,920 و 3,939 و 3,925 مجلدا ل Daisy و Bhubo و Human 1 و Human 2 ، على التوالي).
  6. قم بتجميع هذه التسميات حيثما كان ذلك ضروريا لإنشاء تسميات كبيرة لمزيد من التحليل. على سبيل المثال ، اجمع بين جميع حالات المشي (مشي ، المشي البشري ، مشي الحمار) لإنشاء تصنيف "المشي".
  7. لإزالة التكرار بشكل أكبر في مجموعة الملصقات ، احسب عامل تضخم التباين (VIF) لكل تسمية ، باستثناء التسميات الكبيرة ، والتي من الواضح أنها مرتبطة ارتباطا وثيقا.
    ملاحظة: VIF هو مقياس لتعدد الخطيات في متغيرات التنبؤ، يتم حسابه عن طريق تراجع كل متنبئ مقابل بعضه البعض. تشير الأرقام VIFs الأعلى إلى تنبؤات أكثر ارتباطا للغاية. استخدمت هذه الدراسة عتبة VIF البالغة 2 ، مما أدى إلى تقليل التسميات ال 94 إلى 52 تسمية فريدة وغير مرتبطة إلى حد كبير (الجدول التكميلي 1).

6. المعالجة المسبقة للتصوير بالرنين المغناطيسي الوظيفي

  1. تتضمن المعالجة المسبقة تصحيح الحركة والرقابة والتطبيع باستخدام مجموعة AFNI (NIH) والوظائف المرتبطة بها26،27. استخدم تصحيح حركة الجسم الصلب من مرتين وست معلمات لمحاذاة وحدات التخزين مع وحدة التخزين المستهدفة التي تمثل متوسط موضع رأس المشارك عبر عمليات التشغيل.
  2. قم بإجراء رقابة لإزالة وحدات التخزين ذات الإزاحة التي تزيد عن 1 مم بين عمليات المسح ، بالإضافة إلى تلك التي تحتوي على شدة إشارة فوكسل خارجية أكبر من 0.1٪. بالنسبة لكلا الكلبين ، تم الاحتفاظ بأكثر من 80٪ من الأحجام بعد الرقابة ، وبالنسبة للبشر ، تم الاحتفاظ بأكثر من 90٪.
  3. لتحسين نسبة الإشارة إلى الضوضاء للفوكسل الفردية ، قم بإجراء تنعيم مكاني معتدل باستخدام 3dmerge ونواة غاوسية 4 مم بنصف عرض كامل كحد أقصى.
  4. للتحكم في تأثير الميزات المرئية منخفضة المستوى ، مثل الحركة أو السرعة ، التي قد تختلف وفقا للتحفيز ، احسب التدفق البصري بين الإطارات المتتالية لمقاطع الفيديو22،28. احسب التدفق البصري باستخدام خوارزمية Farneback في OpenCV بعد تقليل أخذ العينات إلى 10 إطارات في الثانية29.
  5. لتقدير طاقة الحركة في كل إطار ، احسب مجموع مربعات التدفق البصري لكل بكسل وخذ الجذر التربيعي للنتيجة ، وحساب متوسط التدفق البصري الإقليدي بشكل فعال من إطار واحد إلى28,30 التالي. هذا يولد دورات زمنية لطاقة الحركة لكل فيديو تجميعي.
  6. أعد تشكيلها لتتناسب مع الدقة الزمنية لبيانات الرنين المغناطيسي الوظيفي ، المعقدة مع وظيفة استجابة جاما الديناميكية الدموية المزدوجة (HRF) على النحو الوارد أعلاه ومتسلسلة لتتماشى مع عرض التحفيز لكل موضوع.
  7. استخدم هذه الدورة الزمنية ، جنبا إلى جنب مع معلمات الحركة التي تم إنشاؤها من تصحيح الحركة الموصوف أعلاه ، باعتبارها الانحدار الوحيد لنموذج خطي عام (GLM) المقدر لكل فوكسل مع 3dDeconvolve ل AFNI. استخدم بقايا هذا النموذج كمدخلات لخوارزمية التعلم الآلي الموضحة أدناه.

7. التحليلات

  1. قم بفك تشفير تلك المناطق من الدماغ التي تساهم بشكل كبير في تصنيف المحفزات البصرية ، وتدريب نموذج لكل مشارك على حدة يمكن استخدامه بعد ذلك لتصنيف محتوى الفيديو بناء على بيانات دماغ المشاركين. استخدم خوارزمية التعلم الآلي Ivis ، وهي طريقة غير خطية تعتمد على الشبكات العصبية السيامية (SNNs) التي أظهرت نجاحا في البيانات البيولوجية عاليةالأبعاد 31.
    ملاحظة: تحتوي شبكات الشبكة الشبكية الإحصائية على شبكتين فرعيتين متطابقتين تستخدمان لمعرفة تشابه المدخلات في الأوضاع الخاضعة للإشراف أو غير الخاضعة للإشراف. على الرغم من أن الشبكات العصبية قد نمت شعبيتها لفك تشفير الدماغ بسبب قوتها الأكبر بشكل عام على الطرق الخطية مثل آلات ناقلات الدعم (SVMs) ، فقد استخدمنا SNN هنا بسبب قوتها في عدم التوازن الطبقي والحاجة إلى عدد أقل من الأمثلة. بالمقارنة مع آلات ناقلات الدعم (SVM) ومصنفات الغابة العشوائية (RF) المدربة على نفس البيانات ، وجدنا أن Ivis أكثر نجاحا في تصنيف بيانات الدماغ عبر مجموعات تسمية متعددة ، على النحو الذي تحدده مقاييس مختلفة ، بما في ذلك متوسط درجة F1 والدقة والاستدعاء ودقة الاختبار (انظر أدناه).
  2. لكل مشارك ، قم بتحويل بقايا الدماغ بالكامل إلى تنسيق مناسب للإدخال في شبكة Ivis العصبية. تسلسل وإخفاء الأشواط الخمسة في كل جلسة من جلساتهم الثلاث ، مع الاحتفاظ فقط بفوكسيل الدماغ.
  3. تسطيح البعد المكاني ، مما ينتج عنه مصفوفة ثنائية الأبعاد من voxels بمرور الوقت.
  4. قم بتسلسل التسميات المعقدة لمقاطع الفيديو المعروضة في كل تشغيل ، وبالتالي تتوافق مع عمليات تشغيل الرنين المغناطيسي الوظيفي.
  5. فرض رقابة على كل من بيانات الرنين المغناطيسي الوظيفي والتسميات المقابلة وفقا لوحدات التخزين التي تم وضع علامة عليها في المعالجة المسبقة.
  6. حدد التسميات المستهدفة المراد فك تشفيرها - يشار إليها فيما يلي باسم "الفئات" - واحتفظ فقط بوحدات التخزين التي تحتوي على هذه الفئات. من أجل البساطة ، تعامل مع الفصول على أنها حصرية بشكل متبادل ولا تتضمن مجلدات تنتمي إلى فئات متعددة لفك التشفير ، مع ترك النماذج الخالصة فقط.
  7. قسم البيانات إلى مجموعات تدريب واختبار. استخدم تقسيما من خمسة أضعاف ، وحدد بشكل عشوائي 20٪ من المشاهد لتكون بمثابة مجموعة اختبار.
    ملاحظة: هذا يعني أنه إذا تم تحديد مشهد معين لمجموعة الاختبار ، إخراج جميع المقاطع ووحدات التخزين الوظيفية التي تم الحصول عليها أثناء هذا المشهد من مجموعة التدريب. لو تم تنفيذ الانقسام بشكل مستقل عن المشهد ، لكانت مجلدات من نفس المشهد قد ظهرت في كل من مجموعة التدريب ومجموعة الاختبار ، وكان على المصنف فقط مطابقتها مع هذا المشهد المعين ليكون ناجحا في تصنيفها. ومع ذلك ، لتصنيف المجلدات المحجوزة بشكل صحيح من المشاهد الجديدة ، كان على المصنف مطابقتها مع فئة أكثر عمومية ومستقلة عن المشهد. كان هذا اختبارا أكثر قوة لقابلية تعميم نجاح المصنف مقارنة بالاحتفاظ بالمقاطع الفردية.
  8. قم بموازنة مجموعة التدريب عن طريق تقليل عدد المجلدات في كل فصل لمطابقة أصغر فصل باستخدام حزمة scikit-learn غير متوازنة.
  9. لكل مشارك ، قم بتدريب خوارزمية Ivis واختبارها على 100 تكرار ، في كل مرة باستخدام تقسيم فريد من نوعه (معلمات Ivis: k = 5 ، النموذج = "maaten" ، n_epochs_without_progress = 30 ، supervision_weight = 1). تم اختيار قيم المعلمات هذه إلى حد كبير على أساس حجم مجموعة البيانات وتعقيدها على النحو الموصى به من قبل مؤلفي الخوارزمية في وثائقها32. خضع "عدد العصور دون تقدم" و "وزن الإشراف" (0 لغير الخاضعين للإشراف ، 1 للإشراف) لضبط معلمات إضافية لتحسين النموذج.
  10. لتقليل عدد الميزات المستخدمة لتدريب المصنف من الدماغ بأكمله إلى الفوكسل الأكثر إفادة فقط ، استخدم مصنف الغابة العشوائية (RFC) باستخدام scikit-learn لترتيب كل فوكسل وفقا لأهمية ميزته.
    ملاحظة: على الرغم من أن RFC لم يعمل فوق الصدفة في حد ذاته ، إلا أنه خدم الغرض المفيد المتمثل في فحص voxels غير الإعلامية ، والتي كانت ستساهم فقط في الضوضاء في خوارزمية Ivis. هذا مشابه لاستخدام اختبارات F لتحديد الميزة قبل المرور إلى المصنف33. تم استخدام أعلى 5٪ فقط من voxels من مجموعة التدريب في التدريب والاختبار. تم اختيار العدد المفضل من voxels على أنه 5٪ كعتبة محافظة في محاولة لتقليل عدد voxels غير الإعلامية قبل تدريب الشبكة العصبية. كما تم الحصول على نتائج متشابهة نوعيا لكل من البشر عند استخدام نسبة أكبر من الفوكسل. على الرغم من أن أدمغة الإنسان أكبر من أدمغة ، إلا أن النماذج البشرية كانت ناجحة أيضا عندما تم تدريبها على عدد مطلق من voxels يساوي تلك المدرجة في نماذج ، أصغر بكثير من 5٪ من voxels (~ 250 voxels ؛ جميع درجات LRAP المتوسطة >99 بالمائة). من أجل الاتساق ، نقدم النتائج باستخدام أعلى 5٪ من voxels لكلا النوعين.
  11. قم بتطبيع متوسط 5٪ من الفوكسل الأكثر إفادة عبر جميع الجولات ال 100 ، وقم بالتحويل إلى المساحة الهيكلية لكل مشارك ثم إلى تجميع مساحة الأطلس (الأطالس: البشر3435) ، وقم بتلجميعها عبر المشاركين لكل نوع. تراكب أهمية الميزة على الأطالس وتلوينها وفقا لدرجة الأهمية باستخدام ITK-SNAP36.

النتائج

تشمل المقاييس الأكثر شيوعا لتقييم أداء النموذج في تحليلات التعلم الآلي الدقة والدقة والاستدعاء ودرجة F1. الدقة هي النسبة المئوية الإجمالية لتنبؤات النموذج الصحيحة ، بالنظر إلى البيانات الحقيقية. الدقة هي النسبة المئوية للتنبؤات الإيجابية للنموذج الإيجابية بالفعل (أي المعدل الإيجابي الحقيقي) ، بينما الاستدعاء هو النسبة المئوية للإيجابيات الحقيقية في البيانات الأصلية التي يستطيع النموذج التنبؤ بها بنجاح. درجة F1 هي المتوسط المرجح للدقة والاستدعاء وتعمل كمقياس بديل للدقة يكون أكثر قوة لعدم التوازن في الطبقة. ومع ذلك ، يختلف Ivis عن خوارزميات التعلم الآلي الأخرى شائعة الاستخدام في أن مخرجاته ليست ثنائية. بالنظر إلى مدخلات معينة من voxels الدماغ ، يمثل كل عنصر إخراج الاحتمالات المقابلة لكل فئة من الفئات. تتطلب دقة الحوسبة والدقة والاستدعاء و F1 لهذه المخرجات تزويدها بطريقة "الفائز يأخذ كل شيء" ، حيث تم اعتبار الفئة ذات الاحتمال الأعلى هي الفئة المتوقعة لهذا الحجم. ألغى هذا النهج معلومات مهمة حول ترتيب هذه الاحتمالات التي كانت ذات صلة بتقييم جودة النموذج. وبالتالي ، بينما ما زلنا نحسب هذه المقاييس التقليدية ، استخدمنا درجة متوسط دقة تصنيف التسمية (LRAP) كمقياس أساسي لحساب دقة النموذج في مجموعة الاختبار. يقيس هذا المقياس بشكل أساسي إلى أي مدى قام المصنف بتعيين احتمالات أعلى للتسميات الحقيقية37.

بدرجات متفاوتة ، كان مصنف الشبكة العصبية ناجحا لكل من البشر. بالنسبة للبشر ، تمكنت الخوارزمية من تصنيف كل من الأشياء والإجراءات ، مع نماذج من ثلاث فئات لكليهما تحقق متوسط دقة 70٪. تم استخدام درجة LRAP كمقياس أساسي لحساب دقة النموذج في مجموعة الاختبار. يقيس هذا المقياس مدى تعيين المصنف لاحتمالات أعلى للتسميات الحقيقية37. بالنسبة لكلا الشخصين ، كان متوسط درجات LRAP أكبر من النسبة المئوية 99 لمجموعة من التسميات التي تم تغييرها عشوائيا لجميع النماذج التي تم اختبارها (الجدول 1 ؛ الشكل 2). بالنسبة للكلاب ، كان لنموذج العمل فقط رتبة مئوية متوسطة LRAP أكبر بكثير من الفرصة في كلا المشاركين (الجدول 1 ؛ ص = 0.13 للكائنات و p < 0.001 للإجراءات ؛ يعني درجة LRAP لنموذج العمل المكون من ثلاث فئات للكلاب = 78 بالمائة). كانت هذه النتائج صحيحة لجميع الموضوعات بشكل فردي ، وكذلك عند تجميعها حسب الأنواع.

نظرا لنجاح المصنف ، قمنا بالتدريب واختباره باستخدام فئات إضافية لتحديد حدود النموذج. وشمل ذلك حساب مصفوفات الاختلاف لكامل 52 فئة محتملة ذات أهمية باستخدام خوارزمية التجميع الهرمي لحزمة Python scipy ، والتي تجمعت الفئات بناء على تشابه استجابة دماغ الفرد لكل منها ، كما هو محدد من خلال الارتباط الزوجي. من بين النماذج الإضافية التي تم اختبارها ، كان النموذج الذي حصل على أعلى تصنيف متوسط للنسبة المئوية ل LRAP في كلا الكلبين يحتوي على خمس فئات: "التحدث" الأصلي ، و "الأكل" ، و "الاستنشاق" ، بالإضافة إلى فئتين جديدتين ، "الملاعبة" و "اللعب" (الشكل 2). كان لهذا النموذج متوسط رتبة LRAP المئوية أكبر بكثير من تلك التي تنبأت بها الصدفة لجميع المشاركين (الجدول 1 ؛ ص < 0.001 لكل من والبشر. متوسط درجة LRAP لنموذج العمل المكون من خمس فئات للكلاب = 81 بالمائة).

عند تعيينها مرة أخرى إلى أطالس الدماغ الخاصة بهم ، كشفت درجات أهمية الميزة للفوكسل عن عدد من مجموعات الفوكسل الإعلامية في القشرة القذالية والجدارية والزمنية لكل من والبشر (الشكل 3). في البشر ، كشفت النماذج القائمة على الكائنات والقائمة على العمل عن نمط أكثر تركيزا من وفي المناطق المرتبطة عادة بالتعرف على الأشياء ، على الرغم من وجود اختلافات طفيفة في الموقع المكاني للفوكسل المستندة إلى الكائنات والفوكسل القائم على العمل.

لقد تحققنا من أن هذه الاختلافات في الأنواع لم تكن نتيجة لحركة المرتبطة بالمهام التي تتحرك إلى بعض أنواع مقاطع الفيديو أكثر من غيرها (على سبيل المثال ، مقاطع فيديو أخرى غير ، على سبيل المثال ، السيارات). قمنا بحساب المعيار الإقليدي لمعلمات الحركة الست وقمنا بتركيب نموذج خطي مختلط التأثيرات باستخدام حزمة R lme4 ، مع فئة كتأثير ثابت ورقم تشغيل كتأثير عشوائي لكل. لكل نموذج من النماذج النهائية ، لم نجد أي تأثير كبير لنوع الفئة على الحركة إما لديزي (F (2 ، 2252) = 0.83 ، ص = 0.44 للكائن و F (4 ، 1235) = 1.87 ، ص = 0.11 للقائم على العمل) أو بوبو (F (2 ، 2231) = 1.71 ، ص = 0.18 للكائنات و F (4 ، 1221) = 0.94 ، ص = 0.45 للقائم على العمل).

figure-results-1
الشكل 1: مقاطع فيديو طبيعية وعرض تقديمي في تجويف التصوير بالرنين المغناطيسي. (أ) أمثلة على إطارات من مقاطع الفيديو المعروضة للمشاركين. (ب) بوبو ، بوكسر ميكس يبلغ من العمر 4 سنوات ، يشاهد مقاطع الفيديو أثناء خضوعه للرنين المغناطيسي الوظيفي المستيقظ. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-2
الشكل 2: أداء النموذج في والبشر. توزيع درجات LRAP ، المقدمة كتصنيفات مئوية لتوزيعاتها الفارغة ، أكثر من 100 تكرار للتدريب واختبار خوارزمية التعلم الآلي Ivis لنموذج قائم على كائنات من ثلاث فئات ، ونموذج قائم على عمل من ثلاث فئات ، ونموذج قائم على العمل من خمس فئات ، حيث حاولت النماذج تصنيف استجابات BOLD لمحفزات الفيديو الطبيعية التي تم الحصول عليها عبر استيقظ الرنين المغناطيسي الوظيفي في والبشر. يتم تجميع الدرجات حسب الأنواع. تشير درجة LRAP ذات الترتيب المئوي المرتفع جدا إلى أنه من غير المرجح أن يحقق النموذج درجة LRAP عن طريق الصدفة. النموذج الذي لا يؤدي أفضل من الصدفة سيكون له متوسط تصنيف النسبة المئوية لدرجة LRAP ~ 50. تمثل الخطوط المتقطعة متوسط الترتيب المئوي لدرجة LRAP لكل نوع عبر جميع عمليات التشغيل ال 100. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

figure-results-3
الشكل 3: المناطق المهمة للتمييز بين نماذج العمل المكونة من ثلاث فئات وخمس فئات. (أ) المشاركون البشريون و (ب). تم تصنيف Voxels وفقا لأهمية ميزتها باستخدام مصنف غابات عشوائي ، تم حسابه في جميع تكرارات النماذج. يتم تقديم أعلى 5٪ من voxels (أي تلك المستخدمة لتدريب النماذج) هنا ، ويتم تجميعها حسب الأنواع وتحويلها إلى مساحة جماعية لأغراض التصور (الأطالس: البشر3435). تظهر الملصقات مناطق دماغ ذات درجات أهمية عالية للميزات ، بناء على تلك التي حددها جونسون وآخرون 35. الاختصار: SSM = التلفيف فوق البراسيلفي. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

نوع النموذجدقة التدريبدقة الاختبارنتيجة F1دقةاستذكرمتوسط النسبة المئوية لدرجة LRAP
الإنسان 1كائن (3 فئات)0.980.690.480.520.49>99
أكشن (3 فئات)0.980.720.510.540.54>99
أكشن (5 فئات)0.970.510.280.370.27>99
الإنسان 2كائن (3 فئات)0.980.680.450.50.47>99
أكشن (3 فئات)0.980.690.460.50.48>99
أكشن (5 فئات)0.970.530.30.40.27>99
بوبوكائن (3 فئات)0.990.610.380.410.3957
أكشن (3 فئات)0.980.630.380.40.487
أكشن (5 فئات)0.990.450.160.290.1388
زهر اللؤلؤكائن (3 فئات)10.610.380.430.3943
أكشن (3 فئات)0.970.620.350.380.3560
أكشن (5 فئات)0.990.440.160.270.1376

الجدول 1: المقاييس المجمعة لخوارزمية التعلم الآلي Ivis أكثر من 100 تكرار للتدريب والاختبار على استجابات BOLD لمحفزات الفيديو الطبيعية التي تم الحصول عليها عبر الرنين المغناطيسي الوظيفي المستيقظ في والبشر. كانت نماذج الكائنات تحتوي على ثلاث فئات مستهدفة ("" ، "إنسان" ، "سيارة") ، وكانت نماذج الحركة إما ثلاث أو خمس فئات (ثلاث فئات: "التحدث" ، "الأكل" ، "الاستنشاق" ؛ خمس فئات: "التحدث" ، "الأكل" ، "الاستنشاق" ، "الملاعبة" ، "اللعب"). تظهر القيم الأكبر بكثير من الصدفة بالخط العريض.

الجدول التكميلي 1: تسميات الفئة. الرجاء النقر هنا لتنزيل هذا الملف.

الفيلم التكميلي 1: عينة من مقطع الفيديو. الرجاء النقر هنا لتنزيل هذا الملف.

المناقشة

توضح نتائج هذه الدراسة أن مقاطع الفيديو الطبيعية تحفز تمثيلات في أدمغة مستقرة بدرجة كافية خلال جلسات تصوير متعددة بحيث يمكن فك تشفيرها باستخدام التصوير بالرنين المغناطيسي الوظيفي - على غرار النتائج التي تم الحصول عليها في كل من البشر20،23. في حين أن دراسات التصوير بالرنين المغناطيسي الوظيفي السابقة للنظام البصري للكلاب قد قدمت محفزات مجردة ، مثل الوجه أو الكائن على خلفية محايدة ، فإن النتائج هنا توضح أن مقاطع الفيديو الطبيعية ، مع تفاعل العديد من الأشخاص والأشياء مع بعضهم البعض ، تحفز أنماط التنشيط في قشرة التي يمكن فك تشفيرها بموثوقية تقترب من تلك التي تظهر في القشرة البشرية. يفتح هذا النهج طرقا جديدة للتحقيق في كيفية تنظيم النظام البصري للكلب.

على الرغم من أن مجال التصوير بالرنين المغناطيسي الوظيفي للكلاب قد نما بسرعة ، إلا أن هذه التجارب اعتمدت حتى الآن على محفزات فقيرة نسبيا ، مثل صور الأشخاص أو الأشياء على خلفيات محايدة10،12،13. بالإضافة إلى ذلك ، في حين أن هذه التجارب بدأت في تحديد مناطق الدماغ المماثلة لمنطقة الوجه المغزلي للرئيسيات (FFA) ، التي تشارك في معالجة الوجه ، والقشرة القذالية الجانبية (LOC) ، لمعالجة الأشياء ، لا يزال هناك خلاف حول طبيعة هذه التمثيلات ، مثل ما إذا كانت لديها مناطق وجه في حد ذاتها تستجيب لسمات بارزة مماثلة للرئيسيات أو ما إذا كان لديهم تمثيلات منفصلة للكلاب والبشر أو الوجوه والرؤوس ، على سبيل المثال9،13. ، بالطبع ، ليست رئيسيات ، ولا نعرف كيف تفسر هذه المحفزات الاصطناعية المنفصلة عن سياقاتها متعددة الحواس المعتادة مع الأصوات والروائح. تشير بعض الأدلة إلى أن لا تتعامل مع صور الأشياء على أنها تمثيلات لأشياء حقيقية12. على الرغم من أنه من غير الممكن إنشاء تجربة حقيقية متعددة الحواس في الماسح الضوئي ، إلا أن استخدام مقاطع الفيديو الطبيعية قد يخفف من بعض المصطنعة من خلال توفير محفزات ديناميكية تتطابق بشكل وثيق مع العالم الحقيقي ، على الأقل مع. للأسباب نفسها ، اكتسب استخدام المحفزات الطبيعية في أبحاث الرنين المغناطيسي الوظيفي البشري شعبية ، مما يدل ، على سبيل المثال ، على أن تسلسل الأحداث في الفيلم يتم تمثيله في القشرة عبر نطاقات زمنية متعددة وأن الأفلام فعالة في تحفيز تنشيط المشاعر الموثوقبه 38. على هذا النحو ، في حين أن مقاطع الفيديو الطبيعية لا تزال محفزات فقيرة نسبيا ، فإن نجاحها في علم الأعصاب البشري يطرح السؤال عما إذا كان يمكن الحصول على نتائج مماثلة في.

تظهر نتائجنا أن مصنف الشبكة العصبية كان ناجحا في فك تشفير بعض أنواع المحتوى الطبيعي من أدمغة. هذا النجاح هو إنجاز مثير للإعجاب نظرا لتعقيد المحفزات. الأهم من ذلك ، نظرا لأنه تم اختبار المصنف على مقاطع فيديو غير مرئية ، فقد التقط نموذج فك التشفير فئات واسعة يمكن التعرف عليها عبر المقاطع بدلا من الخصائص الخاصة بالمشاهد الفردية. يجب أن نلاحظ أن هناك مقاييس متعددة لقياس أداء مصنف التعلم الآلي (الجدول 1). نظرا لأن مقاطع الفيديو الطبيعية ، بطبيعتها ، لن يكون لها تكرارات متساوية لجميع الفئات ، فقد اتخذنا نهجا حكيما من خلال إنشاء توزيع فارغ من التقليب العشوائي للتسميات وتقييم الأهمية المشار إليها في ذلك. بعد ذلك ، وجدنا أن نجاح نماذج كان ذا دلالة إحصائية ، حيث حقق درجات 75-90 بالمائة ، ولكن فقط عندما تم ترميز مقاطع الفيديو بناء على الإجراءات الموجودة ، مثل اللعب أو التحدث.

لم تكن مجموعات الاختبار ، على عكس مجموعات التدريب ، متوازنة عبر الفصول الدراسية. يتألف من 20٪ فقط من البيانات ، وكان التقليل من أخذ العينات إلى أصغر حجم فئة سيؤدي إلى أحجام عينات صغيرة جدا لكل فئة ، بحيث تكون أي إحصائيات محسوبة غير موثوقة. لتجنب إمكانية تضخيم الدقة من هذا الخلل ، تم حساب التوزيع الفارغ ل LRAP عن طريق تبديل ترتيب الفئات بشكل عشوائي 1,000 مرة لكل تكرار نموذجي. كان هذا التوزيع الفارغ بمثابة مرجع لمدى احتمال أداء النموذج عن طريق الصدفة. بعد ذلك ، تم تحويل LRAP الحقيقي بعد ذلك إلى ترتيب مئوي في هذا التوزيع الفارغ. يشير الترتيب المئوي المرتفع جدا ، على سبيل المثال ، 95٪ ، إلى أن الدرجة العالية نشأت بنسبة 5٪ فقط من الوقت في 1000 تبديل عشوائي. وبالتالي ، يمكن اعتبار مثل هذا النموذج يعمل فوق الفرصة. لتحديد ما إذا كانت هذه التصنيفات المئوية أكبر بكثير من تلك المتوقعة بالصدفة - أي النسبة المئوية 50 إحصائيا ، تم حساب متوسط الترتيب المئوي ل LRAP عبر جميع التكرارات ال 100 لكل نموذج وتم إجراء اختبار رتبة موقع من عينة واحدة من Wilcoxon.

على الرغم من أن الهدف الأساسي كان تطوير وحدة فك تشفير المحفزات البصرية الطبيعية للكلاب ، إلا أن المقارنات بالبشر لا مفر منها. هنا ، نلاحظ اختلافين رئيسيين: لكل نوع من أنواع المصنف ، كان أداء النماذج البشرية أفضل من نماذج. وكان أداء النماذج البشرية جيدا لكل من النماذج القائمة على الكائنات والحركة ، بينما كانت نماذج تعمل على أساس العمل فقط. يمكن أن يكون الأداء المتفوق للنماذج البشرية ناتجا عن عدة عوامل. أدمغة الإنسان أكبر بحوالي 10 مرات من أدمغة ، لذلك هناك المزيد من الفوكسل التي يمكن من خلالها اختيار بناء مصنف. لوضع النماذج على قدم المساواة ، يجب على المرء استخدام نفس عدد الفوكسل ، ولكن هذا يمكن أن يكون إما بالمعنى المطلق أو النسبي. على الرغم من أن النموذج النهائي كان يعتمد على أعلى 5٪ من voxels الإعلامية في كل دماغ (مقياس نسبي) ، فقد تم الحصول على نتائج مماثلة باستخدام عدد ثابت من voxels. وبالتالي ، يبدو من المرجح أن ترتبط الاختلافات في الأداء بكيفية إدراك البشر لمحفزات الفيديو. كما هو مذكور أعلاه ، في حين أن والبشر كلاهما متعدد الحواس في إدراكهم ، فقد تكون المحفزات أكثر فقرا للكلب من الإنسان. قد تضيع إشارات الحجم ، على سبيل المثال ، حيث يبدو كل شيء وكأنه نسخة لعبة من العالم الحقيقي. هناك بعض الأدلة على أن تصنف الأشياء بناء على الحجم والملمس قبل الشكل ، وهو ما يكاد يكون معاكسا للبشر39. بالإضافة إلى ذلك ، من المحتمل أن تكون الرائحة ، التي لم يتم أخذها في الاعتبار هنا ، مصدرا مهما للمعلومات عن التمييز في الأشياء في ، لا سيما في تحديد الأنواع أو البشر40،41،42. ومع ذلك ، حتى في حالة عدم وجود إشارات الحجم أو الرائحة ، في البيئة غير العادية لماسح التصوير بالرنين المغناطيسي ، فإن حقيقة أن المصنف يعمل على الإطلاق تقول أنه لا تزال هناك معلومات ذات صلة بالكلاب يمكن استردادها من أدمغتها. مع وجود كلبين فقط وشخصين ، يمكن أن تكون الاختلافات بين الأنواع أيضا بسبب الاختلافات الفردية. ومع ذلك ، كان الكلبان يمثلان أفضل المدربة بالرنين المغناطيسي وبرعوا في البقاء ثابتا أثناء مشاهدة مقاطع الفيديو. في حين أن حجم العينة الأكبر سيسمح بالتأكيد برسم فروق أكثر موثوقية بين الأنواع ، فإن العدد الصغير من القادرة على إجراء التصوير بالرنين المغناطيسي الوظيفي المستيقظ والتي ستشاهد مقاطع الفيديو لفترات طويلة بما فيه الكفاية ستحد دائما من قابلية التعميم على جميع. في حين أنه من الممكن أن يكون للسلالات المتخصصة ، مثل الصيد ، استجابات دماغية بصرية أكثر دقة ، فإننا نعتقد أن المزاج الفردي والتدريب من المرجح أن يكونا المحددين الرئيسيين لما يمكن استرداده من دماغ.

تثير هذه الاختلافات في الأنواع التساؤل عن جانب مقاطع الفيديو التي كانت تهتم بها. تعتمد إحدى طرق الإجابة على هذا السؤال على محفزات فيديو أبسط. بعد ذلك ، باستخدام صور معزولة ، على سبيل المثال ، للبشر والسيارات ، بشكل فردي ومعا على خلفيات محايدة ، قد نتمكن من عكس هندسة الأبعاد البارزة للكلب. ومع ذلك ، فإن هذا غير فعال من الناحية المنهجية ويزيد من إفقار المحفزات من العالم الحقيقي. يمكن حل مسألة الانتباه من خلال نهج فك التشفير وحده ، في الواقع ، باستخدام أداء النموذج لتحديد ما يتم الاهتمام به43. على هذا المنوال ، تشير النتائج هنا إلى أنه بينما حضر البشر كل من الممثلين والأفعال ، كانت أكثر تركيزا على الأفعال نفسها. قد يكون هذا بسبب الاختلافات في ميزات الحركة منخفضة المستوى ، مثل تردد الحركة عندما يلعب الأفراد مقابل الأكل ، أو قد يكون بسبب تمثيل قاطع لهذه الأنشطة على مستوى أعلى. يشير توزيع voxels الإعلامية في جميع أنحاء قشرة إلى أن هذه التمثيلات ليست مجرد ميزات منخفضة المستوى يمكن أن تقتصر على المناطق المرئية. قد تسلط الدراسة الإضافية باستخدام مجموعة متنوعة من محفزات الفيديو الضوء على دور الحركة في التمييز الفئاتي من قبل.

باختصار ، أثبتت هذه الدراسة جدوى استعادة المعلومات المرئية الطبيعية من قشرة باستخدام التصوير بالرنين المغناطيسي الوظيفي بنفس الطريقة التي يتم بها القشرة البشرية. يظهر هذا العرض أنه حتى بدون صوت أو روائح ، يتم ترميز الأبعاد البارزة للمشاهد المعقدة بواسطة التي تشاهد مقاطع الفيديو وأنه يمكن استعادة هذه الأبعاد من أدمغتهم. ثانيا ، بناء على العدد القليل من التي يمكنها القيام بهذا النوع من المهام ، قد يتم توزيع المعلومات على نطاق واسع في القشرة أكثر مما يراها عادة في البشر ، ويبدو أن أنواع الإجراءات يمكن استردادها بسهولة أكبر من هوية الجهات الفاعلة أو الأشياء. تفتح هذه النتائج طريقة جديدة لفحص كيفية إدراك للبيئات التي تشاركها مع البشر ، بما في ذلك شاشات الفيديو ، وتقترح طرقا غنية للاستكشاف المستقبلي لكيفية "رؤيتها" للعالم هي الأخرى غير الرئيسية.

شكر وتقدير

نشكر كيت ريفيل ورافينا شيبر وجون كينج على رؤيتهم المفيدة في تطوير هذا التحليل ، ومارك سبيفاك لمساعدته في تجنيد وتدريبها للتصوير بالرنين المغناطيسي ، وفيليس غو لمساعدتها في إنشاء الفيديو ووضع العلامات عليه. نشكر أيضا أصحاب المتفانين لدينا ، ريبيكا بيسلي (ديزي) وأشوين ساكارداندي (بوبو). تم دعم الدراسات البشرية بمنحة من المعهد الوطني للعيون (منحة R01 EY029724 إلى D.D.D.).

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
ماسح التصوير بالرنين المغناطيسي 3 TSiemensTrio
تسجيلات صوتية لضوضاء الماسحالضوئي محلية الصنعلا شيء
Camera gimbalHohemiSteady PRO 3
مقاطع فيديو مناسبة للكلابمحلية الصنعلا شيء
برنامج معالجة fMRIAFNI20.3.01
مكونات الماسح الضوئي وهميةمحلية الصنعلا شيءلفائف رأس وهمية وأنبوب ماسح
ضوئي برنامج الشبكة العصبيةIvis1.7.1
برنامج التدفق البصريOpenCV4.2.0.34
نظام الإسقاط للماسحالضوئي محليالصنع لا
Trophy Cam HDBushnell119874
كاميرا فيديوGoProHERO7
برنامج التصورITK-SNAP3.6.0
محرر فيديو WindowsMicrosoftWindows 11
شيء إصدار

المراجع

  1. Mishkin, M., Ungerleider, L. G., Macko, K. A. Object vision and spatial vision: Two cortical pathways. Trends in Neurosciences. 6, 414-417 (1983).
  2. de Haan, E. H. F., Cowey, A. On the usefulness of 'what' and 'where' pathways in vision. Trends in Cognitive Sciences. 15 (10), 460-466 (2011).
  3. Freud, E., Plaut, D. C., Behrmann, M. What' is happening in the dorsal visual pathway. Trends in Cognitive Sciences. 20 (10), 773-784 (2016).
  4. Goodale, M. A., Milner, A. D. Separate visual pathways for perception and action. Trends in Neurosciences. 15 (1), 20-25 (1992).
  5. Schenk, T., McIntosh, R. D. Do we have independent visual streams for perception and action? Do we have independent visual streams for perception and action. Cognitive Neuroscience. 1 (1), 52-78 (2010).
  6. Andics, A., Gácsi, M., Faragó, T., Kis, A., Miklós, Á Report voice-sensitive regions in the dog and human brain are revealed by comparative fMRI. Current Biology. 24 (5), 574-578 (2014).
  7. Berns, G. S., Brooks, A. M., Spivak, M. Functional MRI in awake unrestrained dogs. PLoS One. 7 (5), 38027(2012).
  8. Karl, S., et al. Training pet dogs for eye-tracking and awake fMRI. Behaviour Research Methods. 52, 838-856 (2019).
  9. Bunford, N., et al. Comparative brain imaging reveals analogous and divergent patterns of species and face sensitivity in humans and dogs. Journal of Neuroscience. 40 (43), 8396-8408 (2020).
  10. Cuaya, L. V., Hernández-Pérez, R., Concha, L. Our faces in the dog's brain: Functional imaging reveals temporal cortex activation during perception of human faces. PLoS One. 11 (3), 0149431(2016).
  11. Dilks, D. D., et al. Awake fMRI reveals a specialized region in dog temporal cortex for face processing. PeerJ. 2015 (8), 1115(2015).
  12. Prichard, A., et al. 2D or not 2D? An fMRI study of how dogs visually process objects. Animal Cognition. 24 (5), 1143-1151 (2021).
  13. Thompkins, A. M., et al. Separate brain areas for processing human and dog faces as revealed by awake fMRI in dogs (Canis familiaris). Learning & Behavior. 46 (4), 561-573 (2018).
  14. Zhang, K., Sejnowski, T. J. A universal scaling law between gray matter and white matter of cerebral cortex. Proceedings of the National Academy of Sciences of the United States of America. 97 (10), 5621-5626 (2000).
  15. Bradshaw, J., Rooney, N. Dog Social Behavior and Communication. The Domestic Dog: Its Evolution, Behavior and Interactions with People. Serpell, J. , Cambridge University Press. Cambridge, UK. 133-160 (2017).
  16. Prichard, A., et al. The mouth matters most: A functional magnetic resonance imaging study of how dogs perceive inanimate objects. The Journal of Comparative Neurology. 529 (11), 2987-2994 (2021).
  17. Haxby, J. V., Connolly, A. C., Guntupalli, J. S. Decoding neural representational spaces using multivariate pattern analysis. Annual Review of Neuroscience. 37, 435-456 (2014).
  18. Kamitani, Y., Tong, F. Decoding the visual and subjective contents of the human brain. Nature Neuroscience. 8 (5), 679-685 (2005).
  19. Kay, K. N., Naselaris, T., Prenger, R. J., Gallant, J. L. Identifying natural images from human brain activity. Nature. 452 (7185), 352-355 (2008).
  20. Nishimoto, S., et al. Reconstructing visual experiences from brain activity evoked by natural movies. Current Biology. 21 (19), 1641-1646 (2011).
  21. vander Meer, J. N., Breakspear, M., Chang, L. J., Sonkusare, S., Cocchi, L. Movie viewing elicits rich and reliable brain state dynamics. Nature Communications. 11 (1), 5004(2020).
  22. Huth, A. G., De Heer, W. A., Griffiths, T. L., Theunissen, F. E., Gallant, J. L. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature. 532 (7600), 453-458 (2016).
  23. Kriegeskorte, N., et al. Matching categorical object representations in inferior temporal cortex of man and monkey. Neuron. 60 (6), 1126-1141 (2008).
  24. Ehsani, K., Bagherinezhad, H., Redmon, J., Mottaghi, R., Farhadi, A. Who let the dogs out? Modeling dog behavior from visual data. Proceedings of the IEEE Conference on Computer Vision and Pattern. 2018, 4051-4060 (2018).
  25. Berns, G. S., Brooks, A., Spivak, M. Replicability and heterogeneity of awake unrestrained canine fMRI responses. PLoS One. 9 (5), 98421(2013).
  26. Cox, R. W. AFNI: Software for analysis and visualization of functional magnetic resonance neuroimages. Computers and Biomedical Research. 29 (3), 162-173 (1996).
  27. Prichard, A., Chhibber, R., Athanassiades, K., Spivak, M., Berns, G. S. Fast neural learning in dogs: A multimodal sensory fMRI study. Scientific Reports. 8, 14614(2018).
  28. Russ, B. E., Kaneko, T., Saleem, K. S., Berman, R. A., Leopold, D. A. Distinct fMRI responses to self-induced versus stimulus motion during free viewing in the macaque. The Journal of Neuroscience. 36 (37), 9580-9589 (2016).
  29. Farnebäck, G. Two-Frame Motion Estimation Based on Polynomial Expansion. In Image Analysis. Scandinavian Conference on Image Analysis. Lecture Notes in Computer Science. Bigun, J., Gustavsson, T. 2749, Springer. Berlin, Heidelberg. 363-370 (2003).
  30. Elias, D. O., Land, B. R., Mason, A. C., Hoy, R. R. Measuring and quantifying dynamic visual signals in jumping spiders). Journal of Comparative Physiology A. 192, 799-800 (2006).
  31. Szubert, B., Cole, J. E., Monaco, C., Drozdov, I. Structure-preserving visualisation of high dimensional single-cell datasets. Scientific Reports. 9, 8914(2019).
  32. Tian, H., Tao, P. IVIS dimensionality reduction framework for biomacromolecular simulations. Journal of Chemical Information and Modeling. 60 (10), 4569-4581 (2020).
  33. Hebart, M. N., Gorgen, K., Haynes, J. The decoding toolbox (TDT): A versatile software package for multivariate analyses of functional imaging data. Frontiers in Neuroinformatics. 8, 88(2015).
  34. Mazziotta, J., et al. A probabilistic atlas and reference system for the human brain: International Consortium for Brain Mapping (ICBM). Philosophical Transactions of the Royal Society B: Biological Sciences. 356 (1412), 1293-1322 (2001).
  35. Johnson, P. J., et al. Stereotactic cortical atlas of the domestic canine brain. Scientific Reports. 10, 4781(2020).
  36. Yushkevich, P. A., et al. User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. NeuroImage. 31 (3), 1116-1128 (2006).
  37. Fürnkranz, J., Hüllermeier, E., Loza Mencía, E., Brinker, K. Multilabel classification via calibrated label ranking. Machine Learning. 73 (2), 133-153 (2008).
  38. Sonkusare, S., Breakspear, M., Guo, C. Naturalistic stimuli in neuroscience: Critically acclaimed. Trends in Cognitive Sciences. 23 (8), 699-714 (2019).
  39. vander Zee, E., Zulch, H., Mills, D. Word generalization by a dog (Canis familiaris): Is shape important. PLoS One. 7 (11), 49382(2012).
  40. Bekoff, M. Observations of scent-marking and discriminating self from others by a domestic dog (Canis familiaris): Tales of displaced yellow snow. Behavioural Processes. 55 (2), 75-79 (2001).
  41. Berns, G. S., Brooks, A. M., Spivak, M. Scent of the familiar: An fMRI study of canine brain responses to familiar and unfamiliar human and dog odors. Behavioural Processes. 110, 37-46 (2015).
  42. Schoon, G. A. A., de Bruin, J. C. The ability of dogs to recognize and cross-match human odours. Forensic Science International. 69 (2), 111-118 (1994).
  43. Kamitani, Y., Tong, F. Decoding seen and attended motion directions from activity in the human visual cortex. Current Biology. 16 (11), 1096-1102 (2006).

إعادة الطباعة والأذونات

الوسوم

تم نشر هذه المقالة

الفيديو قريباً

تواصل معنا
أوصِ به للمكتبة

الخصوصية

شروط الاستخدام

السياسات

حقوق الطبع والنشر © 2026 MyJoVE Corporation. جميع الحقوق محفوظة.