Крест-Modal Многомерный анализ Pattern

Целью данного эксперимента является использование многомерного анализа образов данных функциональной МРТ для исследования мультимодальной обработки данных в мозге человека. Это достигается путем создания определенного вида сенсорных стимулов, которые представляются испытуемым через единую сенсорную модальность. Например, визуальный, но подразумевает сильные ассоциации в другой модальности.

Например, слуховая деятельность, в то время как испытуемые воспринимают такие стимулы, вызывает нейронную активность в тех частях мозга, которые относятся к модальности ассоциации. Слуховая кора головного мозга в этом примере записывается с помощью FMRI. Записанная активность анализируется с помощью многомерного анализа паттернов с целью прогнозирования того, какой из нескольких стимулов субъект воспринимает в исходной модальности.

Результаты показывают, что унимодальные стимулы, содержащие информацию, относящуюся к более чем одной модальности, могут индуцировать специфическую нейронную активность в ранних сенсорных корах модальностей, отличных от той, через которую они представлены. Метод, который мы представляем сегодня, который мы называем кроссмодальным многомерным анализом паттернов, представляет собой естественное расширение традиционного многомерного анализа паттернов с той разницей, что сенсорные ИМпST классифицируются поперек, а не внутри сенсорных модальностей. Впервые идея этого метода пришла нам в голову, когда мы пытались получить эмпирические доказательства нейроархитектурной структуры, представленной Demio более двух десятилетий назад.

В этом видео мы познакомим вас не только с техническими аспектами многомерного анализа паттернов или сокращенно MVPA, но и с этой теоретической основой. Сначала мы укажем на некоторые ключевые различия между MVPA и обычным одномерным FMRI-анализом. Подумайте о следующем.

Например, если испытуемому предъявляются два разных визуальных стимула, таких как яблоко и апельсин, то оба стимула, усредненные по ряду попыток, вызывают определенный паттерн нейронной активности. В первичной зрительной коре здесь символизируются уровни активации шести гипотетических вокселей. В традиционном FMRI-анализе существует два основных метода анализа этих закономерностей.

Первый заключается в сравнении среднего уровня активности, вызванной стимулами во всей интересующей области. Разница между средними значениями, однако, может быть несущественной. Второй метод заключается в установлении контраста вычитания для каждого воксела.

Уровень активации в состоянии яблока вычитается из уровня активации в оранжевом состоянии, и результирующая разница для каждого воксела может быть визуализирована на контрастном изображении всего мозга. Однако, опять же, эти различия могут быть незначительными и достигать требуемого статистического критерия только для нескольких вокселей. Однако, в отличие от одномерных методов анализа, MVPA способна обнаруживать закономерности в вокселах, рассматривая уровни активации всех вокселей одновременно.

В то время как лишь некоторые из различий в активации могут быть значимыми по отдельности, эти две закономерности, если рассматривать их в совокупности, действительно могут быть статистически различными. Еще одно важное различие между обычным FMRI-анализом и MVPA заключается в том, что последний метод использует то, что называется обратным выводом. В обычном анализе FMRI исследователь обычно задает вопрос типа двух разных визуальных стимулов.

Например, изображение лица и изображение дома приводят к разным уровням активности в определенной области интереса, такой как веретенообразная область лица. В отличие от этого, MVPA обычно выражается в терминах обратного вывода или декодирования и спрашивает, сможем ли мы, основываясь на паттерне нейронной активности в определенной области мозга, предсказать, какой из двух визуальных стимулов воспринимает субъект. Однако важно отметить, что со статистической точки зрения это равносильно утверждению, что два стимула приводят к различным паттернам активности в данной области мозга, и утверждению, что паттерн активности в этой области мозга позволяет предсказать индуцирующий стимул.

Другими словами, чувствительность MVPA превосходит чувствительность одномерного анализа, потому что он рассматривает несколько вокселов одновременно, а не потому, что он движется в обратном направлении. Возвращаясь к предыдущему примеру, давайте рассмотрим типичную парадигму MVPA, которая оценивает, вызывает ли видение яблока другой паттерн нейронной активности в первичной зрительной коре, чем видение апельсина. На первом этапе данные FMRI записываются, в то время как испытуемый видит большое количество стимулов, подлежащих дискриминации.

Затем полученные данные разделяются на набор обучающих данных и набор проверочных данных. Данные из обучающего набора вводятся в классификатор шаблонов, который пытается обнаружить особенности нейронных паттернов, отличающие два типа испытаний друг от друга. Затем классификатору представляются неразмеченные данные из тестового набора, и на основе обнаруженных им закономерностей в обучающем наборе данных присваивается наиболее вероятная метка для каждого из тестовых испытаний для каждого стимула.

Затем предположение классификатора сравнивается с правильной меткой стимула, и производительность классификатора рассчитывается как процент правильных догадок. Как мы видели, классификатор в примере уменьшает количество правильных меток стимулов в девяти из 12 случаев, или на 75% в качестве вероятной эффективности. При такой двусторонней дискриминации 50% Это говорит о том, что действительно существуют устойчивые различия между нейронными паттернами, индуцированными в V 1 оранжевым и яблочным стимулами.

Конечно, значимость этого результата должна быть доказана статистически. Один из важных моментов, о котором следует помнить в таком эксперименте по классификации, заключается в том, что обучающий и тестовый наборы данных должны быть полностью независимы друг от друга, потому что только в этом случае можно сделать какие-либо выводы относительно обобщаемости шаблонов, которые были изучены в ходе тренинга. По этой причине в парадигмах MVPA часто используется так называемая парадигма перекрестной проверки.

Хотя эта процедура служит для максимального увеличения числа обучающих и тестовых испытаний, которые могут быть получены из данного набора данных, она также гарантирует, что обучающий и тестовый наборы не будут перекрываться на отдельных этапах классификации. Рассмотрим следующий эксперимент MVPA с восемью функциональными прогонами. На первом этапе перекрестной проверки классификатор обучается на данных с первого по седьмой и проверяется на данных из восьмого прогона.

На втором этапе классификатор обучается на прогонах с первого по шестой, а также на восьмом прогоне, а затем проверяется на седьмом прогоне. В соответствии с этой схемой выполняется восемь этапов перекрестной проверки, каждый из которых точно служит тестовым прогоном. После получения производительности классификатора для каждого шага перекрестной проверки и усреднения этих результатов дает общую производительность.

В Интернете есть бесплатные пакеты программного обеспечения для выполнения MVPA, такие как pi MVPA, и набор инструментов, предлагаемый Принстонским институтом неврологии. Экспериментальные парадигмы, подобные только что описанной, были успешно использованы для прогнозирования воспринимаемых стимулов на основе нейронной активности в соответствующих частях коры головного мозга, например, для прогнозирования визуальных стимулов на основе активности зрительной коры или слуховых стимулов. Основываясь на активности в слуховой коре, мы хотели бы теперь представить расширение этой основной идеи, в котором перцептивные стимулы прогнозируются не только внутри, но и между модальностями.

Наша идея основана на том факте, что восприятие неразрывно связано с воспроизведением воспоминаний. Например, визуальный стимул, который имеет сильное слуховое воздействие, такой как место разбивания стеклянного основания о землю. Это автоматически вызовет в нашем сознании слуховой образ, который имеет сходство со слуховыми образами, которые мы испытывали во время предыдущих столкновений с разбивающимся стеклом.

Согласно концепции, представленной Тео в конце 1980-х годов, память о связи между местом разрушения основания и соответствующим звуком хранится в так называемых зонах сходимости дивергенции или компакт-дисках для короткой сходимости. Зоны дивергенции концептуализируются как ансамбли нейронов, расположенных на различных иерархических уровнях сенсорных систем. Как следует из их названия.

Компакт-диски на каждом уровне получают сходящиеся восходящие проекции от коры головного мозга низшего порядка и поворачиваются. Они отправили обратно расходящиеся проекции сверху вниз в ту же кору головного мозга низшего порядка из-за сходящихся проекций снизу вверх. Компакт-диски могут быть активированы перцептивными репрезентациями в различных модальностях, например, как местом, так и звуком разрушающейся базы из-за расходящихся проекций сверху вниз.

Затем они могут способствовать реконструкции связанных образов, возвращаясь к ранним сенсорным корам дополнительных модальностей. Рассматривайте последовательность активации как чисто визуальную, но в соответствии с этой схемой звуковой намек на стимул будет вызываться. Стимул сначала вызывает определенный паттерн нейронной активности в ранней зрительной коре с помощью сходящихся проекций снизу вверх.

Ранняя зрительная кора активирует первый уровень CD, CDZ. В зависимости от точного паттерна активности в соответствующем раннем корковом секторе, CDZ может активироваться или оставаться неактивным. CDZ проецируются вверх к двойкам cdz так же, как и обнаруженные cdz.

Паттерны активности в ранних зрительных корах, двойки cdz обнаруживают паттерны активности среди единиц cdz, несколько двойок cdz могут быть активированы, но для простоты здесь изображен только один с помощью проекций сверху вниз. Cdz могут в то же время дополнять паттерн активности в ранней зрительной коре через несколько дополнительных уровней c DZs CDZ two. Двойки проекта вперед к CDZ заканчиваются мультимодальной ассоциацией. Кора головного мозга.

Опять же, несколько концов CDZ могут быть активированы, но для простоты изображен только один. Опять же, двойки CD Z также подают обратный сигнал к единицам CDZ, что, в свою очередь, может еще больше изменить паттерн, первоначально вызванный в ранних зрительных корах. CDZ завершает сигнал обратно к CZ двойкам всех модальностей.

В слуховой коре будет сконструирован нейронный паттерн, который позволит субъекту воспроизвести в уме слуховой образ, связанный с визуально представленным стимулом. Изображенная нисходящая передача сигналов соматосенсорной модальности отражает тот факт, что почти любой визуальный стимул также подразумевает некоторые тактильные ассоциации. Таким образом, модель предсказывает, что звук, подразумевающий визуальный стимул, приведет к специфическому для содержания паттерну нейронной активности.

В ранних слуховых корах. Таким образом, анализируя этот нейронный паттерн с помощью MVPA, можно предсказать, какой из нескольких звуков, подразумевающих визуальные стимулы, видел субъект. В первом эксперименте нейронная активность регистрировалась из ранней слуховой коры, в то время как испытуемые смотрели девять различных видеоклипов с объектами и событиями, которые подразумевали звук.

Областью интереса в этом эксперименте была ограниченная область в плоскости Semal, которая включала первичную слуховую кору и очень ранние слуховые ассоциативные коры. Во втором эксперименте нейронная активность регистрировалась из первичной соматосенсорной коры, в то время как испытуемые просматривали пять различных видеоклипов, которые подразумевали прикосновение. В этом эксперименте область, представляющая интерес, включала первичную соматосенсорную кору, расположенную в постцентральной извилине.

В обоих исследованиях приняли участие восемь субъектов слухового исследования. Классификатор MVPA показал результаты выше уровня вероятности 50% для всех возможных двусторонних различий между парами стимулов. В 26 из 36 различий эффективность классификатора значительно отличалась от уровня шанса 0,5.

Аналогичным образом, в соматосенсорном исследовании классификатор показал более случайные результаты во всех двухфакторных дискриминациях, и восемь из 10 различий достигли статистической значимости. Как вы можете видеть, используя кроссмодальный многомерный анализ паттернов, мы смогли продемонстрировать, что восприятие визуальных стимулов, подразумевающих звук или прикосновение, приводит к специфическим нейронным представлениям в ранних слуховых и соматосенсорных корах в соответствии с теоретической основой, представленной ранее. Очевидно, что представленная нами экспериментальная парадигма не должна ограничиваться модальностями, задействованными в наших собственных экспериментах, но может быть распространена и на другие сенсорные модальности.

Поэтому мы надеемся, что другие группы присоединятся к нам в расширении такого рода исследований в попытке расширить наши знания о том, как привнести в процессы мультимодальные стимулы из окружающей среды.