Декодирование слуховых образов с помощью анализа многовоксельных образов
Источник: Лаборатории Йонаса Т. Каплана и Сары И. Гимбел — Университет Южной Калифорнии
Представьте себе звук колокольного звона. Что происходит в моз…
1. Набор участников
- Наберите 20 участников.
- Участники должны быть правшами и не иметь в анамнезе неврологических или психологических расстройств.
- Участники должны иметь нормальное или скорректированное до нормального зрение, чтобы убедиться, что они смогут правильно видеть визуальные сигналы.
- Участники не должны иметь в своем теле металла. Это важное требование безопасности из-за высокого магнитного поля, задействованного в фМРТ.
- Участники не должны страдать клаустрофобией, так как для проведения фМРТ необходимо лежать в небольшом пространстве отверстия сканера.
2. Процедуры предварительного сканирования
- Заполните документы перед сканированием.
- Когда участники приходят на сканирование с помощью фМРТ, проинструктируйте их сначала заполнить форму металлического экрана, чтобы убедиться, что у них нет противопоказаний к проведению МРТ, форму случайных результатов, дающую согласие на то, чтобы их сканирование было рассмотрено радиологом, и форму согласия с подробным описанием рисков и преимуществ исследования.
- Подготовьте участников к работе со сканером, удалив с их тела весь металл, включая ремни, кошельки, телефоны, заколки для волос, монеты и все украшения.
3. Предоставьте инструкции для участника.
- Скажите участникам, что они увидят серию из нескольких коротких видеороликов внутри сканера. Эти видео будут беззвучными, но они могут вызвать звук в их «мысленном ухе». Попросите участника сосредоточиться на этом слуховом образе и поощрять его, чтобы попытаться «услышать» звук как можно лучше.
- Подчеркните для участника важность того, чтобы его голова оставалась неподвижной на протяжении всего сканирования.
4. Поместите участника в сканер.
- Дайте участнику беруши, чтобы защитить их уши от шума сканера, и наушники, чтобы они могли слышать экспериментатора во время сканирования, и попросите их лечь на кровать, укутав голову в катушку.
- Дайте участнику мяч для экстренного сжатия и попросите его сжать его в случае чрезвычайной ситуации во время сканирования.
- Используйте поролоновые прокладки для фиксации головы участника в катушке, чтобы избежать лишних движений во время сканирования, и напомните участнику, что очень важно оставаться как можно более неподвижным во время сканирования, так как даже самые незначительные движения размывают изображение.
5. Сбор данных
- Соберите анатомическое сканирование с высоким разрешением.
- Начните функциональное сканирование.
- Синхронизируйте начало предъявления стимула с началом работы сканера.
- Чтобы получить разреженную временную выборку, установите время регистрации объема МРТ равным 2 с с задержкой в 9 секунд между регистрациями объема.
- Демонстрируйте беззвучные видеоролики с помощью ноутбука, подключенного к проектору. У участника над глазами находится зеркало, отражающее экран в задней части отверстия сканера.
- Синхронизируйте начало каждого 5-секундного видеоклипа с началом через 4 секунды после начала предыдущего сбора данных МРТ. Это позволит гарантировать, что следующий объем МРТ будет получен через 7 с после начала видеоклипа, чтобы зафиксировать гемодинамическую активность, которая соответствует середине фильма.
- Представьте три разных немых видеоролика, которые вызывают яркие слуховые образы: колокольчик, раскачивающийся взад и вперед, бензопила, рассекающая дерево, и человек, играющий на скрипке.
- В каждом функциональном сканировании предъявите каждое видео 10 раз, в случайном порядке. При длительности каждого испытания 11 секунд сканирование будет длиться 330 секунд (5,5 минут).
- Выполните 4 функциональных сканирования.
6. Анализ данных
- Определите область интереса (ROI).
- Используйте анатомическое сканирование с высоким разрешением каждого участника, чтобы проследить вокселы, соответствующие ранней слуховой коре (Рисунок 1). Это соответствует поверхности височной доли, называемой planum temporale. Используйте анатомические особенности мозга каждого человека, чтобы создать маску, специфичную для его слуховой коры.
Рисунок 1: Трассировка области интереса. Поверхность planum temporale была прослежена на анатомическом изображении этого участника с высоким разрешением и показана здесь синим цветом. Зеленым цветом выделена маска управления лобовой стойки. Эти воксели будут использоваться для анализа MVPA.
- Предварительная обработка данных.
- Выполните коррекцию движения для уменьшения артефактов движения.
- Выполните временную фильтрацию для удаления дрейфа сигнала.
- Обучите и протестируйте алгоритм классификатора.
- Разделите данные на обучающий и тестовый наборы. Обучающие данные будут использоваться для обучения классификатора, а пропущенные тестовые данные будут использоваться для оценки того, что он узнал. Чтобы обеспечить максимальную независимость данных обучения и тестирования, в качестве тестового набора не используются данные одного функционального сканирования.
- Обучите алгоритм метода опорных векторов на помеченных обучающих данных из слуховой коры у каждого испытуемого. Проверьте способность классификатора правильно угадывать идентичность неразмеченного тестового набора и запишите точность классификатора.
- Повторите эту процедуру 4 раза, каждый раз не указывая каждое сканирование в качестве тестовых данных. Этот тип процедуры, при котором каждый раздел данных пропускается один раз, называется перекрестной проверкой.
- Объедините точности классификатора по 4 сверткам перекрестной проверки путем усреднения.
- Статистическое тестирование
- Чтобы определить, работает ли классификатор лучше, чем случайность (33%), мы можем сравнить результаты на уровне группы со случайностью. Для этого соберите точные данные для каждого предмета и проверьте, отличается ли распределение от случайного, используя непараметрический критерий Вилкоксона со знаком.
- Мы также можем задаться вопросом, работает ли классификатор лучше, чем случайность, для каждого человека. Чтобы определить вероятность заданного уровня точности случайных данных, создайте нулевое распределение путем обучения и тестирования алгоритма MVPA на данных, метки которых были случайным образом перемешаны. Переставьте метки 10 000 раз, чтобы создать нулевое распределение значений точности, а затем сравните фактическое значение точности с этим распределением.
- Чтобы продемонстрировать специфичность информации в слуховой коре, мы можем обучить и протестировать классификатор на вокселях из другого места в мозге. Здесь мы будем использовать маску лобного полюса, взятую из вероятностного атласа и искривленную в соответствии с индивидуальным мозгом каждого субъекта.
Слуховое воображение — это процесс, который приводит к восприятию восприятия звуков даже при отсутствии внешних слуховых стимулов.
Например, представьте себе, что вы слышите звук звонка мобильного телефона. В то время как информация в памяти лежит в основе этого воображаемого события, данные свидетельствуют о том, что мозг человека использует те же механизмы для воображения, что и те, которые участвуют в реальном восприятии.
Как только вы представляете себе звон, области в слуховой коре активизируются. Однако, несмотря на то, что это верно для акустических стимулов, важным вопросом является то, как кодируются звуки, чтобы обеспечить детальную обработку отдельных звуков — например, различие между звонком в дверь и песней, играющей по радио.
Основываясь на предыдущей работе Мейера и его коллег, это видео демонстрирует, как сочетать функциональную магнитно-резонансную томографию (фМРТ) с демонстрацией различных немых видео, чтобы исследовать, как мозг реагирует на слуховые образы.
Мы также опишем, как использовать метод, называемый мультивоксельным анализом паттернов. MVPA для краткости — предсказывать то, что представляли себе испытуемые, анализируя паттерны активации, полученные во время сеансов фМРТ.
В этом эксперименте участники лежат в сканере фМРТ и им показывают серию немых видео. Каждый из них, будь то кукареканье петуха, бензопила, рассекающая дерево или играющий на пианино, вызывает характерные и яркие слуховые образы, и их просят представить звуки во время каждой презентации.
Процедура получения изображений основана на разреженной временной выборке, при которой один объем фМРТ регистрируется через 4–5 с после предъявления каждого стимула. Такое время фиксирует пик гемодинамического отклика и снижает вероятность того, что сигналы будут замаскированы шумом сканера.
Ожидается, что каждый воображаемый звук будет вызывать тонкие, но характерные паттерны нейронной активности, особенно в слуховой коре. В данном случае ключевым словом является закономерность: классический способ анализа этих данных использует одномерный подход, при котором отдельные вокселы, представляющие некоторый уровень активации, сворачиваются в одно среднее значение.
Затем эти значения сравниваются между звуками и могут не приводить к существенным различиям в уровнях активации.
Вместо этого, используя многомерный анализ, для каждого звука располагается несколько вокселей, и уровни активации могут быть сравнены в совокупности, по всем воксалам, что способствует созданию уникальной общей картины для каждого воображаемого звука.
При таком многовоксельном анализе паттернов, или MVPA, если паттерны действительно чувствительны к конкретному содержимому, то вполне возможно, что их можно использовать для прогнозирования исходного стимула. Верно? MVPA часто называют техникой чтения мыслей!
Чтобы достичь этого аспекта прогнозирования, после сбора участников должна быть выполнена более интенсивная обработка. данные, которые делятся на обучающие и тестовые наборы.
Помеченные данные из обучающего набора сначала подвергаются вычислениям машинного обучения, в частности алгоритму метода опорных векторов. Этот процесс используется для точной классификации данных путем распознавания особенностей в нейронных паттернах, которые могут отличать три типа звуков друг от друга.
После того как классификатор изучил признаки для точного определения типов, ему предоставляются неразмеченные данные из тестового набора, а его предположения затем сравниваются с правильными метками стимулов.
В этом случае эффективность классификации служит зависимой переменной, записанной как точность классификатора, которая также сравнивается с вокселями, вызываемыми в другом месте мозга, например, на лобном полюсе.
Ожидается, что классификатор будет предсказывать идентификацию слуховых образов, раскрывая важность MVPA в обнаружении специфической для содержания активности в слуховой коре.
В соответствии с экспериментальными соображениями и соображениями безопасности, убедитесь, что все участники являются правшами, имеют нормальное или скорректированное до нормального зрение, не имеют в анамнезе неврологических расстройств или клаустрофобии, а также не содержат в своем теле никаких металлов. Кроме того, убедитесь, что они заполнили необходимые формы согласия.
Прежде чем продолжить, объясните, что они увидят в сканере несколько коротких беззвучных видеороликов, которые могут вызвать у них в голове звук. Попросите их сосредоточиться на воображаемых звуках, «слышать» их как можно лучше и оставаться неподвижными в течение всего задания.
Теперь подготовьте участника к входу в сканер. Чтобы подробно ознакомиться с этими шагами, обратитесь к другому видео фМРТ, созданному в этой коллекции.
После подготовки выровняйте участников и отправьте их внутрь отверстия. В соседней комнате сначала соберите анатомический снимок с высоким разрешением. Затем синхронизируйте начало беззвучной видеопрезентации с началом функционального сканирования.
Чтобы получить разреженную временную выборку, установите время сбора объема МРТ равным 2 с задержкой в 9 секунд между ними.
Важно скоординировать начало каждого 5-секундного видеоклипа так, чтобы оно начиналось через 4 секунды после начала предыдущей МРТ-съемки, чтобы зафиксировать гемодинамическую активность, соответствующую середине фильма.
Представьте каждое видео 10 раз в случайном порядке, создав один сеанс сканирования, который длится 5,5 минут. Повторите эту последовательность функционального сбора данных еще три раза.
После того, как будут выполнены четыре функциональных сканирования, выведите участника из сканера и проведите с ним опрос, чтобы завершить исследование.
Чтобы определить области интереса, используйте анатомические снимки с высоким разрешением каждого участника и проследите воксели на поверхности височной доли, которые соответствуют ранней слуховой коре, также известной как planum temporale. Кроме того, создайте маску, содержащую воксели в лобной доле, которая будет использоваться в качестве области управления.
Затем выполните предварительную обработку данных, выполнив коррекцию движения для уменьшения артефактов движения и временную фильтрацию для устранения дрейфа сигнала.
Далее разделите данные на два набора: обучающие и тестовые. В одном наборе данных обучите классификатор — алгоритм метода опорных векторов, убедившись, что данные из двух областей мозга разделены для каждого субъекта.
В другом наборе оцените, чему научился классификатор — его способность правильно угадывать идентичность неразмеченных данных — и запишите точность алгоритма во время прогонов. Выполните эту процедуру в общей сложности четыре раза, каждый раз пропуская одно функциональное сканирование в качестве тестовых данных — процесс, называемый перекрестной проверкой.
Чтобы визуализировать данные, построите график усредненных точностей классификатора по четырем сверткам перекрестной проверки для каждого участника.
Построите график этих средних значений как для первичной области интереса (planum temporale), так и для контрольной области (лобного полюса), чтобы сравнить фокальную специфичность классификатора, в которой определенная область, такая как слуховая кора, избирательно прогнозируется как участвующая в слуховом воображении.
В этом случае запустите непараметрическую статистику, тест Вилкоксона со знаком ранга, чтобы сравнить производительность со случайностью, которая составляет 33%. Отметим, что средняя точность классификатора в слуховой коре составила 59%, что существенно отличается от уровня случайности.
Для сравнения, средняя производительность в маске лобовой стойки составила 33%, что существенно не отличается от случайности.
Более того, обратите внимание, что эффективность классификатора различается у разных людей. После использования теста на перестановки для вычисления нового статистического порога в 42% можно увидеть, что 19 из 20 испытуемых имели значения точности значительно выше этого уровня при использовании вокселей из височной плоскости, в то время как ни у кого из них производительность не превышала случайную при использовании вокселей с лобного полюса.
В целом, эти результаты подразумевают, что методы MVPA точно предсказывали, какой из трех звуков представляли себе участники, основываясь на паттернах нейронной активности. Такие прогнозы были сделаны только в слуховой коре, что позволяет предположить, что акустическое содержание не представлено глобально во всем мозге.
Теперь, когда вы знакомы с тем, как применять анализ многовоксельных образов для изучения слуховых образов, давайте рассмотрим, как нейропсихологи используют многомерные методы для продвижения футуристического подхода к чтению мыслей — декодированию психических состояний — в других областях.
Классификаторы использовались на данных фМРТ, полученных из вентральной височной коры, для прогнозирования типов объектов, которые видели участники, например, различая дома и лица.
Если пойти еще дальше, то можно даже предсказать, купит ли человек этот дом или найдет его приятным. Как бы жутко это ни звучало, эти нейромаркетинговые последствия не являются надуманными!
Тот же подход может быть использован для определения либо эмоциональных состояний после просмотра сериала, признав, что страшный фильм действительно ужасает, либо даже жанра фильма; Например, пугающий фильм может задействовать миндалевидное тело более предсказуемо, чем созерцательный, который надежно задействует префронтальную кору.
Кроме того, интерфейсы мозг-компьютер могут преобразовывать психические состояния в сигналы, которые улучшат коммуникацию у людей, проходящих логопедическую терапию, или движения у тех, кто пострадал от ампутации конечности.
Вы только что посмотрели видео JoVE о понимании слуховых образов с помощью анализа многовоксельных образов. Теперь у вас должно быть хорошее понимание того, как планировать и проводить эксперимент со слуховыми образами в сочетании с функциональной нейровизуализацией, и, наконец, как анализировать и интерпретировать конкретные паттерны мозговой активности.
Спасибо за просмотр!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.