Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Neuropsychology

A subscription to JoVE is required to view this content.

Descodificación de imágenes auditivas con análisis Multivoxel
 
Click here for the English version

Descodificación de imágenes auditivas con análisis Multivoxel

Overview

Fuente: Laboratorios de Jonas T. Kaplan y Sarah I. Gimbel, University of Southern California

Imagine el sonido de un timbre de campana. ¿Lo que está sucediendo en el cerebro cuando nos evocan un sonido como este en el "oído de la mente"? Hay creciente evidencia de que el cerebro utiliza los mismos mecanismos de imaginación que utiliza para la percepción. 1 por ejemplo, al imaginar imágenes visuales, se activa la corteza visual, y cuando imaginar sonidos, la corteza auditiva se dedica. Sin embargo, ¿hasta qué punto son estas activaciones de cortezas sensoriales específicas al contenido de nuestra imaginación?

Una técnica que puede ayudar a responder a esta pregunta es multivoxel análisis (MPVA), en cuyas imágenes funcionales del cerebro se analizan utilizando técnicas de aprendizaje máquina. 2-3 experimento en un MPVA, formamos un algoritmo de aprendizaje automático para distinguir entre los diferentes patrones de actividad evocada por estímulos diferentes. Por ejemplo, nos podríamos preguntar si imaginar el sonido de una campana produce diferentes patrones de actividad en la corteza auditiva en comparación con imaginando el sonido de una motosierra, o el sonido de un violín. Si nuestro clasificador aprende a diferenciar los patrones de actividad cerebral producidos por estos tres estímulos, entonces podemos concluir que la corteza auditiva se activa de forma distinta por cada estímulo. Una forma de pensar de este tipo de experimento es que en lugar de preguntar simplemente sobre la actividad de una región del cerebro, nos pregunta sobre el contenido de información de la región.

En este experimento, basado en Meyer et al., 2010,4 nos se cue los participantes a imaginar varios sonidos presentándoles videos silencio suelen evocar imágenes auditivas. Ya que estamos interesados en la medición de los patrones sutiles evocados por la imaginación en la corteza auditiva, es preferible si los estímulos se presentan en completo silencio, sin la interferencia de los ruidos hechos por el escáner de fMRI. Para lograr esto, usaremos un tipo especial de secuencia de MRI funcional conocida como escaso muestreo temporal. En este enfoque, un volumen único fMRI es adquirido 4-5 s después de cada estímulo, para capturar el pico de la respuesta hemodinámica.

Procedure

1. participante reclutamiento

  1. Reclutar a 20 participantes.
    1. Los participantes deben ser diestros y no tienen antecedentes de trastornos neurológicos o psicológicos.
    2. Los participantes deben tener visión normal o corregida a normal para que sean capaces de ver los indicios visuales correctamente.
    3. Los participantes no deben tener metal en su cuerpo. Se trata de un requisito de seguridad debido al alto campo magnético en fMRI.
    4. Participantes no debe sufrir de claustrofobia, ya que el fMRI requiere tumbado en el pequeño espacio del escáner del alesaje.

2. analizar los procedimientos

  1. Llenar papeleo de exploración previa.
  2. Cuando los participantes su análisis de fMRI, indíqueles que primero llene una forma metálica para asegurarse de que no tienen ninguna contra indicación para MRI, forma hallazgos INCIDENTALES, dar su consentimiento para su exploración a ser analizado por un radiólogo y un formulario de consentimiento que detalla los riesgos y beneficios del estudio.
  3. Preparar a los participantes a ir en el explorador al quitar todo el metal de su cuerpo, incluyendo cinturones, carteras, teléfonos, hebillas, monedas y todas las joyas.

3. proporcionar instrucciones para el participante.

  1. Dígale a los participantes a que vean una serie de varios videos cortos dentro del esc‡ner. Estos videos serán silencios, pero pueden evocar un sonido en su "oído de la mente". Pregunte al participante centrarse en y fomentar estas imágenes auditivas, para tratar de "escuchar" el sonido de lo mejor que pueden.
  2. Estrés al participante la importancia de mantener su cabeza todavía a lo largo de la exploración.

4. poner al participante en el escáner.

  1. Dar al participante tapones para proteger sus oídos del ruido de los teléfonos escáner y oído usar para que puedan escuchar al experimentador durante la exploración y tenerlas tumbadas en la cama con su cabeza en la bobina.
  2. Dar al participante la bola del apretón emergencia e instruirlos para apretar en caso de emergencia durante la exploración.
  3. Use almohadillas de espuma para garantizar a los participantes la cabeza en la bobina para evitar exceso de movimiento durante la exploración y recordar al participante que es muy importante que permanezca todavía como posible durante la exploración, como incluso el más pequeño desenfoque de movimientos las imágenes.

5. recolección de datos

  1. Recoger la exploración anatómica de alta resolución.
  2. Comenzar la exploración funcional.
    1. Sincronizar el inicio de la presentación del estímulo con el inicio del escáner.
    2. Para lograr el escaso muestreo temporal, establecer el tiempo de la adquisición de un volumen de MRI a 2 s, con un retraso de 9 s entre adquisiciones de volumen.
    3. Presente los videos silenciosa a través de un ordenador portátil conectados a un proyector. El participante tiene un espejo por encima de sus ojos, lo que refleja que una pantalla en la parte posterior del escáner del alesaje.
    4. Sincronizar el inicio de cada clip de vídeo de 5-s para iniciar 4 s después de la adquisición anterior de MRI se inicia. Esto asegurará que el siguiente volumen de MRI es adquirido 7 s después del comienzo del videoclip, para capturar la actividad hemodinámica que corresponde a la mitad de la película.
    5. Presentar tres diferentes videos silenciosos que evocan imágenes auditivas vivas: una campana que hace pivotar hacia adelante y hacia atrás, un corte de la motosierra a través de un árbol y una persona tocando un violín.
    6. En cada exploración funcional, presentar cada video 10 veces, en orden aleatorio. Cada ensayo dura 11 s, esto resultará en una exploración 330 s (5,5 min) largo.
    7. Realizar el análisis funcionales 4.

6. Análisis de datos

  1. Definir una región de interés (ROI).
    1. Utilice la exploración anatómica de alta resolución de cada participante para rastrear los vóxeles que corresponden a la corteza auditiva temprana (figura 1). Esto corresponde a la superficie del lóbulo temporal, llamado el planum temporale. Utilice las características anatómicas del cerebro de cada persona para crear una máscara específica para su corteza auditiva.

Figure 1
Figura 1: región de localización de interés. La superficie del planum temporale ha sido trazada en alta resolución imagen anatómica de este participante y a continuación se muestra en azul. En verde es la mascara del poste frontal. Estos vóxeles se utilizará para el análisis de la MVPA.

  1. Procesamiento previo de los datos.
    1. Realizar corrección de movimiento para reducir artefactos de movimiento.
    2. Realizar el filtrado temporal para quitar señal derivas.
  2. Entrenar y probar el algoritmo clasificador.
    1. Dividir los datos de entrenamiento y pruebas de sistemas. Datos de entrenamiento se utilizarán para entrenar el clasificador, y los datos de prueba de salida de la izquierda se utilizará para evaluar lo ha aprendido. Para maximizar la independencia de la formación y datos de prueba, deje los datos de una exploración funcional como el conjunto de pruebas.
    2. Entrenar un algoritmo de máquina de Vector de apoyo en los datos de marcada formación de la corteza auditiva en cada tema. Evaluar capacidad de clasificador de adivinar correctamente la identidad del conjunto de pruebas sin etiqueta y registrar precisión del clasificador.
    3. Repetir este procedimiento 4 veces, dejando de lado cada análisis como datos de prueba cada vez. Este tipo de procedimiento, en el que cada sección de los datos queda hacia fuera una vez, se denomina validación cruzada.
    4. Combinar exactitudes de clasificador a través de los 4 pliegues de validación cruzada por un promedio de.
  3. La prueba estadística
    1. Para determinar si el clasificador realiza mejor que oportunidad (33%), podemos comparar resultados a nivel de grupo al azar. Para ello, se reúnen las exactitudes de cada materia y prueba que la distribución es diferente de la posibilidad de usar una prueba no paramétrica de Wilcoxon Signed-Rank.
    2. También podemos preguntar si el clasificador realiza mejor que oportunidad para cada individuo. Para determinar la probabilidad de que un nivel dado de exactitud en datos oportunidad, crear una distribución nula capacitación y probando el algoritmo MVPA en datos cuya etiqueta ha sido barajada al azar. Permutar las etiquetas 10.000 veces para crear una distribución nula de valores de exactitud y luego comparar el valor de la precisión real a esta distribución.
    3. Para demostrar la especificidad de la información dentro de la corteza auditiva, podemos entrenar y prueba el clasificador en vóxeles desde una ubicación diferente en el cerebro. Aquí, utilizamos una máscara del polo frontal, tomado de un atlas probabilístico y deformado para cerebro individual del cada sujeto.

Imágenes auditivas son un proceso que da lugar a la experiencia de los sonidos de la audiencia, incluso cuando no hay estímulos auditivos externos presentes.

Por ejemplo, pensar en escuchar el sonido de un timbre de teléfono celular. Mientras que la información dentro de la memoria es la base de este acontecimiento imaginario, la evidencia sugiere que cerebro de un individuo utiliza los mismos mecanismos de imaginación como los que están implicados en la percepción real.

Sólo con imaginar el sonido, se activan las regiones dentro de la corteza auditiva. Sin embargo, aunque esto es cierto a través de estímulos acústicos, cómo sonidos son codificados para permitir el procesamiento detallado de sonidos diferentes: como distinguir entre un timbre timbre de la puerta y una canción en la radio — es una cuestión importante.

Basado en trabajos anteriores de Meyer y sus colegas, este video muestra cómo combinar la proyección de imagen de resonancia magnética funcional – fMRI, con presentaciones de diferentes vídeos silenciosos para investigar cómo el cerebro responde a las imágenes auditivas.

También se describe cómo utilizar un método llamado análisis del patrón de multi-voxel — MVPA para abreviar — para predecir qué temas imaginado mediante el análisis de patrones de activación obtenida durante las sesiones de fMRI.

En este experimento, los participantes se encuentran en un escáner fMRI y aparecen una serie de videos silencio. Cada uno — si es un gallo que canta, una motosierra cortando un árbol, o una persona tocando un piano — evoca imágenes auditivas distintivo y viva, y se les pide que imaginen los sonidos durante cada presentación individual.

El procedimiento de adquisición de imágenes se basa en el escaso muestreo temporal, por el que un volumen de fMRI solo se adquiere 4 a 5 s después de cada estímulo se presenta. Tal momento capta el pico de la respuesta hemodinámica y reduce la probabilidad de que las señales ser enmascaradas por el ruido del escáner.

Cada uno imaginó sonido se espera inducir sutiles pero distintivo patrones de actividad neural, específicamente en la corteza auditiva. Aquí, patrón es la palabra clave: la forma clásica de analizar estos datos utiliza un enfoque univariado, donde los vóxeles individuales — que representan cierto nivel de activación, se contraen en una sola media.

Estos valores son luego comparados a través de sonidos y no produzca diferencias significativas en los niveles de activación.

En su lugar, mediante un análisis multivariado, múltiples voxels son establecidos para cada sonido y niveles de activación pueden compararse colectivamente, a través de todos los vóxeles, contribuyendo a un patrón general único para cada uno imaginaba el sonido.

Con este análisis del patrón de multi-voxel o MVPA, enfoque, si los patrones son realmente sensibles al contenido específico, entonces es posible que podría utilizarse para predecir el estímulo original. Eso es correcto — MVPA se refiere a menudo como una técnica de lectura de la mente!

Para conseguir este aspecto de la predicción, procesamiento más intensivo debe ser realizado después de recoger los datos de los participantes, que se dividen en entrenamiento y pruebas de sistemas.

Etiquetado datos del conjunto de entrenamiento primero son sometidos a cálculos de aprendizaje máquina, en concreto, un algoritmo de la máquina de vectores soporte. Este proceso se utiliza para clasificar con precisión los datos mediante el reconocimiento de características en los patrones neuronales que pueden distinguir los tres tipos de sonidos entre sí.

Después de que el clasificador ha aprendido funciones para identificar con precisión los tipos, se presenta con datos del conjunto de pruebas, y su conjetura entonces se compara a las etiquetas de los estímulos correctos.

En este caso, el rendimiento de clasificación sirve como variable dependiente, como precisión del clasificador, que también es comparado con vóxeles evocado en una ubicación diferente en el cerebro, como el polo frontal.

El clasificador se pretende predecir la identificación de imágenes auditivas, revelando la importancia de la MVPA en la detección de actividad de contenido específico dentro de la corteza auditiva.

Por experimental y cuestiones de seguridad, verificar que todos los participantes son diestros, tienen visión normal o corregida a normal, sin antecedentes de trastornos neurológicos o claustrofobia y no poseen ningún metal en su cuerpo. Además, asegúrese de que llene los formularios de consentimiento necesario.

Antes de seguir, explicar que vean varios vídeos cortos de silencio en el escáner que puede evocar un sonido en su mente. Pídales a centrarse en los sonidos imaginados, "oír" lo mejor que pueden y aún durante la duración de la tarea.

Ahora, preparar al participante para entrar en el escáner. Para ver estos pasos en detalle, por favor consulte otra fMRI video producido en esta colección.

Después de la preparación, alinee al participante y enviar dentro del alesaje. En la habitación contigua, en primer lugar recoger una exploración anatómica de alta resolución. A continuación, sincronizar el inicio de la presentación video silencioso con el inicio de la exploración funcional.

Para lograr el escaso muestreo temporal, establecer el tiempo de la adquisición de un volumen de MRI a 2 s, con un retraso de 9-s en el medio.

Lo importante es coordinar el inicio de cada clip de vídeo de 5-s para iniciar 4 s después de la adquisición anterior de MRI empieza a capturar la actividad hemodinámica que corresponde a la mitad de la película.

Cada video 10 veces, en orden aleatorio, generar una sesión de escaneado que dura 5,5 min repetir esta secuencia de adquisición funcional tres veces más.

Después de que se han realizado las cuatro exploraciones funcionales, traer al participante fuera del escáner y debrief para concluir el estudio.

Para definir regiones de interés, utilizar las exploraciones de alta resolución anatómicas de cada participante y rastro voxels en la superficie del lóbulo temporal que corresponde a la corteza auditiva temprana, también conocido como el planum temporale. Además, crear una máscara que contiene voxels en el lóbulo frontal, que se utilizará como la región de control.

Entonces, preprocesar los datos mediante la realización de corrección de movimiento para reducir el filtrado temporal para quitar señal derivas y artefactos de movimiento.

A continuación, dividir los datos en dos conjuntos: entrenamiento y pruebas. Un conjunto de datos, un clasificador de tren — un algoritmo de máquina de vectores soporte, asegúrese de separar los datos de las regiones del dos cerebro para cada tema.

En el otro conjunto, evaluar lo que ha aprendido el clasificador — su capacidad de adivinar correctamente la identidad de los datos sin etiqueta y grabar la exactitud del algoritmo a través de carreras. Realizar este procedimiento un total de cuatro veces, dejando fuera una exploración funcional como datos de prueba cada vez, un proceso llamado validación cruzada.

Para visualizar los datos, graficar las exactitudes clasificador promedio a través de los cuatro pliegues de validación cruzada para cada participante.

Trazar estos promedios para ambos la principal región de interés, el planum temporale y el área de control — el polo frontal — comparar focal especificidad del clasificador, la medida que un área particular, como la corteza auditiva, selectivamente se prevé que en la imaginación auditiva.

En este caso, ejecute una estadística no paramétrica, la prueba de Wilcoxon Signed-Rank, para probar funcionamiento contra el azar, que es 33%. Tenga en cuenta que la precisión del clasificador promedio en la corteza auditiva era 59%, que es significativamente diferente del nivel de posibilidad.

En contraste, el rendimiento medio de la máscara frontal del poste fue 33%, que no es significativamente diferente de la oportunidad.

Además, observe que desempeño clasificador varía entre individuos. Después de usar una prueba de permutación para calcular un nuevo umbral estadístico de 42%, ver que 19 de 20 sujetos presentaron valores de exactitud significativamente mayores que este nivel usando voxels del planum temporale, mientras que ninguno tenía rendimiento mayor de probabilidades usando voxels del polo frontal.

En general, estos resultados implican que técnicas MVPA predijeron con exactitud cuál de los tres sonidos participantes fueron imaginando basada en patrones de actividad neuronal. Estas predicciones fueron hechas sólo dentro de la corteza auditiva, lo que sugiere que contenido acústico no esté representado a nivel mundial a través del cerebro.

Ahora que usted está familiarizado con cómo aplicar el análisis del patrón de multi-voxel para estudiar imágenes auditivas, echemos un vistazo a cómo los neuropsicólogos utilizan técnicas multivariantes para promover un enfoque futuro para leer la mente, la decodificación de Estados mentales, en otros dominios.

Clasificadores se han utilizado fMRI datos obtenidos de la corteza temporal ventral para predecir las clases de los participantes objetos visitaron, distinguiendo entre casas y caras, por ejemplo.

Esta dando un paso más, es incluso posible predecir si el individuo comprar esa casa o encontrar a la persona agradable. Tan espeluznante como que suena, estas implicaciones de neuromarketing no son exageradas!

El mismo enfoque podría utilizarse también para detectar cualquiera de los dos estados emocionales después de ver un espectáculo, reconociendo que una película de miedo es en verdad aterrador — o incluso el género de la película; por ejemplo, la aterradora película podría comprometer la amígdala más fiable sobre una contemplativa que implicaría confiablemente la corteza prefrontal.

Además, las interfaces cerebro-computadora podrían convertir Estados mentales en las señales que podrían mejorar la comunicación, en el caso de personas que reciben terapia del habla o movimientos, para aquellos que han sufrido amputación de una extremidad.

Sólo has visto video de Zeus en la comprensión de imágenes auditivas mediante análisis multi-voxel. Ahora debe tener una buena comprensión de cómo diseñar y realizar el experimento de imaginería auditiva junto con neuroimagen funcional y finalmente cómo analizar e interpretar patrones específicos de actividad cerebral.

¡Gracias por ver!

Subscription Required. Please recommend JoVE to your librarian.

Results

La precisión del clasificador promedio en el planum temporale en todos los 20 participantes fue del 59%. Según el test de Wilcoxon Signed-Rank, esto es significativamente diferente del nivel de probabilidad del 33%. El rendimiento medio de la máscara frontal del poste fue 32,5%, que no es mayor que la probabilidad (Figura 2).

Figure 2
Figura 2. Rendimiento de la clasificación en cada participante. Para la clasificación de tres vías, funcionamiento de oportunidad es del 33%. Según una prueba de la permutación, el nivel alfa de p < 0.05 corresponde al 42%.

La prueba de permutación encontró que sólo el 5% de las permutaciones alcanzado exactitud superior al 42%; así, nuestro umbral estadístico para sujetos individuales es 42%. Diecinueve de los 20 sujetos tuvieron desempeño clasificador significativamente mayor de probabilidades usando voxels del planum temporale, mientras que ninguno tenía rendimiento mayor de probabilidades usando voxels del polo frontal.

Por lo tanto, somos capaces de predecir con éxito a partir de patrones de actividad en la corteza auditiva que de los tres sonidos el participante estaba imaginando. No pudimos hacer esta predicción basada en patrones de actividad desde el polo frontal, sugiriendo que la información no es global en todo el cerebro.

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

MVPA es una herramienta útil para comprender cómo representa el cerebro la información. En lugar de considerar el curso del tiempo de cada voxel por separado como en un análisis tradicional de activación, esta técnica considera patrones en vóxeles muchas a la vez, ofreciendo una mayor sensibilidad en comparación con las técnicas univariantes. A menudo un análisis multivariado revela diferencias donde no es capaz de una técnica de análisis univariados. En este caso, hemos aprendido algo acerca de los mecanismos de imágenes mentales mediante el análisis del contenido de la información en un área específica del cerebro, la corteza auditiva. La naturaleza del contenido específico de estos patrones de activación sería difícil de probar con métodos univariados.

Existen beneficios adicionales que vienen de la dirección de inferencia en este tipo de análisis. En MVPA comenzamos con patrones de actividad cerebral y tratar de inferir algo sobre el estado mental del participante. Este tipo de enfoque de la "lectura cerebral" puede conducir al desarrollo de interfaces cerebro-computadora y puede permitir nuevas oportunidades para la comunicación con aquellas personas con discurso deteriorado o movimiento.

Subscription Required. Please recommend JoVE to your librarian.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter