Descodificación de imágenes auditivas con análisis Multivoxel
Fuente: Laboratorios de Jonas T. Kaplan y Sarah I. Gimbel, University of Southern California
Imagine el sonido de un timbre de campana. ¿Lo que está s…
1. participante reclutamiento
- Reclutar a 20 participantes.
- Los participantes deben ser diestros y no tienen antecedentes de trastornos neurológicos o psicológicos.
- Los participantes deben tener visión normal o corregida a normal para que sean capaces de ver los indicios visuales correctamente.
- Los participantes no deben tener metal en su cuerpo. Se trata de un requisito de seguridad debido al alto campo magnético en fMRI.
- Participantes no debe sufrir de claustrofobia, ya que el fMRI requiere tumbado en el pequeño espacio del escáner del alesaje.
2. analizar los procedimientos
- Llenar papeleo de exploración previa.
- Cuando los participantes su análisis de fMRI, indíqueles que primero llene una forma metálica para asegurarse de que no tienen ninguna contra indicación para MRI, forma hallazgos INCIDENTALES, dar su consentimiento para su exploración a ser analizado por un radiólogo y un formulario de consentimiento que detalla los riesgos y beneficios del estudio.
- Preparar a los participantes a ir en el explorador al quitar todo el metal de su cuerpo, incluyendo cinturones, carteras, teléfonos, hebillas, monedas y todas las joyas.
3. proporcionar instrucciones para el participante.
- Dígale a los participantes a que vean una serie de varios videos cortos dentro del esc‡ner. Estos videos serán silencios, pero pueden evocar un sonido en su "oído de la mente". Pregunte al participante centrarse en y fomentar estas imágenes auditivas, para tratar de "escuchar" el sonido de lo mejor que pueden.
- Estrés al participante la importancia de mantener su cabeza todavía a lo largo de la exploración.
4. poner al participante en el escáner.
- Dar al participante tapones para proteger sus oídos del ruido de los teléfonos escáner y oído usar para que puedan escuchar al experimentador durante la exploración y tenerlas tumbadas en la cama con su cabeza en la bobina.
- Dar al participante la bola del apretón emergencia e instruirlos para apretar en caso de emergencia durante la exploración.
- Use almohadillas de espuma para garantizar a los participantes la cabeza en la bobina para evitar exceso de movimiento durante la exploración y recordar al participante que es muy importante que permanezca todavía como posible durante la exploración, como incluso el más pequeño desenfoque de movimientos las imágenes.
5. recolección de datos
- Recoger la exploración anatómica de alta resolución.
- Comenzar la exploración funcional.
- Sincronizar el inicio de la presentación del estímulo con el inicio del escáner.
- Para lograr el escaso muestreo temporal, establecer el tiempo de la adquisición de un volumen de MRI a 2 s, con un retraso de 9 s entre adquisiciones de volumen.
- Presente los videos silenciosa a través de un ordenador portátil conectados a un proyector. El participante tiene un espejo por encima de sus ojos, lo que refleja que una pantalla en la parte posterior del escáner del alesaje.
- Sincronizar el inicio de cada clip de vídeo de 5-s para iniciar 4 s después de la adquisición anterior de MRI se inicia. Esto asegurará que el siguiente volumen de MRI es adquirido 7 s después del comienzo del videoclip, para capturar la actividad hemodinámica que corresponde a la mitad de la película.
- Presentar tres diferentes videos silenciosos que evocan imágenes auditivas vivas: una campana que hace pivotar hacia adelante y hacia atrás, un corte de la motosierra a través de un árbol y una persona tocando un violín.
- En cada exploración funcional, presentar cada video 10 veces, en orden aleatorio. Cada ensayo dura 11 s, esto resultará en una exploración 330 s (5,5 min) largo.
- Realizar el análisis funcionales 4.
6. Análisis de datos
- Definir una región de interés (ROI).
- Utilice la exploración anatómica de alta resolución de cada participante para rastrear los vóxeles que corresponden a la corteza auditiva temprana (figura 1). Esto corresponde a la superficie del lóbulo temporal, llamado el planum temporale. Utilice las características anatómicas del cerebro de cada persona para crear una máscara específica para su corteza auditiva.
Figura 1: región de localización de interés. La superficie del planum temporale ha sido trazada en alta resolución imagen anatómica de este participante y a continuación se muestra en azul. En verde es la mascara del poste frontal. Estos vóxeles se utilizará para el análisis de la MVPA.
- Procesamiento previo de los datos.
- Realizar corrección de movimiento para reducir artefactos de movimiento.
- Realizar el filtrado temporal para quitar señal derivas.
- Entrenar y probar el algoritmo clasificador.
- Dividir los datos de entrenamiento y pruebas de sistemas. Datos de entrenamiento se utilizarán para entrenar el clasificador, y los datos de prueba de salida de la izquierda se utilizará para evaluar lo ha aprendido. Para maximizar la independencia de la formación y datos de prueba, deje los datos de una exploración funcional como el conjunto de pruebas.
- Entrenar un algoritmo de máquina de Vector de apoyo en los datos de marcada formación de la corteza auditiva en cada tema. Evaluar capacidad de clasificador de adivinar correctamente la identidad del conjunto de pruebas sin etiqueta y registrar precisión del clasificador.
- Repetir este procedimiento 4 veces, dejando de lado cada análisis como datos de prueba cada vez. Este tipo de procedimiento, en el que cada sección de los datos queda hacia fuera una vez, se denomina validación cruzada.
- Combinar exactitudes de clasificador a través de los 4 pliegues de validación cruzada por un promedio de.
- La prueba estadística
- Para determinar si el clasificador realiza mejor que oportunidad (33%), podemos comparar resultados a nivel de grupo al azar. Para ello, se reúnen las exactitudes de cada materia y prueba que la distribución es diferente de la posibilidad de usar una prueba no paramétrica de Wilcoxon Signed-Rank.
- También podemos preguntar si el clasificador realiza mejor que oportunidad para cada individuo. Para determinar la probabilidad de que un nivel dado de exactitud en datos oportunidad, crear una distribución nula capacitación y probando el algoritmo MVPA en datos cuya etiqueta ha sido barajada al azar. Permutar las etiquetas 10.000 veces para crear una distribución nula de valores de exactitud y luego comparar el valor de la precisión real a esta distribución.
- Para demostrar la especificidad de la información dentro de la corteza auditiva, podemos entrenar y prueba el clasificador en vóxeles desde una ubicación diferente en el cerebro. Aquí, utilizamos una máscara del polo frontal, tomado de un atlas probabilístico y deformado para cerebro individual del cada sujeto.
Iniciar sesión o para acceder al contenido completo. Obtenga más información sobre el acceso de su institución al contenido de JoVE aquí
Las imágenes auditivas son un proceso que da lugar a la experiencia de escuchar sonidos, incluso cuando no hay estímulos auditivos externos presentes.
Por ejemplo, piense en escuchar el sonido de un teléfono celular sonando. Si bien la información dentro de la memoria subyace a este evento imaginario, la evidencia sugiere que el cerebro de un individuo utiliza los mismos mecanismos para la imaginación que los que están involucrados en la percepción real.
Con solo imaginar el zumbido, se activan regiones dentro de la corteza auditiva. Sin embargo, a pesar de que esto es cierto en todos los estímulos acústicos, la forma en que se codifican los sonidos para permitir el procesamiento detallado de sonidos distintos, como distinguir entre el timbre de una puerta y una canción que suena en la radio, es una pregunta importante.
Basado en el trabajo previo de Meyer y sus colegas, este video demuestra cómo combinar imágenes de resonancia magnética funcional (fMRI) con presentaciones de diferentes videos silenciosos para investigar cómo responde el cerebro a las imágenes auditivas.
También describiremos cómo utilizar un método llamado análisis de patrones multi-vóxeles. MVPA para predecir lo que los sujetos han imaginado mediante el análisis de los patrones de activación obtenidos durante las sesiones de fMRI.
En este experimento, los participantes se acuestan en un escáner de resonancia magnética funcional y se les muestra una serie de videos silenciosos. Cada uno de ellos, ya sea el canto de un gallo, una motosierra cortando un árbol o una persona tocando un piano, evoca imágenes auditivas distintivas y vívidas, y se les pide que imaginen los sonidos durante cada presentación.
El procedimiento de adquisición de imágenes se basa en un muestreo temporal disperso, mediante el cual se adquiere un solo volumen de fMRI de 4 a 5 s después de que se presenta cada estímulo. Dicha sincronización captura el pico de la respuesta hemodinámica y reduce la probabilidad de que las señales queden enmascaradas por el ruido del escáner.
Se espera que cada sonido imaginado induzca patrones sutiles pero distintivos de actividad neuronal, específicamente en la corteza auditiva. Aquí, el patrón es la palabra clave: la forma clásica de analizar estos datos utiliza un enfoque univariante, donde los vóxeles individuales, que representan algún nivel de activación, se colapsan en un solo promedio.
Estos valores se comparan entre sonidos y es posible que no produzcan diferencias significativas en los niveles de activación.
En su lugar, mediante un análisis multivariante, se disponen varios vóxeles para cada sonido y los niveles de activación se pueden comparar colectivamente, en todos los vóxeles, lo que contribuye a un patrón general único para cada sonido imaginado.
Con este enfoque de análisis de patrones de vóxeles múltiples, o MVPA, si los patrones son realmente sensibles a un contenido específico, entonces es posible que se puedan usar para predecir el estímulo original. ¿Así es? ¡MVPA a menudo se conoce como una técnica de lectura de la mente!
Para lograr este aspecto de predicción, se debe realizar un procesamiento más intensivo después de recopilar a los participantes. datos, que se dividen en conjuntos de entrenamiento y prueba.
Los datos etiquetados del conjunto de entrenamiento se someten primero a cálculos de aprendizaje automático, en concreto, a un algoritmo de máquina de vectores de soporte. Este proceso se utiliza para clasificar con precisión los datos mediante el reconocimiento de características en los patrones neuronales que pueden distinguir los tres tipos de sonidos entre sí.
Una vez que el clasificador ha aprendido las características para identificar con precisión los tipos, se le presentan datos sin etiquetar del conjunto de pruebas y sus conjeturas se comparan con las etiquetas de estímulos correctas.
En este caso, el rendimiento de la clasificación sirve como variable dependiente, registrada como la precisión del clasificador, que también se compara con los vóxeles evocados en una ubicación diferente en el cerebro, como el polo frontal.
Se espera que el clasificador prediga la identificación de imágenes auditivas, revelando la importancia de MVPA en la detección de actividad específica de contenido dentro de la corteza auditiva.
Por motivos experimentales y de seguridad, verifique que todos los participantes sean diestros, tengan una visión normal o corregida a normal, no tengan antecedentes de trastornos neurológicos o claustrofobia y no posean ningún metal en su cuerpo. Además, asegúrese de que completen los formularios de consentimiento necesarios.
Antes de continuar, explique que verán varios videos cortos y silenciosos en el escáner que pueden evocar un sonido en su mente. Pídales que se concentren en los sonidos imaginados, que los "escuchen" lo mejor que puedan y que permanezcan quietos durante la duración de la tarea.
Ahora, prepare al participante para entrar en el escáner. Para ver estos pasos en detalle, consulte otro video de fMRI producido en esta colección.
Después de la preparación, alinee al participante y envíelo dentro del orificio. En la habitación adyacente, primero recoja una exploración anatómica de alta resolución. A continuación, sincronice el inicio de la presentación de vídeo silenciosa con el inicio de la exploración funcional.
Para lograr un muestreo temporal disperso, ajuste el tiempo de adquisición de un volumen de resonancia magnética a 2 s, con un retraso de 9 s en el medio.
Es importante destacar que coordine el inicio de cada videoclip de 5 segundos para que comience 4 segundos después de que comience la adquisición de la resonancia magnética anterior para capturar la actividad hemodinámica que corresponde a la mitad de la película.
Presente cada video 10 veces, en orden aleatorio, generando una sesión de escaneo que dure 5,5 minutos. Repita esta secuencia de adquisición funcional tres veces más.
Después de que se hayan realizado las cuatro exploraciones funcionales, saque al participante del escáner e informe para concluir el estudio.
Para definir las regiones de interés, utilice los escaneos anatómicos de alta resolución de cada participante y trace vóxeles en la superficie del lóbulo temporal que correspondan a la corteza auditiva temprana, también conocida como plano temporal. Además, cree una máscara que contenga vóxeles en el lóbulo frontal, que se utilizará como región de control.
A continuación, preprocese los datos realizando la corrección de movimiento para reducir los artefactos de movimiento y el filtrado temporal para eliminar las derivas de la señal.
A continuación, divida los datos en dos conjuntos: entrenamiento y prueba. En un conjunto de datos, entrene un clasificador, un algoritmo de máquina de vectores de soporte, asegurándose de mantener los datos de las dos regiones del cerebro separados para cada sujeto.
En el otro conjunto, evalúe lo que el clasificador ha aprendido, su capacidad para adivinar correctamente la identidad de los datos sin etiquetar, y registre la precisión del algoritmo a lo largo de las ejecuciones. Realice este procedimiento un total de cuatro veces, dejando fuera un escaneo funcional como datos de prueba cada vez, un proceso llamado validación cruzada.
Para visualizar los datos, grafique las precisiones promediadas del clasificador en los cuatro pliegues de validación cruzada para cada participante.
Traza estos promedios tanto para la región primaria de interés, el plano temporal, como para el área de control, el polo frontal, para comparar la especificidad focal del clasificador, el grado en que se predice selectivamente que un área particular, como la corteza auditiva, está involucrada en la imaginación auditiva.
En este caso, ejecute un estadístico no paramétrico, la prueba de rango con signo de Wilcoxon, para probar el rendimiento frente al azar, que es del 33%. Tenga en cuenta que la precisión promedio del clasificador en la corteza auditiva fue del 59%, lo que es significativamente diferente del nivel de azar.
Por el contrario, el rendimiento medio en la máscara de poste frontal fue del 33%, lo que no difiere significativamente del azar.
Además, observe que el rendimiento del clasificador varió de un individuo a otro. Después de usar una prueba de permutación para calcular un nuevo umbral estadístico del 42%, se observó que 19 de 20 sujetos tenían valores de precisión significativamente mayores que este nivel usando vóxeles del plano temporal, mientras que ninguno tenía un rendimiento mayor que el azar usando vóxeles del polo frontal.
En general, estos resultados implican que las técnicas de MVPA predijeron con precisión cuál de los tres sonidos que los participantes estaban imaginando en función de los patrones de actividad neuronal. Tales predicciones solo se hicieron dentro de la corteza auditiva, lo que sugiere que el contenido acústico no está representado globalmente en todo el cerebro.
Ahora que está familiarizado con cómo aplicar el análisis de patrones de múltiples vóxeles para estudiar las imágenes auditivas, veamos cómo los neuropsicólogos utilizan técnicas multivariadas para avanzar en un enfoque futurista de la lectura de la mente, la decodificación de los estados mentales, en otros dominios.
Se han utilizado clasificadores en datos de resonancia magnética funcional obtenidos de la corteza temporal ventral para predecir los tipos de objetos que los participantes vieron, distinguiendo entre casas y rostros, por ejemplo.
Llevando esto un paso más allá, incluso es posible predecir si el individuo compraría esa casa o encontraría a la persona agradable. Por espeluznante que suene, estas implicaciones del neuromarketing no son descabelladas.
El mismo enfoque también podría usarse para detectar estados emocionales después de ver un programa, reconociendo que una película de miedo es realmente aterradora, o incluso el género cinematográfico; Por ejemplo, la película aterradora podría involucrar a la amígdala de manera más predecible que una contemplativa que involucraría de manera confiable a la corteza prefrontal.
Además, las interfaces cerebro-computadora podrían convertir los estados mentales en señales que mejorarían la comunicación, en el caso de las personas que se someten a terapia del habla, o los movimientos, para aquellos que han sufrido la amputación de una extremidad.
Acabas de ver el video de JoVE sobre la comprensión de las imágenes auditivas mediante el análisis de patrones de múltiples vóxeles. Ahora debe tener una buena comprensión de cómo diseñar y llevar a cabo el experimento de imágenes auditivas junto con la neuroimagen funcional y, finalmente, cómo analizar e interpretar patrones específicos de actividad cerebral.
¡Gracias por mirar!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.