1. Katılımcı alımı
2. Ön tarama prosedürleri
3. Katılımcı için talimatlar sağlayın.
4. Katılımcıyı tarayıcıya yerleştirin.
5. Veri toplama
6. Veri analizi

Şekil 1: İlgi alanı izleme. Planum temporale'nin yüzeyi bu katılımcının yüksek çözünürlüklü anatomik görüntüsünde izlenmiştir ve burada mavi renkle gösterilmiştir. Yeşil renkte, ön direğin kontrol maskesi bulunur. Bu vokseller MVPA analizi için kullanılacaktır.
Kaynak: Jonas T. Kaplan ve Sarah I. Gimbel'in Laboratuvarları—Güney Kaliforniya Üniversitesi
Bir zilin çaldığını hayal edin. "Zihnin kulağında" böyle…
1. Katılımcı alımı
2. Ön tarama prosedürleri
3. Katılımcı için talimatlar sağlayın.
4. Katılımcıyı tarayıcıya yerleştirin.
5. Veri toplama
6. Veri analizi

Şekil 1: İlgi alanı izleme. Planum temporale'nin yüzeyi bu katılımcının yüksek çözünürlüklü anatomik görüntüsünde izlenmiştir ve burada mavi renkle gösterilmiştir. Yeşil renkte, ön direğin kontrol maskesi bulunur. Bu vokseller MVPA analizi için kullanılacaktır.
İşitsel imgeleme, hiçbir dış işitsel uyaran olmadığında bile sesleri duyma deneyimine yol açan bir süreçtir.
Örneğin, bir cep telefonunun çalan sesini duyduğunuzu düşünün. Hafızadaki bilgi bu hayali olayın altında yatarken, kanıtlar bir bireyin beyninin gerçek algıda yer alanlarla aynı hayal gücü mekanizmalarını kullandığını göstermektedir.
Sadece çınlamayı hayal ettikten sonra, işitsel korteks içindeki bölgeler aktive olur. Bununla birlikte, bu akustik uyaranlar için doğru olsa da, seslerin farklı seslerin ayrıntılı bir şekilde işlenmesine izin verecek şekilde nasıl kodlandığı - bir kapı zili zili ile radyoda çalan bir şarkıyı ayırt etmek gibi - önemli bir sorudur.
Meyer ve meslektaşları tarafından yapılan önceki çalışmalara dayanan bu video, beynin işitsel görüntülere nasıl tepki verdiğini araştırmak için fonksiyonel manyetik rezonans görüntülemenin (fMRI) farklı sessiz videoların sunumlarıyla nasıl birleştirileceğini göstermektedir.
Ayrıca çoklu voksel örüntü analizi adı verilen bir yöntemin nasıl kullanılacağını da açıklayacağız? Kısaca MVPA, fMRI seansları sırasında elde edilen aktivasyon kalıplarını analiz ederek deneklerin ne hayal ettiğini tahmin etmek.
Bu deneyde, katılımcılar bir fMRI tarayıcısında yatar ve bir dizi sessiz video gösterilir. İster öten bir horoz, ister bir ağacı kesen bir elektrikli testere, ister piyano çalan bir kişi olsun, her biri kendine özgü ve canlı işitsel imgeler çağrıştırır ve her bir sunum sırasında sesleri hayal etmeleri istenir.
Görüntüleme elde etme prosedürü, seyrek zamansal örneklemeye dayanır, bu sayede her uyaran sunulduktan 4 ila 5 saniye sonra tek bir fMRI hacmi elde edilir. Bu zamanlama, hemodinamik yanıtın zirvesini yakalar ve sinyallerin tarayıcı gürültüsü tarafından maskelenme olasılığını azaltır.
Hayal edilen her sesin, özellikle işitsel kortekste, ince ama ayırt edici sinirsel aktivite kalıplarını indüklemesi beklenir. Burada, model anahtar kelimedir: Bu verileri analiz etmenin klasik yolu, bir miktar aktivasyonu temsil eden bireysel voksellerin tek bir ortalamaya indirgendiği tek değişkenli bir yaklaşım kullanır.
Bu değerler daha sonra sesler arasında karşılaştırılır ve aktivasyon seviyelerinde önemli bir fark oluşturmayabilir.
Bunun yerine, çok değişkenli bir analiz kullanılarak, her ses için birden fazla voksel düzenlenir ve aktivasyon seviyeleri, tüm vokseller arasında toplu olarak karşılaştırılabilir ve hayal edilen her ses için benzersiz bir genel modele katkıda bulunur.
Bu çok voksel örüntü analizi veya MVPA yaklaşımıyla, örüntüler gerçekten belirli bir içeriğe duyarlıysa, orijinal uyaranı tahmin etmek için kullanılmaları mümkündür. Doğru mu? MVPA genellikle bir zihin okuma tekniği olarak adlandırılır!
Bu tahmin yönünü elde etmek için, katılımcılar toplandıktan sonra daha yoğun bir işlem yapılması gerekiyor mu? eğitim ve test kümelerine ayrılan veriler.
Eğitim setinden etiketlenmiş veriler önce makine öğrenimi hesaplamalarına, özellikle de bir Destek Vektör Makinesi algoritmasına tabi tutulur. Bu işlem, üç ses türünü birbirinden ayırt edebilecek nöral desenlerdeki özellikleri tanıyarak verileri doğru bir şekilde sınıflandırmak için kullanılır.
Sınıflandırıcı, türleri doğru bir şekilde tanımlamak için özellikleri öğrendikten sonra, test setinden etiketlenmemiş verilerle sunulur ve tahminleri daha sonra doğru uyaran etiketleriyle karşılaştırılır.
Bu durumda, sınıflandırma performansı, sınıflandırıcının doğruluğu olarak kaydedilen bağımlı değişken olarak işlev görür ve bu aynı zamanda beynin farklı bir yerinde, örneğin ön kutup gibi uyarılan voksellerle karşılaştırılır.
Sınıflandırıcının, işitsel görüntülerin tanımlanmasını tahmin etmesi ve işitsel korteks içindeki içeriğe özgü aktiviteyi tespit etmede MVPA'nın önemini ortaya çıkarması beklenmektedir.
Deneysel ve güvenlik endişelerine göre, tüm katılımcıların sağ elini kullandığını, normal veya normale düzeltilmiş görüşe sahip olduğunu, nörolojik bozukluk veya klostrofobi öyküsü olmadığını ve vücutlarında herhangi bir metal bulunmadığını doğrulayın. Ayrıca, gerekli onay formlarını doldurduklarından emin olun.
Devam etmeden önce, tarayıcıda akıllarında bir ses uyandırabilecek birkaç kısa sessiz video göreceklerini açıklayın. Hayal edilen seslere odaklanmalarını, onları ellerinden geldiğince "duymalarını" ve görev süresince hareketsiz kalmalarını isteyin.
Şimdi, katılımcıyı tarayıcıya girmeye hazırlayın. Bu adımları ayrıntılı olarak görmek için lütfen bu koleksiyonda üretilen başka bir fMRI videosuna bakın.
Hazırlığın ardından katılımcıyı hizalayın ve deliğin içine gönderin. Bitişik odada, önce yüksek çözünürlüklü bir anatomik tarama toplayın. Ardından, sessiz video sunumunun başlangıcını işlevsel taramanın başlangıcıyla senkronize edin.
Seyrek zamansal örnekleme elde etmek için, bir MRI hacminin alım süresini, arada 9 saniyelik bir gecikme olacak şekilde 2 sn olarak ayarlayın.
Daha da önemlisi, filmin ortasına karşılık gelen hemodinamik aktiviteyi yakalamak için önceki MRG alımının başlamasından 4 saniye sonra başlamak için her 5 saniyelik video klibin başlangıcını koordine edin.
Her videoyu rastgele sırayla 10 kez sunun ve 5,5 dakika süren bir tarama oturumu oluşturun. Bu işlevsel edinme sırasını üç kez daha tekrarlayın.
Dört işlevsel tarama gerçekleştirildikten sonra, katılımcıyı tarayıcıdan çıkarın ve çalışmayı sonlandırmak için onları bilgilendirin.
İlgi alanlarını tanımlamak için, her katılımcının yüksek çözünürlüklü anatomik taramalarını kullanın ve temporal lobun yüzeyinde, planum temporale olarak da bilinen erken işitsel kortekse karşılık gelen vokselleri izleyin. Ek olarak, kontrol bölgesi olarak kullanılacak olan frontal lobda vokseller içeren bir maske oluşturun.
Ardından, hareket artefaktlarını azaltmak için hareket düzeltmesi ve sinyal sapmalarını ortadan kaldırmak için zamansal filtreleme gerçekleştirerek verileri önceden işleyin.
Ardından, verileri iki kümeye bölün: eğitim ve test. Bir veri setinde, bir sınıflandırıcıyı eğitin - bir destek vektör makinesi algoritması - iki beyin bölgesinden gelen verileri her konu için ayrı tuttuğunuzdan emin olun.
Diğer kümede, sınıflandırıcının ne öğrendiğini değerlendirin (etiketlenmemiş verilerin kimliğini doğru bir şekilde tahmin etme yeteneği) ve algoritmanın doğruluğunu çalıştırmalar arasında kaydedin. Bu prosedürü toplam dört kez gerçekleştirin ve her seferinde test verileri olarak bir işlevsel taramayı dışarıda bırakın - çapraz doğrulama adı verilen bir işlem.
Verileri görselleştirmek için, her katılımcı için dört çapraz doğrulama katında ortalama sınıflandırıcı doğruluklarının grafiğini çıkarın.
Sınıflandırıcının odak özgüllüğünü, işitsel korteks gibi belirli bir alanın işitsel hayal gücüne dahil olduğu seçici olarak tahmin edilme derecesini karşılaştırmak için bu ortalamaları hem birincil ilgi alanı olan planum temporale hem de kontrol alanı olan ön kutup için çizin.
Bu durumda, %33 olan şansa karşı performansı test etmek için parametrik olmayan bir istatistik olan Wilcoxon İşaretli Sıra testini çalıştırın. İşitsel korteksteki ortalama sınıflandırıcı doğruluğunun %59 olduğunu ve bunun şans seviyesinden önemli ölçüde farklı olduğunu unutmayın.
Buna karşılık, ön direk maskesindeki ortalama performans %33 idi ve bu, şanstan önemli ölçüde farklı değil.
Ayrıca, sınıflandırıcı performansının bireyler arasında farklılık gösterdiğine dikkat edin. %42'lik yeni bir istatistiksel eşiği hesaplamak için bir permütasyon testi kullandıktan sonra, 20 denekten 19'unun planum temporale'den vokseller kullanarak bu seviyeden önemli ölçüde daha yüksek doğruluk değerlerine sahip olduğunu, oysa hiçbirinin ön kutuptan vokseller kullanarak şanstan daha yüksek performansa sahip olmadığını görün.
Genel olarak, bu sonuçlar, MVPA tekniklerinin, katılımcıların sinirsel aktivite kalıplarına dayalı olarak üç sesten hangisini hayal ettiğini doğru bir şekilde tahmin ettiğini ima etmektedir. Bu tür tahminler sadece işitsel korteks içinde yapıldı, bu da akustik içeriğin beyinde küresel olarak temsil edilmediğini düşündürdü.
Artık işitsel imgeleri incelemek için çok sesli örüntü analizinin nasıl uygulanacağını bildiğinize göre, nöropsikologların diğer alanlarda zihin okumaya (zihinsel durumların kodunu çözme) fütüristik bir yaklaşım geliştirmek için çok değişkenli teknikleri nasıl kullandıklarına bakalım.
Sınıflandırıcılar, ventral temporal korteksten elde edilen fMRI verileri üzerinde, örneğin evler ve yüzler arasında ayrım yaparak, katılımcıların görüntülediği nesne türlerini tahmin etmek için kullanılmıştır.
Bunu bir adım daha ileri götürerek, bireyin o evi satın alıp almayacağını veya kişiyi hoş bulup bulmayacağını tahmin etmek bile mümkündür. Kulağa ne kadar ürkütücü gelse de, bu nöropazarlama etkileri çok da uzak değil!
Aynı yaklaşım, bir şovu izledikten sonra duygusal durumları tespit etmek için de kullanılabilir.korkunç bir filmin gerçekten korkunç olduğunu kabul etmek?ya da hatta film türü; Örneğin, korkutucu film, amigdala'yı, prefrontal korteksi güvenilir bir şekilde içerecek düşünceli bir filme göre daha tahmin edilebilir bir şekilde meşgul edebilir.
Ek olarak, beyin-bilgisayar arayüzleri, zihinsel durumları, bir uzvun amputasyonundan muzdarip olanlar için konuşma terapisi veya hareketleri geçiren bireyler söz konusu olduğunda, iletişimi artıracak sinyallere dönüştürebilir.
Az önce JoVE'nin çok sesli örüntü analizi kullanarak işitsel görüntüleri anlama videosunu izlediniz. Şimdi, işitsel imgeleme deneyini işlevsel nörogörüntüleme ile birlikte nasıl tasarlayacağınızı ve yürüteceğinizi ve son olarak belirli beyin aktivitesi kalıplarını nasıl analiz edeceğinizi ve yorumlayacağınızı iyi anlamalısınız.
İzlediğiniz için teşekkürler!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.
Chapters in this video
0:00
Overview
1:30
Experimental Design
4:40
Running the Experiment
6:37
Data Analysis
7:54
Representative Results
9:50
Applications
11:14
Summary
Videos from this collection: