Multivoksel Örüntü Analizi ile İşitsel İmgelerin Kod Çözme
Kaynak: Jonas T. Kaplan ve Sarah I. Gimbel'in Laboratuvarları—Güney Kaliforniya Üniversitesi
Bir zilin çaldığını hayal edin. "Zihnin kulağında" böyle…
1. Katılımcı alımı
- 20 katılımcıyı işe alın.
- Katılımcılar sağ elini kullanmalı ve nörolojik veya psikolojik bozukluk öyküsü olmamalıdır.
- Katılımcılar, görsel ipuçlarını düzgün bir şekilde görebilmelerini sağlamak için normal veya düzeltilmiş görüşe sahip olmalıdır.
- Katılımcıların vücutlarında metal bulunmamalıdır. Bu, fMRI'da yer alan yüksek manyetik alan nedeniyle önemli bir güvenlik gereksinimidir.
- Katılımcılar klostrofobiden muzdarip olmamalıdır, çünkü fMRI tarayıcı deliğinin küçük bir alanında yatmayı gerektirir.
2. Ön tarama prosedürleri
- Ön tarama evraklarını doldurun.
- Katılımcılar fMRI taraması için geldiklerinde, MRG için herhangi bir karşı endikasyonları olmadığından emin olmak için önce metal bir ekran formu, taramalarının bir radyolog tarafından incelenmesi için onay veren bir tesadüfi bulgular formu ve çalışmanın risklerini ve faydalarını detaylandıran bir onay formu doldurmalarını söyleyin.
- Kemerler, cüzdanlar, telefonlar, saç tokaları, madeni paralar ve tüm mücevherler dahil olmak üzere vücutlarındaki tüm metalleri çıkararak katılımcıları tarayıcıya girmeye hazırlayın.
3. Katılımcı için talimatlar sağlayın.
- Katılımcılara, tarayıcının içinde bir dizi kısa video göreceklerini söyleyin. Bu videolar sessiz olacak, ancak "zihinlerinin kulağında" bir ses uyandırabilirler. Katılımcıdan bu işitsel imgeye odaklanmasını ve teşvik etmesini, sesi olabildiğince iyi "duymaya" çalışmasını isteyin.
- Katılımcıya tarama boyunca başını sabit tutmanın önemini vurgulayın.
4. Katılımcıyı tarayıcıya yerleştirin.
- Katılımcıya, kulaklarını tarayıcının gürültüsünden korumak için kulak tıkaçları verin ve tarama sırasında deneyciyi duyabilmeleri için kulaklıkları takın ve başları bobinde olacak şekilde yatağa yatırmalarını sağlayın.
- Katılımcıya acil durum sıkma topunu verin ve tarama sırasında acil bir durumda sıkması talimatını verin.
- Tarama sırasında aşırı hareketi önlemek için katılımcıların kafasını bobine sabitlemek için köpük pedler kullanın ve katılımcıya, en küçük hareketler bile görüntüleri bulanıklaştırdığından, tarama sırasında mümkün olduğunca hareketsiz kalmanın çok önemli olduğunu hatırlatın.
5. Veri toplama
- Yüksek çözünürlüklü anatomik taramayı toplayın.
- İşlevsel taramaya başlayın.
- Uyaran sunumunun başlangıcını tarayıcının başlangıcı ile senkronize edin.
- Seyrek zamansal örneklemeyi elde etmek için, bir MRI hacminin alım süresini, hacim alımları arasında 9 sn gecikme ile 2 sn olarak ayarlayın.
- Sessiz videoları projektöre bağlı bir dizüstü bilgisayar aracılığıyla sunun. Katılımcının gözlerinin üzerinde, tarayıcı deliğinin arkasındaki bir ekranı yansıtan bir ayna vardır.
- Her 5 saniyelik video klibin başlangıcını, önceki MRG alımının başlamasından 4 saniye sonra başlayacak şekilde senkronize edin. Bu, filmin ortasına karşılık gelen hemodinamik aktiviteyi yakalamak için video klibin başlamasından 7 saniye sonra bir sonraki MRI hacminin elde edilmesini sağlayacaktır.
- Canlı işitsel görüntüleri çağrıştıran üç farklı sessiz video sunun: ileri geri sallanan bir zil, bir ağacı kesen bir elektrikli testere ve keman çalan bir kişi.
- Her işlevsel taramada, her videoyu rastgele sırayla 10 kez sunun. Her deneme 11 saniye sürdüğünde, bu 330 saniye (5,5 dakika) uzunluğunda bir tarama ile sonuçlanacaktır.
- 4 işlevsel tarama gerçekleştirin.
6. Veri analizi
- Bir İlgi Alanı (ROI) tanımlayın.
- Erken işitsel kortekse karşılık gelen vokselleri izlemek için her katılımcının yüksek çözünürlüklü anatomik taramasını kullanın (Şekil 1). Bu, planum temporale adı verilen temporal lobun yüzeyine karşılık gelir. İşitsel korteksine özgü bir maske oluşturmak için her bireyin beyninin anatomik özelliklerini kullanın.
Şekil 1: İlgi alanı izleme. Planum temporale'nin yüzeyi bu katılımcının yüksek çözünürlüklü anatomik görüntüsünde izlenmiştir ve burada mavi renkle gösterilmiştir. Yeşil renkte, ön direğin kontrol maskesi bulunur. Bu vokseller MVPA analizi için kullanılacaktır.
- Verileri önceden işleyin.
- Hareket artefaktlarını azaltmak için hareket düzeltmesi gerçekleştirin.
- Sinyal sapmalarını gidermek için zamansal filtreleme gerçekleştirin.
- Sınıflandırıcı algoritmasını eğitin ve test edin.
- Verileri eğitim ve test kümelerine bölün. Eğitim verileri, sınıflandırıcıyı eğitmek için kullanılacak ve dışarıda bırakılan test verileri, öğrendiklerini değerlendirmek için kullanılacaktır. Eğitim ve test verilerinin bağımsızlığını en üst düzeye çıkarmak için, test seti olarak tek bir işlevsel taramadan gelen verileri dışarıda bırakın.
- Her konuda işitsel korteksten gelen etiketli eğitim verileri üzerinde bir Destek Vektör Makinesi algoritması eğitin. Sınıflandırıcının etiketlenmemiş test kümesinin kimliğini doğru tahmin etme yeteneğini test edin ve sınıflandırıcının doğruluğunu kaydedin.
- Bu prosedürü 4 kez tekrarlayın ve her taramayı her seferinde test verisi olarak bırakın. Verilerin her bir bölümünün bir kez dışarıda bırakıldığı bu tür bir prosedüre çapraz doğrulama denir.
- Ortalama alarak 4 çapraz doğrulama katında sınıflandırıcı doğruluklarını birleştirin.
- İstatistiksel test
- Sınıflandırıcının şanstan daha iyi performans gösterip göstermediğini (3) belirlemek için, grup düzeyindeki sonuçları şansla karşılaştırabiliriz. Bunu yapmak için, her konu için doğrulukları toplayın ve parametrik olmayan bir Wilcoxon İşaretli Sıra testi kullanarak dağılımın şanstan farklı olduğunu test edin.
- Sınıflandırıcının her birey için şanstan daha iyi performans gösterip göstermediğini de sorabiliriz. Şans verilerinde belirli bir doğruluk düzeyinin olasılığını belirlemek için, etiketleri rastgele karıştırılmış veriler üzerinde MVPA algoritmasını eğiterek ve test ederek boş bir dağılım oluşturun. Doğruluk değerlerinin boş bir dağılımını oluşturmak için etiketleri 10.000 kez değiştirin ve ardından gerçek doğruluk değerini bu dağılımla karşılaştırın.
- İşitsel korteks içindeki bilginin özgüllüğünü göstermek için, sınıflandırıcıyı beynin farklı bir yerinden vokseller üzerinde eğitebilir ve test edebiliriz. Burada, olasılıksal bir atlastan alınan ve her deneğin bireysel beynine uyacak şekilde çarpıtılmış bir ön kutup maskesi kullanacağız.
İşitsel imgeleme, hiçbir dış işitsel uyaran olmadığında bile sesleri duyma deneyimine yol açan bir süreçtir.
Örneğin, bir cep telefonunun çalan sesini duyduğunuzu düşünün. Hafızadaki bilgi bu hayali olayın altında yatarken, kanıtlar bir bireyin beyninin gerçek algıda yer alanlarla aynı hayal gücü mekanizmalarını kullandığını göstermektedir.
Sadece çınlamayı hayal ettikten sonra, işitsel korteks içindeki bölgeler aktive olur. Bununla birlikte, bu akustik uyaranlar için doğru olsa da, seslerin farklı seslerin ayrıntılı bir şekilde işlenmesine izin verecek şekilde nasıl kodlandığı - bir kapı zili zili ile radyoda çalan bir şarkıyı ayırt etmek gibi - önemli bir sorudur.
Meyer ve meslektaşları tarafından yapılan önceki çalışmalara dayanan bu video, beynin işitsel görüntülere nasıl tepki verdiğini araştırmak için fonksiyonel manyetik rezonans görüntülemenin (fMRI) farklı sessiz videoların sunumlarıyla nasıl birleştirileceğini göstermektedir.
Ayrıca çoklu voksel örüntü analizi adı verilen bir yöntemin nasıl kullanılacağını da açıklayacağız? Kısaca MVPA, fMRI seansları sırasında elde edilen aktivasyon kalıplarını analiz ederek deneklerin ne hayal ettiğini tahmin etmek.
Bu deneyde, katılımcılar bir fMRI tarayıcısında yatar ve bir dizi sessiz video gösterilir. İster öten bir horoz, ister bir ağacı kesen bir elektrikli testere, ister piyano çalan bir kişi olsun, her biri kendine özgü ve canlı işitsel imgeler çağrıştırır ve her bir sunum sırasında sesleri hayal etmeleri istenir.
Görüntüleme elde etme prosedürü, seyrek zamansal örneklemeye dayanır, bu sayede her uyaran sunulduktan 4 ila 5 saniye sonra tek bir fMRI hacmi elde edilir. Bu zamanlama, hemodinamik yanıtın zirvesini yakalar ve sinyallerin tarayıcı gürültüsü tarafından maskelenme olasılığını azaltır.
Hayal edilen her sesin, özellikle işitsel kortekste, ince ama ayırt edici sinirsel aktivite kalıplarını indüklemesi beklenir. Burada, model anahtar kelimedir: Bu verileri analiz etmenin klasik yolu, bir miktar aktivasyonu temsil eden bireysel voksellerin tek bir ortalamaya indirgendiği tek değişkenli bir yaklaşım kullanır.
Bu değerler daha sonra sesler arasında karşılaştırılır ve aktivasyon seviyelerinde önemli bir fark oluşturmayabilir.
Bunun yerine, çok değişkenli bir analiz kullanılarak, her ses için birden fazla voksel düzenlenir ve aktivasyon seviyeleri, tüm vokseller arasında toplu olarak karşılaştırılabilir ve hayal edilen her ses için benzersiz bir genel modele katkıda bulunur.
Bu çok voksel örüntü analizi veya MVPA yaklaşımıyla, örüntüler gerçekten belirli bir içeriğe duyarlıysa, orijinal uyaranı tahmin etmek için kullanılmaları mümkündür. Doğru mu? MVPA genellikle bir zihin okuma tekniği olarak adlandırılır!
Bu tahmin yönünü elde etmek için, katılımcılar toplandıktan sonra daha yoğun bir işlem yapılması gerekiyor mu? eğitim ve test kümelerine ayrılan veriler.
Eğitim setinden etiketlenmiş veriler önce makine öğrenimi hesaplamalarına, özellikle de bir Destek Vektör Makinesi algoritmasına tabi tutulur. Bu işlem, üç ses türünü birbirinden ayırt edebilecek nöral desenlerdeki özellikleri tanıyarak verileri doğru bir şekilde sınıflandırmak için kullanılır.
Sınıflandırıcı, türleri doğru bir şekilde tanımlamak için özellikleri öğrendikten sonra, test setinden etiketlenmemiş verilerle sunulur ve tahminleri daha sonra doğru uyaran etiketleriyle karşılaştırılır.
Bu durumda, sınıflandırma performansı, sınıflandırıcının doğruluğu olarak kaydedilen bağımlı değişken olarak işlev görür ve bu aynı zamanda beynin farklı bir yerinde, örneğin ön kutup gibi uyarılan voksellerle karşılaştırılır.
Sınıflandırıcının, işitsel görüntülerin tanımlanmasını tahmin etmesi ve işitsel korteks içindeki içeriğe özgü aktiviteyi tespit etmede MVPA'nın önemini ortaya çıkarması beklenmektedir.
Deneysel ve güvenlik endişelerine göre, tüm katılımcıların sağ elini kullandığını, normal veya normale düzeltilmiş görüşe sahip olduğunu, nörolojik bozukluk veya klostrofobi öyküsü olmadığını ve vücutlarında herhangi bir metal bulunmadığını doğrulayın. Ayrıca, gerekli onay formlarını doldurduklarından emin olun.
Devam etmeden önce, tarayıcıda akıllarında bir ses uyandırabilecek birkaç kısa sessiz video göreceklerini açıklayın. Hayal edilen seslere odaklanmalarını, onları ellerinden geldiğince "duymalarını" ve görev süresince hareketsiz kalmalarını isteyin.
Şimdi, katılımcıyı tarayıcıya girmeye hazırlayın. Bu adımları ayrıntılı olarak görmek için lütfen bu koleksiyonda üretilen başka bir fMRI videosuna bakın.
Hazırlığın ardından katılımcıyı hizalayın ve deliğin içine gönderin. Bitişik odada, önce yüksek çözünürlüklü bir anatomik tarama toplayın. Ardından, sessiz video sunumunun başlangıcını işlevsel taramanın başlangıcıyla senkronize edin.
Seyrek zamansal örnekleme elde etmek için, bir MRI hacminin alım süresini, arada 9 saniyelik bir gecikme olacak şekilde 2 sn olarak ayarlayın.
Daha da önemlisi, filmin ortasına karşılık gelen hemodinamik aktiviteyi yakalamak için önceki MRG alımının başlamasından 4 saniye sonra başlamak için her 5 saniyelik video klibin başlangıcını koordine edin.
Her videoyu rastgele sırayla 10 kez sunun ve 5,5 dakika süren bir tarama oturumu oluşturun. Bu işlevsel edinme sırasını üç kez daha tekrarlayın.
Dört işlevsel tarama gerçekleştirildikten sonra, katılımcıyı tarayıcıdan çıkarın ve çalışmayı sonlandırmak için onları bilgilendirin.
İlgi alanlarını tanımlamak için, her katılımcının yüksek çözünürlüklü anatomik taramalarını kullanın ve temporal lobun yüzeyinde, planum temporale olarak da bilinen erken işitsel kortekse karşılık gelen vokselleri izleyin. Ek olarak, kontrol bölgesi olarak kullanılacak olan frontal lobda vokseller içeren bir maske oluşturun.
Ardından, hareket artefaktlarını azaltmak için hareket düzeltmesi ve sinyal sapmalarını ortadan kaldırmak için zamansal filtreleme gerçekleştirerek verileri önceden işleyin.
Ardından, verileri iki kümeye bölün: eğitim ve test. Bir veri setinde, bir sınıflandırıcıyı eğitin - bir destek vektör makinesi algoritması - iki beyin bölgesinden gelen verileri her konu için ayrı tuttuğunuzdan emin olun.
Diğer kümede, sınıflandırıcının ne öğrendiğini değerlendirin (etiketlenmemiş verilerin kimliğini doğru bir şekilde tahmin etme yeteneği) ve algoritmanın doğruluğunu çalıştırmalar arasında kaydedin. Bu prosedürü toplam dört kez gerçekleştirin ve her seferinde test verileri olarak bir işlevsel taramayı dışarıda bırakın - çapraz doğrulama adı verilen bir işlem.
Verileri görselleştirmek için, her katılımcı için dört çapraz doğrulama katında ortalama sınıflandırıcı doğruluklarının grafiğini çıkarın.
Sınıflandırıcının odak özgüllüğünü, işitsel korteks gibi belirli bir alanın işitsel hayal gücüne dahil olduğu seçici olarak tahmin edilme derecesini karşılaştırmak için bu ortalamaları hem birincil ilgi alanı olan planum temporale hem de kontrol alanı olan ön kutup için çizin.
Bu durumda, %33 olan şansa karşı performansı test etmek için parametrik olmayan bir istatistik olan Wilcoxon İşaretli Sıra testini çalıştırın. İşitsel korteksteki ortalama sınıflandırıcı doğruluğunun %59 olduğunu ve bunun şans seviyesinden önemli ölçüde farklı olduğunu unutmayın.
Buna karşılık, ön direk maskesindeki ortalama performans %33 idi ve bu, şanstan önemli ölçüde farklı değil.
Ayrıca, sınıflandırıcı performansının bireyler arasında farklılık gösterdiğine dikkat edin. %42'lik yeni bir istatistiksel eşiği hesaplamak için bir permütasyon testi kullandıktan sonra, 20 denekten 19'unun planum temporale'den vokseller kullanarak bu seviyeden önemli ölçüde daha yüksek doğruluk değerlerine sahip olduğunu, oysa hiçbirinin ön kutuptan vokseller kullanarak şanstan daha yüksek performansa sahip olmadığını görün.
Genel olarak, bu sonuçlar, MVPA tekniklerinin, katılımcıların sinirsel aktivite kalıplarına dayalı olarak üç sesten hangisini hayal ettiğini doğru bir şekilde tahmin ettiğini ima etmektedir. Bu tür tahminler sadece işitsel korteks içinde yapıldı, bu da akustik içeriğin beyinde küresel olarak temsil edilmediğini düşündürdü.
Artık işitsel imgeleri incelemek için çok sesli örüntü analizinin nasıl uygulanacağını bildiğinize göre, nöropsikologların diğer alanlarda zihin okumaya (zihinsel durumların kodunu çözme) fütüristik bir yaklaşım geliştirmek için çok değişkenli teknikleri nasıl kullandıklarına bakalım.
Sınıflandırıcılar, ventral temporal korteksten elde edilen fMRI verileri üzerinde, örneğin evler ve yüzler arasında ayrım yaparak, katılımcıların görüntülediği nesne türlerini tahmin etmek için kullanılmıştır.
Bunu bir adım daha ileri götürerek, bireyin o evi satın alıp almayacağını veya kişiyi hoş bulup bulmayacağını tahmin etmek bile mümkündür. Kulağa ne kadar ürkütücü gelse de, bu nöropazarlama etkileri çok da uzak değil!
Aynı yaklaşım, bir şovu izledikten sonra duygusal durumları tespit etmek için de kullanılabilir.korkunç bir filmin gerçekten korkunç olduğunu kabul etmek?ya da hatta film türü; Örneğin, korkutucu film, amigdala'yı, prefrontal korteksi güvenilir bir şekilde içerecek düşünceli bir filme göre daha tahmin edilebilir bir şekilde meşgul edebilir.
Ek olarak, beyin-bilgisayar arayüzleri, zihinsel durumları, bir uzvun amputasyonundan muzdarip olanlar için konuşma terapisi veya hareketleri geçiren bireyler söz konusu olduğunda, iletişimi artıracak sinyallere dönüştürebilir.
Az önce JoVE'nin çok sesli örüntü analizi kullanarak işitsel görüntüleri anlama videosunu izlediniz. Şimdi, işitsel imgeleme deneyini işlevsel nörogörüntüleme ile birlikte nasıl tasarlayacağınızı ve yürüteceğinizi ve son olarak belirli beyin aktivitesi kalıplarını nasıl analiz edeceğinizi ve yorumlayacağınızı iyi anlamalısınız.
İzlediğiniz için teşekkürler!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.