Olayla İlgili Potansiyeller Analizi Kullanılarak İfade Edici Konuşmada Sağlam Vokal Kimlik Tanıma için Ezberlemeye Dayalı Eğitim ve Test Paradigması

Summary

Çalışma, kendinden emin ve şüpheli prozodik senaryolarda olayla ilgili potansiyellerin eski/yeni etkilerini araştırmak için bir eğitim-test paradigması sunmaktadır. Veriler, Pz ve diğer elektrotlarda 400-850 ms arasında gelişmiş bir geç pozitif bileşen ortaya koymaktadır. Bu boru hattı, konuşma prozodisinin ötesindeki faktörleri ve bunların işaret bağlayıcı hedef belirleme üzerindeki etkilerini keşfedebilir.

Abstract

Tanıdık konuşmacıları ses akışlarından tanımak, insan sözlü iletişiminin temel bir yönüdür. Bununla birlikte, dinleyicilerin anlamlı konuşmada konuşmacının kimliğini hala nasıl ayırt edebilecekleri belirsizliğini koruyor. Bu çalışma, ezberlemeye dayalı bir bireysel konuşmacı kimlik tanıma yaklaşımı ve dinleyicilerin tanıdık konuşmacıları nasıl tanıdığını ve tanıdık olmayanları nasıl ayırt ettiğini izleyen eşlik eden bir elektroensefalogram (EEG) veri analizi hattı geliştirmektedir. EEG verileri, sese dayalı yeni ve eski konuşmacı ayrımı sırasında çevrimiçi bilişsel süreçleri yakalar, beyin aktivitesinin gerçek zamanlı bir ölçümünü sunar, reaksiyon sürelerinin sınırlarını aşar ve doğruluk ölçümleri sunar. Paradigma üç adımdan oluşur: dinleyiciler üç ses ve isimleri arasında ilişkiler kurar (eğitim); dinleyiciler, üç adaydan gelen bir sese karşılık gelen adı belirtir (kontrol edilir); Dinleyiciler, iki alternatifli zorunlu seçim görevinde (test) üç eski ve üç yeni konuşmacı sesi arasında ayrım yapar. Testteki konuşma prozodisi ya kendinden emin ya da şüpheliydi. EEG verileri 64 kanallı bir EEG sistemi kullanılarak toplandı, ardından ön işleme tabi tutuldu ve ERP ve istatistiksel analiz için RStudio'ya ve beyin topografyası için MATLAB'a aktarıldı. Sonuçlar, Pz'deki 400-850 ms'lik pencerede ve her iki prozodideki diğer daha geniş elektrot aralığındaki yeni konuşmacı durumuna kıyasla eski konuşmacıda genişlemiş bir geç pozitif bileşen (LPC) ortaya çıktığını gösterdi. Yine de, şüpheli prozodi algısı için santral ve posterior elektrotlarda eski/yeni etki sağlamken, anterior, santral ve posterior elektrotlar kendinden emin prozodi durumu içindir. Bu çalışma, bu deney tasarımının, çeşitli senaryolarda (örneğin, anaforik ifade) ve fonagnozi gibi hastalarda patolojilerde konuşmacıya özgü işaret bağlama etkilerini araştırmak için bir referans görevi görebileceğini önermektedir.

Introduction

İnsan ses akışları, duygu ^1,2, sağlık durumu ^3,4, biyolojik cinsiyet⁵,^yaş 6 ve daha da önemlisi bireysel ses kimliği ^7,8 gibi bilgiler açısından zengindir. Araştırmalar, insan dinleyicilerin, sesler aracılığıyla akranlarının kimliklerini tanıma ve ayırt etme konusunda güçlü bir kapasiteye sahip olduklarını, konuşmacı kimliğinin akustik alandaki ortalamaya dayalı temsili etrafındaki konuşmacı içi varyasyonların üstesinden geldiklerini göstermiştir⁹. Bu tür varyasyonlar, net bir pragmatik niyete 9 karşılık gelmeyen akustik manipülasyon⁽temel frekans ve ses yolu uzunluğu, yani F0 ve VTL), duygu prozodilerine¹⁰ ve konuşmacıların bilme hissini ileten vokal güvene¹¹ neden olur. Davranışsal deneyler, dil ile ilgili manipülasyonlar ^8,12,13, müzik deneyimi veya okuma yeteneği gibi katılımcılarla ilgili özellikler^14,15 ve geriye doğru konuşma veya kelime olmayanlar gibi uyaranlarla ilgili uyarlamalar^16,17; Literatür incelemelerinde daha fazla bulunabilir^18,19. Yakın zamanda yapılan birkaç deney, yüksek ve düşük duygusal ifade¹⁶ ve nötr ve korkulu prozodiler⁵ gibi yönleri göz önünde bulundurarak, konuşmacı kimlik temsilinin bireysel varyasyonunun tanıma doğruluğunu nasıl zayıflatabileceğini araştırdı; Bir gözden geçirme²⁰ tarafından önerildiği gibi, daha fazla araştırma için daha fazla olası senaryo açıktır.

İlk araştırma boşluğu için, çalışma, konuşmacı tanımlamanın nörolojik temellerinin, konuşmacı içi varyasyonun dinleyicilerin beyin aktivitelerine nasıl meydan okuduğunu henüz tam olarak keşfetmediğini öne sürüyor. Örneğin, Zäske ve arkadaşları tarafından yapılan fMRI tabanlı bir konuşmacı tanıma görevinde, katılımcıların sağ posterior superior temporal girus (pSTG), sağ inferior/orta frontal girus (IFG/MFG), sağ medial frontal girus ve sol kaudat, dilsel içeriğin aynı veya farklı olmasına bakılmaksızın, eski ve yeni konuşmacılar olarak doğru bir şekilde tanımlandığında azalmış aktivasyon gösterdi²¹. Bununla birlikte, Zäske ve arkadaşları tarafından yapılan daha önceki bir elektroensefalografi (EEG) çalışması, konuşmacı kimlik varyasyonu farklı metinler aracılığıyla tanıtıldığında bu eski/yeni etkiyi gözlemlememiştir²². Spesifik olarak, 300 ila 700 ms arasında değişen daha büyük, geç pozitif bileşen (LPC), dinleyiciler aynı metni ifade eden tanıdık eğitimli konuşmacılarıyla karşılaştıklarında (yani, çeşitli olmayan dilsel içerikli bir tekrar duymak) Pz elektrodunda tespit edildi, konuşmacılar yeni metinler sunduğunda yoktu.

Zäske ve ^ark.21 tarafından yapılan iddiayı desteklemek için, bu çalışma, olayla ilgili potansiyel (ERP) analizlerinde eğitim ve test oturumları arasındaki dilsel içerik farklılıklarına rağmen eski/yeni bir etkinin hala gözlemlenebileceğinden şüphelenmektedir. Bu mantık, farklı metinlerin kullanıldığı koşullar altında Zäske ve ^ark.22'de eski/yeni etkisinin olmamasının, Lavan ve ^ark.23 tarafından önerildiği gibi, kapsamlı ve etkili kimlik öğrenimini sağlamak için eğitim görevi sırasında ek bir kontrol oturumunun olmamasına atfedilebileceği fikrinden kaynaklanmaktadır. Sonuç olarak, çalışmanın ilk amacı bu hipotezi incelemek ve doğrulamaktır. Bu çalışma, eğitim-test paradigması^22'ye bir kontrol oturumu ekleyerek bunu test etmeyi amaçlamaktadır.

Bu çalışmanın ele almayı amaçladığı bir diğer önemli soru, konuşma prozodisi varlığında konuşmacı kimliğinin sağlamlığıdır. Önceki davranışsal çalışmalar, dinleyicilerin özellikle farklı prozodiler arasında konuşmacıları tanımakta zorlandıklarını öne sürmüştür, bu da prozodik bağlamın modülatör bir rolünü gösterir - dinleyiciler farklı eğitim-test prozodi koşullarında düşük performans gösterir. Bu çalışma, dinleyicilerin kendinden emin veya şüpheli prozodilerde tanıdık konuşmacıları tanımalarını sağlayarak bunu test etmeyi amaçlamaktadır²⁴. Bu çalışma, gözlemlenen ERP farklılıklarının, konuşma prozodisinin kimlik tanımayı nasıl etkilediğini açıklamaya yardımcı olacağını beklemektedir.

Bu çalışmanın temel amacı, konuşmacı tanımadaki eski/yeni etkinin sağlamlığını araştırmak, özellikle kendinden emin ve şüpheli prozodilerde konuşmacıları tanımada farklılıklar olup olmadığını incelemektir. Xu ve Armony¹⁰, bir eğitim-test paradigması kullanarak davranışsal bir çalışma yaptılar ve bulguları, dinleyicilerin prozodik farklılıkların üstesinden gelemeyeceklerini (örneğin, nötr prozodideki bir konuşmacıyı tanımak için eğitilmiş ve korkulu prozodi üzerinde test edilmiş) ve yalnızca şans seviyesi^10'dan daha düşük bir doğruluk elde edebileceklerini göstermektedir. Akustik analiz, çeşitli duygusal durumları ifade eden hoparlörlerin VTL/F0 modülasyonu ile ilişkili olduğunu gösterir; örneğin, kendinden emin prozodi, uzamış VTL ve daha düşük F0 ile karakterize edilirken, şüpheli prozodi^11,24 için bunun tersi geçerlidir. Bir başka kanıt da Lavan ve ^ark.23 tarafından yapılan ve dinleyicilerin konuşmacının VTL ve F0 değişikliklerine uyum sağlayabildiğini ve konuşmacıların ortalamaya dayalı temsillerini oluşturabildiğini doğrulayan çalışmadan geliyor. Bu çalışma, davranışsal veri perspektifinden bakıldığında, dinleyicilerin prozodiler arasında konuşmacının kimliğini hala tanıma olasılığının yüksek olduğunu uzlaştırmaktadır (örneğin, kendine güvenen prozodide birini tanımak için eğitilmiş, ancak şüpheli prozodide test edilmiş; hazırlık aşamasında ayrı bir el yazmasında rapor edilmiştir). Yine de, konuşmacı tanımlamasının sinirsel bağıntıları, özellikle Zäske ve ^ark.22 tarafından gözlemlenen eski/yeni etkinin genelleştirilebilirliği belirsizliğini korumaktadır. Bu nedenle, mevcut çalışma, test bağlamları olarak kendinden emin ve şüpheli prozodilerde eski / yeni etkinin sağlamlığını doğrulamaya kendini adamıştır.

Çalışma, eski / yeni etki çalışmalarında önceki araştırma paradigmalarından bir ayrılma ortaya koymaktadır. Geçmiş araştırmalar, eski / yeni konuşmacı tanımanın algıyı nasıl etkilediğine odaklanırken, bu çalışma bunu paradigmaya iki güven düzeyi (kendinden emin ve şüpheli) ekleyerek genişletmektedir (bu nedenle, 2 + 2 çalışması). Bu, kendinden emin ve şüpheli konuşma prozodileri bağlamında konuşmacı tanımayı araştırmamıza olanak tanır. Paradigma, eski/yeni etkilerin sağlamlığının araştırılmasını sağlar. Hem kendinden emin hem de şüpheli konuşma bağlamlarında hafıza etkilerinin ve ilgi bölgelerinin (ROI) analizleri bu araştırma için kanıt görevi görür.

Toplamda, çalışma, EEG eski/yeni etkisinin genişlemiş LPC'sinin 1) dilsel içerik aynı olmadığında ve 2) kendinden emin ve şüpheli prozodi varlığında bile gözlemlenebilir olduğu hipotezleriyle, ses tanımanın EEG korelasyonlarının anlaşılmasını güncellemeyi amaçlamaktadır. Bu çalışmada hipotezler üç aşamalı bir paradigma ile incelenmiştir. İlk olarak, eğitim aşamasında katılımcılar üç ses ve karşılık gelen isimleri arasında ilişkiler kurdular. Daha sonra, kontrol aşamasında, üç aday arasından bir sese karşılık gelen ismi belirlemekle görevlendirildiler. Lavan ve ^ark.23'ü takip eden bu kontrol, eğitim ve test aşamalarındaki metnin^{farklı olduğu 6} ve konuşmacıların tarafsız ve korkulu prozodiler¹⁰ boyunca konuşmacıları tanıyamadığı durumlarda gözlemlenmeyen eski/yeni etkisine yol açan yetersiz eski konuşmacı aşinalığının üstesinden gelmeyi amaçlamaktadır. Son olarak, test aşamasında, katılımcılar iki alternatifli zorunlu seçim görevinde üç eski ve üç yeni konuşmacı sesi arasında ayrım yaptılar ve konuşma prozodisi kendinden emin veya şüpheli olarak sunuldu. EEG verileri 64 kanallı EEG sistemi kullanılarak toplandı ve analizden önce ön işleme tabi tutuldu. İstatistiksel analiz ve olayla ilişkili potansiyel (ERP) analizi RStudio'da yapılırken, beyin topografisi analizi için MATLAB kullanıldı.

Tasarım detayları ile ilgili olarak, bu çalışma, VTL ile ilgili olan ve kimin konuştuğuna dair izlenimleri etkileyen, konuşmacının boyunu kontrol eden bir konuşmacı kimliği öğrenme deneyi önermektedir²³. Bu yön aynı zamanda algılanan baskınlık²⁵ gibi sosyal izlenimleri de etkiler ve bu tür üst düzey izlenim oluşumu, konuşmacı kimliğinin²⁶ kodunu çözme ile etkileşime girebilir.

Protocol

Şanghay Uluslararası Çalışmalar Üniversitesi Dilbilim Enstitüsü Etik Kurulu, aşağıda açıklanan deney tasarımını onaylamıştır. Bu çalışma için tüm katılımcılardan bilgilendirilmiş onam alındı.

1. Ses kütüphanesinin hazırlanması ve doğrulanması

1. Ses kaydı ve düzenleme
   1. Çin¹¹ bağlamına uyması için gerektiğinde uyarlamalar yaparken, önceki bir İngilizce versiyonu yapma standart prosedürünü izleyerek bir Çince vokal veritabanı oluşturun. Buradaki deney için yargı, niyet ve gerçek olmak üzere üç tür pragmatik niyet içeren 123 cümle kullanılmıştır. Bunu yapmak için, mevcut bir İngilizce ifade külliyatı^11'e bakın ve ek yerelleştirilmiş senaryolarla yerelleştirilmiş bir Çince sürüm oluşturun.
   2. Bu cümleleri tarafsız, şüpheli ve kendinden emin prozodilerle ifade etmek için 24 konuşmacı (12 kadın) işe alırken, geçmiş kayıt görevlerinin belirtilen talimatlarına atıfta bulunun ve bunları uyarlayın^11,24.
      1. Buradaki konuşmacılar için, Şanghay Uluslararası Çalışmalar Üniversitesi'nden 12 kadın ve 12 erkek olmak üzere 24 standart Mandarin konuşmacısını ve Putonghua Yeterlilik Testinde 87 ila 91 puanla Mandarin'de yeterlilik göstermiş olanları kaydedin. Erkek katılımcıların yaşları ortalama 24.55 ± 2.09 yıl, eğitim süresi 18.5±5 1.79 yıl ve ortalama boyu 174.02 ± 20.64 cm'dir. Kadınların yaşları ortalama 22.30 ± 2.54 yıl, eğitim süresi 18.20 ± 2.59 yıl ve ortalama boyu 165.24 ± 11.42 cm'dir. Hiçbiri konuşma-işitme bozukluğu veya nörolojik veya psikiyatrik bozukluk bildirmedi.
   3. Konuşmacılardan her metni iki kez tekrarlamalarını isteyin. Praat²⁷ yazılımında örnekleme hızını 48.000 Hz'e ayarlayın. Praat bozularak kayıt kaybına neden olabileceğinden, hiçbir akışın 10 dakikadan uzun olmadığından emin olun.
   4. Praat ile uzun ses akışını cümle başına klipler halinde düzenleyin. Aynı metnin iki tekrarı olduğundan, hedef cümle olarak amaçlanan prozodiyi en iyi temsil eden versiyonu seçin.
2. Ses seçimi
   1. Praat komut dosyası 70 ile ses kitaplığını 41,000 dB'de ve örnekleme hızını²⁸ Hz'de normalleştirin. Bunu yapmak için Praat'ı açın, ses dosyalarını yükleyin ve bunları Nesneler penceresinde seçin. Değiştir menüsüne gidin, Ölçek yoğunluğu...'nu seçin, ayarlar penceresinde Yeni ortalama yoğunluğu (dB SPL) 70 olarak ayarlayın ve normalleştirmeyi uygulamak için Tamam'a tıklayın.
   2. Her sesi güven düzeyi hakkında bir 7 Likert ölçeğinde derecelendirmek için 48 bağımsız dinleyici toplayın: 1 hiç değil ve 7 çok emin¹¹ için. Her cümlenin 12 puanlayıcı tarafından derecelendirildiğinden emin olun.
   3. Tek bir ana ilkeyle belirlenen eşiklere uyan sesi seçin: kendinden emin olmak isteyenler için ortalama derecelendirmenin, şüpheli niyetli sesten daha yüksek olduğundan emin olun. Bu eşiklerin aynı biyolojik cinsiyetten 12 konuşmacı arasında tutarlı olduğundan emin olun. Örneğin, bu konuşmacılar, her biri kendinden emin ve şüpheli prozodiler içeren iki cümle ifade ettilerse, derecelendirmelerde önemli farklılıklar gözlenmelidir.
   4. Mevcut deneysel tasarımın amacı için, her blok 120 ses içeren toplam 480 ses klibi olan dört ses bloğu kullanın.
      1. 24 konuşmacıyı, her biri aynı biyolojik cinsiyetten konuşmacılardan oluşan iki grup erkek ve iki grup kadın olmak üzere altışarlı dört gruba ayırın.
      2. Her grup için, algısal derecelendirmelere (aynı metinde) göre ses klipleri seçin ve ortalama güvenilirlik derecelendirmelerinin her cümle için şüpheli derecelendirmelerden daha yüksek olduğundan emin olun. Bu dört blok aşağıdaki şekillerde farklılık gösterir: 1) birleşik altı konuşmacı - kimlikleri farklıdır; 2) blokların yarısı erkekler, diğer yarısı kadınlar tarafından ifade edilir; ve 3) her blokta ifade edilen metin farklıdır.
   5. Seçim süreci başlamadan önce, her hoparlör için yükseklik verilerini belgeleyin. Konuşmacıları cinsiyet ve boylarına göre dört bağımsız gruba ayırmak için bu bilgileri kullanın.
      1. Erkekler ve kadınlar arasında eşit olarak bölünmüş toplam 24 konuşmacı vardır. Her cinsiyet grubu içinde, 12 kişiyi boylarına göre sıralayın.
   6. Bu 12 kişiyi dönüşümlü olarak iki gruba ayırın; Örneğin, 1'den 12'ye kadar sıralanmış bir listeden, 1, 3, 5, 7, 9 ve 11 numaralı bireyler bir grubu oluşturur ve diğer yarısı ikinci grubu oluşturur. Bu gruplar içinde, ses klipleri için hoparlör seçimini yüksekliklerine göre düzenli aralıklarla yapın.
      NOT: Yüksekliğin bir kontrol faktörü olarak dahil edilmesi, konuşmacı yüksekliğiyle ilgili akustik ölçümlerin (VTL ve F0) konuşmacı ve konuşmacı kimlik tanımayı etkilediğini gösteren bulgulara dayanmaktadır²³.

2. EEG veri toplama için programlama

1. Deney matrisini tasarlama
   1. Çalışmada konu içi desen kullanılmıştır. Eğitim oturumunu uyarlarken her konuya göre sunum yapan bir test oturumu hazırlayın. İki bloğun her yarısını alan erkek ve kadın konuşmacılarla dört blok hazırlayın. Şekil 1'de önerildiği gibi, kendinden emin prozodi konusunda eğitilmek ve hem kendinden emin hem de şüpheli üzerinde test edilmek ve ayrıca şüpheli prozodi konusunda eğitilmek ve hem kendinden emin hem de şüpheli üzerinde test edilmek için iki blok atayın.
   2. Konuşmacı tanımlama ve vokal güven algısı ile ilgili mevcut EEG çalışmalarına başvurarak çalışan ekranların süresine karar verin^22,29. Dört bloğun sırasını, katılımcılar^30,31 arasında bir Latin kare matrisi ile düzenleyin. Böyle bir liste hazırlamak için özelleştirilmiş Python kodlaması önerilir. Latin Kare matrisi için Kod Parçacığına ve OSF^32'deki PsychoPy programı için deneme listesine bakın.
   3. Aynı biyolojik cinsiyetten bir yükseklik dizisinden her aralıkta konuşmacıları seçin. Her blok için, konuşmacıların bildirilen yüksekliğine göre dört listeye ayrılan orijinal 24 konuşmacıdan altı konuşmacı seçin.
   4. Çin'in Yüz Aile Soyadı'ndaki ilk 24 ismi seçin. Xiao (Çince'de Junior) Zhao gibi hitap ederek sesi ifade eden 24 konuşmacıya soyadlarını rastgele atayın.
   5. Konuşmacı (1'den 24'e kadar), Biyolojik Cinsiyet (erkek veya kadın), Kişi Adı (24 soyadından), Kendine Güvenme Düzeyi (kendinden emin veya şüpheli), Öğe (metin dizini), Derecelendirilmiş Güven Düzeyi (algısal çalışmadan alınan ortalama puan), Ses (örneğin, ses/1_h_c_f_56.wav),
   6. Üçte birini (1, 2 veya 3) doğru bir şekilde tanıyın ve eski ve yeniyi (eski veya yeni) doğru bir şekilde tanıyın. Ayrıca, training_a, training_b, training_c, check ve test adlı sütunların eklendiğinden emin olun.
   7. EEG işaretleyicileri göndermek için training_a_marker, training_b_marker, check_marker ve testing_marker sütunlarını elektronik tablolara ekleyin. Bu işaretçileri üç basamakla biçimlendirin, yani 1 rakamı bile 001 olarak yazılır.
2. Üç oturumun oluşturulması
   NOT: PsychoPy'nin programı, esas olarak oluşturucu modunu kullanarak oluşturması önerilir. Oluşturucudaki Kod Bileşeni ayrıca programı EEG veri toplama sistemine bağlamak, F ve J düğmelerini dengelemek ve ekranda raporlanacak doğruluğu hesaplamak için kullanılır.
   1. Her şeyden önce, Deney Ayarlarını Düzenle simgesine tıklayın ve Deney Bilgileri hücresini Katılımcı ve Blok olmak üzere iki alana ayarlayın. Her ikisi için de varsayılanı boş bırakın. Bu çalışmada, her biri dört bloğa sahip 40 katılımcı arasında, 4/40 katılımcı belirli bloklardan tekrar geçti (Kontrol oturumundaki doğruluk 10/12'den düşükse), 19 tekrar sayımı/4 blok x 40 katılımcı = %11.875'lik bir yeniden yapma oranı ile.
   2. Eğitim oturumu: üç kez tekrarlanan kimlik öğrenimi
      1. Üç ekran içeren Training_A adlı bir döngü tanımlayın: Sabitleme, Sunum ve Boş. Deneme Sürümleri seçeneğini işaretleyin. nReps 1'i koruyun, Seçili satırları ve Rastgele Tohum'u boş bırakın. Koşulu aşağıdaki gibi yazın:
         "$"denemeler/{:}_training_a.xlsx".format(expInfor["Katılımcı"]), expInfo["Engelle"])
         Denemelerin / klasörün adı olduğu yerde; Katılımcı, katılımcının indeksidir; Blok, mevcut bloğun blok dizisidir.
      2. Sabitleme ekranında, Başlangıç Zamanı 0 olarak ayarlanmış, Süre Süresi 2 (s) olarak ayarlanmış bir Metin Bileşeni ve Her Tekrarı Ayarla'yı seçen Metin girişi penceresine bir + işareti yerleştirilmiş bir Metin Bileşeni ekleyin. Benzer şekilde, Metin hücresinde hiçbir bilgi olmadan Boş ekranına benzer bir Metin bileşeni ekleyin ve bu bileşen 0,5 saniye sürer.
      3. Sunum ekranında, aşağıdaki eylemleri gerçekleştirin:
         1. Başlangıç Zamanı 0 olarak ayarlanmış, Durdurma Süresi Süresi boş bırakılmış ve Ses hücresi girişi $Sound ile bir Ses bileşeni ekleyin ve Her Tekrarı Ayarla'yı seçin. Senkronizasyonla Başla ekranını işaretleyin.
         2. Başlangıç Koşulu hücresi Cross_for_Training_A.status == BİTTİ ile girilmiş olarak başka bir Metin bileşeni ekleyin. Durma Süresi hücresini boş bırakın. Metin hücresi $Name gösterir. Her Tekrarı Ayarla'yı seçin.
         3. Başlangıç Koşulu'nun Training_A.status == BİTTİ olduğu bir Key_Response_Training_A ekleyin. Durma Süresi hücresini boş bırakın. Rutinin zorla sonunu işaretleyin. İzin verilen anahtarlar hücresi için boşluk ekleyin; ayar için Sabit'i seçin.
         4. Bir Cross_for_Training_A ekleyin. Başlangıç Zamanı 0 olarak ayarlanmıştır; Durdurma Koşulu hücresi Training_A.status == BİTTİ olarak ayarlanır. Metin girişi penceresine bir + işareti koyun ve Her Tekrarı Ayarla'yı seçin.
      4. Training_A benzer bir prosedürü izleyerek Training_B hazırlayın.
   3. Oturumu kontrol etme: Konuşan üç katılımcının adını seçin.
      1. Eğitim oturumuyla aynı Sabitleme ve Boş ekrana sahip Kontrol adlı bir döngü tanımlayın.
      2. Klavyeden tepkiyi toplamak için bir fonksiyon ekleyerek eğitimden farklı bir sunum kullanın. Sunum ekranında, aşağıdaki eylemi gerçekleştirin.
         1. Bir Ses bileşeni ekleyin ve Başlangıç Zamanı 0 olarak ayarlanmış şekilde Checking_audio olarak adlandırın ve Durdurma Süresi hücresini boş bırakın. Ses hücresini Her Tekrarı Ayarla açık olarak $Sound olarak ayarlayın.
         2. Başlangıç Koşulu şu komutla yazılmış Show_names adlı bir Metin bileşeni ekleyin:
            Checking_audio.DURUM == BITTI
            tıklayın ve Durdurma Süresi'ni boş bırakın. Metin hücresini, Her Yinelemeyi Ayarla açık olacak şekilde $ People_Name olarak ayarlayın.
         3. Bir Klavye bileşeni ekleyin ve Başlangıç Koşulu Checking_audio.status == BİTTİ olacak şekilde Key_Response_Check bir başlık verin ve Durdurma Süresi'ni boş bırakın. Katılımcıların seçimlerini dizine eklemek için sayısal tuş takımını kullanabilmeleri için İzin Verilen num_1, num_2 ve num_3 Sabit tuşlarıyla Rutinin Sonunu Zorla'yı seçin.
         4. Başlangıç Zamanı 0 ve Durdurma Koşulu girişi Checking_audio.status == BİTTİ olacak şekilde Cross_Check adlı bir düzeltme ekleyin. Metin hücresine bir + ekleyin, bu hücre Her Tekrarı Ayarla'yı seçer.
      3. Bir kod bileşeni ekleyin. Denemeyi Başlat bölümünde total_trials, current_correct, current_incorrect ve current_accuracy 0 olarak başlatın. Begin Routine'de user_input None olarak tanımlayın. Her Kare bölümünde, kullanıcının klavyeden girişini toplayın ve 1, 2 veya 3'ü ayıklamak için user_key = Key_Response_Check.keys anahtar koduyla elektronik tablo dosyasında depolanan doğru yanıtı kontrol edin. Ardından, Correctly_recognize_one_out_of_three adlı bir sütunda depolanan 1,2 veya 3'e karşı ölçmek için kullanın.
      4. Döngüden çıktıktan sonra, aşağıdaki mesajı içeren bir geri bildirim ekranının göründüğünden emin olun: check_feedbacks.text = f" İkinci adım tamamlandı.\nKonuşmacıyı toplam {total_trials} cümleyle tanımladınız,\nDoğru tanınan {current_correct} hoparlör,\n{current_incorrect} hoparlörü yanlış değerlendirdiniz.\nGenel doğruluk oranınız {current_accuracy}%'dir.\n\n%83,33'ün altındaysa, lütfen deneyi yapan kişiye sinyal verin,\nYukarıda belirtilen üç hoparlörle yeniden tanışırsınız.\n\nGereksinimleri karşılıyorsanız, devam etmek için lütfen boşluk çubuğuna basın.
   4. Test oturumu: eski ve yeni konuşmacıyı sınıflandırma
      1. Testing başlıklı bir döngü tanımlayın. Sabitleme ve Boşluk (eğitim oturumundakiyle aynı) ve bir Sunum ekranı içerir.
      2. Sunum bölümünü aşağıdaki gibi hazırlayınız.
         1. Eğitim oturumundakilerle aynı ayarlara sahip bir ses çalma bileşeni (Testing_sound) ekleyin. Başlangıç Koşulu Testing_sound.status == BİTTİ olan bir Key_response_old_new bileşeni ekleyin, Durdurma Süresi'ni boş bırakın ve Rutinin Sonunu Zorla'yı işaretleyin. İzin verilen tuşlar alanına f ve j tuşlarını ekleyin ve Sabit'i seçin.
      3. Başlangıç Koşulu Testing_sound.status == BİTTİ olacak şekilde Testing_old_new adlı bir Metin bileşeni ekleyin, Durdurma Süresi'ni boş bırakın ve Her Tekrarı Ayarla ile Metin hücresini boş bırakın - metin daha sonraki bir kod bileşeni tarafından tanımlanacaktır.
      4. Başlangıç Zamanı 0, Durdurma Koşulu Testing_sound.status == BİTTİ olacak şekilde bir Cross_Testing ve Her Tekrarı Ayarla açıkken Metin hücresine + işareti ekleyin.
      5. Aşağıda açıklandığı gibi bir Kod bileşeni ekleyin.
         1. Denemeye Başla bölümünde, toplam deneme sayısını (total_trials_t), doğru deneme sayısını (correct_trials_t) ve yanlış deneme sayısını (incorrect_trials_t) başlatın.
         2. Begin Routine (Rutine Başla) bölümünde, katılımcının kimlik numarasına (expInfo["Katılımcı"]) dayalı olarak sunum formatını belirlemek için koşullu bir kontrol ile başlayın. Kimlik numarası tuhafsa, eski ve yeni uyaranları tanımlama talimatlarının ("Eski (F) Yeni (J)") veya ("Yeni (F) 'Eski (J)") tek bir formatta sunulduğundan emin olun.
         3. Bu döngünün dışında, bir kod bileşeni olan bir geri bildirim ekranı vardır. Her çerçeve bölümünün şu şekilde olduğundan emin olun: testing_feedbacks.text = f"Konuşmacıyı toplam {total_trials_t} cümleyle tanımladınız,\nDoğru tanınan {correct_trials_t} hoparlör,\n{incorrect_trials_t} konuşmacıyı yanlış değerlendirdiniz.\nGenel doğruluk oranınız {accuracy_t:.2f}%.\nLütfen bu mevcut bölümü sonlandırmak için boşluk çubuğuna basın.
   5. Programı aşağıda açıklandığı gibi Beyin Ürünleri sistemine bağlayın.
      1. Her sesin başlangıcı olarak bir işaretçi ayarlayarak işaretçiyi senkronize edin. Döngü Training_A en başından önce, aşağıda açıklandığı gibi Deneye Başla kod bileşeninde bir EEG işaretleyici gönderme protokolü tanımlayın.
         1. Paralel modül de dahil olmak üzere temel PsychoPy bileşenlerini içe aktarın ve 0x3EFC kullanarak paralel bağlantı noktasının adresini yapılandırın.
         2. EEG işaretleyicilerini iletmek için bir sendTrigger işlevi oluşturun. Bu işlev, bir NumPy tamsayısı olup olmadığını doğruladıktan ve gerektiği gibi dönüştürdükten sonra parallel.setData(triggerCode) ile paralel bağlantı noktası üzerinden belirtilen bir triggerCode gönderir.
         3. parallel.setData(0) ile tetikleme kanalını 0'a sıfırlamadan önce işaretçinin yakalanmasını sağlamak için 16 ms'lik kısa bir bekleme süresi ekleyin.
      2. İşaretçiyi EEG kaydediciye göndermek sendTrigger() kullanır. İlgili sütunun tam adını parantez içine ekleyin. Bu çalışmada, training_a_marker, training_b_marker, check_marker ve testing_marker vardır - elektronik tabloda daha önce tanımlanan sütuna bakın.

3. EEG verilerinin toplanması

1. Mekanın hazırlanması
   NOT: Veri toplama işlemini gerçekleştirmek için kullanılabilecek en az iki bilgisayar vardır. Biri EEG sistemine bağlanmak, diğeri ise davranışsal veri toplamaktır. Davranışsal verilerle ilgili bilgisayarı yansıtmak için başka bir ekran oluşturulması önerilir. Sistem bir amplifikatör ve pasif EEG kapaklarından oluşur.
   1. Bu çalışma için, bildirilen herhangi bir konuşma-işitme bozukluğu olmayan katılımcıları işe alın. Katılımcıların herhangi bir psikiyatrik veya nörolojik bozukluğu olmadığından emin olun. Toplam 43 katılımcı seçildi ve EEG belirteçleriyle ilgili hizalama sorunları nedeniyle üçü hariç tutuldu. Kalan 40 kişiden 20 kadın ve 20 erkek katılımcı vardı. Kadınlar 20.70 ± 0.37 yıl, erkekler ise 22.20 ± 0.37 yıl idi. Eğitim süreleri kızlarda 17.55 ± 0.43, erkeklerde 18.75 ± 0.38'dir.
   2. Katılımcı kimlikleri atayın ve katılımcıları deneye katılmadan önce bir saat içinde saçlarını yıkamaya ve kurutmaya davet edin.
   3. Elektrolit jeli ve aşındırıcı elektrolit jeli az miktarda su ekleyerek 1:3 oranında karıştırın. Karışımı bir kaşıkla bir kapta eşit şekilde karıştırın.
   4. İnce uçlu pamuklu çubuklar ve kuru bir EEG başlığı hazırlayın.
   5. Katılımcının bir sandalyeye rahatça oturmasını sağlayın ve deneycinin EEG başlığını uygulayacağını bildirin. İnsanlar için zararsız olan ve beyin sinyali alımını artıran iletken macunun, pamuklu çubuklar kullanılarak kapağın deliklerine uygulandığını açıklayın.
   6. Katılımcıya deney görevleri hakkında talimatlar ve deney için bilgilendirilmiş bir onay formu sağlayın. Katılımcının imzasını aldıktan sonra hazırlık aşamasına geçin.
   7. EEG başlığını amplifikatöre bağlayın, bu da EEG veri toplama bilgisayarına bağlanır. Bu çalışma pasif bir kapak kullanır, bu nedenle 64 elektrottaki renk göstergelerini kontrol etmek için ek bir monitör kullanmak gerekir.
   8. BrainVision Recorder^33'ü açın ve kayıt parametrelerini tanımlayan özelleştirilmiş bir çalışma alanı dosyasını içe aktarın. Empedansı kontrol etmek için Monitör'e tıklayın. Kırmızıdan yeşile kadar olan renk çubuğu, 0 ila 10 kΩ arasında değişen hedef empedanslarla ayarlanan direnç seviyelerinden etkilenir.
2. Katılımcıların hazırlanması
   1. Katılımcıdan bir sandalyede dik oturmasını isteyin. Katılımcının kafası için uygun boyutta (54 veya 56 boy) jel bazlı bir pasif elektrot sistemi seçin ve elektrot sisteminin 10-20 sistemine^28,34 göre doğru şekilde takıldığından emin olun.
   2. Tek kullanımlık bir pamuklu çubuğu iletken macuna batırarak ve katılımcının kafa derisine sürtünerek kapağın deliklerine uygulayarak başlayın. Bir elektrotun EEG veri toplama bilgisayarında karşılık gelen göstergesinin yeşile dönmesi, optimum verileri başarıyla topladığını gösterir.
   3. İki bağımsız taraflı elektrot dışında ekrandaki tüm elektrotlar için gösterge rengi yeşile döndükten sonra (Monitör ekranında), iletken macunu yan elektrotlara uygulayın. Sol elektrodu katılımcının sol gözünün yanına, alt göz kapağı bölgesine ve sağ elektrodu sağ şakakın yanına takın.
   4. Tüm elektrotlar yeşil olduğunda, EEG başlığının katılımcının kafasına daha güvenli ve stabil bir şekilde oturmasına yardımcı olmak için katılımcının başının üzerine elastik bir ağ yerleştirin.
   5. Katılımcıyı kablolu kulaklıklarla (laboratuvarda kullanılan özel hava iletimli kulaklıklar) donatın. Elektromanyetik koruyucu kapıyı kapatın ve katılımcının hareketlerini içeride ve dışarıda iletişime izin veren bir mikrofon aracılığıyla yönlendirin. Ek olarak, katılımcının hareketlerini, vücutlarını önemli ölçüde hareket ettirmemelerini hatırlatmak gibi harici bir monitör aracılığıyla izleyin; Ayrıca, bir davranışsal veri monitörü aracılığıyla katılımcının davranışsal görevlerdeki ilerlemesini izleyin.
   6. Katılımcıdan, bir ses arayüzü aracılığıyla davranışsal toplama bilgisayarına bağlı kulaklık takmasını isteyin.
3. Denemeyi bağımsız olarak blok blok çalıştırma
   1. EEG veri toplama bilgisayarında BrainVision Recorder'ı açın ve empedansı ve Stat/Resume Kaydını iki kez kontrol etmek ve kayda başlamak için Monitör'e tıklayın. Yeni bir EEG kayıt dosyası oluşturun ve buna göre adlandırın, örneğin, 14_2, bu da 14 numaralı katılımcı için ikinci blok anlamına gelir.
   2. Davranışsal deney için PsychoPy programının Çalıştır deneyini (yeşil düğme) açın, katılımcının kimliğini (örneğin, 14) ve ilgili blok numarasını (örneğin, 2) girin ve deneyi başlatmak için Tamam'a tıklayın.
   3. Katılımcı, davranışsal veri bilgisayarında Kontrol aşamasını tamamladıktan sonra ekranda bildirilen verilerin doğruluğunu yakından izleyin. Doğruluk 12 üzerinden 10'un altındaysa, test aşamasına geçmeden önce katılımcıdan gerekli doğruluğu elde edene kadar eğitim oturumunu yeniden yapmasını isteyin.
   4. Katılımcı bloğun test aşamasını tamamladıktan sonra ekranda bildirilen eski ve yeni tanımanın nihai doğruluğuna çok dikkat edin. Doğruluk son derece düşükse (örneğin, %50'nin altındaysa), katılımcıdan olası nedenleri sorgulayın.
4. EEG sonrası deney
   1. Katılımcı tüm blokları tamamladıktan sonra, onları saçlarını yıkamaya davet edin. Kalan iletken macunu bir diş fırçası ile çıkararak, sinyal konektörlerini ıslatmamaya dikkat ederek ve bunları plastik torbalara sararak EEG kapağını temizleyin. Temizlendikten sonra, EEG kapağını kuruması için iyi havalandırılan bir alana asın.
   2. EEG ve davranışsal verileri taşınabilir bir sabit sürücüye kopyalayın ve EEG verilerinin ve davranışsal verilerin karşılık geldiğinden emin olun. Örneğin, EEG verileri 14_2.eeg ve 14_2.vhdr olmak üzere iki dosya ile adlandırılır ve davranışsal veriler bir 14_2.xlsx dosyası olarak adlandırılır.

4. EEG veri işleme

NOT: Aşağıdaki açıklamalar, toplu işleme için MATLAB ve RStudio kullanılarak EEG veri ön işleme, istatistiksel analiz ve görselleştirmeyi içerir.

1. EEG verilerinin MATLAB ile ön işlenmesi
   1. EEG ve davranışsal verilerin birleştirilmesi
      1. Katılımcıların, EEG'nin ve davranışsal verilerin adlandırılmasını etkileyen 10/12 veya üzeri gerekli doğruluğa ulaşamazlarsa görevi yeniden yapmaları gerekebileceği göz önüne alındığında, örneğin, 14_2.vhdr 14_2(1).vhdr olabilir, 14_2 dışındaki karakterleri kaldırarak dosya adlarını standartlaştırın. Her katılımcının verilerini yinelerken, veri dosyalarını sub, stripped_filename, .set olarak adlandırın, bu da sub14_2.set (meta veriler ve EEG veri setine bağlantılar içeren) ve sub10_1.fdt (gerçek EEG verileri) gibi dosyaların otomatik olarak kaydedilmesine neden olur. Bu, 14_2.vhdr ve 14_2.eeg dosyalarını sub14_2.fdt ve sub14_2.set olarak yeniden adlandırır.
      2. Verileri her katılımcı için tek bir dosyada birleştirmek için EEG = pop_mergeset() işlevini kullanın, farklı blok verilerini 1,2,3,4 bloklarının sayısal sırası yerine kronolojik sırayla birleştirin.
      3. Birden fazla davranışsal veri dosyasını, daha sonraki senkronizasyon için gerekli olan kronolojik sıraya göre katılımcı başına tek bir elektronik tabloda birleştirin.
      4. EEG sinyallerindeki denemeleri davranışsal sinyallerdeki denemelerle senkronize etmek için kodu özelleştirin. Örneğin, testing_list = [37:108, 145:216, 253:324, 361:432] dört blok için EEG işaret noktalarına karşılık gelir.
      5. Davranışsal veri elektronik tablosunu bir .txt dosyasına dönüştürerek hem satırlarda hem de sütunlarda veri içeren bir tablo elde edin. Sütun adları, adım 2.1'de belirtilenlerin çoğunu içerir.
      6. Aşağıdakine benzer bir kod kullanarak EEG verilerine bilgi ekleyerek EEG verilerinin içeriğini yeniden tanımlayın, örneğin, EEG = pop_importepoch(EEG, behav_txt_path, {'Epoch', 'Ses', 'Konuşmacı', 'Cinsiyet', 'Confidence_level', 'old_new_speaker', 'same_different_prosody', 'Yanıt'}, 'zaman birimi', 1, 'başlık çizgileri', 1). Bu işlem, her katılımcının karşılık gelen EEG ve davranışsal verilerini toplu işleme yoluyla birleştirir.
         NOT: 1 ve 0 Yanıt değerleri, 1'in doğru bir yargıyı ve 0'ın yanlış bir yargıyı temsil ettiği davranışsal verilerden gelir.
   2. EEG verilerinin önceden işlenmesi
      1. Referans ve yeniden referans^29,35 için, EEG verilerini FCz elektroduna yeniden referans vermek için pop_reref fonksiyonunu çağırın ve her sinyalin FCz elektroduna göre hesaplandığından emin olun. EEG verilerini, posterior kafa derisinde bulunan bilateral mastoid elektrotları temsil eden 28 ve 29 numaralı kanallara yeniden referans vermek için pop_reref fonksiyonunu kullanın ve her sinyalin bilateral mastoidlere göre hesaplandığından emin olun.
      2. EEG = pop_eegfiltnew(EEG, [], 0.1, 16500, 1, [], 0) ile yüksek geçiren bir filtre ayarlayın (doğrusal eğilimleri çıkarmak için) ve EEG = pop_rmbase(EEG, [-500 0]) ile -500 ila 0 ms arasında taban çizgisi düzeltmesi yapın.
      3. Kötü denemeleri manuel olarak inceleyin: verileri EEGLAB ile içe aktardıktan sonra, Çizim'i seçin, ardından Kanal Verileri'ne (kaydırma) tıklayın ve Değerin maksimumunu 50 olarak ayarlayın.
      4. Görünür kas ve diğer türdeki artefaktlarla yapılan denemeleri silin ve kötü elektrotları işaretleyin: fareyi kanalın dalga formunun üzerine getirdiğinizde elektrot görüntülenecektir. Tüm bozuk elektrotları kaydedin, EEGLAB ana sayfasına dönün, Araçlar altında Elektrotları Enterpolasyonla seçeneğini seçin, Veri Kanallarından Seç'i seçin, enterpolasyon gerektiren elektrotları seçin ve Tamam ile onaylayın. Dosyayı yeni bir klasöre kaydedin.
      5. EEG = pop_runica (EEG, 'genişletilmiş', 1, 'pca', 30, 'interupt', 'açık') ile temel bileşen analizi (PCA) yapın. Sorunlu ICA'ları el ile reddedin, gözlerden, kaslardan ve kanal gürültüsünden artefaktları kaldırın ve ardından dosyayı kaydedin.
      6. 34,36,37 uç değerlerini kaldırmak için -75 ile +75Hz arasında bir eşik ayarlamak için ^{pop_eegthresh} işlevini kullanın.
      7. 30 Hz ve 38'in altındaki frekansları korumak için 30'a ayarlanmış parametrelerle (üçüncü giriş parametresi)^{pop_eegfiltnew} uygulayın.
      8. old_new_speaker = {'eski', 'yeni'} dahil olmak üzere tüm ilgili koşulları listelemek için kodu özelleştirin; same_different_prosody = {'aynı', 'farklı'}; Confidence_level = {'c', 'd'}; ve Yanıt = {'1', '0'}. Ardından, sub1_new_different_c_0 gibi veri kombinasyonları oluşturmak için bu koşulları birleştirin ve bunları txt uzantılı dosyalar olarak kaydedin.
2. RStudio ile ERP analizi
   1. Verileri düzenlemek için uzun bir biçime dönüştürün. Tüm .txt dosyalarını RStudio'ya aktarın ve her geçici veri çerçevesini alldata'ya eklemek için rbind işlevini kullanın ve tüm dosya verilerini içeren büyük bir veri çerçevesi oluşturun. Tüm verilerdeki Satır sütununu Doğruluk için Zaman olarak yeniden adlandırın. Tüm verileri geniş formattan uzun formata (Data_Long) dönüştürmek için eritme işlevini kullanın, burada her gözlem bir satır kaplar ve ilgili tüm koşulları ve kanal bilgilerini içerir.
   2. Belirli koşullara uyan verileri seçmek için dplyr paketindeki filtre işlevini kullanın: Karar 1'dir. Kaynak h'dir. Bellek ya eski ya da yenidir. Prozodi c veya d'dir.
   3. Elektrot kanallarına dayalı bölgeleri aşağıdaki gibi tanımlayın: Sol ön (F3, F7, FC5, F5, FT7, FC3, AF7, AF3). Sol orta (C3, T7, CP5, C5, TP7, CP3). Sol posterior (P3, P7, P5, PO7, PO3). Medial anterior (Fz, AFz, FC1, FC2, F1, F2, FCz). Medial merkezi (CP1, CP2, Cz, C1, C2, CPz). Medial posterior (Pz, O1, Oz, O2, P1, POz, P2). Sağ ön (FC6, F4, F8, FC4, F6, AF4, AF8, FT8). Sağ merkezi (CP6, C4, T8, CP4, C6, TP8). Sağ posterior (P4, P8, PO4, PO8, P6). Bu bölgeleri ön, orta ve arka bölgeler olarak gruplandırın.
   4. Sonraki veri yüklemesi için çalışma alanını kaydedin. Kaydetmek için setwd(); Yüklemek için load() kullanın.
3. İstatistiksel analiz
   1. Tüm elektrotlarda EEG veri analizi için, veri kümesini yalnızca Kararın 1, Kaynak'ın h, Belleğin eski veya yeni olduğu, Konu'nun boş olmadığı ve Süre'nin 400 ile 850 ms arasında olduğu ilgili veri noktalarını içerecek şekilde filtreleyin.
   2. İlgilenilen bölgelerin adlarını (ROI) önceden tanımlanmış eşlemelere göre güncelleştirin. Örneğin, sol ön, medial ön ve sağ ön ön içindir.
   3. Konu ve Kanal için rastgele kesişmeler de dahil olmak üzere, yanıt değişkeni olarak Voltaj ve sabit efektler olarak Bellek ve ROI ile lme4 paketi^39'dan lmer kullanarak verilere doğrusal bir karma efekt modeli sığdırın: fit_time_window <- lmer(Voltaj ~ Bellek * ROI + (1|Konu) + (1| kanal), veri=VERİ). DATA'yı birleşik, yalnızca güvenle ve yalnızca şüpheli verilerle tekrar tekrar değiştirin. OSF³² ile ilgili örnek bir koda bakın.
      1. Takılan modelden analiz sonuçlarını elde edin: anova(fit_time_window), eta_squared(fit_time_window) ve emmeans(fit_time_window, özellikler = ikili ~ Bellek * ROI, ayarla = "Tukey").
   4. Pz'de EEG veri analizi için, veri kümesini filtrelerken, yukarıdakiyle aynı adımları izleyin, ancak aynı zamanda Kanal == 'ChPz' koşulunu da ekleyin. Yukarıdaki işlemi tekrarlayın, ancak lmer(Voltage ~ Bellek + (1|Konu)) 400 ila 850 ms arasındaki Pz verilerini analiz etmek için.
   5. ERP'leri Pz'de çizmek için (birleşik, yalnızca güvenle ve yalnızca şüpheli veri kümesi üzerinde tekrarlayın), veri kümesini yalnızca Yargı'nın 1, Kaynak'ın h, Belleğin eski veya yeni olduğu ve Konu'nun boş olmadığı ilgili veri noktalarını içerecek şekilde filtreleyin.
      1. Birden çok elektrot noktası (Pz dahil) içeren bir vektör tanımlayın ve verilerdeki kanal adlandırma kuralıyla eşleşmesi için bunların önüne Ch ekleyin. Pz out'u seçin.
      2. ERP analizi için zaman penceresini belirtin: time_window <- c(400, 850). İlgilenilen elektrodu tanımlayın, bu durumda, Pz. Seçilen elektrottan geçin ve aşağıda açıklandığı gibi çizimler oluşturun.
         1. İlgili veri noktalarını izole etmek için filtre (Kanal == k) kullanarak Pz elektrodu için verileri filtreleyin.
         2. Interaction(current_channel_data$Memory) kullanarak Bellek koşuluna dayalı olarak satır türü ve rengi için bir etkileşim faktörü oluşturun ve koşulları Eski ve Yeni olarak etiketleyin.
         3. summarySEwithin işlevini kullanarak zaman içindeki Voltaj ölçümleri için özet istatistikleri ve standart hatayı hesaplayın, ölçüm değişkeni olarak Voltage'ı ve inside değişkeni olarak Time'ı belirtin.
         4. xmin, xmax, ymin ve ymax parametreleriyle geom_rect kullanarak belirtilen zaman penceresi için bir arka plan ekleyerek Pz elektrodu için ERP grafiğini oluşturun. geom_ribbon ile standart hata şeritlerini dahil edin, ortalama voltajı geom_line ile çizin. scale_x_continuous, scale_y_reverse, scale_linetype_manual, scale_fill_manual ve scale_color_manual gibi işlevleri kullanarak çizim görünümünü ve etiketlerini özelleştirin.
      3. Temel tema için theme_minimal kullanın ve temayla metin boyutlarını ve gösterge yerleşimini daha da özelleştirin.
4. MATLAB ile topografya çizimi
   1. Verileri içe aktarın ve koşulları ayarlayın, subject_list = 1:40 ile 1'den 40'a kadar olan konuların listesini tanımlayın. Eski ve yeni koşulların doğru sınıflandırmaları için verileri depolamak üzere iki boş hücre dizisi tanımlayın: "human_timelocked_old_correct = {}; human_timelocked_new_correct = {} olur. Konu listesinde dolaşın, her konunun verilerini içe aktarın ve koşullara göre filtreleyin.
   2. Ham EEGLAB verilerinden olay bilgilerini ayıklayın, yalnızca Yanıtı 1'e eşit olan olayları seçin. Kaynak değeri h'ye eşit olan denemeleri seçin ve veri yapısını buna göre güncelleyin. Eski ve yeni koşullar için verileri ayırın, Kaynak h ile doğru denemelerle sınırlı olun ve zaman kilidi analizi gerçekleştirin.
      1. Hem eski hem de yeni koşullar için genel ortalamayı hesaplayın: cfg = []; grandavg_old_correct = ft_timelockgrandaverage(cfg, human_timelocked_old_correct{:}); grandavg_new_correct = ft_timelockgrandaverage(cfg, human_timelocked_new_correct{:}).
   3. Permütasyon testini aşağıda açıklandığı gibi gerçekleştirin.
      1. Belirtilen bir düzen dosyasını kullanarak komşu yapılandırmayı tanımlayın: cfg_neigh = []; cfg_neigh.method = 'mesafe'; cfg_neigh.layout = 'path_to_layout_file'; komşular = ft_prepare_neighbours(cfg_neigh).
      2. Tasarım matrisi ve istatistiksel yöntem dahil olmak üzere permütasyon testi için parametreleri yapılandırın: cfg = []; cfg.method = 'Montecarlo'; cfg.statistic = 'ft_statfun_indepsamplesT'; cfg.correctm = 'küme'; cfg.clusteralpha = 0.05; cfg.clusterstatistic = 'makstoplam'; cfg.minnbchan = 2; cfg.tail = 0; cfg.clustertail = 0; cfg.alfa = 0.05; cfg.numrandomization = 1000; cfg.neighbours = komşular; cfg.design = [2*birler(1, uzunluk(human_timelocked_new_correct)) birler(1, uzunluk(human_timelocked_old_correct))]; cfg.ivar = 1 olur. Ayrıca, Fieldtrip^40'ı kullanmayla ilgili eğitimler için aşağıdaki bağlantıya (https://www.fieldtriptoolbox.org/tutorial/cluster_permutation_freq/) bakın.
      3. Eski ve yeni koşullar için ortalama veriler üzerinde istatistiksel testi gerçekleştirin: stat = ft_timelockstatistics(cfg, human_timelocked_old_correct{:}, human_timelocked_new_correct{:}).
   4. Aşağıda açıklandığı gibi özel aralık çizimi gerçekleştirin.
      1. İki koşul arasındaki farkı hesaplayın: cfg = []; cfg.operation = 'çıkar'; cfg.parameter = 'ort'; grandavg_difference = ft_math(cfg, grandavg_old_correct, grandavg_new_correct).
      2. Zaman pencerelerini tanımlayın: time_windows = { [0.500, 0.800] % LPC}.
      3. Bir şekil oluşturun ve ft_topoplotER ile koşullar arasındaki farkı çizin(cfg_plot, grandavg_difference).

Results

Klasik eski/yeni efekti, test oturumunun konuşma içeriği eğitim oturumununkiyle eşleştiğinde, özellikle eski konuşmacı durumunda, yeni konuşmacı koşulu 22'ye kıyasla dinleyicilerin Pz elektrodu üzerindeki beyin aktivitesinde önemli bir artış (³⁰⁰ ila 700 ms arasında) ile karakterize edilir. Protokol, bu etkinin güncellenmiş bir versiyonunu ortaya koyuyor: İlk olarak, 400 ila 850 ms arasındaki yeni konuşmacı durumuna kıyasla eski durum için Pz elektrotunda ve tüm beyin bölgesinde daha büyük pozitif eğilimler gözlemlemek. İkinci olarak, test oturumundaki konuşma içeriği eğitim oturumununkinden farklı olacaktır. Üçüncüsü, hem kendinden emin hem de şüpheli konuşma prozodi koşullarının bu eğilimleri göstermesi beklenmektedir. Son olarak, eski/yeni etki, test oturumu sırasında şüpheli durumda daha belirgindir (Şekil 2).

Formül ile LMER analizi

lmer(Gerilim ~ Bellek * ROI + (1|Konu) + (1|Kanal))

hem bellek türlerinin (eski ve yeni) hem de ROI'nin ana etkilere sahip olduğunu ve ayrıca bellek ile ROI arasında bir etkileşime sahip olduğunu göstermektedir (Tablo 1). Daha ileri post-hoc analiz, tüm beyin bölgelerinde, eski durumun, ön, orta ve arka bölgeler de dahil olmak üzere şüpheli durumdan daha büyük bir pozitif voltaj sergilediğini ortaya koydu (Tablo 2). Beta değerlerinin karşılaştırılması, eski/yeni etkinin merkezi ve arka elektrotlarda ön elektrotlara göre daha belirgin olduğunu göstermektedir: birleşik veri seti için - Anterior β = .40, Central β = .63 ve Posterior β = .60; kendinden emin veri kümesi için - Anterior β = .61, Central β = .63 ve Posterior β = .76 ve şüpheli veri seti için - Anterior β = .44, Central β = .87 ve Posterior β = .69. Santral ve posterior elektrotların tutulumu en çok şüpheli prozodi durumunda belirgindi.

Formül ile

lmer(Gerilim ~ Bellek + (1|Konu))

Pz elektrotunda eski/yeni etkilerin varlığını doğruladık. Pz elektrodunda, hafızanın ana etkisi (eski ve yeni) gözlendi (F(1, 69341.99) = 120.46, p < .001, η²_p = .002, β = .425, SE = .039, z-oranı = 10.98, p < .001). Yalnızca kendinden emin durumda, Pz elektrotunda hafızanın ana etkisi (eski ve yeni) gözlendi (F (1, 34318.32) = 5.04, p = .025, η²_p = .0001, β = .125, SE = .056, z-oranı = 2.25, p = .025). Sadece şüpheli durumda, Pz elektrotunda hafızanın ana etkisi (eski ve yeni) gözlendi (F(1, 34993.20) = 317.02, p < .001, η²_p = .009, β = .914, SE = .051, z-oranı = 17.81, p < .001).

Şekil 1: Her blok için veri toplama iş akışı. (A) Eğitiminde, dinleyiciler bir ses duyar ve daha sonra sunulan ismi onunla ilişkilendirir. Üç eski konuşmacının hatırlanması gerekiyor. Programda görünen dil aslen Çince idi. A ve C, Xiao (Junior) ZHANG gibi isimleri temsil eder. (B) Kontrolünde, dinleyiciler bir ses duyduklarında ses kimliğini Xiao Zhao gibi isimlerle ilişkilendirmek için sayısal tuş takımında 1, 2 veya 3'e basarak konuşmacının adını tanımlar. (C) Testinde, dinleyiciler bir ses duyar ve onu eski veya yeni konuşmacı tarafından konuşulduğu gibi sınıflandırır. (D) Prozodi Tasarımında gösterildiği gibi, dinleyiciler üç konuşmacının yalnızca kendinden emin veya şüpheli bir şekilde ifade ettiğini öğrenir, ancak altı konuşmacının hem kendinden emin hem de şüpheli bir şekilde konuştuğunu duyar. Versiyon A veya B'nin görünümü birbirini dışlar. Sürüm A, bir erkek veya kadın hoparlörle birlikte görünürse, Sürüm B, ilgili kadın veya erkek hoparlörle birlikte görünecektir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2: Eski/yeni efekti. (A, B, C) Şekiller, prozodi kombine, yalnızca kendinden emin ve yalnızca şüpheli koşullar için sırasıyla 400 ila 850 ms arasında gri işaretli Pz elektrotlarının ERP'sini göstermektedir. (D, E, F) Şekiller, prozodi kombine, yalnızca kendine güvenen ve yalnızca şüpheli koşullar için tüm elektrotlarda (siyah noktalar olarak gösterilen) eski eksi yeni durumun topografyasını göstermektedir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Bağlam	Beyin Bölgesi	F değeri	Pr(>F)	Eta2_partial
Birleşik	Bellek	9938.98	.00	.00
	ROİ	4.13	.02	.13
	Bellek:ROI	182.37	.00	.00
Emin	Bellek	7291.22	.00	.00
	ROİ	3.60	.03	.12
	Bellek:ROI	41.94	.00	.00
Şüpheli	Bellek	8333.38	.00	.00
	ROİ	4.65	.01	.15
	Bellek:ROI	290.15	.00	.00

Tablo 1: Beyin bölgeleri arasında eski / yeni etki için LMER analizinden elde edilen sonuçlar: Birleşik, kendinden emin ve şüpheli veri kümeleri. Post-hoc analiz kullanarak, * p < .05'te anlamlı, ** p < .01'de anlamlı, *** p < .001'de anlamlı.

Bağlam	Beyin Bölgesi	Karşıtlık	Tahmin	SE	z	p
Birleşik	Ön	eski-yeni	.40	.01	43.70	.00***
	Merkezi	eski-yeni	.63	.01	61.74	.00***
	Posterior	eski-yeni	.60	.01	67.51	.00***
Emin	Ön	eski-yeni	.61	.01	46.63	.00***
	Merkezi	eski-yeni	.63	.01	43.22	.00***
	Posterior	eski-yeni	.76	.01	59.95	.00***
Şüpheli	Ön	eski-yeni	.44	.01	35.95	.00***
	Merkezi	eski-yeni	.87	.01	64.05	.00***
	Posterior	eski-yeni	.69	.01	57.75	.00***

Tablo 2: Beyin bölgelerindeki eski/yeni etkiler için post-hoc test sonuçları: Birleşik, kendinden emin ve şüpheli veri kümeleri. Post-hoc analiz kullanılarak, p < .001 (***) olarak anlamlıdır.

Discussion

Çalışma, daha önce öğrenilen konuşmacı kimliklerini tanımaya odaklanan EEG veri toplama ve analizi için bir boru hattı sunmaktadır. Bu çalışma, konuşma içeriği²² ve prozodi^10'daki farklılıklar dahil olmak üzere öğrenme ve tanıma aşamaları arasındaki farklılıkları ele almaktadır. Tasarım, zamir ve anaforik işleme gibi psikodilbilim de dahil olmak üzere bir dizi araştırma alanına uyarlanabilir⁴¹.

Eğitim-test paradigması, katılımcıların sesli öğrenme gibi belirli konulardaki öğrenme sonuçlarını değerlendirmek için kullanılan klasik bir deneysel tasarımdır^42,43. Bu paradigma, katılımcıların belirli bilgileri ne kadar iyi öğrendiklerini (doğrulukta yansıtıldığı gibi) ^{değerlendirir10}. Araştırmacıların, ses tanıma doğruluğu üzerindeki etkilerini anlamak için eğitim ve test aşamaları sırasında farklı prozodiler gibi kontrollü deneysel koşullar altında değişkenleri aşamalı olarak tanıtmalarına olanak tanır, örneğin, VTL/F0 modülasyonlu sesler²³, korkuluya karşı nötr¹⁰ veya bu çalışmada şüpheliye karşı kendinden emin.

Bununla birlikte, paradigmanın sınırlamaları vardır. Öğrenme ve test ortamları arasındaki farklar, kontrollü öğrenme koşulları daha değişken test koşullarını yansıtmayabileceğinden, deneysel sonuçların geçerliliğini etkileyebilir. Örneğin, eğitim oturumunda %30'a karşı %⁷⁰⁴ gibi orantılı bir fark yerine tek bir prozodi kullanılır. Bu dengesizliği gidermek için, daha çeşitli bir öğrenme ortamı sağlamak, konuşmacıların dinleyicilerle etkileşime girerken çeşitli prozodiler kullandığı gerçek hayat senaryolarını daha iyi kopyalayabilir. Ek olarak, bu çalışma, birden fazla aşama ve karmaşık programlama (R Studio, MATLAB ve Python gibi araçlar kullanılarak) içeren deneysel tasarımın karmaşıklığının yeni başlayanlar için zorlayıcı olabileceğini kabul etmektedir.

Birincil içgörü, yeterli aşinalığın ve bir kontrol aşamasının önemini vurgular. Xu ve Armony'nin çalışması, dinleyicilerin yeterli eğitim almadan eski konuşmacı kimliklerini tanımlamakta zorlandıklarını ve şans seviyelerinin^10'un üzerinde kontrol ettiklerini vurguluyor. Ek olarak, Zaske ve ark. LPC eski/yeni efektinin farklı metinle değil, yalnızca aynı metin tekrarlandığında mevcut olduğunu buldu²². Bu çalışmada, bir kontrol aşamasının uygulanması, farklı metin uyaranlarıyla bile eski/yeni ERP etkisinin kalıcılığını ortaya koymuş ve fMRI çalışmalarının iddialarını desteklemiştir²¹. Çalışma, eğitim testine dayalı paradigmalar için bir kontrol oturumu eklemenin kritik olduğunu göstermektedir. Dinleyicilerin, bir konuşmacıyı isim²³ gibi belirli bir sembolle ilişkilendirerek konuşmacının akustik kimliği hakkında sağlam bir izlenim oluşturmasına olanak tanır. Konuşmacının temsili hakkında yeterli bilgi edinilmeden, dinleyiciler konuşmacı içi varyasyonlara uyum sağlamakta zorlanabilirler¹⁰.

Bu çalışma aynı zamanda prozodinin konuşmacıyı tanıma için bağlayıcı bir ipucu olarak rolünü de gözlemledi⁴⁵. Prozodinin eski konuşmacıyı tanımayı engelleyebileceğine dair önceki görüşlerin aksine, bu çalışma, kendinden emin ve şüpheli prozodi koşullarında mevcut olan eski / yeni etkiyi buldu. Bu sağlam etki, konuşmacı tanımada prozodinin modülasyon rolünü düşündürmektedir. Daha ileri analizler, prozodi koşulları boyunca ön bölge aktivasyonunda farklılıklar olduğunu ortaya koydu. Kendinden emin prozodi, şüpheli prozodiye kıyasla anterior bölgelerde daha düşük seviyelerde eski/yeni etki ortaya çıkardı. Bu bulgu, kendinden emin konuşmanın, uzun ses yolu uzunluğu ve düşük temel frekans nedeniyle konuşmacıyı tanımlamayı daha zor hale getirebileceğini ve potansiyel olarak dinleyicilerin dikkatinin artmasına yol açabileceğini düşündürmektedir^11,29.

Bu çalışmanın tasarımı, prosopagnozi veya fonagnozisi olanlar gibi hasta popülasyonlarında tanıma bozukluklarına ilişkin gelecekteki araştırmaları bilgilendirebilir^46,47. Ek olarak, otizm spektrum bozukluğu⁴⁸ olan bireyler gibi daha kısa dikkat sürelerine sahip katılımcıları barındırmak için yapılan değişiklikler, çalışma erişilebilirliğini artırabilir.

Ayrıca, paradigma, psikolinguistik araştırmalarda zamir işlemeyi ve anaforik anlamayı araştırmak için konuşmacı tanımanın ötesine uzanır. Coopmans ve Nieuwland⁴¹, nöral salınımlı senkronizasyon modellerinin, bu çalışmanın kimlikle ilgili ipuçlarını araştırmasıyla uyumlu olarak, anafor anlamada öncül aktivasyon ve entegrasyon arasında nasıl ayrım yaptığını göstermektedir. Bu yazıda benzer şekilde iletişim stilleri (örneğin, gerçek veya ironik ifadeler), kelime sıraları (Özne-Nesne-Fiil (SOV) veya Nesne-Özne-Fiil (OSV) cümle yapısı 44,45,49,50) ve vokal ifade türleri (kendinden emin ve şüpheli prozodi) yer alır.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BrainAmp	Easycap GmbH	Steingrabenstrasse 14 DE-82211	https://shop.easycap.de/products/64ch-standard-braincap
Aşındırıcı Elektrolit-Jel	Easycap GmbH	Abralyt 2000	https://shop.easycap.de/products/abralyt-2000
actiCHamp Plus	Brain Products GmbH	64 kanal + 8 AUX	https://www.brainproducts.com/solutions/actichamp/
Ses Arayüzü	Native Instruments GmbH	Komplete audio 6	https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
Köpük Kulaklık Uçları	Neuronix	ER3-14	https://neuronix.ca/products/er3-14-foam-eartips
Jel bazlı pasif elektrot sistemi	Brain Products GmbH	BC 01453	https://www.brainproducts.com/solutions/braincap/
Yüksek Viskoziteli Elektrolit Jel	Easycap GmbH	SuperVisc	https://shop.easycap.de/products/supervisc