Interakcja między procesami fonologicznymi i semantycznymi w wizualnym rozpoznawaniu słów za pomocą elektrofizjologii

Podsumowanie

Prezentujemy protokół do zbadania względnej sekwencji aktywacji fonologii i semantyki w wizualnym rozpoznawaniu słów. Wyniki pokazują, że podobnie jak w przypadku kont interaktywnych, reprezentacje semantyczne i fonologiczne mogą być przetwarzane interaktywnie, a reprezentacje językowe wyższego poziomu mogą wpływać na wczesne przetwarzanie.

Streszczenie

Kontrowersje zawsze istniały w badaniach związanych ze zdolnościami czytania; czy drukowane słowa są odbierane w sposób przekazowy na podstawie informacji ortograficznych, po czym aktywowane są inne reprezentacje, takie jak fonologia i semantyka, czy też są one w pełni interaktywne, a wysokopoziomowe informacje semantyczne wpływają na wczesne przetwarzanie. W przedstawionym protokole zadań oceny fonologicznej i semantycznej zaimplementowano paradygmat interferencyjny, w którym wykorzystano te same pary precede-target do zbadania względnej kolejności aktywacji fonologicznej i semantycznej. Słowa docelowe o wysokiej i niskiej częstotliwości zostały poprzedzone trzema warunkami: semantycznie związanymi, fonologicznymi (homofony) lub niepowiązanymi. Wyniki wykazały, że indukowany składnik P200 par słów o niskiej częstotliwości był znacznie większy niż słowa o wysokiej częstotliwości zarówno w zadaniach semantycznych, jak i fonologicznych. Ponadto zarówno homofony w zadaniu semantycznym, jak i semantycznie powiązane pary w zadaniu fonologicznym spowodowały redukcję N400 w porównaniu z warunkiem kontrolnym, niezależnie od częstotliwości słów. Warto zauważyć, że w przypadku par o niskiej częstotliwości w zadaniu oceny fonologicznej, P200 uwolniony przez semantycznie powiązane pary słów był znacznie większy niż w warunku kontrolnym. Ogólnie rzecz biorąc, przetwarzanie semantyczne w zadaniach fonologicznych i przetwarzanie fonologiczne w zadaniach semantycznych stwierdzono zarówno w wyrazach o wysokiej, jak i niskiej częstotliwości, co sugeruje, że interakcja między semantyką a fonologią może działać w sposób niezależny od zadania. Jednak konkretny czas, w którym wystąpiła ta interakcja, mógł mieć wpływ na zadanie i częstotliwość.

Wprowadzenie

Kluczową kwestią w każdym modelu rozpoznawania słów jest zrozumienie roli fonologii w procesie dostępu semantycznego¹. W przypadku języków alfabetycznych wiele badań konsekwentnie postrzega fonologię jako odgrywającą ważną rolę w dostępie semantycznym, w tym English^2,3,4, hebrajski⁵, francuski⁶ i hiszpański⁷. Innymi słowy, rozpoznawanie słowa pisanego obejmuje nie tylko przetwarzanie ortograficzne, ale także fonologiczne i semantyczne. Ta obserwacja w interaktywnym modelu koneksjonistycznym jest wyjaśniona przez rozszerzenia aktywowane w całej sieci, gdzie ortografia jest powiązana z reprezentacjami fonologicznymi i semantycznymi za pomocą połączeń ważonych⁸. To rozpowszechnienie aktywacji stanowi podstawowy mechanizm dla modelu wizualnego rozpoznawania słów, który zakłada, że reprezentacje fonologiczne i semantyczne są automatycznie aktywowane w odpowiedzi na dane wejściowe ortograficzne⁹.

Jednak obecne dowody empiryczne wspierające hipotezę interaktywnej automatyzacji pozostają kontrowersyjne. Niektóre badania twierdzą, że aktywacja reprezentacji fonologicznych i semantycznych może być dostosowana lub zapobieżona przez wymagania zadań lub uwagę, co implikuje pewien odgórny wpływ na procesy wysokiego poziomu zaangażowane w percepcję słów^10,11. Powyższy opis został jednak zakwestionowany przez wiele ustaleń, które informują o efektach fonologicznych i semantycznych w wizualnym rozpoznawaniu słów, mimo że te reprezentacje są całkowicie nieistotne dla zadania lub nie można do nich uzyskać bezpośredniego dostępu¹², wspierając w ten sposób pogląd, że semantyka i fonologia mogą być dostępne automatycznie i przymusowo podczas procesu czytania¹³. W związku z tym nie ma pewności, czy aktywacja fonologiczna i semantyczna w wizualnym rozpoznawaniu słów zależy od konkretnego zadania, czy też zachodzi w sposób wymuszony i automatyczny, w sposób niezależny od zadania.

Odpowiedź na powyższe pytanie jest trudna dla chińskich czytelników. W porównaniu z językiem angielskim, język chiński jest pismem logograficznym, którego znaki reprezentują morfemy, a nie fonemy¹⁴. Obecnie rola fonologii w semantycznym dostępie do chińskich słów pozostaje kontrowersyjna. Niektóre badania wykazały, że fonologia odgrywa ważną rolę w semantycznym dostępie do chińskich słów^15,16,17. Inni jednak mieli przeciwny pogląd^18,19. Po dokonaniu oceny wyżej wymienionych badań nad chińskim przetwarzaniem fonologicznym stwierdziliśmy, że paradygmat eksperymentalny i konkretne metody badawcze różnią się od siebie. Ogólnie rzecz biorąc, był on głównie podzielony na dwa paradygmaty: word priming^15,18,19 oraz paradygmat violation w zdaniu^17,20,21. Słowo docelowe jest zwykle osadzone na końcu zdania w paradygmacie naruszenia²². Jeśli chodzi o mechanizm językowy, krótka dwuwyrazowa fraza jest łatwiejszą do opanowania jednostką niż całe zdanie, które jest trudne do przetworzenia²³. Ponadto zmienne, które są trudne do kontrolowania w zdaniu, takie jak składnia, kontekst lub inne czynniki, mogą prowadzić do różnych wniosków²⁴. Paradygmat torowania słów jest metodą powszechnie stosowaną do badania modeli rozpoznawania słów, zarówno w językach alfabetycznych, jak i chińskich. Zadaniem tego paradygmatu jest ocena, czy słowo docelowe poprzedzone liczbami pierwszymi jest słowem rzeczywistym, czy pseudosłowem; Oznacza to, że ten paradygmat zwykle zawiera tylko jedno zadanie leksykalne. Jednak pojedyncze zadanie decyzyjne leksykalne może nie być najlepszym wyborem do rozwiązania problemu, czy aktywacja fonologii i semantyki zależy od zadania. Dlatego dwa różne zadania mogą być bardziej odpowiednie do zbadania tego pytania.

Dlatego też te badania miały na celu zbadanie roli fonologii w rozpoznawaniu chińskich słów i jednocześnie próbę ustalenia, czy aktywacja fonologii i semantyki jest niezależna od zadania. Nasze badania obejmują dwa zadania z wykorzystaniem paradygmatu interferencji: ocenę semantyczną i ocenę fonologiczną. Zgodnie z naszą najlepszą wiedzą, jest to pierwsze badanie potencjału związanego ze zdarzeniami (ERP) chińskiego rozpoznawania dwuznakowych związków przy użyciu tego paradygmatu interferencji, a metoda ta rzadko pojawia się w badaniach nad językami alfabetycznymi. W szczególności w zadaniu oceny semantycznej uczestnicy muszą ocenić, czy słowo docelowe i jego poprzednik są semantycznie powiązane, podczas gdy w zadaniu fonologicznym muszą ocenić, czy sparowane słowa mają tę samą wymowę.

To pierwsze jest zadaniem semantycznego dopasowywania, które nie wymaga a priori przetwarzania fonologicznego, a drugie jest zadaniem oceny fonologicznej, które nie wymaga a priori przetwarzania semantycznego. W związku z tym porównaliśmy pary homofonów i niepowiązane grupy kontrolne w zadaniu oceny semantycznej, aby ujawnić, czy i jak fonologia wpływa na przetwarzanie semantyczne. Podobnie porównaliśmy semantycznie powiązane pary słów z niepowiązanymi warunkami kontrolnymi w zadaniu oceny fonologicznej, aby ujawnić, czy i jak semantyka wpływa na przetwarzanie fonologiczne. Ponadto wspomniany problem został zweryfikowany w słowach o wysokiej i niskiej częstotliwości. Tak więc to uzupełniające zadanie oceny semantycznej i fonologicznej może nie tylko ujawnić znaczenie przetwarzania fonologicznego w rozpoznawaniu chińskich słów, ale także ujawnić, czy i jak fonologia i semantyka oddziałują na siebie.

Jeśli procesy fonologiczne i semantyczne są wczesne, automatyczne i interaktywne, efekt aktywacji fonologicznej i semantycznej powinien być obserwowany w czasie odpowiedzi obu zadań. W przypadku ERP procesy fonologiczne i semantyczne wyzwalają dwa różne markery elektrofizjologiczne^2,7. Ponadto ich przebiegi czasowe i rozkłady przestrzenne powinny być różne. Wczesny składnik dodatni (P200) powinien odzwierciedlać przetwarzanie fonologiczne, a typowy marker przetwarzania semantycznego N400 powinien być również zidentyfikowany^20,21. Założyliśmy, że zarówno pary powiązane fonologicznie w zadaniu semantycznym, jak i pary związane semantycznie w zadaniu fonologicznym spowodują znaczny spadek N400, co wskazywałoby, że przetwarzanie fonologiczne może prowadzić do pewnego stopnia aktywacji na poziomie leksykalno-semantycznym. Ponadto monitorowaliśmy, czy P200, który charakteryzuje przetwarzanie fonologiczne, pojawił się w zadaniu oceny semantycznej lub zadaniu oceny fonologicznej. W zadaniu oceny fonologicznej warunki związane z semantyką wyzwalają P200, co można postrzegać jako dowód na wczesny wpływ semantyki na przetwarzanie fonologiczne.

Protokół

Protokół użyty do tego badania został zatwierdzony przez Institutional Review Board of Tsinghua University.

1. Budowa i prezentacja bodźców

1. Budowa bodźców
   1. Przygotowanie bodźców: Przygotuj słowa docelowe zawierające około 140 chińskich dwuznakowych związków, z czego połowa pochodzi ze słów o niskiej i wysokiej częstotliwości. Poprzedź każdy cel trzema analogami: fonologicznie identycznym słowem (słowo homonimiczne), słowem o podobnym znaczeniu i nieistotnym słowem kontrolnym.
      1. Należy zapewnić, aby obiekty docelowe o wysokiej częstotliwości były zawsze poprzedzone poprzednikami o wysokiej częstotliwości, a obiekty docelowe o niskiej częstotliwości były zawsze poprzedzane precedensami o niskiej częstotliwości, niezależnie od tego, czy występują w powiązanych warunkach, czy w niepowiązanych grupach kontrolnych. Ponadto upewnij się, że pary poprzednie-docelowe są podobne pod względem liczby uderzeń i częstotliwości.
         UWAGA: Wszystkie słowa do tego badania zostały wybrane ze Współczesnego Chińskiego Słownika Częstotliwości (Xiandai Hanyu Pinlu Cidian). Częstotliwość występowania słów o niskiej częstotliwości wynosiła mniej niż osiem razy na milion, a częstotliwość występowania słów o wysokiej częstotliwości przekraczała 800 razy na milion.
   2. Ocena bodźców: Zrekrutuj oddzielną grupę około 30 studentów, aby ocenić stopień znaczenia semantycznego między parami słów w siedmiopunktowej skali, gdzie 1 oznacza najniższą korelację, a 7 oznacza najwyższą korelację.
   3. Ostateczne określenie bodźca: Usuń nieodpowiednie pary słów, takie jak pary słów z niższymi wynikami w warunkach semantycznie powiązanych i pary słów z wyższymi wynikami w wynikach warunków homofonowych i nieistotnych.
      1. Oblicz odpowiednie średnie wyniki par słów związanych z semantyką o wysokiej i niskiej częstotliwości i upewnij się, że nie ma między nimi znaczącej różnicy.
      2. Ponadto upewnij się, że wyniki par homofonów i par niepowiązanych nie różnią się znacząco zarówno przy wysokiej, jak i niskiej częstotliwości. Na koniec określ końcowy eksperymentalny materiał bodźcowy (patrz Tabela Materiały).
         UWAGA: Dla wartości związanych z semantyką par związanych z semantyką w tym eksperymencie, końcowe średnie wartości wynosiły 5,62 i 5,73 odpowiednio dla par o wysokiej i niskiej częstotliwości i nie było między nimi znaczącej różnicy (p > 0,1). Ponadto pokrewieństwo semantyczne między parami homofonicznymi i niepowiązanymi nie różniło się istotnie (p > 0,1).
2. Prezentacja bodźców
   1. Zbuduj program, który pokaże zadanie badanym i wypełnij wyżej wymienione materiały (program może być napisany w E-prime lub innych językach programowania).
   2. Upewnij się, że każda podstawowa struktura programu zaczyna się od ekranu wyświetlającego znak " + ", który trwa przez 300 ms, bezpośrednio po którym poprzedzające słowo musi pojawiać się przez 140 ms, bez przerwy między nimi.
   3. Następnie ustaw pusty ekran trwający 360 ms, a następnie ustaw słowo docelowe, które będzie wyświetlane przez 500 ms. Na koniec ustaw znak zapytania (?), który będzie wyświetlany do momentu, gdy uczestnik zdecyduje się na właśnie pokazaną parę słów i naciśnie przycisk tak szybko i dokładnie, jak to możliwe.
   4. Powiedz uczestnikom z wyprzedzeniem, że muszą ocenić, czy para słów jest semantycznie powiązana w zadaniu oceny semantycznej i czy fonologia jest taka sama w zadaniu oceny fonologicznej.
   5. Konfiguracja sesji ćwiczeniowej: Ustaw dwie grupy ćwiczeniowe, aby zawierały odpowiednio zadania związane z oceną semantyczną i oceną fonologiczną, z nie mniej niż 10 parami słów dla każdego zadania. Poinformuj uczestników, że mogą powtórzyć ćwiczenia, aby upewnić się, że dokładność w sesji treningowej wynosi ponad 70%.
   6. Konfiguracja eksperymentu formalnego: Podziel cały eksperyment na 6 bloków, z których każdy składa się z zadania oceny semantycznej i zadania oceny fonologicznej.
      1. Upewnij się, że w każdym bloku nie ma powtarzających się słów docelowych i że liczba typów podkładania w każdym bloku jest taka sama. Ponadto należy przeprowadzić kilka prób z wypełniaczami, aby zmniejszyć odchylenie odpowiedzi spowodowane nierówną liczbą testów wymagających pozytywnych lub negatywnych reakcji.
      2. Losowo dobieraj kolejność elementów w każdym bloku i równoważ kolejność bloków wśród badanych.
         UWAGA: Cały eksperyment można również podzielić na osiem lub dziesięć lub więcej bloków w zależności od liczby materiałów eksperymentalnych do przygotowania, co minimalizuje powtarzanie słów docelowych w każdym bloku.

2. Przygotowanie eksperymentu i zapis elektrofizjologiczny

1. Rekrutuj praworęcznych native speakerów języka chińskiego z normalnym wzrokiem, który mógł być wcześniej skorygowany.
   1. Wyklucz uczestników z jakimikolwiek chorobami neurologicznymi lub psychiatrycznymi.
   2. Upewnij się, że liczba uczestników płci żeńskiej i męskiej jest zrównoważona w pożądanym przedziale wiekowym (18-28 lat).
   3. Upewnij się, że uczestnicy nie mają żadnej historii trwałej ondulacji lub farbowania włosów w ciągu ostatnich dwóch miesięcy.
   4. Poinformuj uczestników, że będą musieli mieć wystarczająco dużo czasu na sen i odpoczynek przed eksperymentem²⁵.
   5. Biorąc udział w eksperymencie, upewnij się, że uczestnicy są w dobrym stanie w momencie przeprowadzania eksperymentu.
2. Kiedy uczestnik dotrze do laboratorium, przedstaw sprzęt eksperymentalny, zadania i koszty czasu. Wyjaśnij wymagania (takie jak brak senności, poruszanie się i mruganie), aby pomóc im zrozumieć cały proces i wyeliminować niepotrzebne zmartwienia.
3. Jeśli uczestnik nie ma innych pytań dotyczących eksperymentu, poproś go o wypełnienie formularza zapytania o ręczność w Edynburgu, który służy do potwierdzenia, że wszyscy uczestnicy mają te same nawyki związane z praworęcznością.
4. Przekaż uczestnikom formularz świadomej zgody i poproś ich o uważne przeczytanie i podpisanie go. Jeśli uczestnicy mają pytania dotyczące treści formularza zgody, udziel im niezbędnych wyjaśnień.
5. Poinstruuj uczestnika, aby prawidłowo oczyścił skórę głowy i wysuszył włosy w laboratorium. W oczekiwaniu na uczestników prosimy o przygotowanie wszystkich materiałów doświadczalnych.
   UWAGA: Sygnał elektroencefalogramu (EEG) jest wzmacniany za pomocą systemu wzmacniacza o paśmie przepustowym od 0,01 do 100 Hz i ciągłym próbkowaniu z częstotliwością 500 Hz.
6. Poproś uczestników, aby usiedli wygodnie na krześle w komorze, w której będzie prowadzony eksperyment. Poinstruował ich, aby nie przesuwali krzesła.
7. Użyj bawełnianych wacików i peelingów do twarzy, aby oczyścić skórę pod lewym okiem uczestnika (w przypadku pionowej elektrody elektrookulograficznej), w pobliżu zewnętrznej kanty prawego oka (w przypadku poziomej elektrookulograficznej) oraz wokół prawej i lewej kości wyrostka sutkowatego (w przypadku Tp9 i Tp10, które będą używane jako nowe referencje offline).
   UWAGA: Rozmieszczenie elektrod może się różnić w zależności od zastosowanych nasadek.
8. Umieść elastyczną nasadkę na głowie uczestnika i upewnij się, że elektroda Cz znajduje się na środku czubka głowy. Ostrożnie zamocuj pasek nasadki elektrody pod brodą, aby upewnić się, że nie jest zbyt ciasny ani zbyt luźny.
9. Upewnij się, że nasadka i amplifier są podłączone do systemu nagrywania. Następnie przełącz oprogramowanie do nagrywania na interfejs monitorowania impedancji.
10. Upewnij się, że impedancja wszystkich elektrod nie przekracza 5 kΩ lub 10 kΩ, zaczynając od elektrod odniesienia (Ref) i masy (Gnd).
11. Przełóż strzykawkę wypełnioną żelem przewodzącym przez mały otwór elektrody do skóry głowy, a następnie naciśnij tłok, aby wstrzyknąć niewielką ilość żelu przewodzącego do skóry głowy, uważając, aby nie spowodować przepełnienia. W tym samym czasie monitoruj system wyświetlania, który wyświetla impedancję w czasie rzeczywistym, aż impedancja spadnie do progu.
12. Po przygotowaniu elektrod Ref i Gnd w ten sam sposób zmniejsz impedancję pozostałych elektrod. Redukcję impedancji energii elektrycznej oka należy traktować ostrożnie.
    1. Zaklej taśmą małe otwory po jednej stronie dwóch elektrod elektrookulograficznych, aby zapobiec wyciekaniu wstrzykniętego żelu przewodzącego. Przymocuj je do dolnej części lewego oka i zewnętrznej kąta prawego oka za pomocą taśmy.
13. Po przygotowaniu wszystkich elektrod poinstruuj uczestników, aby byli gotowi do eksperymentu. Poinstruuj uczestników, aby zrelaksowali się i unikali nadmiernego mrugania oczami i ruchów ciała podczas eksperymentu.
14. Przedstaw bodziec za pomocą programu demonstracji bodźca i pozwól uczestnikom ćwiczyć w części praktycznej.
    UWAGA: Po sesji treningowej uczestnicy mogą zadawać pytania, jeśli mają jakiekolwiek wątpliwości lub pytania dotyczące dalszego postępowania.
15. Rozpocznij formalny eksperyment i zapisz informacje EEG. Monitoruj system nagrywania podczas nagrywania. Jeśli elektroda jest luźna lub rezystancja przekracza próg, należy ją uzupełnić, gdy uczestnik odpoczywa.
    UWAGA: Uczestnicy mogą odpoczywać przez 4-10 min po każdym bloku.
16. Po zakończeniu eksperymentu zapisz sygnał EEG i wyłącz sprzęt, taki jak system nagrywania i wzmacniacz. Następnie zdejmij czepek uczestnika i poinstruuj go, aby zmył żel przewodzący z włosów i skóry. Na koniec nagrodź uczestników i podziękuj im za współpracę.

3. Wstępne przetwarzanie EEG

1. Wykorzystaj półautomatyczną korekcję wzroku z niezależną analizą komponentów.
2. Obliczaj ERP od 100 ms do 600 ms po nadejściu słowa docelowego (100 ms przed punktem odniesienia).
3. Ustaw filtr pasmowo-przepustowy EEG w trybie offline od 0,05 do 30 Hz (tryb zerowego przesunięcia fazowego, 24 dB/okt).
4. Odrzuć epoki przekraczające ±80 μV przez odrzucenie artefaktów i wyeliminuj próby błędnych odpowiedzi.

Wyniki

Niniejszy protokół został zastosowany w niedawnym badaniu w celu zbadania roli fonologii w rozpoznawaniu chińskich dwuznakowych złożeń oraz w celu wywnioskowania modelu rozpoznawania słów²⁶. Wszystkie bodźce wykorzystane w tym badaniu zostały w pełni ujawnione²⁶. Na podstawie globalnej mocy pola (GFP) wybrano trzy okna czasowe: 100-150 ms, 160-280 ms oraz 300-500 ms odpowiednio dla komponentów N1, P200 i N400²⁶. Średnie amplitudy w powyższych oknach ...

Dyskusja

Wyniki eksperymentu i znaczenie:
Celem tego protokołu było wywnioskowanie, co następuje: 1) czy model rozpoznawania słów jest modelem sprzężenia zwrotnego, czy modelem interaktywnym oraz 2) interakcją między wzorcami fonologicznymi i semantycznymi w chińskim dwuznakowym rozpoznawaniu złożonych częstotliwości wysokich i niskich w ramach różnych zadań. Przyjęto interferencyjny paradygmat zadania dopasowania fonologicznego i semantycznego z wykorzystaniem techniki ERP. Odpowiedzi ERP poprzedzone homofo...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
System wzmacniacza BrainAmp DC (Brain Products GmbH)	Brain Products, Gilching, Niemcy		BrainAmp S/N AMP13061964DC Wejście 5.6DC=150mA Praca 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Niemcy		62 elektrody Ag/AgCl o konfiguracji międzynarodowej 10– 20 System elektrod