Method Article

Badanie wpływu obrazów wizualnych i uczenia się prawidłowości dźwiękowych kształtów na boubę i kiki

DOI:

10.3791/59954

⸱

September 13th, 2019

 , 
1Department of Experimental Psychology, University of Oxford

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Celem prezentowanego protokołu jest zbadanie roli obrazów wizualnych w efekcie bouba/kiki, czy trening w dostrzeganiu prawidłowości dźwiękowych kształtu bouba/kiki wpływa na efekt bouba/kiki i rozpoznawanie indywidualnych kształtów bouba i kiki, i w końcu, jakie obrazy mentalne wytwarzają te prawidłowości.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten artykuł przedstawia protokół do badania roli obrazów wizualnych w efekcie bouba/kiki, czy trening w dostrzeganiu prawidłowości dźwiękowych kształtu bouba/kiki wpływa na efekt bouba/kiki i rozpoznawanie indywidualnych kształtów bouba i kiki, i w końcu, jakie obrazy mentalne wytwarzają te prawidłowości. Aby wygenerować prawidłowości dźwiękowe kształtu bouba/kiki, istniały dwa rodzaje kształtów (wypełnione; zarysowane) i dwa rodzaje dźwięku (słowo; dźwięk nie-słowny). Trzy grupy osób wzięły udział w trzech eksperymentach: ślepym, z opaską na oczy i z widzeniem. Eksperymenty zostały przeprowadzone w ustalonej kolejności u wszystkich uczestników, bez przerw między nimi. W eksperymencie 1 (projekt przed testem i po teście z trzema powtórzonymi pomiarami w grupie) uczestnicy zostali poproszeni o wybranie kształtu, który kojarzą im się ze słuchową boubą / kiki; w Eksperymencie 2 (projektowanie wewnątrzobiektowe), aby wymienić jeden kształt i niektóre dźwięki (czasami zgodne, czasami niestosowne) jako "bouba" lub "kiki"; ' i w eksperymencie 3 (projekt tylko po teście), aby narysować kształt, który kojarzyli ze słuchowym bouba/kiki. Wyniki sugerują, że grupa z opaską na oczach korzysta z obrazów wizualnych, aby rozwiązywać nowe problemy, ale nie w dłuższej perspektywie; że trening w dostrzeganiu prawidłowości dźwiękowych kształtów bouba/kiki wpływa na efekt bouba/kiki i rozpoznawanie indywidualnych kształtów bouba i kiki, ale inaczej w każdej grupie eksperymentalnej; i że wszystkie grupy eksperymentalne tworzą mentalne obrazy najbardziej charakterystycznej cechy kształtu bouba (krzywa) i kiki (kąt). W rzeczywistości efekt obrazów wizualnych jest solidny we wszystkich zadaniach, ale nie w dłuższej perspektywie; Efekt uczenia się prawidłowości dźwięku kształtu jest solidny w dłuższej perspektywie, ale nie między zadaniami. Przedstawiony protokół jest odpowiedni do badania wpływu obrazowania wizualnego i uczenia się prawidłowości kształtowo-dźwiękowych, kiedy występują i jak bardzo są wytrzymałe; u konkretnych osób i grup osób. Wyjątkowość tego protokołu polega na tym, że utrzymuje pod kontrolą zarówno obrazy wizualne, jak i informacje sensoryczne podczas treningu i testów.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

95% światowej populacji wykazuje słuchowo-wzrokowy efekt bouba/kiki, kojarząc wizualnie zaokrąglony kształt z wypowiadanym słowem 'bouba; ' oraz wizualnie kanciasty kształt z wypowiadanym słowem "kiki"; ' i robią to nawet wtedy, gdy nie mieli żadnego doświadczenia ani z kształtem, ani ze słowem1. Efekt bouba/kiki poprzedza naukę języka; Występuje we wszystkich językach1,2,3,4,5, zarówno z bouba, jak i kiki (por. preferencja ludzi dla krzywych wizualnych zamiast kątów widzenia6,7,8,9) i zależy to od kombinacji samogłosek i spółgłosek (np. nie występuje z 'bibi' i 'kuku').1,5,10,11,12. To skojarzenie kształt-słowo występuje również z innymi parami kształtów i słów, o ile są one głównie zakrzywione, jak bouba, i głównie kanciaste, jako kiki11,13; i/lub mają taką samą kombinację samogłosek i spółgłosek jak 'bouba' i 'kiki', na przykład: 'Baluma' i 'takete', 'maluma' i 'takete', 'uloomo' i 'takete', 'maa-boo-maa' i 'tuh-kee-tee'1,3,4,10,11,12,14. W rzeczywistości ludzie kojarzą zaokrąglone kształty wizualne z wypowiadanymi słowami zawierającymi ciągłe spółgłoski (takie jak /l/ i /m/) i otwarte samogłoski tylne (takie jak /ɑ:/ i /ɔ:/), a wizualne kształty kątowe z wypowiadanymi słowami zawierającymi spółgłoski spółgłoskowe (takie jak /k/ i /t/) oraz samogłoski bliskie z przodu (takie jak (/ε/ i /I/)11, 12,15,16. Większy wpływ mają na nie spółgłoski niż samogłoski, zwłaszcza te bezdźwięczne (np. /k/ i /t/)11,12,15,16. Rzeczywiście, wydaje się, że cechy globalnych kształtów – ich krzywe i kąty17 – oraz dźwięk wypowiadanych słów – ich melody17 – są najważniejsze, w przeciwieństwie do samych globalnych kształtów i słów.

Jedno z badań badało efekt bouba/kiki z dotykowymi kształtami bouba i kiki zamiast wizualnych kształtów bouba/kiki i stwierdziło, że uczestnicy, którzy byli niedowidzący, wykazywali znacznie mniej silny efekt bouba/kiki (~64%) niż osoby w pełni widzące (~90%)18. W badaniu tym stwierdzono, że znacznie mniej silny efekt bouba/kiki wśród uczestników, którzy byli niewidomi i niedowidzący, był spowodowany brakiem obrazów wizualnych: w pełni widzący uczestnicy zauważyli prawidłowości w swoim otoczeniu, które nie są łatwo dostępne, gdy wzrok jest upośledzony18. Z tego badania nie wynika jednak jasno, czy obrazowanie wizualne jest konieczne, aby wystąpił efekt bouba/kiki: tylko sześciu z 42 uczestników z wadą wzroku było od urodzenia całkowicie niewidomych18, a zatem w ogóle nie miało obrazów wizualnych. Co więcej, pozostali uczestnicy, żaden z nich nie miał zawiązanych oczu, mogli zaobserwować ruchy warg eksperymentatora podczas ogłaszania słowa bouba/kiki – zaokrąglone ruchy warg podczas ogłaszania "bouba" i kątowe ruchy warg podczas ogłaszania "kiki"1,18 – pokazujące dotykowo-wzrokowo-słuchowy efekt bouba/kiki, zamiast czerpać z jakichkolwiek wizualnych obrazów. Ponadto nie badano żadnego wpływu zauważania prawidłowości dotykowo-słuchowych, na przykład poprzez porównanie efektu bouba/kiki w badaniu pierwszym i czwartym, zamiast obliczenia efektu we wszystkich czterech badaniach. Co więcej, dotykowe bouba i kiki różniły się raczej w różnych próbach: w próbach pierwszej i drugiej były to kształty 3D i 2D (zakrzywione v kanciaste); W próbach trzeciej i czwartej, identyczne pod względem kształtu (okrąg) i różniące się teksturą (gładkie v szorstkie; gładkie v kolczaste)18. W podobnym duchu, w jednym z badań zbadano kinestetyczno-słuchowy efekt bouba/kiki u osób z zawiązanymi oczami (w pełni widzącymi) i stwierdzono, że po dwuminutowym okresie treningu trzymania robotycznego rysika zaprogramowanego do rysowania trajektorii kształtów bouba i kiki, 82% wykazało efekt bouba/kiki19. Z tego badania nie wynika jednak jasno, czy efekt bouba/kiki wystąpił z powodu okresu treningowego: badanie nie obejmowało testu wstępnego ani grupy kontrolnej.

W tym celu zbadaliśmy rolę obrazów wizualnych w efekcie bouba/kiki, czy trening w dostrzeganiu dotykowych/wzrokowo-słuchowych prawidłowości bouba i kiki wpłynął na efekt bouba/kiki i rozpoznawanie indywidualnych dotykowych/wizualnych kształtów bouba i kiki, i wreszcie, jakie obrazy mentalne wytworzyły te prawidłowości dźwiękowe kształtu17. Aby wygenerować prawidłowości dźwiękowe kształtu bouba/kiki – nie tylko, na przykład, specyfiki kiki-kształtu/kiki-słowa1 – badanie to obejmowało dwa rodzaje dotykowych/wizualnych kształtów bouba/kiki (wypełnione; zarysowane) oraz dwa rodzaje dźwiękowych bouba/kiki [audio (słowo; dźwięk niebędący słowem)]17. Trzy grupy osób wzięły udział w trzech eksperymentach: ślepym (N = 12), z opaską na oczy (N = 12) i ze wzrokiem (N = 12). Eksperymenty zostały przeprowadzone w ustalonej kolejności u wszystkich uczestników i bez przerw między nimi, aby utrzymać pod kontrolą ilość i rodzaj doświadczeń uczestników z bouba i kiki. W eksperymencie 1 (projekt pre-test-post-test z trzema powtórzonymi pomiarami w grupie) uczestnicy zostali poproszeni o wybranie dotykowego/wizualnego kształtu, który kojarzyli ze słuchowym bouba/kiki; w eksperymencie 2 (projektowanie wewnątrzobiektowe), aby wymienić jeden kształt dotykowy/wizualny i niektóre dźwięki (czasami zgodne, czasami nieprzystające) jako "bouba" lub "kiki"; ' i w eksperymencie 3 (projekt tylko po teście), aby narysować dotykowy/wizualny kształt, który skojarzyli ze słuchowym bouba/kiki17. Ogólnie rzecz biorąc, badanie to sugeruje, że efekt obrazów wizualnych jest solidny w różnych zadaniach, ale nie długoterminowo w każdym zadaniu, podczas gdy efekt uczenia się regularności dźwiękowych kształtów jest solidny długoterminowo w każdym zadaniu, ale nie między zadaniami17. W tym artykule przedstawiono protokół z tego badania17. Przedstawiony protokół jest odpowiedni do badania wpływu obrazowania wizualnego i uczenia się prawidłowości kształtowo-dźwiękowych, kiedy występują i jak bardzo są wytrzymałe; u konkretnych osób i grup osób. Wyjątkowość tego protokołu polega na tym, że utrzymuje pod kontrolą zarówno obrazy wizualne, jak i informacje sensoryczne podczas treningu i testów.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Międzywydziałowy Komitet ds. Etyki Badań Medycznych (IDREC) Uniwersytetu Oksfordzkiego zatwierdził ten protokół (nr ref.: MS-IDREC-C1-2015-200, R46287/RE002 i R42687/RE004).

1. Projekt i warunki

  1. Przeprowadź trzy eksperymenty w następującej ustalonej kolejności ze wszystkimi uczestnikami: Eksperyment 1, Eksperyment 2 i Eksperyment 3, bez przerwy między nimi. Upewnij się, że wszyscy uczestnicy Eksperymentu 2 wzięli udział w Eksperymencie 1 i wszyscy uczestnicy Eksperymentu 3 również w Eksperymencie 2 (i Eksperymencie 1).
  2. Przeprowadź Eksperyment 1 – projekt przed testem i po teście, z trzema grupami eksperymentalnymi: Ślepa, Opaska na oczy i Wizja; oraz trzema powtórzonymi pomiarami wewnątrzgrupowymi. Przedstaw badania w ustalonej kolejności wszystkim uczestnikom. (Łączna liczba prób: 8.)
    1. Przeprowadź test wstępny (próba 1), aby przetestować natychmiastowy dotykowy/wzrokowo-słuchowy efekt bouba/kiki.
    2. Przeprowadź pierwsze powtórzone badanie w grupie (Próba 4), aby przetestować wpływ powtarzających się kształtów dotykowych/wizualnych (wypełnionych lub zarysowanych) i zróżnicowanych dźwięków (dźwięków słownych i niesłownych).
    3. Przeprowadź drugie badanie wewnątrzgrupowe (próba 5), aby przetestować wpływ nowego kształtu dotykowego/wizualnego (zarysowanego lub wypełnionego) i zróżnicowanego dźwięku (dźwięk słowny i niesłowny).
    4. Przeprowadź trzeci pomiar wewnątrzgrupowy i test końcowy (próba 8), aby przetestować wpływ różnych kształtów dotykowych/wizualnych (wypełnionych i zarysowanych) oraz zróżnicowanych dźwięków (dźwięk słowny i niesłowny).
    5. Losowo przypisz, jaki typ dotykowych/wizualnych kształtów bouba/kiki ma być prezentowany w próbach 1-4 (wypełnionych lub obrysowanych). Przedstaw drugi typ w próbach 4-8. Następnie losowo przypisz, które słowo dźwiękowe (bouba lub kiki) ma być prezentowane w Próbie 1, a które dźwiękowe bouba/kiki (bouba lub kiki i dźwięk słowny lub niesłowny) ma być prezentowane w każdej z Prób 2-8.
      UWAGA: Upewnij się, że w sumie są cztery próby bouba i cztery kiki; cztery wypełnione i cztery zarysowane próby kształtów dotykowo-wizualnych; cztery próby dźwiękowe ze słowem słuchowym i cztery próby dźwiękowe bez słów.
  3. Przeprowadź Eksperyment 2 – projekt wewnątrzobiektowy, z trzema grupami eksperymentalnymi: Ślepy, Opaska na oczy i Wzrok; oraz dwoma pomiarami wewnątrzgrupowymi. Przedstaw badania w ustalonej kolejności wszystkim uczestnikom. (Łączna liczba prób: 8)
    1. Przetestuj natychmiastowe rozpoznawanie spójnego (bouba/kiki + bouba/kiki) dźwięku kształtu (próba 1).
    2. Przetestuj rozpoznawanie (a) zgodnego (bouba/kiki + bouba/kiki) i (b) niezgodnego (bouba/kiki + kiki/bouba) dźwięku kształtu [w czterech próbach dla każdego typu zgodności (próby 1-8)].
    3. Losowo przypisz typ dotykowego/wizualnego kształtu bouba/kiki (wypełnionego lub obrysowanego) do zaprezentowania w próbach 1-8. Następnie, losowo przypisz, który zgodny kształt dotykowy/wizualny i dźwiękowy dźwięk niesłowny (bouba + bouba lub kiki + kiki) ma być prezentowany w Próbie 1, a na koniec, jaki rodzaj zgodności (zgodny lub niezgodny dotykowy/wizualny kształt bouba/kiki + dźwiękowy bouba/kiki niesłowny) do zaprezentowania w każdej z Prób 2-8.
      UWAGA: Upewnij się, że w sumie są cztery próby dotykowo-wizualnej bouba i cztery dotykowe/wizualne próby kiki; cztery wypełnione i cztery zarysowane próby dotykowo-wizualne; Cztery próby zgodne i cztery niezgodne (kształt + dźwięk niebędący słowem). (Słowo słuchowe bouba/kiki nie jest uwzględnione w tym eksperymencie.)
  4. Przeprowadź Eksperyment 3 – projekt tylko po teście, z trzema grupami eksperymentalnymi: Ślepy, Opaska na oczy i Wizja. Przedstaw badania w ustalonej kolejności wszystkim uczestnikom (łączna liczba badań: 4).
    1. Przetestuj, jakie obrazy mentalne wytworzył trening w dostrzeganiu prawidłowości dźwiękowych kształtów (tj. Eksperyment 1 i Eksperyment 2), w czterech oddzielnych próbach: słowo Bouba, dźwięk niesłowny bouba, słowo kiki i dźwięk niesłowny kiki.
    2. Losowo przypisz, który rodzaj dźwiękowego bouba/kiki (bouba lub kiki oraz dźwięk słowny lub niesłowny) do wystąpienia w każdej z prób 1-4.
      UWAGA: Upewnij się, że w sumie jest jedna próba słuchowa słowa bouba, jedna próba dźwięku słuchowego bouba bez słowa, jedna próba słuchowa słowa kiki i jedna próba dźwięku słuchowego kiki
      3. .

2. Uczestnicy

  1. Zrekrutuj jedną grupę uczestników, którzy są od urodzenia niewidomi, to znaczy są zaślepieni mniej niż cztery miesiące po urodzeniu20,21,22: Kategorie 5: całkowita ślepota; i 4: Percepcja światła (postrzeganie źródła światła) i projekcja światła (postrzeganie, gdzie znajduje się źródło światła)22. Upewnij się, że wszystkie są czytnikami brajla
    2. .
  2. Zrekrutuj jedną grupę w pełni widzących uczestników, dwukrotnie większą niż grupa uczestników niewidomych od urodzenia. Upewnij się, że wszyscy mają normalne/skorygowane do normalnego widzenia.
    UWAGA: Upewnij się, że wszyscy uczestnicy są w wieku od 18 do 70 lat, mają normalny/skorygowany do normalnego słuch, nie mają opóźnień lub zaburzeń poznawczych ani żadnych niepełnosprawności fizycznych i że wszyscy są naiwni wobec efektu bouba/kiki.
  3. Losowo przypisz połowę grupy w pełni widzących uczestników do grupy z opaską na oczy, a drugą połowę do grupy wizyjnej.
    UWAGA: Uczestnicy, rodzaj dotykowego/wizualnego kształtu (kształtów) bouba/kiki, rodzaj słuchowej bouby/kiki i zgodność są losowo przydzielani do jednej z dwóch kategorii: Opaska na oczy lub wizja; wypełnione lub obrysowane; dźwięk słowny lub niesłowny; bouba lub kiki; zgodne lub niezgodne. Stąd losowe przypisanie może być wykonane albo przez program komputerowy, albo też ręcznie (np. poprzez rzut monetą).

3. Materiały

  1. Produkcja materiałów dotykowych/wizualnych
    1. Przenieś wizualne kształty bouba/kiki (30 x 23 mm) na spęczniejący papier, drukując je z komputera osobistego lub kopiując ze zdjęcia. Upewnij się, że przenosisz dwa rodzaje wizualnych kształtów bouba/kiki: jeden wypełniony i jeden obrysowany [(1,5 pkt. linii). Por. Rysunek 1].
    2. Przepuść spęczniały papier przez nagrzewnicę termiczną. Upewnij się, że dotykowe kształty bouba/kiki wznoszą się do wysokości ~0,5 mm. Alternatywnie, zamów dotykowe/wizualne kształty bouba/kiki w usłudze transkrypcji dla osób niedowidzących (z załączonym plikiem PDF).
    3. Przyklej pęczniejący papier do płyty piankowej [biały (o grubości 5 mm)]. Użyj kleju w sprayu.
    4. Pokrój pęczniejący papier i tekturę piankową na rozmiar (50 x 50 mm), to znaczy aby utworzyć cztery oddzielne karty z obrazkami dotykowymi/wizualnymi: wypełnione boubą, obrysowane boubą, wypełnione kiki i obrysowane kiki (por. rysunek 1). Użyj noża do cięcia tapety.
    5. Wytnij płytę kartonową/tekturę piankową do pokrycia dotykowych/wizualnych kształtów bouba/kiki na wymiar (297 x 210 mm). Użyj noża do cięcia tapety. Alternatywnie można zamówić format A4.
    6. Przyciąć papier do kopiowania/folię do wytłaczania z tworzywa sztucznego na wymiar (210 x 148 mm). Użyj gilotyny. Alternatywnie można zamówić format A5.
    7. Przytnij gumową matę na wymiar (230 x 150 mm). Użyj noża lub nożyczek. Alternatywnie zamów ramkę dłoni Moon i rozłóż ją, aby odsłonić gumową matę.

figure-protocol-1
Rysunek 1: Dwa rodzaje kształtów bouba/kiki: Wypełnione i obrysowane Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

  1. Wyprodukuj materiały słuchowe
    1. Nagraj mówioną boubę (por. Audio 1) i słowa kiki. Zapisz w formacie MP3: Jeden plik dla słowa bouba i jeden dla słowa kiki.
    2. Twórz niesłowne dźwięki bouba i kiki, naśladując czas trwania i częstotliwość (tj. melodię) wypowiadanych słów "bouba" i "kiki". Użyj generatora fal dźwiękowych i zgięcia wysokości dźwięku. Zapisz w formacie MP3: Jeden plik dla dźwięku bouba (por. Audio 2) i jeden dla dźwięku kiki.
    3. Zainstaluj aplikację VLC na iOS na smartfonie. Przenieś pliki MP3 dla bouba i kiki do aplikacji VLC. Zapisz je jako cztery osobne pliki: dźwięk boba, słowo bouba, dźwięk kiki i słowo kiki.

Audio 1: Bouba word Kliknij tutaj, aby pobrać ten plik.

Audio 2: Dźwięk Bouba Kliknij tutaj, aby pobrać ten plik.

4. Procedura i punktacja

  1. Konfigurowanie sesji testowej
    1. Przeprowadź trzy eksperymenty w cichym pomieszczeniu o neutralnym kolorze i indywidualnie ze wszystkimi uczestnikami. Poproś uczestników w grupie z opaską na oczy, aby założyli opaskę na oczy przed ustawieniem materiałów dotykowych/wzrokowo-słuchowych i upewnili się, że mają opaskę na oczach przez cały czas trwania wszystkich trzech eksperymentów.
  2. Ustawianie materiałów dotykowych/wizualnych
    1. Umieść gumową matę bezpośrednio przed uczestnikiem. Następnie umieść (Eksperyment 1) dwa dotykowe/wizualne kształty bouba i kiki (Eksperyment 2), jeden dotykowy/wizualny kształt bouba lub kiki oraz (Eksperyment 3), papier do kopiowania/plastikową folię do wytłaczania na wierzchu gumowej maty.
      UWAGA: W eksperymencie 1 upewnij się, że bouba jest zawsze prezentowana po lewej stronie, a kiki po prawej; oraz zarówno w Eksperymencie 1, jak i w Eksperymencie 2, aby zawsze prezentować je w tej samej orientacji (por. Rysunek 1): Aby zwiększyć zdolność uczestników do tworzenia mentalnych obrazów kształtów bouba i kiki bez ingerencji w ich pozycję i/lub orientację na gumowej macie. Upewnij się, że nie informujesz uczestników o tej stałej prezentacji dotykowych/wizualnych kształtów bouba i kiki. W grupie wizyjnej zawsze umieszczaj materiał testowy za płytą kartonową/tekturą piankową, aby uniemożliwić uczestnikom rzucenie okiem na to, co jest w sklepie.
  3. Konfigurowanie materiałów dźwiękowych
    1. Umieść odtwarzacz MP3 bezpośrednio przed uczestnikiem (po drugiej stronie gumowej maty), tak aby głośnik znajdował się najbliżej niego.
      UWAGA: Nie powtarzaj ustnie informacji słuchowych z odtwarzacza MP3: Aby uniemożliwić uczestnikom grupy wizyjnej obserwowanie ruchów warg podczas prób słownych bouba/kiki1, a tym samym utrzymać pod kontrolą we wszystkich grupach eksperymentalnych ilość i rodzaj informacji sensorycznych.
  4. Przeprowadź Eksperyment 1, Eksperyment 2 i Eksperyment 3
    1. Zaproś uczestników, którzy będą badać i rysować kształty dotykowe (tj. grupa niewidomych i z zawiązanymi oczami), aby zbadali gumową matę (dotykiem): Na przykład, jeśli chodzi o rozmiar i teksturę, bez żadnych dotykowych/wizualnych kart obrazkowych i/lub papieru do kopiowania lub plastikowej folii do wytłaczania umieszczonej na wierzchu.
  5. Przeprowadź eksperyment 1
    1. Wyjaśnij, że na gumowej macie zostaną przedstawione dwie karty obrazkowe, z których każda przedstawia kształt dotykowy/wizualny. Następnie wyjaśnij, że z odtwarzacza MP3 będzie odtwarzany jakiś dźwięk i że będzie on odpowiadał jednemu z kształtów dotykowych/wizualnych.
      UWAGA: Nie informuj uczestników o dwóch rodzajach dotykowych/wizualnych bouba/kiki (wypełnione i obrysowane) oraz dwóch rodzajach słuchowych bouba/kiki (dźwięk i słowo).
    2. Umieść dwie dotykowe/wizualne karty obrazkowe na gumowej macie (por. Rysunek 1).
    3. W grupie niewidomych i z zawiązanymi oczami poproś uczestnika, aby zacisnął pięść obiema rękami i położył pięści na prezentowanych dotykowo-wizualnych kartach obrazkowych, prowadząc ich w razie potrzeby. Połóż lewą rękę na pięściach uczestnika.
    4. Poproś uczestnika, aby zbadał dwa kształty dotykowe/wizualne, grupę niewidomych i grupę z opaską na oczach za pomocą dotyku oraz grupę wizyjną za pomocą wzroku, gdy ręka na ich pięściach (grupa ślepa i z zawiązanymi oczami) / kartonowy talerz lub tablica piankowa (grupa wizyjna) jest usunięta, i aby powiedział "tak", gdy zakończy eksplorację.
    5. Zdejmij lewą rękę z pięści uczestnika (w grupie niewidomej i z opaską na oczy) / talerza kartonowego lub płyty piankowej (w grupie wizyjnej).
    6. Gdy tylko uczestnik powie "tak", zakryj dotykowe/wizualne karty obrazkowe.
    7. Odtwórz dźwięk z odtwarzacza MP3.
      UWAGA: Odtwórz informacje słuchowe z odtwarzacza MP3 tylko raz i nie powtarzaj ich ustnie uczestnikom.
    8. Poproś uczestnika, aby zasygnalizował, jaki kształt dotykowy/wizualny kojarzy mu się z dźwiękiem, na przykład mówiąc "lewo/prawo", "krzywy/kanciasty" lub "kwiat/gwiazda" i zwróć uwagę na podany kształt. Nie odpowiadaj na odpowiedź uczestnika.
    9. Oceń, czy odpowiedź uczestnika jest poprawna, czy nieprawidłowa.
      UWAGA: Powtórz 4.5.2–4.5.9 dla wszystkich ośmiu prób.
  6. Przeprowadź eksperyment 2
    1. Wyjaśnij, że jedna karta obrazkowa, przedstawiająca kształt dotykowy/wizualny, zostanie zaprezentowana na gumowej macie i że z odtwarzacza MP3 zostanie odtworzony jakiś dźwięk. Następnie wyjaśnij, że dźwięk zostanie odtworzony jeden raz na każdą kartę obrazkową, gdy tylko uczestnik zacznie odkrywać kształt dotykowy/wizualny.
      UWAGA: Nie informuj uczestników o dwóch rodzajach dotykowej/wizualnej bouby/kiki (wypełnionej i obrysowanej), jednym typie słuchowej bouby/kiki (dźwięku) oraz dwóch rodzajach zgodności (zgodnej i niezgodnej).
    2. Umieść dotykową/wizualną kartę obrazkową na gumowej macie.
    3. W grupie niewidomej i z zawiązanymi oczami poproś uczestnika, aby zacisnął pięść obiema rękami i położył pięści na przedstawionej karcie z obrazkiem dotykowym/wizualnym, prowadząc go w razie potrzeby. Połóż lewą rękę na pięściach uczestnika.
    4. Poproś uczestnika, aby zbadał kształt dotykowy/wizualny, grupę osób niewidomych i z zawiązanymi oczami za pomocą dotyku, a grupę wzrokową za pomocą wzroku, gdy ręka na ich pięściach (grupa ślepych i z zawiązanymi oczami) / talerz kartonowy lub tablica piankowa (grupa wizyjna) jest usunięta, oraz aby wysłuchał dźwięku. Następnie poproś ich, aby nazwali kształt dotykowy/wizualny i dźwięk jako "bouba" lub "kiki": Tylko jedna nazwa23,24,25, kiedy zakończą eksplorację.
    5. Zdejmij lewą rękę z pięści uczestnika (w grupie niewidomej i z zawiązanymi oczami) / z kartonowego talerza lub płyty piankowej (w grupie wizyjnej) i odtwórz dźwięk z odtwarzacza MP3.
      UWAGA: Odtwórz informacje słuchowe z odtwarzacza MP3 tylko raz i nie powtarzaj ich ustnie uczestnikom.
    6. Gdy tylko uczestnik nazwie kształt dotykowy/wizualny i dźwięk, zakryj kartę obrazkową i zanotuj nadaną nazwę. Nie odpowiadaj na odpowiedź uczestnika.
    7. Oceń, czy odpowiedź uczestnika jest poprawna, czy nieprawidłowa.
      UWAGA: Powtórz 4.6.2–4.6.7 dla wszystkich ośmiu prób.
    8. W przypadku zgodnych i niezgodnych prób policz uczestnika jako "poprawnego", gdy rozpoznał ≥75% dotykowych/wizualnych kształtów bouba i kiki.
  7. Przeprowadź Eksperyment 3:
    1. Wyjaśnij, że na gumowej macie zostanie umieszczona część papieru do kopiowania/plastikowej folii do wytłaczania zamiast kart z obrazkami dotykowymi/wizualnymi i że uczestnik zostanie poproszony o rysowanie na niej. W grupie niewidomych i z opaską na oczy zaproś uczestnika do wypróbowania różnych przyborów do rysowania i samodzielnego zdecydowania, który woli: papier do kopiowania lub plastikową folię do wytłaczania oraz pióro kulkowe lub siodełko. Następnie wyjaśnij, że część dźwięku będzie odtwarzana z odtwarzacza MP3 i że uczestnik będzie rysował kształt dotykowy/wizualny, który kojarzy mu się z tym dźwiękiem, po jednym kształcie na segment dźwięku, gdy zostanie o to poproszony.
      UWAGA: Nie informuj uczestników o informacjach słuchowych (bouba i kiki), ani o dwóch rodzajach dźwiękowych bouba/kiki (dźwięk i słowo).
    2. Umieść papier do kopiowania/plastikową folię do wytłaczania na gumowej macie.
    3. We wszystkich trzech grupach eksperymentalnych (ślepa, opaska na oczy, wzrok) poproś uczestnika, aby zacisnął pięść obiema rękami, trzymając pióro kulkowe/siodełko i położył pięści na papierze do kopiowania/plastikowej folii do wytłaczania, prowadząc ich w razie potrzeby. Połóż lewą rękę na pięściach uczestnika.
    4. Poproś uczestnika, aby narysował kształt, który kojarzy mu się z prezentowanym dźwiękiem, gdy ręka na jego pięściach zostanie usunięta. W grupie osób niewidomych i z zawiązanymi oczami poproś uczestnika o narysowanie kształtu dotykowego; a w grupie wizyjnej, kształt wizualny. Poproś uczestnika, aby powiedział "tak", kiedy skończy rysować.
    5. Zdejmij lewą rękę z pięści uczestnika.
    6. Odtwórz dźwięk z odtwarzacza MP3.
      UWAGA: Odtwórz informacje słuchowe z odtwarzacza MP3 tylko raz i nie powtarzaj ich ustnie uczestnikom.
    7. Gdy tylko uczestnik powie "tak", usuń jego rysunek dotykowy/wizualny z gumowej maty i oznacz go w prawym dolnym rogu odpowiednim numerem próby. Nie odpowiadaj ani nie komentuj odpowiedzi uczestnika/narysowanego kształtu.
      UWAGA: Powtórz 4.7.2–4.7.7 dla wszystkich czterech prób.
    8. Skanuj wszystkie rysunki dotykowe/wizualne (rozmiar 1:1) do formatu jpg natychmiast po każdej sesji testowej.
      UWAGA: Eksperyment 3 jest oceniany przez grupę oceniających po zebraniu wszystkich danych losowania.
    9. Stwórz kwestionariusz do oceny danych rysunkowych (por. Rysunek 2):
      1. Zmniejsz liczbę zeskanowanych rysunków, aby zawierały 12 zdjęć na stronie w formacie A4 w orientacji poziomej.
      2. Losowo przypisz próby bouba/kiki, próby dźwiękowe/słowne oraz szuflady z roletami/opaską/wizją.
      3. Dodaj numer próby w lewym górnym rogu każdego zdjęcia.
      4. Dodaj "bouba" i "kiki" oraz "ślepy", "z zawiązanymi oczami" i "widzący" pod każdym obrazkiem.
    10. Zrekrutuj grupowego strzelca, powyżej 18 roku życia, z normalnym/skorygowanym do normalnego słuchem i wzrokiem, bez opóźnień lub zaburzeń poznawczych, ani z żadną niepełnosprawnością fizyczną; którzy są naiwni w tym badaniu i którzy wykazują wizualny efekt słowa bouba / kiki.
    11. Poproś osoby oceniające, aby odpowiedziały na dwa pytania wielokrotnego wyboru na każde zdjęcie w kwestionariuszu:
      (1) "Czy przedstawiony na obrazie kształt to "bouba" czy "kiki"; "' i (2) 'Czy przedstawiony na rysunku kształt został narysowany przez osobę niewidomą (od urodzenia), z zawiązanymi oczami czy w pełni widzącą?'17.
    12. W zależności od liczby zdjęć w kwestionariuszu, poproś połowę grupy oceniających o ocenę połowy kwestionariusza, a drugą połowę o ocenę reszty.
    13. Dla każdej próby policz "odpowiadają", "nie odpowiadają" i "niejednoznaczne", czyli:
      1. "Odpowiada", gdy (i) ≥75% oceniających zgadzało się, który kształt dotykowy/wizualny (bouba lub kiki) został przedstawiony na obrazie, oraz (ii) kształt ten odpowiadał prezentowanemu w tym badaniu słuchowemu bouba/kiki.
      2. "Nie odpowiadają", gdy (i) ≥75% oceniających zgadza się co do tego, który kształt dotykowy/wizualny (bouba lub kiki) został przedstawiony na obrazie, oraz (ii) kształt ten nie odpowiadał przedstawionemu w tym badaniu słuchowemu bouba/kiki.
      3. "Niejednoznaczne", gdy <75% oceniających zgodziło się, który kształt dotykowy/wizualny (bouba lub kiki) został przedstawiony. Usuń "niejednoznaczne" zdjęcia/rysunki uczestników z analiz statystycznych.
    14. We wszystkich próbach policz uczestnika jako "odpowiadającego", gdy ≥75% jego narysowanych obrazów mentalnych: to znaczy, że dotykowe/wizualne kształty odpowiadają prezentowanemu dźwiękowemu bouba/kiki.
    15. Dla każdej próby policz "uznane", "nierozpoznane" i "niejednoznaczne", czyli:
      1. "Rozpoznane", gdy (i) ≥66,6% oceniających zgodziło się, która grupa eksperymentalna (niewidoma, z opaską na oczy lub wizyjna) narysowała przedstawiony kształt, oraz (ii) było to poprawne w tym badaniu.
      2. "Nie rozpoznano", gdy (i) ≥66,6% oceniających zgodziło się, która grupa eksperymentalna (niewidoma, z opaską na oczy lub wizjonerem) narysowała przedstawiony kształt, oraz (ii) nie było to poprawne w tym badaniu.
      3. "Niejednoznaczne", gdy <66,6% oceniających zgodziło się, która grupa eksperymentalna (niewidoma, z opaską na oczy lub wizyjna) narysowała przedstawiony kształt. Z analiz statystycznych należy wykluczyć "niejednoznaczne" rozpoznania uczestników.
    16. We wszystkich badaniach (i po usunięciu "niejednoznacznych" rozpoznań uczestników) uczestnik jest uznawany za "rozpoznanego", gdy zostanie rozpoznany w ≥75% wszystkich badań.

figure-protocol-2
Rysunek 2: Przykłady z kwestionariusza do oceny danych rysunkowych Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Efekt bouba/kiki

Sześciu z 12 uczestników, którzy byli wrodzeni ślepi (50%), dziewięciu z 12 osób miało zawiązane oczy (75%) i 10 z 12, którzy byli w pełni widzący (~83%) wykazało natychmiastowy dotykowy/wzrokowo-słuchowy efekt bouba/kiki: Oznacza to, że zarówno grupa z opaską na oczy, jak i grupa wizyjna były znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 3,00, p = 0,08 i χ2(1. N = 12) = 5,33, p = 0,02 (Eksperyment 1, Próba 1)17. W dokładnym teście Fishera nie stwierdzono żadnej znaczącej różnicy między trzema grupami eksperymentalnymi (Eksperyment 1, test wstępny)17. (Por. Tabela 1.)

Jeśli chodzi o długoterminowy efekt dotykowy/wzrokowo-słuchowy bouba/kiki: W pierwszym powtórzonym pomiarze wewnątrz grupy, dziewięciu uczestników, którzy byli wrodzenie ślepi, wykazało efekt bouba/kiki, wraz z dziewięcioma w pełni widzącymi i siedmioma z zawiązanymi oczami: Grupa niewidomych i widzących znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 3,00, p = 0,08 i χ2(1. N = 12) = 3,00, p = 0,08 (Eksperyment 1, Próba 4)17. W drugim powtórzonym pomiarze wewnątrzgrupowym, 11 uczestników w grupie niewidomych i widzących wykazało dotykowy/wzrokowo-słuchowy efekt bouba/kiki: Obie grupy eksperymentalne były ponownie znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 8,33, p = 0,00 i χ2(1. N = 12) = 8,33, p = 0,00; i siedmiu w grupie z opaską na oczy (Eksperyment 1, Próba 5)17. Wreszcie, w trzecim powtórzonym pomiarze w grupie i po teście, dziewięciu z 12 uczestników, którzy byli wrodzeni ślepi (75%), sześciu z 12 uczestników, którzy mieli zawiązane oczy (50%) i wszyscy z 12 uczestników, którzy byli w pełni widzący (100%) wykazywali dotykowy/wzrokowo-słuchowy efekt bouba/kiki; Zarówno grupa niewidoma, jak i grupa widząca ponownie znacznie przekroczyła poziom szansy (50%): χ2(1. N = 12) = 3,00, p = 0,08 i χ2(1. N = 12) = 12,00, p = 0,00 (Eksperyment 1, Próba 8)17. Dokładny test Fishera wykazał istotną różnicę między grupą z opaską na oczy a grupą wizyjną [p = 0,01. (Eksperyment 1, po teście)]17. (Por. Tabela 1.)

Grupa uczestnikówNatychmiastowy efekt bouba/kikiDługoterminowy efekt bouba/kiki
Test wstępnyPowtórzony zabieg 1Powtórzony środek 2Powtórzony pomiar 3/test końcowy
ślepy50,0%75,0%91,7%75,0%
Blindfold75,0%58,3%58,3%50,0%
widzenie83,3%75,0%91,7%100,0%

Tabela 1: Natychmiastowy i długoterminowy efekt bouba/kiki

Rozpoznawanie kształtów bouba i kiki

Jedenaście z 12 uczestników, którzy byli wrodzenie ślepi (~92%), dziewięciu z 12, którzy mieli zawiązane oczy (75%) i wszyscy z 12, którzy byli w pełni widzący (100%) natychmiast rozpoznali zgodne dotykowo-wzrokowe i słuchowe bouba/kiki; wszystkie trzy grupy eksperymentalne były znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 8,33, p = 0,00, χ2(1. N = 12) = 3,00, p = 0,08 i χ2(1. N = 12) = 12,00, p = 0,00 (Eksperyment 2, Próba 1)17. (Por. Tabela 2.)

Długoterminowo, 11 uczestników w grupie niewidomych rozpoznało dotykowe kształty bouba/kiki razem z dźwiękiem konkurującym, a 10 uczestników z dźwiękiem niezgodnym: Oba typy zgodności rozpoznane znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 8,33, p = 0,00 i χ2(1. N = 12) = 5,33, p = 0,02 (Eksperyment 2, Próba 1-8)17. Dziewięcioro uczestników w grupie z opaską na oczach rozpoznało kształty dotykowe wraz z pasującym dźwiękiem, a ośmiu uczestników razem z niepasującym dźwiękiem; Innymi słowy, zgodny kształt i dźwięk były znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 3,00, p = 0,08 (Eksperyment 2, Próba 1-8)17. Wszystkich 12 uczestników w grupie wizyjnej rozpoznało wizualne kształty bouba/kiki wraz z konkurencyjnym dźwiękiem, a sześciu uczestników z niezgodnym dźwiękiem: Zgodny kształt i dźwięk rozpoznany znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 12,00, p = 0,00 (Eksperyment 2, Próba 1-8)17. (Por. Tabela 2.)

Grupa uczestnikówNatychmiastowe rozpoznawanie kształtu bouba/kikiDługoterminowe rozpoznawanie kształtów bouba i kiki
Spójny kształt i dźwiękSpójny kształt i dźwiękNiepasujący kształt i dźwięk
ślepy91,7%91,7%83,3%
Blindfold75,0%75,0%66,7%
widzenie100,0%W 100%50,0%

Tabela 2: Natychmiastowe i długoterminowe rozpoznawanie kształtów bouba i kiki

Mentalne obrazy bouba i kiki

Ośmiu z 12 uczestników, którzy byli wrodzenie ślepi [~73% (z usuniętym jednym 'niejednoznacznym' rysunkiem uczestnika)], ośmiu z 12, którzy mieli zawiązane oczy [~89% (z usuniętymi trzema 'niejednoznacznymi' rysunkami uczestników)], i ośmiu z 12, którzy byli w pełni widzący [80% (z usuniętymi dwoma 'niejednoznacznymi' rysunkami uczestników)] natychmiast narysowało mentalny obraz: Kształt dotykowo-wizualny, który odpowiadał prezentowanemu dźwiękowemu bouba/kiki (Eksperyment 3, Próba 1)17. Zarówno grupa z opaską na oczy, jak i grupa wizyjna były znacznie powyżej poziomu szansy (50%): χ2(1. N = 9) = 5,44, p = 0,02 i χ2(1. N = 10) = 3,60, p = 0,06 (Eksperyment 3, Próba 1)17. (Por. tabela 3.)

Jeśli chodzi o długoterminowe obrazy mentalne bouba i kiki: 11 uczestników w grupie niewidomych, ośmiu w grupie z opaską na oczach i 12 w grupie wizyjnej narysowało dotykowe/wizualne kształty bouba/kiki, które odpowiadały prezentowanym dźwiękowym bouba/kiki (Eksperyment 3, Próba 1-4)17. Zarówno grupa niewidoma, jak i niedowidząca były znacznie powyżej poziomu szansy (50%): χ2(1. N = 12) = 8,33, p = 0,00 i χ2(1. N = 12) = 12,00, p = 0,00 (Eksperyment 3, Próba 1-4)17. Dokładny test Fishera wykazał istotną różnicę między grupą z opaską na oczach a grupą z wizją [p = 0,09 (Eksperyment 3, Próba 1-4)]17. (Por. tabela 3.)

.
Grupa uczestnikówNatychmiastowy obraz mentalny bouba/kikiDługoterminowe obrazy mentalne bouba i kiki
ślepy72,7 proc91,7%
Blindfold88,9%66,7%
widzenie80,0 %100,0%

Tabela 3: Natychmiastowe i długoterminowe obrazy bouba i kiki w pamięci

Ponadto. ~83% wszystkich rysunków uczestników zawierało najbardziej charakterystyczną cechę kształtu globalnych kształtów bouba i kiki: odpowiednio krzywą i kątem (Eksperyment 3, Próba 1-4)17. Rysunki uczestników różniły się ilością krzywych/kątów (np. jeden i pięć kątów dla słowa kiki: por. Rysunek 2, Próby 1, 6 i 9) oraz kierunkiem krzywych/kątów [tj. poziomy, pionowy lub ukośny: por. Rysunek 2, Próby 2, 5 i 8 (dźwięk bouba)], ale zazwyczaj nie zawierały globalnego kształtu bouba/kiki [Eksperyment 3, Próba 1-4 (por. rysunek 1; Rysunek 2)]17. Wreszcie, grupa eksperymentalna została rozpoznana w ~ 43% odpowiedzi wyników: pięciu uczestników w grupie niewidomej, trzech w grupie z opaską na oczy i pięciu w grupie ze wzrokiem; żadna grupa eksperymentalna nie była istotnie powyżej poziomu szansy [33,3% (Eksperyment 3, Próba 1-4)]17.

Efekt wizualnych obrazów i uczenia się

Prezentowany protokół z powodzeniem zbadał rolę obrazów wizualnych w efekcie bouba/kiki, czy trening w zauważaniu dotykowych/wzrokowo-słuchowych prawidłowości bouba i kiki wpłynął na efekt bouba/kiki i rozpoznawanie indywidualnych dotykowych/wizualnych kształtów bouba i kiki, i w końcu, jakie obrazy mentalne wytworzyły te prawidłowości dźwiękowe kształtu17. Włączając jedną grupę eksperymentalną bez doświadczenia wzrokowego (tj. grupę niewidomych) i dwie grupy eksperymentalne z doświadczeniem wzrokowym (tj. grupę z opaską na oczy i grupę wizyjną), możliwe było przetestowanie efektu obrazowania wzrokowego; Włączając jedną grupę eksperymentalną bez doświadczenia wzrokowego i z rozległym doświadczeniem dotykowym (tj. grupę niewidomych) oraz jedną grupę eksperymentalną z dużym doświadczeniem wzrokowym i bez doświadczenia dotykowego (tj. grupę z zawiązanymi oczami), możliwe było przetestowanie efektu treningu w zauważaniu prawidłowości dotykowo-słuchowych. Wyniki wyraźnie sugerują, że grupa z opaską na oczy korzystała z obrazów wizualnych, aby rozwiązać nowe problemy dotykowo-słuchowe, ale nie na dłuższą metę (Eksperyment 1-3); że trening w dostrzeganiu prawidłowości dźwiękowych kształtu bouba/kiki wpłynął na dotykowy/wzrokowo-słuchowy efekt bouba/kiki (Eksperyment 1) i rozpoznawanie indywidualnych dotykowo-wizualnych kształtów bouba i kiki [tj. razem z przystającym dźwiękiem (Eksperyment 2)], ale inaczej w każdej grupie eksperymentalnej (Eksperyment 1-2), oraz że wszystkie grupy eksperymentalne tworzyły mentalne obrazy najbardziej charakterystycznej cechy dotykowego/wzrokowo-słuchowego kształtu bouba (krzywa) i kiki [(kąt) Eksperyment 3. Por. Tabela 1; Tabela 2; Tabela 3]17. Ponadto, włączając powtarzające się wewnątrzgrupowe pomiary natychmiastowego i długoterminowego efektu (Eksperyment 1-3), możliwe było sprawdzenie, kiedy faktycznie wystąpił efekt zobrazowań wizualnych i uczenia się prawidłowości dźwiękowych; oraz poprzez włączenie trzech różnych zadań (tj. dotykowy/wzrokowo-słuchowy efekt bouba/kiki w eksperymencie 1, rozpoznawanie indywidualnych dotykowych/wizualnych kształtów bouba/kiki wraz z przystającym i nieprzystającym dźwiękiem w eksperymencie 2 oraz rysowanie mentalnych obrazów dźwięku bouba/kiki w eksperymencie 3), aby sprawdzić, jak silne były te efekty. Wyniki wyraźnie sugerują, że efekt obrazów wizualnych nie był solidny w długim okresie w każdym zadaniu, zwłaszcza w przypadku korzystania z dotyku dotykowego [por. grupa z opaską na oczy (Eksperyment 1-3)]; mając na uwadze, że efekt uczenia się prawidłowości dźwiękowych był taki, ale nie między zadaniami [por. grupa niewidomych i widzących (Eksperyment 1-3). Por. Tabela 1; Tabela 2; Tabela 3.]17

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przedstawiony protokół jest odpowiedni do badania wpływu obrazowania wizualnego i uczenia się prawidłowości kształtowo-dźwiękowych, kiedy występują i jak bardzo są wytrzymałe; u konkretnych osób i grup osób.

Protokół ten byłby odpowiedni do testowania nie tylko dokładności, ale także czasu eksploracji: od momentu, gdy eksperymentator zdejmie lewą rękę z pięści uczestnika (w grupie ślepej i z zawiązanymi oczami) / kartonowej płyty lub piankowej tablicy (w grupie wizyjnej) do momentu, gdy uczestnik powie "tak". W analizach statystycznych najdłuższy czas eksploracji na próbę na grupę eksperymentalną zostanie podzielony na cztery, a liczba "szybkich", "średnich" i "wolnych" uczestników w każdej grupie eksperymentalnej zostanie policzona: "Szybko" przy użyciu ≤25% tego czasu eksploracji, "Średni" przy użyciu 26-75% i "Wolny" przy użyciu ≥75%. We wszystkich badaniach uczestnicy byliby liczeni jak w eksperymencie 2: to znaczy jako "szybcy", jeśli byliby liczeni jako "szybcy" w ≥66,6% wszystkich prób, jako "średni", jeśli byliby liczeni jako "średni" w ≥66,6% wszystkich prób i tak dalej. (Dla "niejednoznacznego", tj. uczestnika nie można zaliczyć do "szybkiego", "średniego" lub "wolnego", por. Eksperyment 3.) Możliwe byłoby badanie czasu eksploracji dla poprawnych i nieprawidłowych odpowiedzi oddzielnie, w zależności od wielkości próby i/lub liczby poprawnych i nieprawidłowych odpowiedzi. Niezależnie od tego, czy chodzi o dokładność testów, czas eksploracji, czy jedno i drugie, istnieją krytyczne kroki protokołu, których należy przestrzegać: Trzy eksperymenty powinny być przeprowadzone w ustalonej kolejności, a ich próby powinny być przedstawione w ustalonej kolejności dla wszystkich uczestników. Uczestnicy nie powinni być świadomi, że materiały testowe we wszystkich trzech eksperymentach obejmują bouba i kiki. Co więcej, informacje słuchowe z odtwarzacza MP3 powinny być odtwarzane tylko raz i nie powinny być powtarzane ustnie uczestnikom (wszystkie trzy eksperymenty). W Eksperymencie 1 i Eksperymencie 2 dotykowo-wzrokowe bouba i kiki powinny być przedstawione w tej samej pozycji i orientacji. W przypadku grupy wizyjnej (we wszystkich trzech eksperymentach) materiały testowe powinny być umieszczone za płytą kartonową/tekturą piankową. Wreszcie, w grupie z opaską na oczy, uczestnicy nie powinni zdejmować opaski z oczu, dopóki Eksperyment 3 nie zostanie zakończony. Kroki te mają na celu zapewnienie, że ilość i rodzaj informacji o dotykowo-wzrokowych i słuchowych bouba i kiki jest utrzymywana pod kontrolą we wszystkich grupach eksperymentalnych. Ponadto w eksperymencie 2 kluczowe jest zaprezentowanie słuchowej bouby/kiki, gdy tylko uczestnik zacznie eksplorować dotykowo-wzrokową boubę/kiki. Zapewni to prezentację informacji multimodalnych (zgodnych lub niezgodnych). Co więcej, protokół ten byłby również odpowiedni do testowania innych grup osób. Aby je zintegrować, takie grupy uczestników można dodać jako oddzielne grupy eksperymentalne: na przykład grupa percepcji kolorów i grupa percepcji kształtów; 22 grupa nagłej utraty wzroku i grupa postępującej utraty wzroku; Można dodać 20,21 i/lub określone grupy osób z upośledzeniem słuchu i/lub zaburzeniami ze spektrum autyzmu13.

Dzięki temu protokołowi możliwe byłoby ustalenie normy grupowej (dla dokładności i/lub czasu eksploracji) dla określonych grup w odniesieniu do każdego natychmiastowego i długoterminowego efektu, w tym każdego powtórzonego pomiaru wewnątrzgrupowego i/lub zadania; Następnie, aby przetestować jednostki w stosunku do ich normy grupowej: Czy jakaś poszczególna osoba lub cała grupa potrzebuje dalszego treningu w dostrzeganiu prawidłowości dźwiękowych kształtów. Norma grupowa dla każdego natychmiastowego i długoterminowego efektu, obejmująca każdy powtórzony pomiar wewnątrzgrupowy i/lub zadanie, umożliwiłaby również określenie, jakiego rodzaju trening jest potrzebny, aby zauważyć prawidłowości kształtu dźwięku: Na przykład więcej prób z dotykowym/wzrokowo-słuchowym efektem bouba/kiki (Eksperyment 1) i/lub więcej prób z przystającym i nieprzystającym dotykowym/wizualnym kształtem i dźwiękiem (Eksperyment 2). Rzeczywiście, możliwe byłoby zwiększenie zarówno liczby prób, jak i liczby powtórzonych pomiarów wewnątrzgrupowych w każdym zadaniu, a także zmiana czasu między nimi, co pozwoliłoby na bardziej zindywidualizowane szkolenie i testowanie.

Protokół ten wymagałby jednak modyfikacji, jeśli testowanie, jaki rodzaj materiałów (np. bouba lub kiki, wypełniony lub zarysowany kształt dotykowy/wizualny i/lub dźwiękowy dźwięk lub słowo) najlepiej zapewnia naukę prawidłowości dźwięku kształtu. Możliwym sposobem modyfikacji tego protokołu może być przedstawienie różnych materiałów w blokach: na przykład wypełnione kształty dotykowe/wizualne i dźwięki słuchowe i/lub zarysowane kształty dotykowe/wizualne i słowo słuchowe (Eksperyment 1). Bloki te można było prezentować w losowej kolejności wszystkim uczestnikom w jednej grupie eksperymentalnej; lub alternatywnie, każdy z czterech bloków, aby oddzielić grupy eksperymentalne (Eksperyment 1). Protokół ten wymagałby również modyfikacji, gdyby testowano jeszcze bardziej solidność obrazów wizualnych i/lub wyuczonych prawidłowości kształtu dźwięku w ramach zadań i między nimi. Modyfikacja może polegać na dodaniu powtarzających się działań w obrębie grupy o innym kształcie dotykowym/wizualnym i/lub dźwiękowym niż te uwzględnione w szkoleniu; na przykład z dźwiękiem słuchowym dla "maa-boo-maa" i "tuh-kee-tee" po treningu z dotykowymi/wizualnymi kształtami bouba i kiki oraz słowami słuchowymi (Eksperyment 1)1,3,4,10,11,12,13,14,15,16 . Inną opcją może być przedstawienie trzeciego kształtu dotykowego/wizualnego, który nie jest głównie zakrzywiony/kanciasty, wraz z dotykowymi/wizualnymi kształtami bouba i kiki w eksperymencie 1 10,11,12,13,14,15,16. Słuchowe słowo i dźwięk mogą zostać stworzone dla tego dotykowo-wizualnego kształtu, aby wytworzyć trzecią parę kształt-słowo14,15,16 i trzecią parę kształt-dźwięk17 (Eksperyment 1). Para kształt-dźwięk może być następnie włączona do Eksperymentu 2 jako próby złapania; lub alternatywnie jako regularne próby zgodne i z odpowiadającymi im próbami nieprzystającymi. Wreszcie, dźwięk (z Eksperymentu 2 i Eksperymentu 1) i/lub słowo nonsensowne (z Eksperymentu 1) mogą być prezentowane w Eksperymencie 3. Trzecia opcja mogłaby polegać na tym, że Eksperyment 2 i Eksperyment 3 nie zostałyby w ogóle przeprowadzone, ale raczej włączono je jako zadania do powtarzanych pomiarów wewnątrzgrupowych w Eksperymencie 1, w kolejności losowej.

Wyjątkowość przedstawionego protokołu polega na tym, że utrzymuje on pod kontrolą zarówno obrazy wizualne, jak i informacje sensoryczne podczas treningu i testów. Jest elastyczny: duże i małe próbki oraz konkretne osoby mogą być testowane przeciwko sobie (por. testy wewnątrzgrupowe) i/lub innym grupom osób (por. testy międzygrupowe). Możliwe jest testowanie zarówno dokładności, jak i czasu eksploracji, zmiana liczby prób i powtórzonych pomiarów wewnątrzgrupowych w każdym eksperymencie oraz czasu między nimi, a także zmiana lub nawet załamanie kolejności prób i/lub eksperymentów.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Fundatorzy:
Prace zostały sfinansowane przez program Unii Europejskiej w zakresie badań naukowych i innowacji Horyzont 2020 w ramach działań "Maria Skłodowska-Curie" (umowa o grant nr 657440) oraz Norweskie Stowarzyszenie Niewidomych i Słabowidzących.

Makijaż filmowy:
Wizażystka Rachael Parrey.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
boubą/kiki30 mm w poziomie, 23 mm w pionie i 0,5 mm grubości m w pionie, 0,5 mm wysokości linii i 0,5 mm wytłoczonej wysokości
Bouba/kiki obrysowane30 mm w poziomie, 23 mm w pionie i 0,5 mm grubości m w pionie, 0,5 mm wysokości linii i 0,5 mm wytłoczonej wysokości
Dźwięk Bouba/kiki (fala sinusoidalna)
Słowo Bouba/kiki (ludzki głos)
Płyta kartonowa/tektura piankowa do oklejania bouba/kiki (biała)Ryman230461860297 mm poziomo x 210 pionowo 0 mm pionowo
Papier do kopiowania [biały (80 g/m2 )]Ryman250030000210 mm poziomy x 148 mm pionowy
Płyta piankowa do kart obrazkowych bouba/kiki [biała (grubość 5 mm)]Ryman23046186050 mm pozioma x 50 mm pionowa
Odtwarzacz MP3 (smartfon z zainstalowaną aplikacją VLC na iOS)Magazyn
Folia do tłoczenia z tworzywa sztucznegoRNIB SklepZM04210 mm poziomo x 148 mm
pionowo Pióro kulkowe [czarne (końcówka 1,0 mm)]Ryman827134001
Mata gumowaRNIB ShopLC177230 mm poziomo x 150 mm pionowo
Styl siodłaRNIB SklepB511
Papier pęczniejącyZychem Sp. z o.oZytex2 papier50 mm poziomy x 50 mm pionowy
Wypełnione samochodowy.

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).">Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).">Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).">Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).">Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).">Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).">Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).">Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).">Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).">Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).">Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).">D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).">Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).">Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Gestalt psychology. , Liveright. New York, NY. (1929).">Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).">Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).">Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).">Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).">Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).">Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).">Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).">Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).">WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).">Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).">Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).">Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Bouba Kiki EffectVisual ImageryShape Audio RegularitiesBlindfold GroupTactile ShapesAudio AssociationMental ImagesCongenitally BlindWithin Group MeasuresExperimental Protocol

Related Articles