Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Undersøgelse af effekten af visuelle billeder og læringsform-audio regularitet på Bouba og Kiki

Published: September 13, 2019 doi: 10.3791/59954
Automatic Translation
1, 1
1Department of Experimental Psychology, University of Oxford

Summary

Formålet med den præsenterede protokol er at undersøge den rolle, visuelle billedsprog i Bouba/Kiki-effekt, om uddannelse i at mærke Bouba/Kiki form-audio regularitet påvirker Bouba/Kiki-effekt og anerkendelse af individuelle Bouba og Kiki figurer, og endelig, hvad mentale billeder disse regularitet producerer.

Abstract

Denne artikel præsenterer en protokol til at undersøge rollen af visuelle billedsprog i Bouba/Kiki-effekt, om uddannelse i at mærke Bouba/Kiki form-audio regularitet påvirker Bouba/Kiki-effekt og anerkendelse af individuelle Bouba og Kiki figurer, og endelig, hvad mentale billeder disse regularitet producerer. At generere Bouba/Kiki form-audio regularitet, der var to typer af figurer (udfyldt; skitseret) og to typer af lyd (ord; ikke-ord lyd). Tre grupper af individer deltog i tre eksperimenter: blinde, blindfold, og vision. Eksperimenterne blev udført i fast rækkefølge på tværs af deltagerne, uden nogen pause mellem dem. I eksperiment 1 (pre-test-post-Testdesign med tre gentagne inden for gruppen foranstaltninger) deltagerne blev bedt om at udvælge den form, de er forbundet med auditive Bouba/Kiki; i eksperiment 2 (inden for motivet design), for at nævne en form og nogle lyd (undertiden kongruous; sommetider inkongruous) som ' Bouba ' eller ' Kiki; ' og i eksperiment 3 (kun efter Testdesign), at tegne den form, de er forbundet med auditive Bouba/Kiki. Resultaterne tyder på, at blindfold-gruppen trække på visuelle billeder til at løse nye problemer, men ikke lang sigt; at uddannelse i at bemærke Bouba/Kiki form-audio regularitet påvirker Bouba/Kiki-effekt og anerkendelse af individuelle Bouba og Kiki figurer, men forskelligt i hver eksperimentel gruppe; og at alle eksperimentelle grupper skaber mentale billeder af den mest karakteristiske form funktion af Bouba (kurve) og Kiki (vinkel). Faktisk er effekten af visuelle billeder robust på tværs af opgaver, men ikke på lang sigt; effekten af læringsform-audio regularitet er robust lang sigt, men ikke på tværs af opgaver. Den præsenterede protokol er egnet til at undersøge effekten af visuelle billeder og læring form-audio regularitet, når de opstår, og hvor robust de er; specifikke individer og grupper af individer. Denne protokol er unik, fordi den holder styr på både det visuelle billedsprog og de sensoriske oplysninger under træning og testning.

Introduction

95% af verdens befolkning viser en auditiv-visuel Bouba/Kiki-effekt, der knytter den visuelt afrundede form med det talte ord, ' Bouba; ' og den visuelt kantede form med det talte ord ' Kiki; ' og de gør dette, selv når de ikke har haft nogen erfaring med enten figuren eller ordet1. Bouba/Kiki-effekten går forud for sprogindlæring; det sker på tværs af sprog1,2,3,4,5, med både Bouba og Kiki (CF. folks præference for visuelle kurver over visuelle vinkler6,7 , 8 , 9), og det afhænger af kombinationen af vokaler og konsonanter (f. eks. det sker ikke med ' Bibi ' og ' Kuku '.) 1 , 5 , 10 , 11 , 12. denne form-ord Association opstår med andre form og ordpar så godt, så længe de er hovedsageligt buede, som Bouba, og hovedsagelig kantede, som Kiki11,13; og/eller de har samme kombination af vokaler og konsonanter som ' Bouba ' og ' Kiki ', f. eks.:» baluma «og» takete «,» maluma «og» takete «,» uloomo «og» takete «,» maa-boo-maa «og» tuh-Kee-tee «1,3, 4,10,11,12,14. Faktisk forbinder folk de afrundede visuelle former med de talte ord, der indeholder kontinuant konsonanter (såsom/l/og/m/) og åbne ryggen vokaler (såsom/ɑ:/, og/ɔ:/), og de visuelle kantede figurer med de talte ord, der indeholder plosive konsonanter (såsom/ k/og/t/) og lukke front vokaler (f. eks. (/ε/og/i/)11,12,15,16. De påvirkes mere af konsonanterne end vokalerne, især af de stemmeløse (f. eks./k/og/t/)11,12,15,16. Faktisk ser det ud til funktionerne i de globale former-deres kurver og vinkler17 -og lyden af de talte ord-deres melodi17 -er de mest afgørende, i modsætning til de globale former og ord selv.

En undersøgelse har undersøgt Bouba/Kiki-effekt med taktile Bouba og Kiki i stedet for de visuelle Bouba/Kiki figurer og fandt, at deltagere, der var svagtseende viste en betydeligt mindre robust Bouba/Kiki-effekt (~ 64%) end den fuldt seende (~ 90%)18. I denne undersøgelse argumenteres der for, at den betydeligt mindre robuste Bouba/Kiki-effekt blandt de blinde og svagtseende deltagere skyldtes manglende visuelle billeder: de fuldt seende deltagere havde bemærket regularitet i deres omgivelser, som ikke er let tilgængeligt, når synet er svækket18. Det fremgår imidlertid ikke klart af denne undersøgelse, om visuelle billeder er nødvendige for, at Bouba/Kiki-effekten opstår: kun seks af de 42 deltagere med et synshandicap var kongenitalt totalt blinde18og havde således slet ingen visuelle billeder. Desuden, de andre deltagere, ingen af dem bind for øjnene, kan have observeret eksperimentent's læbe bevægelser, når annoncerer Bouba/Kiki ord-afrundede læbe bevægelser, når annoncerer ' Bouba ' og kantede læbe bevægelser, når annoncerer ' Kiki '1 , 18 – viser en taktile-visuel-auditiv Bouba/Kiki-effekt i stedet for at trække på nogen visuelle billeder. Desuden blev enhver effekt af at mærke taktile-auditive regularitet ikke undersøgt, for eksempel ved at sammenligne Bouba/Kiki-effekt på retssagen en og Trial fire i stedet for at beregne effekten på tværs af alle fire forsøg. Desuden var taktile Bouba og Kiki temmelig forskellige på tværs af forsøg: i forsøg en og to var de 3D og 2D figurer (buet v kantet); i forsøg tre og fire, identisk i form (cirkel) og ulige i tekstur (glat v ru; glat v spiky)18. I en beslægtet vene, har en undersøgelse undersøgt en kinesthetic-auditory Bouba/Kiki-effekt i blindfoldet (fuldt seende) individer og fandt, at, efter en to-minutters træning periode med at holde en robot stylus programmeret til at trække forløbskurver af Bouba og Kiki figurer, 82% viste Bouba/Kiki-effekt19. Det fremgår imidlertid ikke klart af denne undersøgelse, om Bouba/Kiki-effekten fandt sted på grund af uddannelsesperioden: undersøgelsen omfattede ikke en præ-test eller en kontrolgruppe.

Til dette formål har vi undersøgt den rolle, visuelle billedsprog i Bouba/Kiki-effekt, om uddannelse i at bemærke taktile/visuel-auditive Bouba og Kiki regularitet påvirket Bouba/Kiki-effekt og anerkendelse af individuelle taktile/visuelle Bouba og Kiki figurer, og endelig hvad mentale billeder disse form-audio regularitet produceret17. For at generere Bouba/Kiki Shape-audio regularitet-ikke blot, for eksempel, Kiki-Shape/Kiki-ord særegenheder1 -denne undersøgelse omfattede to typer af taktile/visuelle Bouba/Kiki figurer (udfyldt; skitseret) og to typer af auditive Bouba/Kiki [Audio ( Word ikke-ordlyd)]17. Tre grupper af individer deltog i tre eksperimenter: blind (N = 12), bind for øjnene (N = 12) og vision (N = 12). Eksperimenterne blev udført i fast orden på tværs af deltagere og uden pause mellem dem, for at holde under kontrol deltagernes mængde og type erfaring med Bouba og Kiki. I eksperiment 1 (pre-test-post-Testdesign med tre gentagne in-Group foranstaltninger) deltagerne blev bedt om at udvælge den taktile/visuelle form, de er forbundet med auditive Bouba/Kiki; i eksperiment 2 (indenfor-motiv design), for at nævne en taktile/visuel form og nogle lyd (undertiden kongruous; sommetider inkongruous) som ' Bouba ' eller ' Kiki; ' og i eksperiment 3, (kun efter Testdesign) for at tegne den taktile/visuelle form, de er forbundet med auditive Bouba/Kiki17. Samlet set, denne undersøgelse foreslog, at effekten af visuelle billeder er robust på tværs af opgaver, men ikke lang sigt inden for hver opgave, mens effekten af læring form-audio regularitet er robust lang sigt inden for hver opgave, men ikke på tværs af opgaver17. Denne artikel præsenterer protokollen fra denne undersøgelse17. Den præsenterede protokol er egnet til at undersøge effekten af visuelle billeder og læring form-audio regularitet, når de opstår, og hvor robust de er; specifikke individer og grupper af individer. Denne protokol er unik, fordi den holder styr på både det visuelle billedsprog og de sensoriske oplysninger under træning og testning.

Protocol

Den medicinske videnskaber Inter-divisions forskning etiske komité (IDREC) University of Oxford givet godkendelse til denne protokol (ref nr: MS-IDREC-C1-2015-200, R46287/RE002, og R42687/RE004).

1. design og betingelser

  1. Udfør tre eksperimenter i følgende faste rækkefølge med alle deltagere: eksperiment 1, eksperiment 2 og eksperiment 3 uden afbrydelse. Sørg for, at alle deltagere i eksperiment 2 deltog i eksperiment 1 og alle deltagere i eksperiment 3 også i eksperiment 2 (og eksperiment 1).
  2. Gennemføre eksperiment 1-en præ-test-post-Testdesign, med tre eksperimentelle grupper: blind, bind for øjnene, og vision; og tre gentagne foranstaltninger inden for koncernen. Præsenter forsøgene i fast rækkefølge for alle deltagere. (Samlet antal forsøg: 8.)
    1. Udfør pre-test (Trial 1) for at teste den øjeblikkelige taktile/visuelle-auditive Bouba/Kiki-effekt.
    2. Udfør den første gentagne inden for gruppe måling (studie 4) for at afprøve effekten af gentagen taktile/visuel form (enten udfyldt eller skitseret) og varieret lyd (ord og ikke-ordlyd).
    3. Udfør den anden inden for gruppe måling (studie 5) for at afprøve effekten af ny taktile/visuel form (enten skitseret eller udfyldt) og varieret lyd (ord og ikke-ordlyd).
    4. Udfør den tredje inden for gruppen foranstaltning og post-test (Trial 8) for at teste effekten af varieret taktile/visuel form (udfyldt og skitseret) og varieret lyd (ord og ikke-ord lyd).
    5. Tildel tilfældigt hvilken type taktile/visuelle Bouba/Kiki figurer til stede i forsøg 1-4 (enten udfyldt eller skitseret). Præsenter den anden type i forsøg 4-8. Derefter tilfældigt tildele som auditiv ord (enten Bouba eller Kiki) til stede i Trial 1, og som auditive Bouba/Kiki (enten Bouba eller Kiki og enten ord eller ikke-ord lyd) til stede i hver enkelt af forsøg 2-8.
      Bemærk: Sørg for, at der i alt er fire Bouba og fire Kiki forsøg; fire udfyldte og fire skitserede taktile/visuelle form forsøg; fire auditive ord og fire auditive ikke-ordlyd forsøg.
  3. Gennemføre eksperiment 2-en inden-emne design, med tre eksperimentelle grupper: blind, bind for øjnene, og vision; og to foranstaltninger inden for koncernen. Præsenter forsøgene i fast rækkefølge for alle deltagere. (Samlet antal forsøg: 8)
    1. Test den øjeblikkelige genkendelse af kongruous (Bouba/Kiki + Bouba/Kiki) Shape-audio (prøveversion 1).
    2. Test anerkendelsen af (a) kongruous (Bouba/Kiki + Bouba/Kiki), og (b) inkongruous (Bouba/Kiki + Kiki/Bouba) Shape-audio [på tværs af fire forsøg for hver type kongruousness (forsøg 1-8)].
    3. Tildel tilfældigt hvilken type Tactile/Visual Bouba/Kiki form (enten udfyldt eller skitseret) til stede i forsøg 1-8. Derefter tilfældigt tildele hvilken kongruous taktile/visuel form og auditive ikke-ord lyd (enten Bouba + Bouba eller Kiki + Kiki) til stede i Trial 1, og endelig hvilken type kongruousness (enten kongruous eller inkongruous taktile/visuel Bouba/Kiki form + auditive Bouba/Kiki ikke-ordlyd) til stede i hver enkelt af forsøg 2-8.
      Bemærk: Sørg for, at der i alt er fire taktile/visuelle Bouba og fire taktile/visuelle Kiki forsøg; fire udfyldte og fire skitserede taktile/visuelle forsøg; fire kongruøse og fire inkongruøse (form + ikke-ordlyd) forsøg. (Den auditive Bouba/Kiki Word er ikke inkluderet i dette eksperiment.)
  4. Gennemføre eksperiment 3-en post-test kun design, med tre eksperimentelle grupper: blind, bind for øjnene, og vision. Præsenter forsøgene i fast rækkefølge for alle deltagere (samlet antal forsøg: 4).
    1. Test hvilke mentale billeder uddannelsen i at mærke form-audio regularitet (dvs. eksperiment 1 og eksperiment 2) har produceret, i fire separate forsøg: Bouba Word, Bouba ikke-ord lyd, Kiki Word, og Kiki ikke-ord lyd.
    2. Tilfældigt tildele hvilken type auditive Bouba/Kiki (enten Bouba eller Kiki og enten ord eller ikke-ord lyd) til stede i hver enkelt af forsøg 1-4.
      Bemærk: Sørg for, at i alt, der er en auditive Bouba ord retssag, en auditive Bouba ikke-ord lyd retssag, en auditiv Kiki ord retssag, og en auditive Kiki ikke-ord lyd retssag.

2. deltagere

  1. Rekruttere en gruppe af deltagere, der er kongenitally blinde; Det er, blændet mindre end fire måneder efter fødslen20,21,22: kategori 5: Total blindhed; og 4: lys perception (opfatte en lyskilde) og lys projektion (opfatte hvor en lyskilde er beliggende)22. Sørg for, at de alle er Braille-læsere.
  2. Rekruttere en gruppe af fuldt seende deltagere, på to gange størrelsen af den gruppe af deltagere, der er kongenitally blinde. Sørg for, at de alle har normal/korrigeret til normal vision.
    Bemærk: Sørg for, at alle deltagere er mellem 18 og 70 år gamle, med normal/korrigeret for normal hørelse, ingen kognitiv forsinkelse eller svækkelse, eller nogen fysiske handicap, og at de alle er naive for Bouba/Kiki-effekt.
  3. Tildel tilfældigt halvdelen af gruppen af de fuldt seende deltagere til blindfold-gruppen og den anden halvdel til vision-gruppen.
    Bemærk: deltagere, type af taktile/visuelle Bouba/Kiki form (r), type auditive Bouba/Kiki, og kongruousness er alle tilfældigt tildelt en af to kategorier: blindfold eller vision; udfyldt eller skitseret; ord eller ikke-ordlyd; Bouba eller Kiki; kongruous eller inkongruous. Således kan den tilfældige opgave udføres enten af et edb-program eller manuelt (f. eks. ved at kaste en mønt).

3. materialer

  1. Fremstil de taktile/visuelle materialer
    1. Overfør de visuelle Bouba/Kiki figurer (30 x 23 mm) til at svulme papir, enten ved at udskrive dem fra en personlig computer eller ved fotokopiering derefter fra et billede. Sørg for at overføre to typer af visuelle Bouba/Kiki figurer: en udfyldt og en skitseret [(1,5 pt. linje). Se figur 1].
    2. Pass Swell papiret gennem en varme fuser. Sørg for, at taktile Bouba/Kiki figurerne stiger til ~ 0,5 mm højde. Alternativt kan du bestille taktile/visuelle Bouba/Kiki figurer fra en transskription tjeneste for folk, der er svagtseende (med en PDF-fil vedhæftet).
    3. Lim Swell papiret på skum brættet [hvid (5 mm tyk)]. Brug spray lim.
    4. Skær Swell papir og skum bord i størrelse (50 x 50 mm), det vil være at oprette fire separate taktile/visuelle billedkort: Bouba fyldt, Bouba skitseret, Kiki fyldt, og Kiki skitseret (jf. figur 1). Brug en kniv til at skære tapet.
    5. Skær en kartonplade/skumplade til at dække de taktile/visuelle Bouba/Kiki figurer i størrelse (297 x 210 mm). Brug en kniv til at skære tapet. Alternativt kan du bestille A4-formatet.
    6. Skær kopipapir/plastik prægning film i størrelse (210 x 148 mm). Brug en guillotine. Alternativt kan du bestille A5-formatet.
    7. Skær en gummimåtte i størrelse (230 x 150 mm). Brug en kniv eller et par saks. Alternativt kan du bestille månen hånd rammen og tage den fra hinanden for at afdække gummimåtten.

Figure 1
Figur 1: to typer af Bouba/Kiki figurer: udfyldt og skitseret Venligst klik her for at se en større version af dette tal.

  1. Fremstille de auditive materialer
    1. Optag den talte Bouba (CF. Audio 1) og Kiki ord. Gem i MP3-format: en fil til Bouba-ordet og en til Kiki-ordet.
    2. Opret Bouba og Kiki ikke-ord lyde, ved at efterligne varigheden og hyppigheden (dvs. melodi) af de talte ord ' Bouba ' og ' Kiki. ' Brug en Sound Wave generator og Pitch Bend. Gem i MP3-format: en fil til Bouba Sound (CF. audio 2) og en til Kiki Sound.
    3. Installer VLC-appen til iOS på en smartphone. Overfør MP3-filer til Bouba og Kiki til VLC-appen. Gem dem som fire separate filer: Bouba Sound, Bouba Word, Kiki Sound og Kiki Word.

Lyd 1: Bouba ord Venligst klik her for at downloade denne fil.

Lyd 2: Bouba lyd Venligst klik her for at downloade denne fil.

4. procedure og scoring

  1. Konfigurer test sessionen
    1. Udfør de tre eksperimenter i et stille rum, der er neutralt i farve, og med alle deltagere enkeltvis. Bed deltagerne i blindfold-gruppen om at sætte deres blindfold, før de taktile/visuelle-auditive materialer, og sørg for at de holder deres blindfold på hele og mellem alle tre eksperimenter.
  2. Opsætning af taktile/visuelle materialer
    1. Placer gummimåtten direkte foran deltageren. Placer derefter (eksperiment 1) de to taktile/visuelle Bouba-og Kiki-figurer (eksperiment 2), den ene taktile/visuelle Bouba-eller Kiki-form og (eksperiment 3), kopien papir/plastik prægning film på toppen af gummimåtten.
      Bemærk: i eksperiment 1 skal du sørge for altid at præsentere Bouba til venstre og Kiki til højre; og i både eksperiment 1 og eksperiment 2, for altid at præsentere dem i samme retning (jf. figur 1): at forbedre deltagernes evne til at danne mentale billeder af Bouba-og Kiki-figurerne uden indblanding fra deres position og/eller orientering på gummimåtten. Sørg for ikke at informere deltagerne om denne faste præsentation af taktile/visuelle Bouba og Kiki figurer. I vision-gruppen skal du altid opsætte testmaterialet bag en kartonplade/skumplade for at forhindre disse deltagere i at tage et smugkig på, hvad der er i vente.
  3. Opsætning af auditive materialer
    1. Placer MP3-afspilleren direkte foran deltageren (på den anden side af gummimåtten), med højttaleren tættest på dem.
      Bemærk: Gentag ikke mundtligt de auditive oplysninger fra MP3-afspilleren: for at forhindre deltagerne i vision-gruppen i at observere læbe bevægelser på Bouba/Kiki Word-Trials1, og dermed holde under kontrol på tværs af alle eksperimentelle grupper mængden og typen af sensoriske oplysninger.
  4. Udfør eksperiment 1, eksperiment 2 og eksperiment 3
    1. Inviter de deltagere, der skal udforske og tegne de taktile former (dvs. den blinde og blindfold-gruppe) til at udforske gummimåtten (ved berøring): for eksempel for størrelse og tekstur, uden nogen af de taktile/visuelle billedkort og/eller kopipapir eller plastik prægning film placeret på toppen.
  5. Udfør eksperiment 1
    1. Forklar, at der vil blive præsenteret to billedkort på gummimåtten, hver med en taktile/visuel form. Forklar derefter, at lyden afspilles fra MP3-afspilleren, og at denne lyd svarer til en af de taktile/visuelle figurer.
      Bemærk: Informer ikke deltagerne om de to typer taktile/visuelle Bouba/Kiki (fyldt og skitseret) og de to typer auditive Bouba/Kiki (lyd og ord).
    2. Placer de to taktile/visuelle billedkort på gummimåtten (jf. figur 1).
    3. I blinde og blindfold-gruppen, bede deltageren om at gøre en knytnæve ved hjælp af begge hænder og til at placere deres næver på toppen af de præsenterede taktile/visuelle billedkort, vejlede dem, hvis det er nødvendigt. Placer den venstre hånd oven på deltagerens næver.
    4. Bed deltageren om at udforske de to taktile/visuelle former, blind og blindfold-gruppen ved berøring og visionen-Group by vision, når hånden på toppen af deres næver (blind og blindfold-gruppe)/karton pladen eller skum brættet (vision-gruppen) er fjernet, og sige " Ja ' når de er færdige med deres udforskning.
    5. Fjern den venstre hånd fra deltagerens næver (i blinde og blindfold-gruppen)/karton pladen eller skum brættet (i Visions gruppen).
    6. Så snart deltageren siger ' Ja ', dækker det taktile/visuelle billedkort.
    7. Afspil lyden fra MP3-afspilleren.
      Bemærk: Afspil kun de auditive oplysninger fra MP3-afspilleren én gang, og Gentag det ikke mundtligt for deltagerne.
    8. Bed deltageren om at signalere, hvilken taktile/visuel form de forbinder med lyden, for eksempel ved at sige "venstre/højre", "buet/kantet" eller "blomst/stjerne", og læg mærke til den givne form. Besvar ikke deltagerens svar.
    9. Score, om deltagerens svar er korrekt eller ukorrekt.
      Bemærk: Gentag 4.5.2 – 4.5.9 for alle otte forsøg.
  6. Udfør eksperiment 2
    1. Forklar, at et billedkort, der afbilder en taktile/visuel form, vil blive præsenteret på gummimåtten, og at nogle lyd vil blive afspillet fra MP3-afspilleren. Forklar derefter, at lyden bliver afspillet én gang pr. billedkort, så snart deltageren begynder at udforske den taktile/visuelle form.
      Bemærk: ikke informere deltagerne om de to typer af taktile/visuelle Bouba/Kiki (fyldt og skitseret), den ene type auditive Bouba/Kiki (lyd), og de to typer af kongruousness (kongruous og inkongruous).
    2. Placer det taktile/visuelle billedkort på gummimåtten.
    3. I blinde og blindfold-gruppen, bede deltageren om at gøre en knytnæve ved hjælp af begge hænder og placere deres næver oven på det præsenterede taktile/visuelle billedkort, vejlede dem, hvis det er nødvendigt. Placer den venstre hånd oven på deltagerens næver.
    4. Bed deltageren om at udforske den taktile/visuelle form, blind og blindfold-gruppen ved berøring og vision-gruppen ved vision, når hånden oven på deres næver (blind og blindfold-gruppe)/karton pladen eller skum brættet (vision-gruppen) er fjernet, og at lytte til lyden. Bed dem derefter om at nævne den taktile/visuelle form og lyden som enten ' Bouba ' eller ' Kiki ': et navn kun23,24,25, når de er færdige med deres udforskning.
    5. Fjern den venstre hånd fra deltagerens næver (i blinde og blindfold-gruppen)/karton pladen eller skum brættet (i Visions gruppen), og Afspil lyden fra MP3-afspilleren.
      Bemærk: Afspil kun de auditive oplysninger fra MP3-afspilleren én gang, og Gentag det ikke mundtligt for deltagerne.
    6. Så snart deltageren navngiver den taktile/visuelle form og lyd, dække billedkortet og notere navnet givet. Besvar ikke deltagerens svar.
    7. Score, om deltagerens svar er korrekt eller ukorrekt.
      Bemærk: Gentag 4.6.2 – 4.6.7 for alle otte forsøg.
    8. På tværs af de kongruøse og inkongruøse forsøg, tælle en deltager som ' korrekt ', når de har anerkendt ≥ 75% af taktile/visuelle Bouba og Kiki figurer.
  7. Udfør eksperiment 3:
    1. Forklar, at nogle kopier papir/plastik prægning film vil blive placeret på toppen af gummimåtten, i stedet for de taktile/visuelle billedkort (r), og at deltageren vil blive bedt om at trække på det. I blinde og blindfold-gruppen, invitere deltageren til at afprøve de forskellige tegneudstyr og til selv at bestemme, hvad de foretrækker: kopipapir eller plastik prægning film og hurtigttørrende pen eller Saddleback stil. Dernæst forklare, at nogle lyd vil blive spillet fra MP3-afspilleren, og at deltageren vil tegne den taktile/visuelle form, de forbinder med denne lyd, en form pr segment af lyd, når du bliver spurgt.
      Bemærk: ikke informere deltagerne om auditive oplysninger (Bouba og Kiki), eller de to typer af auditive Bouba/Kiki (lyd og ord).
    2. Placer kopien papir/plastik prægning film på gummimåtten.
    3. I alle tre eksperimentelle grupper (blind; blindfold; vision), bede deltageren om at gøre en knytnæve ved hjælp af begge hænder, mens du holder hurtigttørrende pen/Saddleback stil og til at placere deres næver på toppen af kopien papir/plastik prægning film, vejlede dem, hvis det er nødvendigt. Placer den venstre hånd oven på deltagerens næver.
    4. Bed deltageren om at tegne den form, de forbinder med den præsenterede lyd, når hånden oven på deres næver er fjernet. I blinde og blindfold-gruppen, bede deltageren om at tegne en taktile form; og i vision-gruppen, en visuel form. Bed deltageren om at sige ja, når de er færdige med deres tegning.
    5. Fjern den venstre hånd fra deltagerens næver.
    6. Afspil lyden fra MP3-afspilleren.
      Bemærk: Afspil kun de auditive oplysninger fra MP3-afspilleren én gang, og Gentag det ikke mundtligt for deltagerne.
    7. Så snart deltageren siger "ja", skal du fjerne deres taktile/visuelle tegning fra gummimåtten og mærke den i nederste højre hjørne med det korrekte prøve nummer. Besvar eller Giv ikke kommentarer til deltagerens svar/tegnede form.
      Bemærk: Gentag 4.7.2 – 4.7.7 for alle fire forsøg.
    8. Scan alle taktile/visuelle tegninger (1:1 størrelse) i jpg-format umiddelbart efter hver test session.
      Bemærk: eksperiment 3 er scoret af en gruppe af scorere, når alle tegnings data er blevet indsamlet.
    9. Udarbejde et spørgeskema til at score tegnings dataene (jf. figur 2):
      1. Skaler alle scannede tegninger til at omfatte 12 billeder pr. side i format formatet A4.
      2. Tilfældigt tildele Bouba/Kiki forsøg, lyd/Word forsøg, og blind/blindfold/vision skuffer.
      3. Tilføj prøve nummer i øverste venstre hjørne af hvert billede.
      4. Tilføj ' Bouba ' og ' Kiki ' og ' blind ', ' blinde foldet ' og ' seende ' under hvert billede.
    10. Rekruttere en gruppe scorer, over 18 år; normal/korrigeret til normal hørelse og syn; uden kognitiv forsinkelse eller svækkelse eller fysiske handicap Det er alle naive for denne undersøgelse, og som viser en visuel form-trykt ord Bouba/Kiki-effekt.
    11. Bed scorerne om at svare på to spørgsmål med flere valgmuligheder pr. billede i spørgeskemaet:
      (1) ' er den afbilledet form "Bouba" eller "Kiki;" ' og (2) ' er den afbilledet form tegnet af en person, der er blind (siden fødslen), blindfoldet, eller fuldt seende? 17.
    12. Afhængigt af antallet af billeder i spørgeskemaet, bede halvdelen af gruppen af scorere til at score halvdelen af spørgeskemaet, og den anden halvdel til at score resten.
    13. For hvert forsøg, tæller ' svarer, ' ' ikke svarer ' og ' inkonklusive, ' der er:
      1. » Svarer «, når (i) ≥ 75% af de scorere, som blev enige om, hvilken taktile/visuel form (Bouba eller Kiki) der blev afbilledet, og (II) denne form svarede til den præsenterede auditive Bouba/Kiki i denne retssag.
      2. » Ikke svarer «, når (i) ≥ 75% af de scorere aftalt, hvor taktile/visuel form (Bouba eller Kiki) blev afbilledet, og (II) denne form ikke svarer til den præsenterede auditive Bouba/Kiki i denne retssag.
      3. » Inkonklusive «, når < 75% af de scorere enige om, hvilken taktile/visuel form (Bouba eller Kiki) blev afbilledet. Fjern de ' inkonklusive ' billeder/deltager tegninger fra de statistiske analyser.
    14. På tværs af forsøg, tælle en deltager som ' svarer ', når ≥ 75% af deres tegnede mentale billeder: det vil, at taktile/visuelle former svarer til den præsenterede auditive Bouba/Kiki.
    15. For hvert forsøg tælles ' genkendt ', ' ikke genkendt ' og ' inkonklusiv ', der er:
      1. » Anerkendt «, når (i) ≥ 66,6% af de scorere aftalte, hvilken forsøgsgruppe (blind, bind for øjnene eller vision) havde tegnet den afbilledet form, og (II) dette var korrekt i denne retssag.
      2. » Ikke genkendt «, når (i) ≥ 66,6% af de scorere aftalte, hvilken forsøgsgruppe (blind, bind for øjnene eller vision) havde tegnet den afbilledet form, og (II) dette var ikke korrekt i denne retssag.
      3. » Inkonklusive «, når < 66.6% af de scorere aftalt, hvilken forsøgsgruppe (blind, bind for øjnene eller vision) havde tegnet den afbilledet form. Udelukke de» inkonklusive «deltageres anerkendelser fra de statistiske analyser.
    16. På tværs af forsøg (og med ' inkonklusive ' deltageres anerkendelser fjernet) tælles en deltager som ' genkendt ', når den genkendes i ≥ 75% af alle forsøg.

Figure 2
Figur 2: eksempler fra spørgeskemaet til at score tegnings data Venligst klik her for at se en større version af dette tal.

Representative Results

Bouba/Kiki-effekten

Seks af de 12 deltagere, der var kongenitalt blinde (50%), ni af de 12, der var blindefoldede (75%), og 10 af de 12, der var fuldt seende (~ 83%) viste en øjeblikkelig taktile/visuel-auditiv Bouba/Kiki-effekt: det er, både blindfold og vision-gruppen var betydeligt over det chance niveau (på 50%): χ2(1. N = 12) = 3,00, p = 0,08 og χ2(1. N = 12) = 5,33, p = 0,02 (eksperiment 1, studie 1)17. Der blev ikke fundet nogen signifikant forskel ved Fishers eksakte test mellem de tre forsøgsgrupper (eksperiment 1, pre-test)17. (Jf. tabel 1.)

Når det kommer til den langsigtede taktile/visuelle-auditive Bouba/Kiki-effekt: på den første gentagne inden for gruppen foranstaltning, ni af de deltagere, der var kongenitally blinde viste Bouba/Kiki-effekt sammen med ni, der var fuldt seende og syv, der var blindfoldet: blinde og vision-gruppen betydeligt over chancen niveau (på 50%): χ2(1. N = 12) = 3,00, p = 0,08 og χ2(1. N = 12) = 3,00, p = 0,08 (eksperiment 1, studie 4)17. Med hensyn til den anden gentagne in-Group-foranstaltning viste 11 deltagere i blind-og Visions gruppen den taktile/visuelle auditive Bouba/Kiki-effekt: begge forsøgsgrupper var igen betydeligt over risikoniveauet (på 50%): χ2(1. N = 12) = 8,33, p = 0,00 og χ2(1. N = 12) = 8,33, p = 0,00; og syv i blindfold-gruppen (eksperiment 1, studie 5)17. Endelig har ni af de 12 deltagere, der var kongenitalt blinde (75%), seks af de 12, der var blinde (50%), og alle de 12 deltagere, der var fuldt seende (100%), på det tredje gentagne inden for koncernen og efterprøvning. viste den taktile/visuelle-auditive Bouba/Kiki-effekt; både blinde og syns gruppe var igen betydeligt over det risikoniveau (på 50%): χ2(1. N = 12) = 3,00, p = 0,08 og χ2(1. N = 12) = 12,00, p = 0,00 (eksperiment 1, studie 8)17. Fishers nøjagtige test fandt en signifikant forskel mellem blindfold og vision-gruppe [p = 0,01. (Eksperiment 1, efterprøvning)] 17. (jf. tabel 1)

Deltagergruppe Instant Bouba/Kiki-effekt Langsigtet Bouba/Kiki-effekt
Pre-test Gentagen foranstaltning 1 Gentagen foranstaltning 2 Gentagen foranstaltning 3/efterprøvning
Blind 50,0% 75,0% 91,7% 75,0%
Blindfold 75,0% 58,3% 58,3% 50,0%
Vision 83,3% 75,0% 91,7% 100,0%

Tabel 1: den øjeblikkelige og langsigtede Bouba/Kiki-effekt

Anerkendelsen af Bouba og Kiki figurer

Elleve af de 12 deltagere, der var kongenitalt blinde (~ 92%), ni af de 12, der var blindefoldede (75%), og alle de 12, der var fuldt seende (100%) straks anerkendt den kongruous taktile/visuelle og auditive Bouba/Kiki; alle tre forsøgsgrupper lå betydeligt over risikoniveauet (på 50%): χ2(1. N = 12) = 8,33, p = 0,00, χ2(1. N = 12) = 3,00, p = 0,08 og χ2(1. N = 12) = 12,00, p = 0,00 (eksperiment 2, prøve 1)17. (Jf. tabel 2).

På lang sigt anerkendte 11 deltagere i blind gruppen de taktile Bouba/Kiki figurer sammen med kongruous audio og 10 deltagere med inkongruous audio: begge typer af kongruousness anerkendt betydeligt over chancen niveau (på 50%): χ2( 1. N = 12) = 8,33, p = 0,00 og χ2(1. N = 12) = 5,33, p = 0,02 (eksperiment 2, retssag 1-8)17. Ni deltagere i blindfold-gruppen genkendte taktile former sammen med kongruøs lyd og otte deltagere sammen med ukongruøs lyd; med andre ord var den kongruiske form og lyd betydeligt over det risikoniveau (på 50%): χ2(1. N = 12) = 3,00, p = 0,08 (eksperiment 2, retssag 1-8)17. Alle 12 deltagere i vision-gruppen anerkendte de visuelle Bouba/Kiki figurer sammen med kongruous audio og seks deltagere med inkongruous audio: den kongruøse form og lyd anerkendt betydeligt over chancen niveau (på 50%): χ2(1. N = 12) = 12,00, p = 0,00 (eksperiment 2, retssag 1-8)17. (Jf. tabel 2).

Deltagergruppe Øjeblikkelig genkendelse af Bouba/Kiki Shape Langsigtet anerkendelse af Bouba-og Kiki-figurer
Kongruous form og lyd Kongruous form og lyd Inkongruous form og lyd
Blind 91,7% 91,7% 83,3%
Blindfold 75,0% 75,0% 66,7%
Vision 100,0% 100% 50,0%

Tabel 2: øjeblikkelig og langsigtet anerkendelse af Bouba-og Kiki-figurer

De mentale billeder af Bouba og Kiki

Otte af de 12 deltagere, der var kongenitally blinde [~ 73% (med en ' inkonklusiv ' deltager tegning fjernet)], otte af de 12, der var bind for øjnene [~ 89% (med tre ' inkonklusive ' deltager tegninger fjernet)], og otte af de 12, der var fuldt seende [80% (med to ' inkonklusive ' deltager tegninger fjernet)] trak øjeblikkeligt et mentalt billede: en taktile/visuel form, der svarede til den præsenterede auditive Bouba/Kiki (eksperiment 3, Trial 1)17. Både blindfold og vision-gruppen var betydeligt over det risikoniveau (på 50%): χ2(1. N = 9) = 5,44, p = 0,02 og χ2(1. N = 10) = 3,60, p = 0,06 (eksperiment 3, prøve 1)17. (Jf. tabel 3).

Med hensyn til de langsigtede mentale billeder af Bouba og Kiki: 11 deltagere i blind-gruppen, otte i blindfold-gruppen, og 12 i vision-gruppen tegnede taktile/visuelle Bouba/Kiki figurer, der svarede til den præsenterede auditive Bouba/Kiki (eksperiment 3, Retssag 1-4)17. Både blinde og syns gruppe var betydeligt over det risikoniveau (på 50%): χ2(1. N = 12) = 8,33, p = 0,00 og χ2(1. N = 12) = 12,00, p = 0,00 (eksperiment 3, prøveversion 1-4)17. Fishers eksakte test fandt en signifikant forskel mellem blindfold-gruppen og vision-gruppen [p = 0,09 (eksperiment 3, Trial 1-4)]17. (Jf. tabel 3).

Deltagergruppe Øjeblikkelig mental billede af Bouba/Kiki Langsigtede mentale billeder af Bouba og Kiki
Blind 72,7% 91,7%
Blindfold 88,9% 66,7%
Vision 80,0% 100,0%

Tabel 3: de øjeblikkelige og langsigtede mentale billeder af Bouba og Kiki

Desuden. ~ 83% af alle deltager tegninger omfattede den mest karakteristiske form funktion af den globale Bouba og Kiki figurer: kurve og vinkel, henholdsvis (eksperiment 3, Trial 1-4)17. Deltager tegningerne varierede i mængden af kurver/vinkler (f. eks. en og fem vinkler for Kiki ordet: CF. figur 2, prøve 1, 6 og 9) og i retning af kurver/vinkler [dvs. vandret, lodret eller diagonalt: jf. figur 2, Trials 2, 5 og 8 (Bouba Sound)], men omfattede typisk ikke den globale Bouba/Kiki Shape [eksperiment 3, Trial 1-4 (jf. figur 1; Figur 2)]17. Endelig blev forsøgsgruppen anerkendt i ~ 43% af scoren ' svar: fem deltagere i blinde gruppen, tre i blindfold-gruppen, og fem i vision-gruppen; ingen eksperimentel gruppe var signifikant over chancen niveau [af 33,3% (eksperiment 3, Trial 1-4)]17.

Effekten af visuelle billeder og indlæring

Den præsenterede protokol lykkedes at undersøge rollen af visuelle billedsprog i Bouba/Kiki-effekt, om uddannelse i at mærke taktile/visuel-auditiv Bouba og Kiki regularitet påvirkede Bouba/Kiki-effekt og anerkendelse af individuelle taktile /Visual Bouba og Kiki former, og endelig hvad mentale billeder disse form-audio regularitet produceret17. Ved at medtage en eksperimentel gruppe uden visuel erfaring (dvs. blind gruppen) og to eksperimentelle grupper med visuel erfaring (dvs. den blinde fold og vision-gruppen), var det muligt at afprøve effekten af visuelle billeder; og ved at medtage en eksperimentel gruppe uden visuel erfaring og omfattende taktile erfaringer (dvs. blind gruppen) og en eksperimentel gruppe med omfattende visuel erfaring og ingen taktile erfaringer (dvs. blindfold-gruppen), var det muligt at teste effekten af uddannelsen i at mærke taktile-auditive regularitet. Resultaterne antyder klart, at blindfold-gruppen trak på visuelle billeder til at løse nye taktile-auditive problemer, men ikke lang sigt (eksperiment 1 – 3); at uddannelse i at bemærke Bouba/Kiki form-audio regularitet påvirkede taktile/visuel-auditory Bouba/Kiki-Effect (eksperiment 1) og anerkendelse af individuelle taktile/visuelle Bouba og Kiki figurer [dvs. sammen med kongruous audio (eksperiment 2)] , men forskelligt i hver forsøgsgruppe (eksperiment 1-2), og at alle eksperimentelle grupper skabte mentale billeder af den mest karakteristiske taktile/visuelle-auditive form funktion i Bouba (kurve) og Kiki [(Angle) eksperiment 3. Jf. tabel 1; Tabel 2 Tabel 3]17. Ved at medtage gentagne foranstaltninger inden for gruppen af øjeblikkelige og langsigtede virkninger (eksperiment 1-3) var det desuden muligt at afprøve, hvornår effekten af visuelle billeder og læringsform-audio regularitet faktisk indtraf; og ved at medtage tre forskellige opgaver (dvs. den taktile/visuelle-auditive Bouba/Kiki-effekt i eksperiment 1, anerkende individuelle taktile/visuelle Bouba/Kiki figurer sammen med kongruous og inkongruous audio i eksperiment 2, og tegning mentale billeder af den Bouba/Kiki audio i eksperiment 3), at teste, hvor robust disse virkninger var. Resultaterne tyder klart på, at effekten af visuelle billeder ikke var robust lang sigt inden for hver opgave, især når du bruger haptisk berøring [CF. blindfold-gruppen (eksperiment 1-3)]; der henviser til, at effekten af læringsform-audio regularitet var, men ikke på tværs af opgaver [jf. blinde og vision-gruppen (eksperiment 1-3). Jf. tabel 1; Tabel 2 Tabel 3.] 17

Discussion

Den præsenterede protokol er egnet til at undersøge effekten af visuelle billeder og læring form-audio regularitet, når de opstår, og hvor robust de er; specifikke individer og grupper af individer.

Denne protokol vil være egnet til at teste ikke blot nøjagtigheden, men også efterforsknings tiden: fra når eksperimententer fjerner deres venstre hånd fra deltagerens næver (i blinde og blindfold-gruppen)/karton pladen eller skum brættet (i vision-gruppen) til, når deltageren siger "ja". I de statistiske analyser vil den længste undersøgelsestid pr. forsøg pr. forsøgsgruppe blive opdelt i fire, og antallet af» hurtige «,» medium «og» langsomme «deltagere i hver forsøgsgruppe tælles:» fast «med ≤ 25% af denne efterforsknings periode « Medium ' med 26-75% og ' langsom ' med ≥ 75%. På tværs af forsøg tælles deltagerne som i eksperiment 2: det vil som» fast «, hvis det tælles som» fast «i ≥ 66,6% af alle forsøg, som» medium «, hvis det tælles som» medium «i ≥ 66,6% af alle forsøg osv. (For» inkonklusive «, dvs. deltageren kan ikke tælles som» hurtig «,» medium «eller» langsom «, jf. eksperiment 3). Det ville være muligt at afprøve efterforsknings tiden for korrekte og ukorrekte svar hver for sig, afhængigt af stikprøvestørrelsen og/eller antallet af korrekte og ukorrekte svar. Uanset om test nøjagtighed, udforskning tid eller begge dele, er der kritiske protokol trin, der skal følges: de tre eksperimenter skal udføres i fast orden, og deres forsøg præsenteret i fast orden, for alle deltagere. Deltagerne bør ikke gøres opmærksom på, at testmaterialerne i alle tre eksperimenter omfatter Bouba og Kiki. Desuden bør de auditive oplysninger fra MP3-afspilleren kun spilles én gang og ikke gentages mundtligt til deltagerne (alle tre eksperimenter). I eksperiment 1 og eksperiment 2 skal den taktile/visuelle Bouba og Kiki præsenteres i samme position og retning. For Visions gruppen (i alle tre eksperimenter) skal testmaterialerne sættes op bag en kartonplade/skumplade. Endelig bør deltagerne i blindfold-gruppen ikke fjerne deres blindfold, før eksperiment 3 er afsluttet. Disse skridt er at sikre, at mængden og typen af oplysninger om taktile/visuelle og auditive Bouba og Kiki holdes under kontrol på tværs af alle eksperimentelle grupper. Desuden er det afgørende i eksperiment 2 at præsentere auditive Bouba/Kiki, så snart deltageren begynder at udforske taktile/Visual Bouba/Kiki. Dette vil sikre, at der fremlægges multimodale (kongruøse eller inkongruiske) oplysninger. Desuden vil denne protokol også være hensigtsmæssig til afprøvning af andre grupper af enkeltpersoner. For at integrere disse kan sådanne deltagergrupper tilføjes som særskilte eksperimentelle grupper: for eksempel en farve perception-gruppe og en figur perception-gruppe; 22 en pludselig synstab-gruppe og en progressiv synstab-gruppe; 20 , 21 og/eller specifikke grupper af personer med nedsat hørelse og/eller en autisme spektrum lidelse13 kan tilføjes.

Med denne protokol, vil det være muligt at etablere en gruppe norm (for nøjagtighed og/eller udforskning tid) for specifikke grupper på hver instant og lang sigt effekt, herunder hver gentages inden for gruppen foranstaltning, og/eller opgave; derefter at teste individer mod deres gruppe norm: om en bestemt person eller hele gruppen har brug for yderligere uddannelse i at mærke formen-audio regularitet. En gruppe norm for hver øjeblikkelig og langsigtet effekt, herunder hver gentagen inden for gruppen foranstaltning, og/eller opgave ville også gøre det muligt at bestemme, hvilken form for uddannelse er nødvendig for at lægge mærke til form-audio regularitet: for eksempel, flere forsøg med taktile/ visuel auditiv Bouba/Kiki-effekt (eksperiment 1) og/eller flere forsøg med kongruisk og inkongruøs taktile/visuel form og lyd (eksperiment 2). Det ville faktisk være muligt at øge både antallet af forsøg og antallet af gentagne foranstaltninger inden for koncernen i hver opgave samt at ændre tiden mellem dem og derved give mulighed for mere individualiseret uddannelse og testning.

Men denne protokol ville have brug for at ændre, hvis teste, hvilken type af materialer (f. eks Bouba eller Kiki, fyldt eller skitseret taktile/visuel form, og/eller auditiv lyd eller ord) bedst sikrer indlæring af form-audio regularitet. En mulig måde at ændre denne protokol på kan indebære fremlæggelse af de forskellige materialer i blokke: for eksempel fyldte taktile/visuelle former og auditiv lyd og/eller skitserede taktile/visuelle former og auditive ord (eksperiment 1). Disse blokke kan præsenteres i tilfældig rækkefølge for alle deltagerne i en forsøgsgruppe; eller alternativt, hver enkelt af de fire blokke til at adskille eksperimentelle grupper (eksperiment 1). Denne protokol vil også have brug for at ændre, hvis test endnu mere robustheden af det visuelle billedsprog og/eller lærte form-audio regularitet inden for og på tværs af opgaver. Ændringen kan indebære, at der tilføjes gentagne foranstaltninger inden for gruppen med forskellige taktile/visuelle former og/eller lyd end dem, der indgår i uddannelsen. for eksempel med auditiv lyd for ' maa-boo-maa ' og ' tuh-Kee-tee ' efter træning med taktile/visuelle Bouba og Kiki figurer og auditive ord (eksperiment 1)1,3,4,10, 11 , 12 , 13 , 14 , 15 , 16. en anden mulighed kunne være at præsentere en tredje taktile/visuel form, som ikke primært er buet/kantet sammen med taktile/visuelle Bouba-og Kiki-figurerne i eksperiment 110,11,12 ,13,14,15,16. En auditiv nonsens ord og en lyd kunne skabes for denne taktile/visuelle form til at producere en tredje figur-ordpar14,15,16 og en tredje form-Sound par17 (eksperiment 1). Form-lydparret kan derefter inkluderes i eksperiment 2 som catch-forsøg; eller alternativt som regulære kongruøse forsøg og med tilsvarende inkongruøse forsøg. Endelig kan lyden (fra eksperiment 2 og eksperiment 1) og/eller nonsens ord (fra eksperiment 1) præsenteres i eksperiment 3. En tredje løsningsmodel kunne indebære, at eksperiment 2 og eksperiment 3 overhovedet ikke blev gennemført, men at de blev medregnet som opgaver i de gentagne inden-gruppe foranstaltninger i eksperiment 1 i tilfældig rækkefølge.

Den præsenterede protokol er unik, fordi den holder styr på både det visuelle billedsprog og de sensoriske oplysninger under træning og testning. Det er fleksibelt: store og små prøver og specifikke individer kan testes mod sig selv (jf. testen inden for gruppen) og/eller andre grupper af individer (jf. testen mellem grupperne). Det er muligt at afprøve både nøjagtighed og udforskning tid, ændre antallet af forsøg og gentagne inden for gruppen foranstaltninger i hvert eksperiment og tiden mellem dem, og ændre eller endda kollapse rækkefølgen af forsøg og/eller eksperimenter.

Disclosures

Forfatterne har intet at afsløre.

Acknowledgments

Finansieringskilder:
Dette arbejde blev finansieret af eu's Horizon 2020-forsknings-og innovationsprogram under Marie Sklodowska-Curie-aktionerne (tilskudsaftalenummer 657440) og den norske sammenslutning af blinde og svagtseende.

Film makeup:
Makeup artist Rachael Parrey.

Materials

Name Company Catalog Number Comments
Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

DOWNLOAD MATERIALS LIST

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Tags

Opførsel Bouba/Kiki-effekt tvær modal haptisk berøring hørelse indlærings effekt mental image multimodal sensoriske regularitet form genkendelse form-audio regularitet vision visuelle billeder
Undersøgelse af effekten af visuelle billeder og læringsform-audio regularitet på Bouba og Kiki
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Graven, T., Desebrock, C.… More

Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter