Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Undersöka effekten av visuell bildspråk och lärande form-ljud regulariteter på Bouba och Kiki

Published: September 13, 2019 doi: 10.3791/59954
Automatic Translation
1, 1
1Department of Experimental Psychology, University of Oxford

Summary

Syftet med det presenterade protokollet är att undersöka den roll som visuella bildspråk i Bouba/Kiki-effekt, oavsett om utbildning i att märka Bouba/Kiki form-ljud regulariteter påverkar Bouba/Kiki-effekt och erkännande av enskilda Bouba och Kiki former, och slutligen vad mentala bilder dessa regulariteter producerar.

Abstract

Denna artikel presenterar ett protokoll för att utreda den roll som visuella bildspråk i Bouba/Kiki-effekt, om utbildning i att märka Bouba/Kiki form-ljud regulariteter påverkar Bouba/Kiki-effekt och erkännandet av enskilda Bouba och Kiki former, och slutligen vad mentala bilder dessa regulariteter producerar. För att generera Bouba/Kiki Shape-Audio regulariteter fanns det två typer av former (fyllda; skisserat) och två typer av ljud (Word; icke-ordet ljud). Tre grupper av individer deltog i tre experiment: blind, Blindfold, och vision. Experimenten genomfördes i fast ordning mellan deltagarna, utan avbrott mellan dem. I experiment 1 (pre-test-post-testdesign med tre upprepade inom gruppen åtgärder) deltagarna ombads att plocka ut den form som de i samband med auditiva Bouba/Kiki; i experiment 2 (inom ämnet design), för att namnge en form och vissa ljud (ibland kongruösa; ibland osammanhängande) som "Bouba" eller "Kiki;" och i experiment 3 (post-test endast design), för att rita formen de associerade med hörsel Bouba/Kiki. Resultaten tyder på att ögonbindel gruppen drar till sig visuella bilder för att lösa nya problem, men inte på lång sikt. att utbildning i att märka Bouba/Kiki Shape-Audio regulariteter påverkar Bouba/Kiki-effekt och erkännandet av enskilda Bouba och Kiki former, men olika i varje experimentell grupp; och att alla experimentella grupper skapa mentala bilder av de mest karakteristiska form inslag i Bouba (kurva) och Kiki (vinkel). I själva verket är effekten av visuell bildspråk robust över uppgifter, men inte på lång sikt; effekten av att lära sig form-ljudregulariteter är robust på lång sikt, men inte över uppgifter. Det presenterade protokollet är lämpligt för att undersöka effekten av visuella bilder och lärande form-ljud regulariteter, när de inträffar och hur robusta de är; specifika individer och grupper av individer. Detta protokoll är unikt genom att det håller under kontroll både det visuella bildspråket och den sensoriska informationen under träning och testning.

Introduction

95% av världens befolkning visar en auditiv-visuell Bouba/Kiki-effekt, associera den visuellt rundade formen med det talade ordet, "Bouba;" och den visuellt kantiga formen med det talade ordet "Kiki;" och de gör detta även när de inte har haft någon erfarenhet antingen med formen eller ordet1. Den Bouba/Kiki-effekten föregår språkinlärning; Det förekommer på olika språk1,2,3,4,5, med både Bouba och Kiki (jfr. människors preferens för visuella kurvor över visuella vinklar6,7 , 8 , 9), och det beror på kombinationen av vokaler och konsonanter (t. ex., det förekommer inte med "Bibi" och "Kuku".) 1 , ,5 , 10 , elva , 12. denna form-ord Association sker med andra form och ord par också, så länge de är huvudsakligen böjda, som Bouba, och främst kantiga, som Kiki11,13; och/eller de har samma kombination av vokaler och konsonanter som "Bouba" och "Kiki," till exempel: "baluma" och "takete", "Maluma" och "takete", "uloomo" och "takete", "Maa-Boo-Maa" och "tuh-Kee-tee"1,3, 4,10,11,12,14. Faktum är att människor associera den rundade visuella former med de talade ord som innehåller continuant konsonanter (t. ex./l/och/m/) och öppna tillbaka vokaler (t. ex./ɑ:/, och/ɔ:/), och den visuella kantiga former med de talade ord som innehåller klusilen konsonanter (t. ex./ k/och/t/) och Stäng främre vokaler (t. ex. (/ε/och/i/)11,12,15,16. De påverkas mer av konsonanterna än vokalerna, särskilt av de tonlösa (t. ex./k/och/t/)11,12,15,16. Det verkar som om funktionerna i de globala formerna – deras kurvor och vinklar17 – och ljudet av de talade orden – deras melodi17 – är de mest avgörande, i motsats till de globala formerna och orden själva.

En studie har undersökt Bouba/Kiki-effekt med taktila Bouba och Kiki istället för den visuella Bouba/Kiki former och fann att deltagare som var synskadade visade en betydligt mindre robust Bouba/Kiki-effekt (~ 64%) än den fullt synbara (~ 90%)18. Denna studie hävdade att den betydligt mindre robusta Bouba/Kiki-effekten bland de deltagare som var blinda och synskadade orsakades av bristande visuell bildspråk: de fullt seende deltagarna hade märkt regulariteter i sin omgivning som inte är lätt åtkomligt när synen försämras18. Det framgår dock inte av denna studie om bildspråk är nödvändigt för att Bouba/Kiki-effekten ska inträffa: endast sex av 42 deltagare med synnedsättning var medfödd Totally blind18, och hade således inga visuella bilder alls. Dessutom, de andra deltagarna, ingen av dem ögonbindel, kan ha observerat försöksledaren ' s läpprörelser när tillkännage Bouba/Kiki Word-rundade läpprörelser när tillkännage "Bouba" och kantiga läpprörelser när tillkännage "Kiki"1 , 18 – visar en taktil-visuell-auditiv Bouba/Kiki-effekt istället för att rita på någon visuell bild. Dessutom, någon effekt av att märka taktila-auditiva regulariteter inte undersökts, till exempel, genom att jämföra Bouba/Kiki-effekt på Trial One och rättegång fyra i stället för att beräkna effekten i alla fyra prövningar. Dessutom var den taktila Bouba och Kiki ganska olika över prövningar: i prövningar en och två de var 3D och 2D former (böjda v kantig); i prövningar tre och fyra, identisk i form (cirkel) och olika i textur (slät v grov; slät v taggiga)18. I en besläktad ven, en studie har undersökt en kinesthetic-auditiv Bouba/Kiki-effekt i ögonbindel (fullt seende) individer och fann att, efter en två minuters utbildning period av att hålla en Robotic Stylus programmerad att dra banor av Bouba och Kiki former, visade 82% Bouba/Kiki-effekt19. Det framgår dock inte av denna studie om Bouba/Kiki-effekten inträffade på grund av utbildningsperioden: studien innehöll inte en pre-test, eller en kontrollgrupp.

För detta ändamål har vi undersökt den roll som visuella bildspråk i Bouba/Kiki-effekt, om utbildning i att märka taktil/visuell-auditiv Bouba och Kiki regulariteter påverkade Bouba/Kiki-effekt och erkännande av individuell taktil/visuell Bouba och Kiki former, och slutligen vad mentala bilder dessa form-ljud regulariteter producerade17. För att generera Bouba/Kiki Shape-Audio regulariteter-inte bara, till exempel, Kiki-Shape/Kiki-Word särdrag1 -denna studie innehöll två typer av taktila/visuella Bouba/Kiki former (fyllda, beskrivs) och två typer av auditiv Bouba/Kiki [ljud ( Word icke-ordet ljud)]17. Tre grupper av individer deltog i tre experiment: blind (n = 12), ögonbindel (n = 12), och vision (n = 12). Experimenten genomfördes i fast ordning över deltagarna och utan avbrott mellan dem, att hålla under kontroll deltagarnas mängd och typ av erfarenhet med Bouba och Kiki. I experiment 1 (pre-test-post-testdesign med tre upprepade inom gruppen åtgärder) deltagarna ombads att plocka ut den taktila/visuella form de i samband med auditiva Bouba/Kiki; i experiment 2 (inom ämnet design), för att namnge en taktil/visuell form och lite ljud (ibland kongruösa; ibland osammanhängande) som "Bouba" eller "Kiki;" och i experiment 3, (post-test endast design) för att rita den taktila/visuella formen de associerade med auditiv Bouba/Kiki17. Sammantaget föreslog denna studie att effekten av visuella bilder är robust över uppgifter, men inte på lång sikt inom varje uppgift, medan effekten av lärande form-ljudregelbundenheter är robust på lång sikt inom varje uppgift, men inte över uppgifter17. Denna artikel presenterar protokollet från denna studie17. Det presenterade protokollet är lämpligt för att undersöka effekten av visuella bilder och lärande form-ljud regulariteter, när de inträffar och hur robusta de är; specifika individer och grupper av individer. Detta protokoll är unikt genom att det håller under kontroll både det visuella bildspråket och den sensoriska informationen under träning och testning.

Protocol

Den medicinska vetenskapskommittén för forskningsetik (IDREC) University of Oxford tillhandahöll godkännande för detta protokoll (Ref nr: MS-IDREC-C1-2015-200, R46287/RE002 och R42687/RE004).

1. utformning och villkor

  1. Utför tre experiment i följande fasta ordning med alla deltagare: experiment 1, experiment 2 och experiment 3, utan avbrott mellan dem. Se till att alla deltagare i experiment 2 deltog i experiment 1 och alla deltagare i experiment 3 även i experiment 2 (och experiment 1).
  2. Genomför experiment 1 – en pre-test-post-testdesign, med tre experimentella grupper: blind, ögonbindel, och vision; och tre upprepade åtgärder inom gruppen. Presentera försöken i fast ordning för alla deltagare. (Totalt antal försök: 8.)
    1. Genomföra pre-test (Trial 1) för att testa Instant taktil/visuell-auditiv Bouba/Kiki-effekt.
    2. Genomför den första upprepade åtgärden inom gruppen (prövning 4) för att testa effekten av upprepad taktil/visuell form (antingen fylld eller skisserat) och varierande ljud (ord och icke-ordet ljud).
    3. Genomföra det andra inom gruppen åtgärd (Trial 5) för att testa effekten av ny taktil/visuell form (antingen skisserat eller fyllt) och varierande ljud (ord och icke-ordet ljud).
    4. Genomföra den tredje inom gruppen åtgärd och efter test (Trial 8) för att testa effekten av varierad taktil/visuell form (fylld och skisserat) och varierande ljud (ord och icke-ordet ljud).
    5. Slumpmässigt tilldela vilken typ av taktila/visuella Bouba/Kiki former att presentera i prövningar 1-4 (antingen fyllas eller beskrivas). Presentera den andra typen i prövningar 4-8. Sedan, slumpmässigt tilldela vilken auditiv ord (antingen Bouba eller Kiki) att presentera i rättegång 1, och som auditiv Bouba/Kiki (antingen Bouba eller Kiki och antingen ord eller icke-ordet ljud) att presentera i var och en av prövningar 2-8.
      Obs: se till att totalt, det finns fyra Bouba och fyra Kiki prövningar; fyra fyllda och fyra skisserade taktila/visuell form prövningar; fyra auditiva ord och fyra auditiva icke-ord ljud försök.
  3. Conduct experiment 2-en inom ämnet design, med tre experimentella grupper: blind, Blindfold, och vision; och två inom grupp åtgärder. Presentera försöken i fast ordning för alla deltagare. (Totalt antal försök: 8)
    1. Testa omedelbar igenkänning av kongruous (Bouba/Kiki + Bouba/Kiki) form-Audio (Trial 1).
    2. Testa erkännandet av (a) kongruous (Bouba/Kiki + Bouba/Kiki), och (b) okongruösa (Bouba/kiki + kiki/Bouba) form-Audio [i fyra prövningar per typ av kongruousness (prövningar 1-8)].
    3. Slumpmässigt tilldela vilken typ av taktil/visuell Bouba/Kiki form (antingen fyllas eller beskrivas) att presentera i prövningar 1-8. Sedan, slumpmässigt tilldela vilken kongruous taktil/visuell form och auditiv icke-ordet ljud (antingen Bouba + Bouba eller kiki + kiki) att presentera i rättegång 1, och slutligen vilken typ av kongruousness (antingen kongruous eller ologiskt taktila/Visual Bouba/Kiki Shape + auditiv Bouba/Kiki non-uttrycker solitt), att framlägga i varje av försök 2-8.
      Obs: se till att det totalt finns fyra taktila/visuella Bouba och fyra taktila/visuella Kiki prövningar; fyra fyllda och fyra skisserade taktila/visuella prövningar; fyra kongruösa och fyra okongruösa (form + icke-ord ljud) prövningar. (Den auditiva Bouba/Kiki ord ingår inte i detta experiment.)
  4. Conduct experiment 3-en post-test bara design, med tre experimentella grupper: blind, Blindfold, och vision. Presentera försöken i fast ordning för alla deltagare (totalt antal prövningar: 4).
    1. Testa vad mentala bilder utbildningen i märka form-ljud regulariteter (dvs experiment 1 och experiment 2) har producerat, i fyra separata prövningar: Bouba Word, Bouba icke-ordet ljud, Kiki ord och Kiki icke-ordet ljud.
    2. Slumpmässigt tilldela vilken typ av auditiv Bouba/Kiki (antingen Bouba eller Kiki och antingen ord eller icke-ordet ljud) att presentera i var och en av prövningar 1-4.
      Obs: se till att totalt finns det en auditiv Bouba ord rättegång, en auditiv Bouba icke-ord ljud rättegång, en auditiv Kiki ord rättegång, och en auditiv Kiki icke-Word Sound Trial.

2. deltagare

  1. Rekrytera en grupp av deltagare som är medfödd blind; Det är, förblindade mindre än fyra månader efter födseln20,21,22: kategorier 5: total blindhet; och 4: ljus perception (uppfatta en ljuskälla) och ljus projektion (uppfatta var en ljuskälla är belägen)22. Se till att alla är blind SKRIFTS läsare.
  2. Rekrytera en grupp av fullt seende deltagare, dubbelt så stor som den grupp av deltagare som är medfödd blind. Se till att de alla har normal/korrigerad till normal syn.
    Obs: se till att alla deltagare är mellan 18 och 70 år, med normal/korrigerad till normal hörsel, ingen kognitiv fördröjning eller försämring, eller någon fysisk funktionsnedsättning, och att de är alla naiva till Bouba/Kiki-effekt.
  3. Slumpmässigt tilldela halva gruppen av de fullt seende deltagarna till Blindfold-gruppen och den andra halvan till Vision-gruppen.
    Obs: deltagare, typ av taktila/visuella Bouba/Kiki form (er), typ av auditiv Bouba/Kiki, och congruousness är alla slumpmässigt tilldelas en av två kategorier: ögonbindel eller vision; fyllas i eller beskrivas. ord eller icke-ordljud; Bouba eller Kiki; kongruösa eller okongruösa. Således kan det slumpmässiga uppdraget göras antingen genom ett datorprogram eller manuellt (t. ex. genom att kasta ett mynt).

3. material

  1. Producera taktila/visuella material
    1. Överför den visuella Bouba/Kiki former (30 x 23 mm) för att svälla papper, antingen genom att skriva ut dem från en persondator eller genom kopiering sedan från en bild. Se till att överföra två typer av Visual Bouba/Kiki former: en fylld och en som beskrivs [(1,5 PT. line). Jfr figur 1].
    2. Passera svällpapperet genom en värmefixeringsenhet. Se till att den taktila Bouba/Kiki former stiger till ~ 0,5 mm höjd. Alternativt kan du beställa den taktila/visuella Bouba/Kiki former från en transkription tjänst för personer som är synskadade (med en PDF-fil bifogas).
    3. Limma svällpapperet på skumgummi bordet [vitt (5 mm tjockt)]. Använd spraylim.
    4. Skär Swell papper och skum ombord i storlek (50 x 50 mm), det vill, att skapa fyra separata taktila/visuella bilder kort: Bouba fylld, Bouba beskrivs, Kiki fylld, och Kiki beskrivs (jfr figur 1). Använd en kniv för att skära tapeter.
    5. Skär en kartong tallrik/skumskiva för att täcka den taktila/visuella Bouba/Kiki former i storlek (297 x 210 mm). Använd en kniv för att skära tapeter. Alternativt kan du beställa A4-format.
    6. Klipp kopieringspapper/plast prägling film i storlek (210 x 148 mm). Använd en giljotine. Alternativt kan du beställa A5-formatet.
    7. Skär en gummimatta i storlek (230 x 150 mm). Använd en kniv eller en sax. Alternativt, Beställ månen hand ramen och ta isär för att avslöja gummi mattan.

Figure 1
Figur 1: två typer av Bouba/Kiki former: fylld och skisserat Vänligen klicka här för att se en större version av denna siffra.

  1. Producera auditiva material
    1. Spela in den talade Bouba (CF. Audio 1) och Kiki ord. Spara i MP3-format: en fil för Bouba ord och en för Kiki ordet.
    2. Skapa Bouba och Kiki icke-ordet ljud, genom att imitera varaktighet och frekvens (dvs melodi) av de talade orden "Bouba" och "Kiki." Använd en ljud våg Generator och pitch bend. Spara i MP3-format: en fil för Bouba Sound (CF. Audio 2) och en för Kiki Sound.
    3. Installera VLC-appen för iOS på en smartphone. Överför MP3-filer för Bouba och Kiki till VLC-appen. spara dem som fyra separata filer: Bouba Sound, Bouba Word, Kiki Sound och Kiki Word.

Ljud 1: Bouba Word Vänligen klicka här för att ladda ner denna fil.

Ljud 2: Bouba Sound Vänligen klicka här för att ladda ner denna fil.

4. förfarande och poängsättning

  1. Konfigurera Testsessionen
    1. Genomföra de tre experimenten i ett tyst rum som är neutralt i färg, och med alla deltagare individuellt. Be deltagarna i ögonbindel-gruppen att sätta på sina ögonbindel, innan du ställer in den taktila/visuell-auditiva material, och se till att de håller sina ögonbindel på hela och mellan alla tre experiment.
  2. Ställ in det taktila/visuella materialet
    1. Placera gummi mattan direkt framför deltagaren. Sedan, plats (experiment 1) de två taktila/visuella Bouba och Kiki former (experiment 2), den taktila/visuella Bouba eller Kiki form och (experiment 3), kopian papper/plast prägling film ovanpå gummi mattan.
      Obs: i experiment 1, se till att alltid presentera Bouba till vänster och Kiki till höger; och i både experiment 1 och experiment 2, att alltid presentera dem i samma orientering (jfr figur 1): att öka deltagarnas förmåga att bilda mentala bilder av Bouba och Kiki former utan inblandning från sin position och/eller orientering på gummi mattan. Se till att inte informera deltagarna om denna fasta presentationen av den taktila/visuella Bouba och Kiki former. I vision-gruppen, alltid ställa in testmaterialet bakom en kartong tallrik/skum ombord, för att förhindra dessa deltagare från att ta en tjuvtitt på vad som finns i butiken.
  3. Ställa in auditiva material
    1. Placera MP3-spelaren direkt framför deltagaren (på andra sidan av gummi mattan), med högtalaren närmast dem.
      Obs: Upprepa inte tillbaka muntligt hörsel information från MP3-spelare: att förhindra att deltagarna i visionen-gruppen från att observera läpprörelser på Bouba/Kiki ord-prövningar1, och därmed hålla under kontroll över alla experimentella grupper mängden och typen av sensorisk information.
  4. Genomför experiment 1, experiment 2 och experiment 3
    1. Bjud in de deltagare som kommer att utforska och rita de taktila formerna (dvs blinda och Blindfold-gruppen) för att utforska gummi mattan (genom beröring): till exempel för storlek och textur, utan någon av de taktila/visuella bild kort och/eller kopiera papper eller plast relieffilm placerad ovanpå.
  5. Genomför experiment 1
    1. Förklara att två bild kort kommer att presenteras på gummi mattan, var och en bild en taktil/visuell form. Då, förklara så pass något Audio vilja bli spillt från MP3 spelaren och så pass den här Audio vilja korrespondera till en om taktil/visuell formerna.
      Obs: informera inte deltagarna om de två typerna av taktila/visuella Bouba/Kiki (fylld och beskrivs) och de två typerna av auditiv Bouba/Kiki (ljud och ord).
    2. Placera de två taktila/visuella korten på gummi mattan (jfr bild 1).
    3. I blinda och Blindfold-gruppen, be deltagaren att göra en knytnäve med båda händerna och placera nävarna ovanpå den presenterade taktila/visuella bilder kort, vägleda dem om det behövs. Placera vänster hand ovanpå deltagarens knytnävarna.
    4. Be deltagaren att utforska de två taktila/visuella formerna, den blinda och Blindfold-Group by touch och vision-gruppen av vision, när handen ovanpå nävarna (blinda och ögonbindel-grupp)/kartong plattan eller skum kartong (vision-gruppen) tas bort, och att säga " Ja ' när de har avslutat sitt utforskande.
    5. Ta bort vänster hand från deltagarens knytnävar (i blind och Blindfold-gruppen)/kartong plattan eller skum kartong (i vision-gruppen).
    6. Så snart deltagaren säger "Ja," täcka de taktila/visuella bild korten.
    7. Spela upp ljudet från MP3-spelaren.
      Obs: spela auditiv information från MP3-spelare bara en gång och inte upprepa det tillbaka muntligen till deltagarna.
    8. Be deltagaren att signalera vilken taktil/visuell form de associerar med ljudet, till exempel genom att säga "vänster/höger", "kurvig/kantig" eller "blomma/stjärna", och notera den givna formen. Svara inte på deltagarens svar.
    9. Poäng om deltagarens svar är korrekt eller felaktigt.
      Anmärkning: Upprepa 4.5.2 – 4.5.9 för alla åtta prövningar.
  6. Genomför experiment 2
    1. Förklara att ett bildkort, bild Ande en taktil/visuell form, kommer att presenteras på gummi mattan och att vissa ljud kommer att spelas från MP3-spelaren. Sedan, förklara att ljudet kommer att spelas en gång per bild kort, så snart deltagaren börjar utforska den taktila/visuella formen.
      Obs: informera inte deltagarna om de två typerna av taktila/visuella Bouba/Kiki (fylld och beskrivs), den ena typen av auditiv Bouba/Kiki (ljud), och de två typerna av kongruousness (kongruous och incongruous).
    2. Placera det taktila/visuella bildkortet på gummi mattan.
    3. I blind och Blindfold-gruppen, be deltagaren att göra en knytnäve med båda händerna och placera nävarna ovanpå den presenterade taktila/visuella bild kort, vägleda dem om det behövs. Placera vänster hand ovanpå deltagarens knytnävarna.
    4. Be deltagaren att utforska den taktila/visuella formen, den blinda och Blindfold-Group by touch och vision-gruppen av vision, när handen ovanpå nävarna (blinda och ögonbindel-grupp)/kartongen plattan eller skum ombord (vision-grupp) avlägsnas, och att lyssna på ljudet. Be dem sedan namnge den taktila/visuella formen och ljudet som antingen "Bouba" eller "Kiki": ett namn bara23,24,25, när de har avslutat sina utforskande.
    5. Ta bort vänster hand från deltagarens nävar (i blind och Blindfold-gruppen)/kartongen plattan eller skum ombord (i vision-gruppen) och spela upp ljudet från MP3-spelare.
      Obs: spela auditiv information från MP3-spelare bara en gång och inte upprepa det tillbaka muntligen till deltagarna.
    6. Så snart deltagaren namnger den taktila/visuella formen och ljudet, täck bildkortet och Anteckna namnet som anges. Svara inte på deltagarens svar.
    7. Poäng om deltagarens svar är korrekt eller felaktigt.
      Anmärkning: Upprepa 4.6.2 – 4.6.7 för alla åtta prövningar.
    8. Över de kongruösa och okongruösa prövningar, räkna en deltagare som "korrekt" när de har erkänt ≥ 75% av de taktila/visuella Bouba och Kiki former.
  7. Genomföra experiment 3:
    1. Förklara att vissa kopieringspapper/plast prägling film kommer att placeras ovanpå gummi mattan, i stället för den taktila/visuella bild kort (s), och att deltagaren kommer att uppmanas att rita på den. I blind och Blindfold-gruppen, bjuda in deltagaren att prova de olika rit utrustning och att själva bestämma vilka de föredrar: kopian papper eller plast prägling film och Rollerball penna eller Saddleback stil. Nästa, förklara att vissa ljud kommer att spelas från MP3-spelare och att deltagaren kommer att dra den taktila/visuell form de associerar med detta ljud, en form per segment av ljud när du tillfrågas.
      Obs: informera inte deltagarna om hörsel information (Bouba och Kiki), eller de två typerna av auditiv Bouba/Kiki (ljud och ord).
    2. Placera kopieringspapper/plast prägling film på gummi mattan.
    3. I alla tre experimentella grupper (blind, Blindfold; vision), be deltagaren att göra en knytnäve med båda händerna medan du håller Rollerball Pen/Saddleback stil och placera nävarna ovanpå kopian papper/plast prägling film, vägleda dem om det behövs. Placera vänster hand ovanpå deltagarens knytnävarna.
    4. Be deltagaren Rita formen som de associerar med det presenterade ljudet när handen ovanpå knytnävarna tas bort. I blinda och Blindfold-gruppen, be deltagaren att dra en taktil form; och i vision-gruppen, en visuell form. Be deltagaren att säga "Ja" när de har avslutat sin ritning.
    5. Ta bort vänster hand från deltagarens knytnävar.
    6. Spela upp ljudet från MP3-spelaren.
      Obs: spela auditiv information från MP3-spelare bara en gång och inte upprepa det tillbaka muntligen till deltagarna.
    7. Så snart deltagaren säger "Ja", ta bort sin taktila/visuella ritning från gummi mattan och märk den i det nedre högra hörnet med rätt provnummer. Svara inte på eller lämna synpunkter på deltagarens svar/ritad form.
      Anmärkning: Upprepa 4.7.2 – 4.7.7 för alla fyra prövningarna.
    8. Skanna alla taktila/visuella ritningar (1:1 storlek) i jpg-format omedelbart efter varje testsession.
      Anm: experiment 3 görs av en grupp SCORERS efter att alla ritningsdata har samlats in.
    9. Ta fram en enkät för poängsättningen av ritningsdata (jfr figur 2):
      1. Skala ner alla skannade ritningar till att omfatta 12 bilder per sida i liggande A4-format.
      2. Slumpmässigt tilldela Bouba/Kiki prövningar, ljud/ord prövningar, och blind/Blindfold/vision lådor.
      3. Lägg till provnummer i det övre vänstra hörnet på varje bild.
      4. Lägg till "Bouba" och "Kiki" och "blind", "blindfoldad" och "seende" under varje bild.
    10. Rekrytera en grupp målgörare, över 18 år; med normal/korrigerad till normal hörsel och syn; utan kognitiv fördröjning eller försämring, eller någon fysisk funktionsnedsättning; som alla är naiva för denna studie, och som visar en visuell form-tryckt ord Bouba/Kiki-effekt.
    11. Be scorersarna att besvara två flervalsfrågor per bild i enkäten:
      (1) "är den avbildade formen" Bouba "eller" Kiki; "och (2)" är den avbildade formen dragen av någon som är blind (sedan födseln), ögonbindel eller helt synskadade? " 17.
    12. Beroende på antalet bilder i enkäten, be hälften av gruppen av SCORERS att göra mål halva enkäten, och den andra halvan att göra mål resten.
    13. För varje försök, räkna "motsvara", "inte motsvara," och "ofullständiga," det är:
      1. "Motsvara" när (i) ≥ 75% av de målskyttar som överenskommits på vilken taktila/visuell form (Bouba eller Kiki) avbildades, och (II) denna form motsvarade den presenterade auditiva Bouba/Kiki i denna rättegång.
      2. "Inte motsvara" när (i) ≥ 75% av de målskyttar som kom överens om vilken taktil/visuell form (Bouba eller Kiki) avbildades, och (II) denna form inte motsvarade den presenterade auditiva Bouba/Kiki i denna rättegång.
      3. "Tveksam" när < 75% av SCORERS överens om vilken taktila/visuell form (Bouba eller Kiki) avbildades. Ta bort "ofullständiga" bilder/deltagar ritningar från statistiska analyser.
    14. Över prövningar, räkna en deltagare som "motsvarar" när ≥ 75% av deras ritade mentala bilder: det vill, att taktila/visuella former motsvarar den presenterade auditiva Bouba/Kiki.
    15. För varje försök, räkna "erkända", "inte erkänd," och "ofullständiga," det är:
      1. "Erkänd" när (i) ≥ 66,6% av SCORERS enades om vilken experimentell grupp (blind, ögonbindel eller vision) hade dragit den avbildade formen, och (II) Detta var korrekt i denna rättegång.
      2. "Inte erkänd" när (i) ≥ 66,6% av de SCORERS enades om vilken experimentell grupp (blind, ögonbindel eller syn) hade dragit den avbildade formen, och (II) Detta var inte korrekt i denna rättegång.
      3. "Tveksam" när < 66.6% av SCORERS överens om vilken experimentell grupp (blind, ögonbindel eller vision) hade dragit den avbildade formen. Utesluta de "ofullständiga" deltagarnas erkännanden från de statistiska analyserna.
    16. Över prövningar (och med "ofullständiga" deltagare erkännanden bort), räkna en deltagare som "erkänd" när erkänd i ≥ 75% av alla prövningar.

Figure 2
Figur 2: exempel från enkäten för poängsättning av ritningsdata Vänligen klicka här för att se en större version av denna siffra.

Representative Results

Bouba/Kiki-verkställa

Sex av de 12 deltagare som var medfödd blind (50%), nio av de 12 som var ögonbindel (75%), och 10 av de 12 som var fullt seende (~ 83%) visade en omedelbar taktil/visuell-auditiv Bouba/Kiki-effekt: det är, både ögonbindel och vision-gruppen var betydligt högre än den chans nivå (av 50%): χ2(1. N = 12) = 3,00, p = 0,08 och χ2(1. N = 12) = 5,33, p = 0,02 (experiment 1, test 1)17. Ingen signifikant skillnad hittades av Fishers exakta test mellan de tre experimentella grupperna (experiment 1, pre-test)17. (Jfr tabell 1.)

När det gäller den långsiktiga taktila/visuell-auditiv Bouba/Kiki-effekt: på den första upprepade inom gruppen åtgärd, nio av deltagarna som var medfödd blind visade Bouba/Kiki-effekt tillsammans med nio som var fullt seende och sju som var ögonbindel: blinda och vision-gruppen betydligt över chansen nivå (av 50%): χ2(1. N = 12) = 3,00, p = 0,08 och χ2(1. N = 12) = 3,00, p = 0,08 (experiment 1, prov 4)17. På den andra upprepade inom gruppen åtgärd, 11 deltagare i blind och vision-gruppen visade den taktila/visuell-auditiv Bouba/Kiki-effekt: båda experimentella grupper var återigen betydligt högre än den chans nivå (av 50%): χ2(1. N = 12) = 8,33, p = 0,00 och χ2(1. N = 12) = 8,33, p = 0,00; och sju i Blindfold-gruppen (experiment 1, Trial 5)17. Slutligen, den tredje upprepade inom gruppen åtgärd och efter prov, nio av de 12 deltagare som var medfödd blind (75%), sex av de 12 som var ögonbindel (50%), och alla de 12 deltagare som var fullt seende (100%) visade den taktila/visuell-auditiva Bouba/Kiki-effekt; både rullgardinen och vision-gruppen var igen markant ovanför riskera jämnt (av 50%): χ2(1. N = 12) = 3,00, p = 0,08 och χ2(1. N = 12) = 12,00, p = 0,00 (experiment 1, prövning 8)17. Fishers exakta test fann en signifikant skillnad mellan ögonbinfold och vision-gruppen [p = 0,01. (Experiment 1, efter test)] 17. (jfr tabell 1).

Deltagargrupp Instant Bouba/Kiki-effekt Långsiktig Bouba/Kiki-verkställa
Pre-test Upprepad åtgärd 1 Upprepad åtgärd 2 Upprepad åtgärd 3/eftertest
Blind 50,0% 75,0% 91,7% 75,0%
Ögonbindel 75,0% 58,3% 58,3% 50,0%
Vision 83,3% 75,0% 91,7% 100,0%

Tabell 1: Instant och Long term Bouba/Kiki-effekt

Erkännandet av Bouba och Kiki former

Elva av de 12 deltagare som var medfödd blind (~ 92%), nio av de 12 som var ögonbindel (75%), och alla de 12 som var fullt seende (100%) omedelbart erkände kongruösa taktila/visuella och auditiva Bouba/Kiki; alla tre experimentella grupper var markant över riskera jämnar (av 50%): χ2(1. N = 12) = 8,33, p = 0,00, χ2(1. N = 12) = 3,00, p = 0,08, och χ2(1. N = 12) = 12,00, p = 0,00 (experiment 2, test 1)17. (Jfr tabell 2).

På lång sikt, 11 deltagare i blind-gruppen erkänt den taktila Bouba/Kiki former tillsammans med kongruous ljud och 10 deltagare med inkongruösa ljud: båda typerna av congruousness erkänt betydligt över chansen nivå (av 50%): χ2( 1. N = 12) = 8,33, p = 0,00 och χ2(1. N = 12) = 5,33, p = 0,02 (experiment 2, prövning 1-8)17. Nio deltagare i Blindfold-gruppen erkände de taktila formerna tillsammans med kongruösa ljud och åtta deltagare tillsammans med inkongruösa ljud; med andra ord, den kongruösa form och ljud var betydligt högre än den chans nivå (av 50%): χ2(1. N = 12) = 3,00, p = 0,08 (experiment 2, prövning 1-8)17. Alla 12 deltagare i vision-gruppen erkände Visual Bouba/Kiki former tillsammans med kongruösa ljud och sex deltagare med inkongruösa ljud: den kongruösa form och ljud redovisas betydligt över chansen nivå (av 50%): χ2(1. N = 12) = 12,00, p = 0,00 (experiment 2, prövning 1-8)17. (Jfr tabell 2).

Deltagargrupp Omedelbar igenkänning av Bouba/Kiki Shape Långsiktigt erkännande av Bouba och Kiki former
Kongruous form och ljud Kongruous form och ljud Okongruös form och ljud
Blind 91,7% 91,7% 83,3%
Ögonbindel 75,0% 75,0% 66,7%
Vision 100,0% 100% 50,0%

Tabell 2: omedelbar och långsiktig erkännande av Bouba och Kiki former

De mentala bilderna av Bouba och Kiki

Åtta av de 12 deltagare som var medfödd blind [~ 73% (med en "ofullständiga" deltagare ritning bort)], åtta av de 12 som var ögonbindel [~ 89% (med tre "ofullständiga" deltagare ritningar bort)], och åtta av de 12 som var fullt seende [80% (med två "ofullständiga" deltagar ritningar bort)] omedelbart drog en mental bild: en taktil/visuell form som motsvarade den presenterade auditiva Bouba/Kiki (experiment 3, Trial 1)17. Både ögonbindel och vision-gruppen var betydligt över chansen nivå (av 50%): χ2(1. N = 9) = 5,44, p = 0,02 och χ2(1. N = 10) = 3,60, p = 0,06 (experiment 3, test 1)17. (Jfr tabell 3.)

När det gäller de långsiktiga mentala bilder av Bouba och Kiki: 11 deltagare i blind-gruppen, åtta i Blindfold-gruppen, och 12 i visionen-gruppen drog taktila/visuella Bouba/Kiki former som motsvarade den presenterade auditiva Bouba/Kiki (experiment 3, Rättegång 1-4)17. Både blinda och vision-gruppen var betydligt över chansen nivå (av 50%): χ2(1. N = 12) = 8,33, p = 0,00 och χ2(1. N = 12) = 12,00, p = 0,00 (experiment 3, prövning 1-4)17. Fishers exakta test fann en signifikant skillnad mellan Blindfold-gruppen och vision-gruppen [p = 0,09 (experiment 3, Trial 1-4)]17. (Jfr tabell 3.)

Deltagargrupp Omedelbar mental bild av Bouba/Kiki Lång sikt mentala bilder av Bouba och Kiki
Blind 72,7% 91,7%
Ögonbindel 88,9% 66,7%
Vision 80,0% 100,0%

Tabell 3: den omedelbara och långsiktiga mentala bilder av Bouba och Kiki

Dessutom. ~ 83% av alla deltagar ritningar ingår den mest karakteristiska form inslag i den globala Bouba och Kiki former: kurva och vinkel, respektive (experiment 3, Trial 1-4)17. Deltagar ritningarna skilde sig åt i antal kurvor/vinklar (t. ex. en och fem vinklar för Kiki-ordet: jfr figur 2, försök 1, 6 och 9), och i riktning mot kurvor/vinklar [dvs. horisontella, vertikala eller diagonala: jfr figur 2, Försök 2, 5 och 8 (Bouba Sound)], men vanligtvis inte inkluderar den globala Bouba/Kiki form [experiment 3, Trial 1-4 (jfr figur 1; Figur 2)]17. Slutligen, den experimentella gruppen erkändes i ~ 43% av poängen svar: fem deltagare i blind-gruppen, tre i ögonbindel grupp, och fem i vision-gruppen; ingen experimentell grupp var signifikant över den chans nivå [av 33,3% (experiment 3, Trial 1-4)]17.

Effekten av visuell bildspråk och inlärning

Det presenterade protokollet lyckades undersöka den roll som visuella bilder i Bouba/Kiki-effekt, om utbildning i märker taktila/visuell-auditiv Bouba och Kiki regulariteter påverkade Bouba/Kiki-effekt och erkännande av individuella taktila /Visual Bouba och Kiki former, och slutligen vad mentala bilder dessa form-ljud regulariteter producerade17. Genom att inkludera en experimentell grupp utan visuell erfarenhet (dvs. blind-gruppen) och två experimentella grupper med visuell erfarenhet (dvs. ögonbindel och vision-gruppen), var det möjligt att testa effekten av visuella bilder; och genom att inkludera en experimentell grupp utan visuell erfarenhet och omfattande taktil erfarenhet (dvs. blind-gruppen) och en experimentell grupp med omfattande visuell erfarenhet och ingen taktil erfarenhet (dvs. ögonbindel-gruppen), var det möjligt att testa effekten av utbildningen i att märka taktila-auditiva regulariteter. Resultaten tyder tydligt på att Blindfold-gruppen drog till sig visuella bilder för att lösa nya taktila-auditiva problem, men inte på lång sikt (experiment 1 – 3); att utbildning i att märka Bouba/Kiki Shape-Audio regulariteter påverkade den taktila/visuell-auditiva Bouba/Kiki-effekt (experiment 1) och erkännandet av individuella taktila/visuella Bouba och Kiki former [dvs tillsammans med kongruösa ljud (experiment 2)] , men olika i varje experimentell grupp (experiment 1-2), och att alla experimentella grupper skapade mentala bilder av de mest karakteristiska taktila/visuell-auditiva form inslag i Bouba (kurva) och Kiki [(vinkel) experiment 3. Jfr tabell 1. Tabell 2. Tabell 3]17. Dessutom, genom att inkludera upprepade inom gruppen åtgärder för omedelbar och långsiktig effekt (experiment 1-3), var det möjligt att testa när effekten av visuell bildspråk och lärande form-ljud regulariteter faktiskt inträffade; och genom att inkludera tre olika uppgifter (dvs. den taktila/visuell-auditiva Bouba/Kiki-effekt i experiment 1, erkänner enskilda taktila/visuella Bouba/Kiki former tillsammans med kongruösa och okongruösa ljud i experiment 2, och ritning mentala bilder av Bouba/Kiki-ljud i experiment 3), för att testa hur robusta dessa effekter var. Resultaten tyder tydligt på att effekten av visuell bildspråk inte var robust på lång sikt inom varje uppgift, särskilt när man använder haptiska touch [CF. den Blindfold-gruppen (experiment 1-3)]; effekten av att lära sig form-ljudregulariteter var, men inte över uppgifter [CF. blinda och vision-gruppen (experiment 1-3). Jfr tabell 1. Tabell 2. Tabell 3.] 17

Discussion

Det presenterade protokollet är lämpligt för att undersöka effekten av visuella bilder och lärande form-ljud regulariteter, när de inträffar och hur robusta de är; specifika individer och grupper av individer.

Detta protokoll skulle vara lämpligt för att testa inte bara noggrannheten utan även prospekterings tiden: från när försöksledaren tar bort sin vänstra hand från deltagarens knytnävar (i blind och Blindfold-gruppen)/kartong plattan eller skum kartong (i Vision-gruppen) till när deltagaren säger "Ja". I de statistiska analyserna skulle den längsta prospekterings tiden per försöksgrupp delas upp i fyra och antalet "snabba", "medel" och "långsamma" deltagare i varje försöksgrupp räknade: "snabbt" med ≤ 25% av denna prospekterings tid. " medel "med 26-75% och" långsam "med ≥ 75%. Mellan försöken skulle deltagarna räknas som i experiment 2: det vill, som "snabbt", om det räknas som "snabbt" i ≥ 66,6% av alla prövningar, som "medium" om det räknas som "medium" i ≥ 66,6% av alla prövningar, och så vidare. (För "ofullständiga", dvs deltagaren kan inte räknas som "snabb," medel "eller" långsam ", jfr experiment 3.) Det skulle vara möjligt att testa prospekterings tiden för korrekta och felaktiga svar separat, beroende på urvalsstorleken och/eller antalet korrekta och felaktiga svar. Oavsett om test noggrannhet, prospekterings tid eller båda, det finns kritiska protokoll steg som måste följas: de tre experimenten bör genomföras i fast ordning, och deras prövningar presenteras i fast ordning, för alla deltagare. Deltagarna bör inte göras uppmärksamma på att testmaterialen i alla tre experimenten inkluderar Bouba och Kiki. Vidare bör hörsel information från MP3-spelare endast spelas en gång och inte upprepas tillbaka muntligen till deltagarna (alla tre experiment). I experiment 1 och experiment 2 bör den taktila/visuella Bouba och Kiki presenteras i samma position och orientering. För vision-gruppen (i alla tre experimenten) bör testmaterialen ställas in bakom en kartong/skumgummiplatta. Slutligen, i ögonbindel-gruppen, bör deltagarna inte ta bort sin ögonbindel förrän experiment 3 har slutförts. Dessa åtgärder är att se till att mängden och typen av information om den taktila/visuella och auditiva Bouba och Kiki hålls under kontroll i alla experimentella grupper. Dessutom är det avgörande i experiment 2 att presentera auditiva Bouba/Kiki så snart deltagaren börjar utforska den taktila/visuella Bouba/Kiki. Detta kommer att säkerställa att multimodal (kongruös eller okongruös) information presenteras. Dessutom skulle detta protokoll också vara lämpligt för att testa andra grupper av individer. För att integrera dessa kan sådana deltagargrupper läggas till som separata experimentella grupper: till exempel en färg perception-grupp och en form perception-grupp; 22 en plötslig synförlust-grupp och en progressiv synförlust-grupp; 20 , 21 och/eller särskilda grupper av personer med hörselnedsättning och/eller autism spektrum störning13 kan tillsättas.

Med detta protokoll skulle det vara möjligt att fastställa en grupp norm (för noggrannhet och/eller prospekterings tid) för specifika grupper på varje omedelbar och långsiktig effekt, inklusive varje upprepad åtgärd inom gruppen och/eller uppgift. sedan att testa individer mot deras grupp norm: om en viss individ eller hela gruppen är i behov av ytterligare utbildning i att märka form-ljud regulariteter. En grupp norm för varje omedelbar och långsiktig effekt, inklusive varje upprepad inom gruppåtgärd, och/eller uppgift skulle också göra det möjligt att avgöra vilken typ av utbildning som behövs för att märka form-ljud regulariteter: till exempel, fler prövningar med taktila/ Visual-auditiv Bouba/Kiki-Effect (experiment 1) och/eller fler prövningar med kongruösa och okongruösa taktila/visuell form och ljud (experiment 2). I själva verket skulle det vara möjligt att öka både antalet prövningar och antalet upprepade inom grupp åtgärder i varje uppgift samt att ändra tiden mellan dem, vilket möjliggör mer individualiserad utbildning och testning.

Detta protokoll skulle dock behöva ändras om testa vilken typ av material (t. ex. Bouba eller Kiki, fylld eller skisserat taktil/visuell form, och/eller auditiv ljud eller ord) bäst säkerställer inlärning av form-ljudregulariteter. Ett möjligt sätt att ändra detta protokoll kan vara att presentera olika material i block: till exempel, fyllda taktila/visuella former och hörsel ljud och/eller skisserat taktila/visuella former och auditiva ord (experiment 1). Dessa block skulle kunna presenteras i slumpmässig ordning till alla deltagare i en experimentell grupp; eller alternativt, var och en av de fyra blocken för att separera experimentella grupper (experiment 1). Detta protokoll skulle också behöva ändras om du testar ännu mer robustheten hos det visuella bildspråket och/eller inlärda form-ljudregelbundenheter inom och mellan uppgifter. Ändringen kan innebära att man lägger till upprepade åtgärder inom gruppen med olika taktila/visuella former och/eller ljud än de som ingår i utbildningen. till exempel, med hörsel ljudet för "Maa-Boo-Maa" och "tuh-Kee-tee" efter träning med taktila/visuella Bouba och Kiki former och auditiva ord (experiment 1)1,3,4,10, elva , 12 , 13 , fjorton , 15 , 16. ett annat alternativ kan vara att lägga fram en tredje taktil/visuell form som inte i huvudsak är böjd/kantig tillsammans med de taktila/visuella Bouba-och Kiki-formerna i experiment 110,11,12 ,13,14,15,16. En auditiv nonsens ord och ett ljud kan skapas för denna taktila/visuella form för att producera en tredje form-ord par14,15,16 och en tredje form-Sound pair17 (experiment 1). Form ljud paret kan sedan inkluderas i experiment 2 som fångst försök. eller alternativt som vanliga kongruösa prövningar och med motsvarande inkongruösa prövningar. Slutligen kan ljudet (från experiment 2 och experiment 1) och/eller nonsenordet (från experiment 1) presenteras i experiment 3. Ett tredje alternativ kan innebära att inte genomföra experiment 2 och experiment 3 alls, utan i stället inkludera dem som uppgifter i de upprepade åtgärder inom gruppen i experiment 1, i slumpmässig ordning.

Det presenterade protokollet är unikt genom att det håller under kontroll både det visuella bildspråket och den sensoriska informationen under träning och testning. Det är flexibelt: stora och små prover och specifika individer kan testas mot sig själva (jfr. inom gruppen testning) och/eller andra grupper av individer (CF. mellan-grupp testning). Det är möjligt att testa både noggrannhet och utforskning tid, ändra antalet prövningar och upprepade inom gruppen åtgärder i varje experiment och tiden mellan dem, och ändra eller till och med komprimera ordningen på prövningar och/eller experiment.

Disclosures

Författarna har inget att avslöja.

Acknowledgments

Finansiärer:
Detta arbete finansierades av Europeiska unionens Horisont 2020 forsknings-och innovationsprogram inom ramen för Marie Sklodowska-Curie-åtgärderna (bidrags avtalsnummer 657440) och den norska föreningen för blinda och synskadade.

Film makeup:
Makeup artist Rachael Parrey.

Materials

Name Company Catalog Number Comments
Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

DOWNLOAD MATERIALS LIST

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Tags

Beteende Bouba/Kiki-effekt crossmodal haptiska touch hörsel inlärningseffekt mental bild multimodal sensoriska regulariteter form erkännande form-ljud regulariteter vision visuella bilder
Undersöka effekten av visuell bildspråk och lärande form-ljud regulariteter på Bouba och Kiki
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Graven, T., Desebrock, C.… More

Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter