Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Studiare l'effetto delle immagini visive e imparare le regolarità Shape-Audio su Bouba e Kiki

Published: September 13, 2019 doi: 10.3791/59954
Automatic Translation
1, 1
1Department of Experimental Psychology, University of Oxford

Summary

L'obiettivo del protocollo presentato è quello di studiare il ruolo delle immagini visive nell'effetto bouba/kiki,, sia che l'addestramento nel notare le regolarità di forma-audio bouba/kiki influenzi l'effetto bouba/kiki e il riconoscimento delle singole forme bouba e kiki, e infine quali immagini mentali queste regolarità producono.

Abstract

Questo articolo presenta un protocollo per studiare il ruolo delle immagini visive nell'effetto bouba/kiki-, sia che l'addestramento nel notare le regolarità di forma-audio bouba/kiki influenzi l'effetto bouba/kiki e il riconoscimento delle singole forme bouba e kiki, e infine quali immagini mentali queste regolarità producono. Per generare regolarità di forma-audio bouba/kiki, c'erano due tipi di forme (riempite; delineate) e due tipi di audio (suono word; non-word). Tre gruppi di individui hanno partecipato a tre esperimenti: Cieco, benda e visione. Gli esperimenti sono stati condotti in ordine fisso tra i partecipanti, senza interruzioni tra di loro. Nell'esperimento 1 (progettazione pre-test-post-test con tre misure ripetute all'interno del gruppo) ai partecipanti è stato chiesto di scegliere la forma associata al bouba/kiki uditiva; nell'Esperimento 2 (design all'interno del soggetto), per nominare una forma e alcuni audio (a volte congrui; a volte incongrui) come 'bouba' o 'kiki;' e nell'Esperimento 3 (design solo post-test), per disegnare la forma associata al bouba/kiki uditiva. I risultati suggeriscono che il gruppo benda attinga a immagini visive per risolvere nuovi problemi, ma non a lungo termine; che la formazione nel notare le regolarità dell'audio a forma di bouba/kiki influisce sull'effetto bouba/kiki e sul riconoscimento delle singole forme bouba e kiki, ma in modo diverso in ogni gruppo sperimentale; e che tutti i gruppi sperimentali creano immagini mentali della caratteristica forma più caratteristica di bouba (curva) e kiki (angolo). Infatti, l'effetto delle immagini visive è robusto tra i compiti, ma non a lungo termine; l'effetto dell'apprendimento delle regolarità forma-audio è robusto a lungo termine, ma non tra le attività. Il protocollo presentato è appropriato per studiare l'effetto delle immagini visive e dell'apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici. Questo protocollo è unico in quanto tiene sotto controllo sia l'immagine visiva che le informazioni sensoriali durante l'allenamento e il test.

Introduction

Il 95% della popolazione mondiale mostra un effetto bouba/kiki-visuale uditivo, associando la forma visivamente arrotondata alla parola parlata, "bouba;" e la forma visivamente angolare con la parola parlata "kiki", e lo fanno anche quando non hanno avuto alcuna esperienza con la forma o la parola1. L'effetto bouba/kiki-precede l'apprendimento delle lingue; si verifica in tutte le lingue1,2,3,4,5, con entrambi bouba e kiki (cf. preferenza delle persone per le curve visive sopra angoli visivi6,7 , 8 (IN vio , 9), e dipende dalla combinazione di vocali e consonanti (ad esempio, non si verifica con 'bibi' e 'kuku'.) 1 : il nome del , 5 Del numero 3( , 10 del sistema , 11 Del sistema di , 12. Questa associazione forma-parola si verifica anche con altre coppie forma e parola, purché siano principalmente curve, come bouba, e prevalentemente angolari, come kiki11,13; e/o hanno la stessa combinazione di vocali e consonanti di "bouba" e "kiki", ad esempio: "Baluma" e "prendere", 'maluma' e 'prendere', 'uloomo' e 'takete', 'maa-boo-maa' e 'tuh-kee-tee'1,3, 4,10,11,12,14. In effetti, le persone associano le forme visive arrotondate alle parole pronunciate contenenti continue consonanti (come /l/ e /m/) e vocali posteriori aperte (come /: / e /:/) e le forme angolari visive con le parole pronunciate contenenti consonanti plosive (come / k/ e /t/) e chiudere le vocali anteriori (ad esempio (//e/ e /I/)11,12,15,16. Sono influenzati più dalle consonanti che dalle vocali, specialmente da quelle senza voce (ad esempio, /k/ e /t/)11,12,15,16. In effetti, sembra che le caratteristiche delle forme globali – le loro curve e angoli17 – e il suono delle parole pronunciate – la loro melodia17 – siano le più cruciali, in contrapposizione alle forme e alle parole globali stesse.

Uno studio ha studiato l'effetto bouba/kiki-con bouba tattile e kiki al posto delle forme visual bouba/kiki e ha scoperto che i partecipanti ipovedenti hanno mostrato un effetto bouba/kiki-significativamente meno robusto (-64%) rispetto al completamente avvistato (90%)18. Questo studio ha sostenuto che l'effetto bouba/kiki-significativamente meno robusto tra i partecipanti non vedenti e ipovedenti è stato causato da una mancanza di immagini visive: i partecipanti completamente ipovedenti avevano notato regolarità nel loro ambiente che non sono facilmente accessibili quando la vista è compromessa18. Non è chiaro da questo studio, tuttavia, se le immagini visive siano necessarie perché l'effetto bouba/kiki si verifichi: solo sei dei 42 partecipanti con disabilità visiva erano congenitamente completamente ciechi18, quindi non avevano immagini visive. Inoltre, gli altri partecipanti, nessuno dei quali bendato, può aver osservato i movimenti delle labbra dello sperimentatore quando annunciano la parola bouba/kiki – movimenti arrotondati delle labbra quando annunciano 'bouba' e movimenti delle labbra angolari quando annunciano 'kiki'1 , 18 – mostrando un effetto bouba/kiki-efficace tattile-visivo-uditivo invece di attingere a immagini visive. Inoltre, qualsiasi effetto di notare le regolarità tattili-uditive non è stato studiato, ad esempio, confrontando l'effetto bouba/kiki sulla sperimentazione uno e la sperimentazione quattro invece di calcolare l'effetto in tutte e quattro le prove. Inoltre, il bouba tattile e il kiki erano piuttosto diversi tra le prove: nelle prove uno e due erano forme 3D e 2D (curve v angolari); nelle prove tre e quattro, identica in forma (cerchio) e dissimili nella texture (liscio v ruvido; liscio v appuntito)18. In una vena correlata, uno studio ha studiato un effetto bouba/kiki-cinetico-uditivo in individui bendati (completamente vedenti) e ha scoperto che, dopo un periodo di allenamento di due minuti di possesso di uno stilo robotico programmato per disegnare traiettorie del bouba e kiki l'82% ha mostrato l'effetto bouba/kiki19. Non è chiaro da questo studio, tuttavia, se l'effetto bouba/kiki si sia verificato a causa del periodo di formazione: lo studio non ha incluso un pre-test, né un gruppo di controllo.

A tal fine, abbiamo studiato il ruolo delle immagini visive nell'effetto bouba/kiki-effect, sia che l'addestramento nel notare le regolarità tattili/visive-uditive bouba e kiki abbia influenzato l'effetto bouba/kiki e il riconoscimento delle singole bouba tattili/visive e forme kiki, e infine quali immagini mentali queste regolarità forma-audio prodotto17. Per generare regolarità bouba/kiki con l'audio a forma di bouba/kiki – non solo, ad esempio, le particolarità della parola kiki/kiki- questo studio ha incluso due tipi di forme tattili/ visive di bouba/kiki (riempite; delineate) e due tipi di bouba/kiki uditiva [audio ( parola; suono non-parola)]17. Tre gruppi di individui hanno partecipato a tre esperimenti: Blind (N - 12), benda (N ) e visione (N n . 12). Gli esperimenti sono stati condotti in ordine fisso tra i partecipanti e senza interruzioni tra di loro, per tenere sotto controllo la quantità e il tipo di esperienza dei partecipanti con bouba e kiki. Nell'esperimento 1 (progettazione pre-test-post-test con tre misure ripetute all'interno del gruppo) ai partecipanti è stato chiesto di individuare la forma tattile/visiva associata al bouba/kiki uditiva; nell'Esperimento 2 (disegno all'interno del soggetto), per citare una forma tattile/visiva e alcuni audio (a volte congrui; a volte incongrui) come "bouba" o "kiki;" e nell'Esperimento 3, (solo disegno post-test) per disegnare la forma tattile/visiva associata al uditiva bouba/kiki17. Nel complesso, questo studio ha suggerito che l'effetto delle immagini visive è robusto tra le attività, ma non a lungo termine all'interno di ogni attività, mentre l'effetto dell'apprendimento delle regolarità forma-audio è robusto a lungo termine all'interno di ogni attività, ma non nelle attività17. Questo articolo presenta il protocollo da questo studio17. Il protocollo presentato è appropriato per studiare l'effetto delle immagini visive e dell'apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici. Questo protocollo è unico in quanto tiene sotto controllo sia l'immagine visiva che le informazioni sensoriali durante l'allenamento e il test.

Protocol

Il Medical Sciences Inter-Divisional Research Ethics Committee (IDREC) University of Oxford ha approvato questo protocollo (Ref No: MS-IDREC-C1-2015-200, R46287/RE002 e R42687/RE004).

1. Progettazione e condizioni

  1. Conduci tre esperimenti nel seguente ordine fisso con tutti i partecipanti: Esperimento 1, Esperimento 2 e Esperimento 3, senza interruzioni tra di essi. Assicurati che tutti i partecipanti all'Esperimento 2 abbiano partecipato all'Esperimento 1 e a tutti i partecipanti all'Esperimento 3 anche nell'Esperimento 2 (e nell'Esperimento 1).
  2. Condurre l'Esperimento 1 – un progetto pre-test-post-test, con tre gruppi sperimentali: Cieco, benda e visione; e tre misure ripetute all'interno del gruppo. Presentare le prove in ordine fisso a tutti i partecipanti. (Numero totale di prove: 8.)
    1. Condurre il pre-test (Trial 1) per testare l'effetto tattile/visivo-auditory istantaneo bouba/kiki-.
    2. Condurre la prima misura ripetuta all'interno del gruppo (Prova 4) per testare l'effetto della forma tattile/visiva ripetuta (riempita o delineata) e dell'audio vario (suono di parola e non parola).
    3. Condurre la seconda misura all'interno del gruppo (Trial 5) per testare l'effetto di una nuova forma tattile/visiva (delineata o riempita) e audio vario (suono di parole e non parole).
    4. Condurre la terza misura all'interno del gruppo e post-test (Trial 8) per testare l'effetto di varie forme tattili/ visive (riempite e delineate) e audio vario (suono di parola e non parola).
    5. Assegnare casualmente quale tipo di forme tattili/ visive bouba/kiki da presentare nelle prove 1-4 (riempite o delineate). Presenta l'altro tipo nelle prove 4-8. Quindi, assegna casualmente quale parola uditiva (bouba o kiki) presentare nel Processo 1 e quale bouba/kiki uditivo (bouba o kiki e parola o suono non di parola) da presentare in ciascuna delle Prove 2-8.
      NOTA: Assicurarsi che in totale, ci sono quattro prove bouba e quattro kiki; quattro prove piene e quattro delineate di forma tattile/visiva; quattro parole uditiche e quattro prove sonore non di parola uditiva.
  3. Condurre l'Esperimento 2 – un design all'interno del soggetto, con tre gruppi sperimentali: Cieco, benda e visione; e due misure all'interno del gruppo. Presentare le prove in ordine fisso a tutti i partecipanti. (Numero totale di prove: 8)
    1. Testare il riconoscimento immediato di congruo (bouba/kiki - bouba/kiki) shape-audio (Trial 1).
    2. Testare il riconoscimento di (a) congruo (bouba/kiki , bouba/kiki) e (b) incongruo (bouba/kiki , kiki/bouba) shape-audio [attraverso quattro prove per tipo di congruousness (Trials 1-8)].
    3. Assegnare casualmente quale tipo di forma tattile/visiva bouba/kiki (riempita o delineata) da presentare nelle prove 1-8. Quindi, assegnare in modo casuale quale forma tattile/visiva congruo e suono uditivo non di parola (sia bouba , bouba o kiki) a presentare nella Prova 1, e infine quale tipo di congruocongruo (o congruo o incongruo tattale / visivo forma bouba/kiki) bouba/kiki non-parola suono) da presentare in ciascuna delle Prove 2-8.
      NOTA: Assicurarsi che in totale, ci sono quattro bouba tattile / visivo e quattro tattili / visivi prove kiki; quattro prove tattili/visive piene e quattro delineate; quattro prove congrue e quattro incongrue (forma e suono non di parola). (La parola uditiva bouba/kiki non è inclusa in questo esperimento.)
  4. Condurre esperimento 3 – un design solo post-test, con tre gruppi sperimentali: cieco, benda e visione. Presentare le prove in ordine fisso a tutti i partecipanti (Numero totale di prove: 4).
    1. Metti alla prova quali immagini mentali hanno prodotto le immagini mentali che hanno notato le regolarità audio di forma (cioè Esperimento 1 e Esperimento 2), in quattro prove separate: parole Bouba, suono non-parola bouba, parola kiki e kiki suono non-parola.
    2. Assegnare casualmente quale tipo di bouba/kiki uditivo (bouba o kiki e suono di parola o non) da presentare in ciascuna delle Prove 1-4.
      NOTA: Assicurarsi che in totale, ci sono una prova di parola bouba uditiva, una prova uditiva bouba non parola suono, una prova di parola kiki uditiva, e una prova orale di kiki uditiva.

2. Partecipanti

  1. Reclutare un gruppo di partecipanti congeniti ciechi; cioè accecati meno di quattro mesi dopo la nascita20,21,22: Categorie 5: cecità totale; e 4: Percezione della luce (percepire una fonte di luce) e proiezione della luce (percependo dove si trova una fonte di luce)22. Assicurati che siano tutti lettori braille.
  2. Recluta un gruppo di partecipanti completamente ipovedenti, pari al doppio delle dimensioni del gruppo di partecipanti congenitamente ciechi. Assicurarsi che tutti abbiano una visione normale/corretta alla visione normale.
    NOTA: Assicurarsi che tutti i partecipanti abbiano un'età compresa tra i 18 e i 70 anni, con l'udito normale/corretto al normale, nessun ritardo cognitivo o menomazione, né disabilità fisiche, e che siano tutti ingenui all'effetto bouba/kiki.
  3. Assegna casualmente metà del gruppo dei partecipanti completamente avvistati al gruppo con gli occhi e l'altra metà al gruppo visivo.
    NOTA: I partecipanti, il tipo di forma tattile/visiva bouba/kiki, il tipo di bouba/kiki uditiva e la congruenza sono tutti assegnati casualmente a una delle due categorie: benda o visione; riempito o delineato; suono di parola o non di parola; bouba o kiki; congruo o incongruo. Così l'assegnazione casuale può essere fatto sia da un programma per computer o manualmente (ad esempio, da lancio di una moneta).

3. Materiali

  1. Produrre i materiali tattili/visivi
    1. Trasferire le forme di bouba/kiki visive (30 x 23 mm) su carta gonfia, stampandole da un personal computer o fotocopiandole e poi fotocopiandole da un'immagine. Assicurati di trasferire due tipi di forme visualbou/kiki: una riempita e una delineata [(linea 1,5 pt.). Cf. Figura 1].
    2. Passare la carta gonfiore attraverso un fusore di calore. Assicurarsi che le forme tattili bouba/kiki salgano fino a 0,5 mm di altezza. In alternativa, ordinare le forme tattili/visivi bouba/kiki da un servizio di trascrizione per le persone ipovedenti (con un file PDF allegato).
    3. Incollare la carta gonfia su una tavola di schiuma [bianco (5 mm di spessore)]. Utilizzare la colla spray.
    4. Tagliare la carta gonfia e la scheda di schiuma in formato (50 x 50 mm), cioè per creare quattro schede illustrative tattili/visive separate: Bouba riempito, bouba delineato, kiki riempito e kiki delineato (cfr. Figura 1). Utilizzare un coltello per il taglio carta da parati.
    5. Tagliare una piastra di cartone / scheda di schiuma per coprire le forme tattili / visive bouba / kiki in dimensioni (297 x 210 mm). Utilizzare un coltello per il taglio carta da parati. In alternativa, ordinare il formato A4.
    6. Tagliare la pellicola di carta da taglio/plastica in formato (210 x 148 mm). Usa una ghigliottina. In alternativa, ordinare il formato A5.
    7. Tagliare un tappetino di gomma in dimensioni (230 x 150 mm). Utilizzare un coltello o un paio di forbici. In alternativa, ordinare il telaio a mano Moon e smontarlo per scoprire il tappetino di gomma.

Figure 1
Figura 1: Due tipi di forme bouba/kiki: riempite e delineate Fare clic qui per visualizzare una versione più grande di questa figura.

  1. Produrre i materiali uditivi
    1. Registrare le parole bouba parlate (cf. Audio 1) e kiki. Salva nel formato MP3: un file per la parola bouba e uno per la parola kiki.
    2. Creare i suoni non-parola bouba e kiki, imitando la durata e la frequenza (cioè la melodia) delle parole pronunciate 'bouba' e 'kiki'. Utilizzare un generatore di onde sonore e piegatura passo. Salva nel formato MP3: un file per il suono bouba (cf. Audio 2) e uno per il suono kiki.
    3. Installa l'app VLC per iOS su uno smartphone. Trasferisci i file MP3 per bouba e kiki all'app VLC. Salvali come quattro file separati: suono Bouba, parola bouba, suono kiki e parola kiki.

Audio 1: Parola Bouba Fare clic qui per scaricare questo file.

Audio 2: suono Bouba Fare clic qui per scaricare questo file.

4. Procedura e punteggio

  1. Impostare la sessione di test
    1. Condurre i tre esperimenti in una stanza tranquilla che è di colore neutro, e con tutti i partecipanti individualmente. Chiedi ai partecipanti del gruppo benda di indossare la benda, prima di impostare i materiali tattili/visivi-uditivi, e assicurati che mantengano la benda accesa per tutto e tra tutti e tre gli esperimenti.
  2. Impostare i materiali tattili/visivi
    1. Posizionare il tappetino di gomma direttamente di fronte al partecipante. Quindi, posiziona (Esperimento 1) le due forme tattili/visive di bouba e kiki (Esperimento 2), l'unica forma tattile/visiva bouba o kiki e (Experiment 3), la pellicola di carta/plastica in rilievo sopra il tappetino di gomma.
      NOTA: nell'esperimento 1, assicurati di presentare sempre il bouba a sinistra e il kiki a destra; e in entrambi esperimento 1 e esperimento 2, per presentarli sempre nello stesso orientamento (cfr. Figura 1): Per migliorare la capacità dei partecipanti di formare immagini mentali delle forme bouba e kiki senza interferenze dalla loro posizione e/o orientamento il tappetino di gomma. Assicurati di non informare i partecipanti su questa presentazione fissa delle forme tattili/visive di bouba e kiki. Nel gruppo di visione, impostare sempre il materiale di prova dietro una tavola di piastra/schiuma di cartone, per evitare che questi partecipanti di dare un'occhiata a ciò che è in serbo.
  3. Impostare i materiali uditivi
    1. Posizionare il lettore MP3 direttamente davanti al partecipante (dall'altro lato del tappetino di gomma), con l'altoparlante più vicino a loro.
      NOTA: Non ripetere verbalmente le informazioni uditive del lettore MP3: Per impedire ai partecipanti al gruppo di visione di osservare i movimenti delle labbra sulle prove di parole bouba/kiki1, e quindi tenere sotto controllo in tutti i gruppi sperimentali la quantità e il tipo di informazioni sensoriali.
  4. Condurre esperimento 1, Esperimento 2 e Esperimento 3
    1. Invitare i partecipanti che esploreranno e disegnano le forme tattili (cioè il cieco e il gruppo della benda) a esplorare il tappetino di gomma (tramite tocco): Ad esempio, per dimensioni e texture, senza nessuna delle schede anti-cartoline tattili/ visive e/o copiare carta o plastica pellicola goffrata posta sopra.
  5. Condurre l'esperimento 1
    1. Spiega che sul tappetino di gomma verranno presentate due schede fotografiche, ognuna delle quali immagina una forma tattile/visiva. Quindi, spiega che alcuni audio verranno riprodotti dal lettore MP3 e che questo audio corrisponderà a una delle forme tattili/visive.
      NOTA: Non informare i partecipanti sui due tipi di bouba/kiki tattili/visivi (riempiti e delineati) e sui due tipi di bouba/kiki uditivi (suono e parola).
    2. Posizionare le due schede disegno tattili/visive sul tappetino di gomma (cfr. Figura 1).
    3. Nel gruppo cieco e bendato, chiedi al partecipante di fare un pugno con entrambe le mani e di mettere i pugni sopra le cartoline ottuali/visive presentate, guidandole se necessario. Posizionare la mano sinistra sopra i pugni del partecipante.
    4. Chiedere al partecipante di esplorare le due forme tattili/visive, il gruppo cieco e cieco per tocco e il gruppo di visione per visione, quando la mano sopra i pugni (cieco e benda-gruppo) / la piastra di cartone o la scheda di schiuma (vision-group) viene rimossa, e dire ' Sì, quando avranno finito di esplorare.
    5. Rimuovere la mano sinistra dai pugni del partecipante (nel gruppo cieco e benda) / la piastra di cartone o la scheda di schiuma (nel gruppo di visione).
    6. Non appena il partecipante dice "sì", copri le schede illustrative tattili/visive.
    7. Riprodurre l'audio dal lettore MP3.
      NOTA: Riprodurre le informazioni uditiche dal lettore MP3 una sola volta e non ripeterle oralmente ai partecipanti.
    8. Chiedi al partecipante di segnalare quale forma tattile/visiva si associa all'audio, ad esempio pronunciando "sinistra/destra", "curvy/angolare" o "fiore/stella" e annotare la forma data. Non rispondere alla risposta del partecipante.
    9. Segnare se la risposta del partecipante è corretta o errata.
      NOTA: ripetere la versione 4.5.2–4.5.9 per tutte e otto le prove.
  6. Condurre l'esperimento 2
    1. Spiega che una scheda immagine, immaginando una forma tattile/visiva, sarà presentata sul tappetino di gomma e che verrà riprodotto un audio dal lettore MP3. Quindi, spiega che l'audio verrà riprodotto una volta per scheda immagine, non appena il partecipante inizia ad esplorare la forma tattile/visiva.
      NOTA: Non informare i partecipanti sui due tipi di bouba/kiki tattili/visivi (riempiti e delineati), l'unico tipo di bouba/kiki uditivo (suono) e i due tipi di congruosità (congruo e incongruo).
    2. Posizionare la scheda immagine tattile/visiva sul tappetino di gomma.
    3. Nel gruppo cieco e bendato, chiedi al partecipante di fare un pugno con entrambe le mani e di mettere i pugni sopra la carta grafica/grafica presentata, guidandoli se necessario. Posizionare la mano sinistra sopra i pugni del partecipante.
    4. Chiedere al partecipante di esplorare la forma tattile/visiva, il cieco e il gruppo cieca al tatto e il gruppo di visione per visione, quando la mano sopra i pugni (cieco e benda-gruppo) / la piastra di cartone o la scheda di schiuma (vision-group) viene rimossa, e per ascoltare l'audio. Poi, chiedi loro di nominare la forma tattile/visiva e l'audio come 'bouba' o 'kiki': Un nome solo23,24,25, quando hanno finito la loro esplorazione.
    5. Rimuovere la mano sinistra dai pugni del partecipante (nel gruppo cieco e benda) / la piastra di cartone o la scheda di schiuma (nel gruppo di visione) e riprodurre l'audio dal lettore MP3.
      NOTA: Riprodurre le informazioni uditiche dal lettore MP3 una sola volta e non ripeterle oralmente ai partecipanti.
    6. Non appena il partecipante nomina la forma tattile/visiva e l'audio, coprire la scheda immagine e prendere nota del nome dato. Non rispondere alla risposta del partecipante.
    7. Segnare se la risposta del partecipante è corretta o errata.
      NOTA: ripetere la versione 4.6.2–4.6.7 per tutte e otto le prove.
    8. Attraverso le prove congrue e incongrue, contare un partecipante come 'corretto' quando hanno riconosciuto il 75% delle forme tattili / visive bouba e kiki.
  7. Esperimento di condotta 3:
    1. Spiega che qualche pellicola di goffratura di carta da copia/plastica verrà posizionata sopra il tappetino di gomma, invece delle schede illustrative tattili/visive, e che al partecipante verrà chiesto di disegnare su di esso. Nel gruppo cieco e bendato, invitare il partecipante a provare le diverse attrezzature da disegno e a decidere da soli quale preferiscono: la carta da copia o la pellicola di goffratura di plastica e la penna da sella o lo stile sella. Successivamente, spiega che alcuni audio verranno riprodotti dal lettore MP3 e che il partecipante disegna la forma tattile/visiva che associano a questo audio, una forma per segmento di audio quando richiesto.
      NOTA: Non informare i partecipanti sulle informazioni uditiche (bouba e kiki), né i due tipi di bouba/kiki uditivi (suono e parola).
    2. Posizionare la pellicola di carta/plastica in rilievo sul tappetino di gomma.
    3. In tutti e tre i gruppi sperimentali (blind; blindfold; vision), chiedi al partecipante di fare un pugno usando entrambe le mani tenendo la penna a rotelle / stile sellaback e di mettere i pugni sopra la pellicola di carta da copia / plastica goffrata, guidandoli se necessario. Posizionare la mano sinistra sopra i pugni del partecipante.
    4. Chiedi al partecipante di disegnare la forma che associa all'audio presentato quando la mano sopra i pugni viene rimossa. Nel cieco e benda-gruppo, chiedere al partecipante di disegnare una forma tattile; e nel gruppo di visione, una forma visiva. Chiedi al partecipante di dire "sì" quando avrà finito il disegno.
    5. Rimuovere la mano sinistra dai pugni del partecipante.
    6. Riprodurre l'audio dal lettore MP3.
      NOTA: Riprodurre le informazioni uditiche dal lettore MP3 una sola volta e non ripeterle oralmente ai partecipanti.
    7. Non appena il partecipante dice 'sì', rimuovere il disegno tattile/visivo dal tappetino di gomma ed etichettarlo nell'angolo in basso a destra con il numero di prova corretto. Non rispondere o fornire commenti sulla risposta/forma disegnata del partecipante.
      NOTA: ripetere la versione 4.7.2–4.7.7 per tutte e quattro le prove.
    8. Scansiona tutti i disegni tattili/visivi (formato 1:1) nel formato jpg immediatamente dopo ogni sessione di test.
      NOTA: l'esperimento 3 viene segnato da un gruppo di marcatori dopo che tutti i dati del disegno sono stati raccolti.
    9. Produrre un questionario per il punteggio dei dati del disegno (cfr.
      1. Ridimensionare tutti i disegni acquisiti in modo da includere 12 immagini per pagina nel formato A4 orizzontale.
      2. Assegna casualmente prove bouba/kiki, prove audio/parola e cassetti per ciechi/benda/visione.
      3. Aggiungi il numero di prova nell'angolo in alto a sinistra di ogni immagine.
      4. Aggiungere 'bouba' e 'kiki', e 'blind', 'blindfolded' e 'sighted' sotto ogni immagine.
    10. Reclutare un capogruppo, di età superiore ai 18 anni; con udito e visione normali/corretti; senza ritardi cognitivi o menomazioni, né con disabilità fisiche; che sono tutti ingenui a questo studio, e che mostrano una parola stampata a forma visiva effetto bouba/kiki-effetto.
    11. Chiedere ai marcatori di rispondere a due domande a scelta multipla per ogni immagine nel questionario:
      (1) 'La forma raffigurata è "bouba" o "kiki;"' e (2) 'La forma raffigurata è disegnata da qualcuno cieco (dalla nascita), bendato o completamente avvistato?' 17.
    12. A seconda del numero di immagini nel questionario, chiedere alla metà del gruppo di marcatori di segnare metà del questionario, e l'altra metà per segnare il resto.
    13. Per ogni prova, contare 'corrispondi' 'non corrispondono' e 'inconcludente', vale a dire:
      1. 'Correspond' quando (i) 75% dei marcatori concordato su quale forma tattile/visiva (bouba o kiki) è stata raffigurata, e (ii) questa forma corrispondeva al presentato bouba uditiva / kiki in questo processo.
      2. "Non corrisponde" quando (i) il 75% dei marcatori concorda su quale forma tattile/visiva (bouba o kiki) era raffigurata, e (ii) questa forma non corrispondeva al bouba/kiki uditivo presentato in questo studio.
      3. "Inconcludente" quando <75% dei marcatori ha concordato su quale forma tattile/visiva (bouba o kiki) è stata raffigurata. Rimuovere le immagini/disegni dei partecipanti "inconcludenti" dalle analisi statistiche.
    14. Attraverso le prove, conta un partecipante come 'corrispondente' quando il 75% delle loro immagini mentali disegnate: cioè, che le forme tattili/visive corrispondono al bouba/kiki uditivo presentato.
    15. Per ogni prova, contare 'riconosciuto', 'non riconosciuto' e 'inconcludente', vale a dire:
      1. 'Riconosciuto' quando (i) 66,6% dei marcatori concordato su quale gruppo sperimentale (cieco, benda o visione) aveva disegnato la forma raffigurata, e (ii) questo era corretto in questo processo.
      2. "Non riconosciuto" quando (i) il 66,6% dei marcatori concorda su quale gruppo sperimentale (cieco, benda o visione) aveva disegnato la forma raffigurata, e (ii) questo non era corretto in questo studio.
      3. "Inconcludente" quando il <66,6% dei marcatori concorda su quale gruppo sperimentale (cieco, benda o visione) aveva disegnato la forma raffigurata. Escludere i riconoscimenti dei partecipanti "inconcludenti" dalle analisi statistiche.
    16. Tra le prove (e con i riconoscimenti dei partecipanti 'inconcludenti' rimossi), conta un partecipante come "riconosciuto" quando viene riconosciuto nel 75% di tutte le prove.

Figure 2
Figura 2: Esempi del questionario per il punteggio dei dati del disegno Fare clic qui per visualizzare una versione più grande di questa figura.

Representative Results

L'effetto bouba/kiki

Sei dei 12 partecipanti congeniti ciechi (50%), nove dei 12 bendati (75%) e 10 dei 12 che erano completamente avvistati (83%) ha mostrato un effetto tattile/visivo-uditivo immediatamente bouba/kiki: cioè, sia la benda che il gruppo visivo erano significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 3,00, p , 0,08 e2(1. N : 12, 5,33, p , 0,02 (Esperimento 1, Prova 1)17. Non è stata riscontrata alcuna differenza significativa dal test esatto di Fisher tra i tre gruppi sperimentali (Esperimento 1, pre-test)17. (Tabella 1.

Per quanto riguarda l'effetto bouba/kiki-tatuati a lungo termine: nella prima misura ripetuta all'interno del gruppo, nove dei partecipanti congeniti hanno mostrato l'effetto bouba/kiki insieme a nove vedenti e sette che erano completamente avvistati e sette bendati: il gruppo cieco e visionare significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 3,00, p , 0,08 e2(1. N : 12) : 3,00, p - 0,08 (Esperimento 1, Prova 4)17. Sulla seconda misura ripetuta all'interno del gruppo, 11 partecipanti al gruppo cieco e visione hanno mostrato l'effetto tattile/visivo-auditory bouba/kiki-effect: Entrambi i gruppi sperimentali erano di nuovo significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 8,33, p , 0,00 e2(1. N : 12, 8,33, p , 0,00; e sette nel gruppo con gli occhi ave (Esperimento 1, Prova 5)17. Infine, alla terza misura all'interno del gruppo e dopo il test, nove dei 12 partecipanti congeniti ciechi (75%), sei dei 12 stati bendati (50%) e tutti i 12 partecipanti completamente avvistati (100%) ha mostrato l'effetto tattile/visivo-uditivo bouba/kiki-effect; sia il gruppo cieco che quello della visione erano di nuovo significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 3,00, p , 0,08 e2(1. N : 12, 12,00, p , 0,00 (Esperimento 1, Prova 8)17. Il test esatto di Fisher ha trovato una differenza significativa tra la benda e il gruppo di visione [p - 0,01. (Esperimento 1, post-test)] 17. (Tabella 1 .)

Gruppo di partecipanti Effetto bouba/kiki- istantaneo Effetto bouba/kiki-a lungo termine
Pre-test Misura ripetuta 1 Misura ripetuta 2 Misura ripetuta 3/post-test
cieco 50.0% 75.0% 91.7% 75.0%
benda 75.0% 58.3% 58.3% 50.0%
visione 83.3% 75.0% 91.7% 100.0%

Tabella 1: L'effetto bouba/kiki-effetto istantaneo e a lungo termine

Il riconoscimento delle forme bouba e kiki

Undici dei 12 partecipanti congeniti ciechi (92%), nove dei 12 bendati (75%) e tutti i 12 che erano completamente ipovedenti (100%) immediatamente riconosciuto il congruo tattile / visivo e uditivo bouba/kiki; tutti e tre i gruppi sperimentali erano significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 8,33, p , 0,00,2(1. N : 12) : 3,00, p - 0,08 e2(1. N : 12, 12,00, p , 0,00 (Esperimento 2, Prova 1)17. (Tabella 2.

A lungo termine, 11 partecipanti al gruppo cieco hanno riconosciuto le forme tattili bouba/kiki insieme a audio congruo e 10 partecipanti con audio incongruo: entrambi i tipi di congruenza riconosciuti significativamente al di sopra del livello di probabilità (del 50%):2( 1. N - 12) : 8,33, p - 0,00 e2(1. N : 12, 5,33, p , 0,02 (Esperimento 2, Prova 1-8)17. Nove partecipanti al gruppo benda hanno riconosciuto le forme tattili insieme all'audio congruo e otto partecipanti insieme all'audio incongruo; in altre parole, la forma congrua e l'audio erano significativamente superiori al livello di probabilità (del 50%):2(1. N : 12, 3,00, p , 0,08 (Esperimento 2, Prova 1-8)17. Tutti e 12 i partecipanti al gruppo di visione hanno riconosciuto le forme visualbou bouba/kiki insieme a audio congruo e sei partecipanti con audio incongruo: la forma congrua e l'audio riconosciuto significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12, 12,00, p , 0,00 (Esperimento 2, Prova 1-8)17. (Tabella 2.

Gruppo di partecipanti Riconoscimento istantaneo della forma bouba/kiki Riconoscimento a lungo termine delle forme bouba e kiki
Forma congrua e audio Forma congrua e audio Forma e audio incongrui
cieco 91.7% 91.7% 83.3%
benda 75.0% 75.0% 66.7%
visione 100.0% 100% 50.0%

Tabella 2: Il riconoscimento immediato e a lungo termine delle forme bouba e kiki

Le immagini mentali di bouba e kiki

Otto dei 12 partecipanti congeniti alla cieca [-73% (con un disegno "inconcludente" rimosso)], otto dei 12 che sono stati bendati [-89% (con tre disegni partecipanti "inconcludenti" rimossi)], e otto dei 12 che erano completamente vedenti [80% (con due disegni partecipanti 'inconcludenti' rimossi)] ha disegnato istantaneamente un'immagine mentale: una forma tattile/visiva che corrispondeva al bouba/kiki uditivo presentato (Esperimento 3, Prova 1)17. Sia la benda che il gruppo visivo erano significativamente superiori al livello di probabilità (del 50%):2(1. N : 9) : 5,44, p , 0,02 e2(1. N : 10, 3,60, p , 0,06 (Esperimento 3, Prova 1)17. (Tabella 3.)

Per quanto riguarda le immagini mentali a lungo termine di bouba e kiki: 11 partecipanti al gruppo cieco, otto nel gruppo della vela e 12 nel gruppo di visione hanno disegnato forme tattili/visive bouba/kiki che corrispondevano alla bouba/kiki uditiva presentata Prova 1-4)17. Sia il gruppo cieco che quello della visione erano significativamente al di sopra del livello di probabilità (del 50%):2(1. N : 12) : 8,33, p , 0,00 e2(1. N : 12, 12,00, p , 0,00 (Esperimento 3, Prova 1-4)17. Il test esatto di Fisher ha trovato una differenza significativa tra il gruppo di bendi e il gruppo di visione [p - 0,09 (Esperimento 3, Trial 1-4)]17. (Tabella 3.)

Gruppo di partecipanti Immagine mentale istantanea di bouba/kiki Immagini mentali a lungo termine di bouba e kiki
cieco 72.7% 91.7%
benda 88.9% 66.7%
visione 80.0% 100.0%

Tabella 3: Le immagini mentali istantanee e a lungo termine di bouba e kiki

inoltre. L'83% di tutti i disegni dei partecipanti includeva la caratteristica più caratteristica delle forme globali bouba e kiki: Curva e angolo, rispettivamente (Esperimento 3, Prova 1-4)17. I disegni dei partecipanti differivano per la quantità di curve/angoli (ad esempio, uno e cinque angoli per la parola kiki: cf. Figura 2, Prove 1, 6 e 9) e nella direzione delle curve /angoli [cioè orizzontale, verticale o diagonale: figura 2, Prove 2, 5 e 8 (suono bouba)], ma in genere non includevano la forma globale bouba/kiki [Esperimento 3, Trial 1-4 (cf. Figura 1; Figura 2)]17. Infine, il gruppo sperimentale è stato riconosciuto nel 43% delle risposte dei punteggi: cinque partecipanti al gruppo cieco, tre nel gruppo bendato e cinque nel gruppo visivo; nessun gruppo sperimentale era significativamente superiore al livello di probabilità [del 33,3% (Esperimento 3, Trial 1-4)]17.

L'effetto dell'immaginario visivo e dell'apprendimento

Il protocollo presentato è riuscito a studiare il ruolo delle immagini visive nell'effetto bouba/kiki, sia che l'addestramento nel notare le regolarità tattili/visive-uditive bouba e kiki abbia influenzato l'effetto bouba/kiki e il riconoscimento delle singole regolarità tattili/visive-uditive bouba e kiki abbia colpito l'effetto bouba/kiki e il riconoscimento delle singole regolarità tattili/visive-uditive bouba e kiki abbiano influenzato l'effetto bouba/kiki e il riconoscimento delle singole regolarità tattili/visive-uditive bouba e kiki abbia colpito l'effetto bouba/kiki e il riconoscimento delle singole regolarità tattili/visive-uditive bouba e kiki abbiano /visual bouba e kiki forme, e infine quali immagini mentali queste regolarità forma-audio prodotto17. Includendo un gruppo sperimentale senza esperienza visiva (cioè il gruppo cieco) e due gruppi sperimentali con esperienza visiva (cioè la benda e il gruppo di visione), è stato possibile testare l'effetto delle immagini visive; e includendo un gruppo sperimentale senza esperienza visiva e una vasta esperienza tattile (cioè il gruppo cieco) e un gruppo sperimentale con una vasta esperienza visiva e nessuna esperienza tattile (cioè il gruppo della benda), è stato possibile testare l'effetto della formazione nel notare le regolarità tattili-uditive. I risultati suggeriscono chiaramente che il gruppo della benda si è basato su immagini visive per risolvere nuovi problemi tattili-uditivi, ma non a lungo termine (Esperimento 1–3); che la formazione nel notare le regolarità di bouba/kiki shape-audio ha influenzato l'effetto tattile/visivo-auditory bouba/kiki -effect (Esperimento 1) e il riconoscimento delle singole forme tattili/visive di bouba e kiki [cioè insieme all'audio congruo (Esperimento 2)] , ma in modo diverso in ogni gruppo sperimentale (Esperimento 1-2) e che tutti i gruppi sperimentali crearono immagini mentali della caratteristica più caratteristica della forma tattile/visiva-uditiva di bouba (curva) e kiki [(angolo) Esperimento 3. Cf. Tabella 1; Tabella 2; Tabella 3]17. Inoltre, includendo ripetute misure all'interno del gruppo di effetto istantaneo e a lungo termine (Esperimento 1-3), è stato possibile verificare quando si è verificato l'effetto delle immagini visive e delle regolarità forma-audio; e includendo tre diversi compiti (ad esempio l'effetto tattile/visivo-auditorio bouba/kiki nell'esperimento 1, il riconoscimento di singole forme tattili/visive bouba/kiki insieme a un audio congruo e incongruo nell'Esperimento 2 e il disegno di immagini mentali di l'audio bouba/kiki nell'esperimento 3), per testare quanto fossero robusti questi effetti. I risultati suggeriscono chiaramente che l'effetto delle immagini visive non era robusto a lungo termine all'interno di ogni compito, specialmente quando si usa il tocco tattile [cf. il gruppo benda (Esperimento 1-3)]; che l'effetto dell'apprendimento delle regolarità forma-audio era, ma non tra i compiti [cf. il gruppo cieco e visionare (Esperimento 1-3). Cf. Tabella 1; Tabella 2; Tabella 3.] 17 mi lato

Discussion

Il protocollo presentato è appropriato per studiare l'effetto delle immagini visive e dell'apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici.

Questo protocollo sarebbe adatto per testare non solo l'accuratezza ma anche il tempo di esplorazione: da quando lo sperimentatore rimuove la mano sinistra dai pugni del partecipante (nel gruppo cieco e benda) / la piastra di cartone o la scheda di schiuma (nel gruppo di visione) a quando il partecipante dice "sì". Nelle analisi statistiche, il tempo di esplorazione più lungo per prova per gruppo sperimentale sarebbe diviso in quattro e il numero di partecipanti "veloci", "medio" e "lento" in ogni gruppo sperimentale ha contato: "Veloce" utilizzando il 25% di questo tempo di esplorazione, ' 26-75% e 'lento' con .75%. Tra le prove, i partecipanti verrebbero conteggiati come nell'Esperimento 2: cioè come "veloce" se conteggiati come "veloci" nel 66,6% di tutte le prove, come "medie" se conteggiate come "medie" in .66,6% di tutte le prove, e così via. (Per 'inconcludente', cioè il partecipante non può essere conteggiato come 'veloce', 'medio' o 'lento', cf. Esperimento 3.) Sarebbe possibile testare separatamente i tempi di esplorazione per ottenere risposte corrette ed errate, a seconda delle dimensioni del campione e/o del numero di risposte corrette e errate. Che si tratti di precisione del test, tempo di esplorazione o entrambi, ci sono passaggi di protocollo critici che devono essere seguiti: I tre esperimenti devono essere condotti in ordine fisso, e le loro prove presentate in ordine fisso, per tutti i partecipanti. I partecipanti non devono essere informati che i materiali di prova in tutti e tre gli esperimenti includono bouba e kiki. Inoltre, le informazioni uditiche del lettore MP3 devono essere riprodotte una sola volta e non ripetute oralmente ai partecipanti (tutti e tre gli esperimenti). Nell'Esperimento 1 e nell'Esperimento 2, il bouba tattile/visivo e il kiki devono essere presentati nella stessa posizione e orientamento. Per il gruppo di visione (in tutti e tre gli esperimenti), i materiali di prova devono essere impostati dietro una scheda di piastra/schiuma di cartone. Infine, nel gruppo benda, i partecipanti non devono rimuovere la benda fino al completamento dell'Esperimento 3. Questi passaggi sono per garantire che la quantità e il tipo di informazioni sul tattile/visivo e il bouba uditiva e kiki siano tenuti sotto controllo in tutti i gruppi sperimentali. Inoltre, è fondamentale nell'Esperimento 2 presentare il bouba/kiki uditivo non appena il partecipante inizia ad esplorare il bouba/kiki tattile/visivo. Ciò garantirà la presentazione di informazioni multimodali (congrue o incongrue). Inoltre, questo protocollo sarebbe appropriato anche per testare altri gruppi di individui. Per integrarli, tali gruppi di partecipanti potrebbero essere aggiunti come gruppi sperimentali separati: ad esempio, un gruppo di percezione del colore e un gruppo di percezione della forma; 22 un improvviso gruppo di perdita della vista e un gruppo progressivo per la perdita della vista; 20 anni , 21 e/o gruppi specifici di individui con problemi di udito e/o un disturbo dello spettro autistico13 potrebbero essere aggiunti.

Con questo protocollo, sarebbe possibile stabilire una norma di gruppo (per l'accuratezza e/o il tempo di esplorazione) per gruppi specifici su ogni effetto istantaneo e a lungo termine, inclusa ogni misura ripetuta all'interno del gruppo e/o attività; poi per testare gli individui contro la loro norma di gruppo: Se un particolare individuo o l'intero gruppo ha bisogno di ulteriore formazione per notare le regolarità forma-audio. Una norma di gruppo per ogni effetto istantaneo e a lungo termine, che include ogni misura ripetuta all'interno del gruppo e/o attività consentirebbe inoltre di determinare il tipo di formazione necessaria per notare le regolarità forma-audio: Ad esempio, più prove con l'attinente/ visual-auditory bouba/kiki-effect (Esperimento 1) e/o più prove con forma tattile/visiva e audio congruo e incongruo (Esperimento 2). In effetti, sarebbe possibile aumentare sia il numero di prove che il numero di misure ripetute all'interno del gruppo in ogni compito, nonché alterare il tempo tra di esse, consentendo in tal modo una formazione e una sperimentazione più individualizzati.

Tuttavia, questo protocollo avrebbe bisogno di essere modificato se si verifica quale tipo di materiali (ad esempio, bouba o kiki, forma tattile/visiva riempita o delineata e/o suono o parola uditiva) assicura meglio l'apprendimento delle regolarità forma-audio. Un possibile modo di modificare questo protocollo potrebbe comportare la presentazione dei diversi materiali in blocchi: ad esempio, forme tattili/visive piene e suoni uditivi e/o forme tattili/visive delineate e parole uditive (Esperimento 1). Questi blocchi potrebbero essere presentati in ordine casuale a tutti i partecipanti in un gruppo sperimentale; o in alternativa, ciascuno dei quattro blocchi per separare i gruppi sperimentali (Esperimento 1). Questo protocollo avrebbe anche bisogno di modificare se testare ulteriormente la robustezza delle immagini visive e/o delle regolarità audio di forma apprese all'interno e tra le attività. La modifica potrebbe comportare l'aggiunta di ripetute misure all'interno del gruppo con forme tattili/visive e/o audio diverse da quelle incluse nella formazione; ad esempio, con il suono uditivo di 'maa-boo-maa' e 'tuh-kee-tee' dopo l'allenamento con forme tattili/visive bouba e kiki e parole uditive (Esperimento 1)1,3,4,10, 11 Del sistema di , 12 mila , 13 del sistema , 14 Del sistema , 15 Mi lasa del sistema , 16. Un'altra opzione potrebbe comportare la presentazione di una terza forma tattile/visiva che non sia prevalentemente curva/angolare insieme alle forme tattili/visive bouba e kiki nell'Esperimento10,11,12 ,13,14,15,16. Una parola assurda uditiva e un suono potrebbero essere creati per questa forma tattile/visiva per produrre una terza coppia parola-parola di forma14,15,16 e una terza coppia forma-suono17 (Esperimento 1). La coppia forma-suono potrebbe quindi essere inclusa nell'Esperimento 2 come prove catch-process; o in alternativa come prove congrue regolari e con le corrispondenti prove incongrue. Infine, il suono (dall'Esperimento 2 e dall'Esperimento 1) e/o la parola senza senso (dall'Esperimento 1) potrebbero essere presentati nell'Esperimento 3. Una terza opzione potrebbe non comportare lo svolgimento dell'Esperimento 2 e dell'Esperimento 3, ma piuttosto includerli come compiti nelle ripetute misure all'interno del gruppo nell'Esperimento 1, in ordine casuale.

Il protocollo presentato è unico in quanto tiene sotto controllo sia l'immagine visiva che le informazioni sensoriali durante l'allenamento e il test. È flessibile: campioni grandi e piccoli e individui specifici possono essere testati contro se stessi (cfr. il test all'interno del gruppo) e/o altri gruppi di individui (cfr. il test tra gruppi). È possibile testare sia l'accuratezza che il tempo di esplorazione, modificare il numero di prove e misure ripetute all'interno del gruppo in ogni esperimento e il tempo tra di loro, e cambiare o addirittura comprimere l'ordine delle prove e/o degli esperimenti.

Disclosures

Gli autori non hanno nulla da rivelare.

Acknowledgments

Finanziatori:
Questo lavoro è stato finanziato dal programma di ricerca e innovazione Orizzonte 2020 dell'Unione europea nell'ambito delle azioni Marie Sklodowska-Curie (accordo di sovvenzione numero 657440) e dall'Associazione norvegese dei non vedenti e ipovedenti.

Trucco film:
Truccatore Rachael Parrey.

Materials

Name Company Catalog Number Comments
Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

DOWNLOAD MATERIALS LIST

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Tags

Comportamento Numero 151 Effetto Bouba/kiki crossmodal tocco tattile udito effetto apprendimento immagine mentale multimodale regolarità sensoriali riconoscimento della forma regolarità audio forma visione immagini visive
Studiare l'effetto delle immagini visive e imparare le regolarità Shape-Audio su Bouba e Kiki
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Graven, T., Desebrock, C.… More

Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter