Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Étudier l'effet de l'imagerie visuelle et de l'apprentissage des régularités formel-audio sur Bouba et Kiki

Published: September 13, 2019 doi: 10.3791/59954
Automatic Translation
1, 1
1Department of Experimental Psychology, University of Oxford

Summary

L'objectif du protocole présenté est d'étudier le rôle de l'imagerie visuelle dans l'effet bouba/kiki, que la formation à l'observation des régularités forme-audio bouba/kiki affecte l'effet bouba/kiki et la reconnaissance des formes individuelles de bouba et de kiki, et enfin quelles images mentales ces régularités produisent.

Abstract

Cet article présente un protocole pour étudier le rôle de l'imagerie visuelle dans l'effet bouba/kiki, si la formation à l'observation des régularités forme/kiki de forme-audio affecte le bouba/kiki-effet et la reconnaissance des formes individuelles de bouba et de kiki, et enfin quelles images mentales ces régularités produisent. Pour générer des régularités forme-audio de bouba/kiki, il y avait deux types de formes (remplies ; décrites) et deux types d'audio (mot ; son non-mot). Trois groupes d'individus ont participé à trois expériences : Blind, bandeau et vision. Les expériences ont été menées en ordre fixe entre les participants, sans interruption entre eux. Dans l'expérience 1 (conception pré-test-post-test avec trois mesures répétées au sein du groupe), on a demandé aux participants de choisir la forme qu'ils associaient au bouba/kiki auditif; dans l'expérience 2 (conception interne du sujet), pour nommer une forme et un peu d'audio (parfois congrues, parfois incongrues) comme «bouba» ou «kiki»; et dans l'expérience 3 (conception post-test seulement), pour dessiner la forme qu'ils associait à la bouba auditive / kiki. Les résultats suggèrent que le groupe des yeux bandés s'appuie sur l'imagerie visuelle pour résoudre de nouveaux problèmes, mais pas à long terme; que la formation à l'observation des régularités forme/kiki-audio affecte l'effet bouba/kiki et la reconnaissance des formes individuelles de bouba et de kiki, mais différemment dans chaque groupe expérimental; et que tous les groupes expérimentaux créent des images mentales de la forme la plus caractéristique de bouba (courbe) et de kiki (angle). En fait, l'effet de l'imagerie visuelle est robuste entre les tâches, mais pas à long terme; l'effet de l'apprentissage des régularités forme-audio est robuste à long terme, mais pas entre les tâches. Le protocole présenté est approprié pour étudier l'effet de l'imagerie visuelle et l'apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d'individus spécifiques. Ce protocole est unique en ce qu'il garde sous contrôle à la fois l'imagerie visuelle et l'information sensorielle pendant la formation et les tests.

Introduction

95% de la population mondiale montre un effet bouba/kiki auditif-visuel, associant la forme visuellement arrondie avec la parole, 'bouba;' et la forme visuellement angulaire avec le mot parlé 'kiki;' et ils le font même quand ils n'ont pas eu d'expérience avec la forme ou le mot1. L'effet bouba/kiki précède l'apprentissage des langues; il se produit à travers les langues1,2,3,4,5, avec à la fois bouba et kiki (cf. préférence des gens pour les courbes visuelles sur les angles visuels6,7 , 8 Annonces , 9), et cela dépend de la combinaison de voyelles et de consonnes (par exemple, il ne se produit pas avec «bibi» et «kuku».) 1 Fois , 5 Annonces , 10 Ans et plus , 11 Ans, états-unis ( , 12. Cette association de mot-forme se produit aussi bien avec d'autres paires de forme et de mot, tant qu'elles sont principalement courbées, comme bouba, et principalement angulaire, comme kiki11,13; et/ou ils ont la même combinaison de voyelles et de consonnes que 'bouba' et 'kiki', par exemple: 'Baluma' et 'takete', 'maluma' et 'takete', 'uloomo' et 'takete', 'maa-boo-maa' et 'tuh-kee-tee'1,3 ,3, 4,10,11,12,14. En fait, les gens associent les formes visuelles arrondies avec les mots parlés contenant des consonnes continues (comme /l/ et /m/) et ouvrent des voyelles arrière (telles que / ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' ' k/ et /t/) et les voyelles avant rapprochées (telles que (/ et /I/)11,12,15,16. Ils sont plus influencés par les consonnes que par les voyelles, en particulier par les sans-voix (par exemple, /k/ et /t/)11,12,15,16. En effet, il semble que les caractéristiques des formes globales - leurs courbes et angles17 - et le son des mots parlés - leur mélodie17 - sont les plus cruciales, par opposition aux formes globales et les mots eux-mêmes.

Une étude a étudié l'effet bouba/kiki avec bouba tactile et kiki au lieu des formes visuelles bouba/kiki et a constaté que les participants ayant une déficience visuelle présentaient un effet bouba/kiki beaucoup moins robuste (64 %) que la pleine voyante (90 %)18. Cette étude a soutenu que l'effet bouba/kiki beaucoup moins robuste chez les participants aveugles et malvoyants était dû à un manque d'imagerie visuelle : les participants pleinement voyants avaient remarqué des régularités dans leur environnement qui ne sont pas facilement accessible lorsque la vision est altérée18. Il n'est pas clair de cette étude, cependant, si l'imagerie visuelle est nécessaire pour le bouba / kiki-effet de se produire: Seulement six des 42 participants ayant une déficience visuelle ont été congénitalement totalement aveugle18, n'avait donc aucune imagerie visuelle à tous. En outre, les autres participants, aucun d'entre eux les yeux bandés, peuvent avoir observé les mouvements des lèvres de l'expérimentateur lors de l'annonce du mot bouba/kiki - mouvements arrondis des lèvres lors de l'annonce de «bouba» et des mouvements des lèvres angulaires lors de l'annonce de «kiki»1 , 18 - montrant un effet bouba/kiki tactile-visuel-auditif au lieu de s'appuyer sur n'importe quelle imagerie visuelle. De plus, aucun effet de remarquant des régularités tactiles n'a été étudié, par exemple, en comparant l'effet bouba/kiki à l'essai un et au quatrième essai au lieu de calculer l'effet dans les quatre essais. De plus, le bouba tactile et le kiki étaient assez différents d'un essai à l'autre : dans les essais un et deux, ils étaient des formes 3D et 2D (courbes v angulaires); dans les essais trois et quatre, de forme identique (cercle) et dissemblable dans la texture (lisse v rugueux; lisse v piquant)18. Dans une veine connexe, une étude a étudié un effet bouba/kiki kinesthésique-auditif chez des personnes les yeux bandés (pleinement voyantes) et a constaté qu'après une période d'entraînement de deux minutes de tenue d'un stylet robotique programmé pour dessiner des trajectoires de la bouba et du kiki formes, 82% ont montré le bouba/kiki-effet19. Toutefois, il n'est pas clair, d'après cette étude, si l'effet bouba/kiki s'est produit en raison de la période d'entraînement : l'étude n'a pas inclus de pré-test, ni de groupe témoin.

À cette fin, nous avons étudié le rôle de l'imagerie visuelle dans l'effet bouba/kiki, si la formation à l'observation des régularités tactiles/visuelles-auditives de bouba et de kiki a affecté l'effet bouba/kiki et la reconnaissance de la bouba tactile/visuelle individuelle et formes kiki, et enfin quelles images mentales ces régularités forme-audio produit17. Pour générer des régularités forme-audio de bouba/kiki - pas seulement, par exemple, des particularités de kiki-forme/kiki-mot1 - cette étude a inclus deux types de formes tactiles/visuelles de bouba/kiki (remplies ; décrites) et deux types de bouba/kiki auditif [audio ( mot; son non-mot)]17. Trois groupes d'individus ont participé à trois expériences : Blind (N - 12), bandeau (N - 12) et vision (N - 12). Les expériences ont été menées en ordre fixe entre les participants et sans rupture entre eux, pour garder sous contrôle la quantité et le type d'expérience des participants avec le bouba et le kiki. Dans l'expérience 1 (conception pré-test-post-test avec trois mesures répétées au sein du groupe), on a demandé aux participants de choisir la forme tactile/visuelle qu'ils associaient au bouba/kiki auditif; dans l'expérience 2 (conception à l'intérieur du sujet), pour nommer une forme tactile/visuelle et une partie audio (parfois congrues, parfois incongrues) comme «bouba» ou «kiki»; et dans l'expérience 3, (conception post-test seulement) pour dessiner la forme tactile/visuelle qu'ils associaient à la bouba/kiki auditif17. Dans l'ensemble, cette étude a suggéré que l'effet de l'imagerie visuelle est robuste entre les tâches, mais pas à long terme dans chaque tâche, tandis que l'effet de l'apprentissage des régularités forme-audio est robuste à long terme dans chaque tâche, mais pas à travers les tâches17. Cet article présente le protocole de cette étude17. Le protocole présenté est approprié pour étudier l'effet de l'imagerie visuelle et l'apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d'individus spécifiques. Ce protocole est unique en ce qu'il garde sous contrôle à la fois l'imagerie visuelle et l'information sensorielle pendant la formation et les tests.

Protocol

Le Medical Sciences Inter-Divisional Research Ethics Committee (IDREC) University of Oxford a approuvé ce protocole (Réf No: MS-IDREC-C1-2015-200, R46287/RE002, et R42687/RE004).

1. Conception et conditions

  1. Mener trois expériences dans l'ordre fixe suivant avec tous les participants : Expérience 1, Expérience 2 et Expérience 3, sans rupture entre eux. Assurez-vous que tous les participants à l'expérience 2 ont participé à l'expérience 1 et tous les participants à l'expérience 3 également dans l'expérience 2 (et l'expérience 1).
  2. Mener l'expérience 1 - une conception pré-test-post-test, avec trois groupes expérimentaux: Blind, bandeau, et la vision; et trois mesures répétées au sein du groupe. Présenter les essais en ordre fixe à tous les participants. (Nombre total d'essais: 8.)
    1. Effectuez le pré-test (essai 1) pour tester l'effet bouba/kiki tactile/visuel-visuel instantané.
    2. Effectuer la première mesure répétée à l'intérieur du groupe (essai 4) pour tester l'effet de la forme tactile/visuelle répétée (remplie ou décrite) et de l'audio varié (son de mot et non-mot).
    3. Effectuer la deuxième mesure à l'intérieur du groupe (essai 5) pour tester l'effet de la nouvelle forme tactile/visuelle (décrite ou remplie) et de l'audio varié (son de mot et non-mot).
    4. Effectuer la troisième mesure au sein du groupe et après le test (essai 8) pour tester l'effet de la forme tactile/visuelle variée (remplie et décrite) et de l'audio varié (son de mot et non-mot).
    5. Attribuer au hasard le type de formes tactiles/visuelles de bouba/kiki à présenter dans les essais 1-4 (remplis ou décrits). Présentez l'autre type dans les essais 4-8. Ensuite, assignez au hasard quel mot auditif (bouba ou kiki) présenter dans l'essai 1, et quel bouba/kiki auditif (bouba ou kiki et son mot ou non) présenter dans chacun des essais 2-8.
      REMARQUE : Assurez-vous qu'au total, il y a quatre essais de bouba et quatre essais de kiki; quatre essais de forme tactile/visuelle remplis et quatre décrits; quatre mots auditifs et quatre essais sonores auditifs non-mot.
  3. Mener l'expérience 2 - une conception en cours, avec trois groupes expérimentaux : Blind, blindfold, et vision ; et deux mesures au sein du groupe. Présenter les essais en ordre fixe à tous les participants. (Nombre total d'essais: 8)
    1. Testez la reconnaissance instantanée de la forme-audio congrue (bouba/kiki et bouba/kiki) (Trial 1).
    2. Testez la reconnaissance de (a) congruous (bouba/kiki - bouba/kiki), et (b) incongrue (bouba/kiki - kiki/bouba) forme-audio [à travers quatre essais par type de congruousness (Trials 1-8)].
    3. Attribuer au hasard le type de forme tactile/visuelle de bouba/kiki (rempli ou décrit) à présenter dans les essais 1-8. Ensuite, assigner au hasard la forme tactile/visuelle congrue et le son auditif non-mot (soit bouba, bouba ou kiki) à présenter dans l'essai 1, et enfin quel type de congruousness (congruous ou incongru tactile/visuel bouba/kiki forme - auditif son non-mot bouba/kiki) à présenter dans chacun des essais 2-8.
      REMARQUE : Assurez-vous qu'au total, il y a quatre essais tactiles/visuels de bouba et quatre essais tactiles/visuels de kiki ; quatre essais tactiles/visuels remplis et quatre décrits; quatre essais congrues et quatre essais incongrus (forme et son non-mot). (Le mot auditif bouba/kiki n'est pas inclus dans cette expérience.)
  4. Mener l'expérience 3 - une conception post-test seulement, avec trois groupes expérimentaux: Blind, bandeau, et la vision. Présenter les essais en ordre fixe à tous les participants (nombre total d'essais : 4).
    1. Testez les images mentales que la formation à remarquer les régularités forme-audio (c.-à-d. l'expérience 1 et l'expérience 2) ont produit, dans quatre essais distincts : mot de Bouba, son de non-mot de bouba, mot kiki, et son non-mot de kiki.
    2. Attribuer au hasard quel type de bouba/kiki auditif (bouba ou kiki et son de mot ou de non-mot) présenter dans chacun des essais 1-4.
      REMARQUE : Assurez-vous qu'au total, il y a un essai auditif de mot de bouba, un essai auditif de son de bouba non-mot, un essai auditif de mot de kiki, et un essai auditif de son de kiki de non-mot.

2. Participants

  1. Recruter un groupe de participants aveugles congénitalement; c'est-à-dire, aveuglé moins de quatre mois après la naissance20,21,22: Catégories 5 : cécité totale ; et 4: Perception de la lumière (percevoir une source lumineuse) et projection de lumière (percevant l'endroit où se trouve une source lumineuse)22. Assurez-vous qu'ils sont tous des lecteurs braille.
  2. Recruter un groupe de participants pleinement voyants, soit deux fois la taille du groupe de participants qui sont congénitalement aveugles. Assurez-vous qu'ils ont tous la vision normale/corrigée à la normale.
    REMARQUE : Assurez-vous que tous les participants ont entre 18 et 70 ans, qu'ils ont une audition normale/corrigée à l'intention normale, qu'ils n'ont pas de retard cognitif ou de déficience, ni qu'il y a eu de handicap physique, et qu'ils sont tous naïfs à l'effet bouba/kiki.
  3. Affectez au hasard la moitié du groupe des participants pleinement voyants au groupe des yeux bandés et l'autre moitié au groupe de vision.
    REMARQUE : Les participants, le type de forme tactile/visuelle de bouba/kiki, le type de bouba/kiki auditif, et la congruence sont tous aléatoirement assignés à l'une des deux catégories : bandeau ou vision ; rempli ou décrit; mot ou son non-mot; bouba ou kiki; congrue ou incongru. Ainsi, l'affectation aléatoire peut être effectuée soit par un programme informatique, soit manuellement (par exemple, en jetant une pièce de monnaie).

3. Matériaux

  1. Produire les matériaux tactiles/visuels
    1. Transférer les formes visuelles bouba/kiki (30 x 23 mm) sur du papier gonflé, soit en les imprimant à partir d'un ordinateur personnel, soit en photocopieant ensuite à partir d'une image. Assurez-vous de transférer deux types de formes visuelles bouba/kiki : une remplie et une décrite [(ligne de 1,5 pt.). Cf. Figure 1].
    2. Passer le papier de houle à travers un fuser de chaleur. Assurez-vous que les formes tactiles de bouba/kiki s'élèvent à une hauteur de 0,5 mm. Vous pouvez également commander les formes tactiles/visuelles de bouba/kiki à partir d'un service de transcription pour les personnes ayant une déficience visuelle (avec un fichier PDF ci-joint).
    3. Coller le papier de houle sur la planche de mousse [blanche (5 mm d'épaisseur]]. Utilisez de la colle à vaporiser.
    4. Couper le papier de houle et la planche en mousse en taille (50 x 50 mm), c'est-à-dire créer quatre cartes d'image tactiles/visuelles distinctes : Bouba rempli, bouba esquissé, kiki rempli, et kiki décrit (cf. Figure 1). Utilisez un couteau pour couper le papier peint.
    5. Couper une plaque cartonnée/planche de mousse pour couvrir les formes tactiles/visuelles de bouba/kiki en taille (297 x 210 mm). Utilisez un couteau pour couper le papier peint. Sinon, commandez le format A4.
    6. Couper le papier de copie/le film en plastique en relief en taille (210 x 148 mm). Utilisez une guillotine. Sinon, commandez le format A5.
    7. Couper un tapis en caoutchouc en taille (230 x 150 mm). Utilisez un couteau ou une paire de ciseaux. Sinon, commandez le cadre de la main De la Lune et démontez-le pour découvrir le tapis en caoutchouc.

Figure 1
Figure 1 : Deux types de formes de bouba/kiki : remplis et décrits Veuillez cliquer ici pour voir une version plus grande de ce chiffre.

  1. Produire les matériaux auditifs
    1. Enregistrez les mots bouba parlé (cf. Audio 1) et kiki. Enregistrer dans le format MP3 : un fichier pour le mot bouba et un pour le mot kiki.
    2. Créez les sons non-mots bouba et kiki, en imitant la durée et la fréquence (c.-à-d. la mélodie) des mots parlés 'bouba' et 'kiki'. Utilisez un générateur d'ondes sonores et un virage de tangage. Enregistrer dans le format MP3 : un fichier pour le son bouba (cf. Audio 2) et un pour le son kiki.
    3. Installez l'application VLC pour iOS sur un smartphone. Transférez les fichiers MP3 pour bouba et kiki à l'application VLC. Enregistrez-les sous forme de quatre fichiers distincts : son Bouba, mot bouba, son kiki et mot kiki.

Audio 1: Mot Bouba Veuillez cliquer ici pour télécharger ce fichier.

Audio 2: Son Bouba Veuillez cliquer ici pour télécharger ce fichier.

4. Procédure et notation

  1. Configurer la session de test
    1. Effectuez les trois expériences dans une pièce calme de couleur neutre et avec tous les participants individuellement. Demandez aux participants du groupe des yeux bandés de mettre leur bandeau, avant de mettre en place les matériaux tactiles/visuels-auditifs, et assurez-vous qu'ils gardent leur bandeau tout au long et entre les trois expériences.
  2. Configurer les matériaux tactiles/visuels
    1. Placez le tapis en caoutchouc directement devant le participant. Ensuite, placez (Expérience 1) les deux formes tactiles/visuelles de bouba et de kiki (Expérience 2), la forme tactile/visuelle de bouba ou de kiki et (Expérience 3), le film de gaufrage de papier/plastique de copie sur le dessus du tapis en caoutchouc.
      REMARQUE: Dans l'expérience 1, assurez-vous de toujours présenter bouba sur la gauche et kiki sur la droite; et dans les deux expériences 1 et 2, de toujours les présenter dans la même orientation (cf. Figure 1): Améliorer la capacité des participants à former des images mentales des formes bouba et kiki sans interférence de leur position et / ou l'orientation sur le tapis en caoutchouc. Assurez-vous de ne pas informer les participants de cette présentation fixe des formes tactiles/visuelles de bouba et de kiki. Dans le groupe de vision, toujours mettre en place le matériel d'essai derrière une plaque carton / planche de mousse, pour empêcher ces participants de prendre un aperçu de ce qui est en magasin.
  3. Mettre en place les matériaux auditifs
    1. Placez le lecteur MP3 directement devant le participant (de l'autre côté du tapis en caoutchouc), avec le haut-parleur le plus proche d'eux.
      REMARQUE: Ne renouvellez pas verbalement les informations auditives du lecteur MP3: Pour empêcher les participants du groupe de vision d'observer les mouvements des lèvres sur les essais de mots bouba/kiki1, et ainsi garder sous contrôle dans tous les groupes expérimentaux la quantité et le type d'information sensorielle.
  4. Conduite de l'expérience 1, de l'expérience 2 et de l'expérience 3
    1. Invitez les participants qui exploreront et dessineront les formes tactiles (c.-à-d. le groupe des aveugles et des yeux bandés) à explorer le tapis en caoutchouc (par contact) : Par exemple, pour la taille et la texture, sans aucune des cartes d'image tactiles/visuelles et/ou copiedez du papier ou du plastique : Par exemple, pour la taille et la texture, sans aucune des cartes d'image tactiles/visuelles et/ou copier du papier ou du plastique embossing film placé sur le dessus.
  5. Mener l'expérience 1
    1. Expliquez que deux cartes d'image seront présentées sur le tapis en caoutchouc, chacune représentant une forme tactile/visuelle. Ensuite, expliquez que certains sons seront litoraux à partir du lecteur MP3 et que cet audio correspondra à l'une des formes tactiles/visuelles.
      REMARQUE : N'informez pas les participants des deux types de bouba/visuel tactile/kiki (remplis et décrits) et des deux types de bouba/kiki auditif (son et mot).
    2. Placez les deux cartes d'image tactiles/visuelles sur le tapis en caoutchouc (cf. Figure 1).
    3. Dans le groupe aveugle et les yeux bandés, demandez au participant de faire un poing à l'aide des deux mains et de placer ses poings sur les cartes d'image tactiles/visuelles présentées, en les guidant si nécessaire. Placez la main gauche sur les poings du participant.
    4. Demandez au participant d'explorer les deux formes tactiles/visuelles, le groupe aveugle et les yeux bandés par le toucher et le groupe de vision par vision, lorsque la main sur le dessus de leurs poings (blind et bandeaux) / la plaque cartonou planche en mousse (groupe de vision) est enlevée, et de dire ' oui' quand ils ont terminé leur exploration.
    5. Retirez la main gauche des poings du participant (dans le groupe aveugle et les yeux bandés) / la plaque cartonneuse ou la planche en mousse (dans le groupe de vision).
    6. Dès que le participant dit «oui», couvrez les cartes d'image tactiles/visuelles.
    7. Lire l'audio du lecteur MP3.
      REMARQUE : Jouez les informations auditives du lecteur MP3 une seule fois et ne les répétez pas oralement aux participants.
    8. Demandez au participant de signaler la forme tactile/visuelle qu'il associe à l'audio, par exemple, en disant « gauche/droite », « curvy/angulaire » ou « fleur/étoile », et notez la forme donnée. Ne répondez pas à la réponse du participant.
    9. Score si la réponse du participant est correcte ou incorrecte.
      REMARQUE : Répétez 4.5.2-4.5.9 pour les huit essais.
  6. Mener l'expérience 2
    1. Expliquez qu'une carte d'image, représentant une forme tactile/visuelle, sera présentée sur le tapis en caoutchouc et qu'un peu d'audio sera joué à partir du lecteur MP3. Ensuite, expliquez que l'audio sera liclé une fois par carte d'image, dès que le participant commence à explorer la forme tactile/visuelle.
      REMARQUE : N'informez pas les participants des deux types de bouba/visuel tactile/kiki (remplis et décrits), du seul type de bouba/kiki auditif (son) et des deux types de congruousme (congruous et incongru).
    2. Placez la carte d'image tactile/visuelle sur le tapis en caoutchouc.
    3. Dans le groupe aveugle et les yeux bandés, demandez au participant de faire un poing à l'aide des deux mains et de placer ses poings sur la carte d'image tactile/visuelle présentée, en les guidant si nécessaire. Placez la main gauche sur les poings du participant.
    4. Demandez au participant d'explorer la forme tactile/visuelle, le groupe aveugle et les yeux bandés par le toucher et le groupe de vision par vision, lorsque la main sur le dessus de leurs poings (bande aveugle et bandelà) / la plaque cartonné ou le panneau de mousse (groupe de vision) est enlevé, et d'écouter l'audio. Ensuite, demandez-leur de nommer la forme tactile/visuelle et l'audio comme «bouba» ou «kiki»: Un nom seulement23,24,25, quand ils ont terminé leur exploration.
    5. Retirez la main gauche des poings du participant (dans le groupe aveugle et les yeux bandés) / la plaque cartonné ou la planche en mousse (dans le groupe de vision) et jouez l'audio du lecteur MP3.
      REMARQUE : Jouez les informations auditives du lecteur MP3 une seule fois et ne les répétez pas oralement aux participants.
    6. Dès que le participant nomme la forme tactile/visuelle et l'audio, recouvrez la carte d'image et notez le nom donné. Ne répondez pas à la réponse du participant.
    7. Score si la réponse du participant est correcte ou incorrecte.
      REMARQUE : Répétez 4.6.2-4.6.7 pour les huit essais.
    8. Dans l'ensemble des essais congrues et incongrus, comptez un participant comme « correct » lorsqu'il a reconnu 75 % des formes tactiles/visuelles de bouba et de kiki.
  7. Conduite de l'expérience 3 :
    1. Expliquez qu'un peu de papier/film en plastique en relief sera placé sur le tapis en caoutchouc, au lieu de la carte d'image tactile/visuelle, et que le participant sera invité à en tirer. Dans le groupe aveugle et les yeux bandés, invitez le participant à essayer les différents équipements de dessin et à décider par eux-mêmes ce qu'ils préfèrent : le papier de copie ou le film en plastique de gaufrage et le stylo de rollerball ou le modèle de selle. Ensuite, expliquez que certains sons seront litoraux à partir du lecteur MP3 et que le participant dessinera la forme tactile/visuelle qu'il associe à cet audio, une forme par segment d'audio lorsqu'on le lui demande.
      REMARQUE : N'informez pas les participants des informations auditives (bouba et kiki), ni des deux types de bouba/kiki auditif (son et mot).
    2. Placez le papier de copie/film en plastique sur le tapis en caoutchouc.
    3. Dans les trois groupes expérimentaux (aveugle; bandeau; vision), demandez au participant de faire un poing en utilisant les deux mains tout en tenant le style stylo-selle et de remettre les poings sur le papier de copie/film en plastique, en les guidant si nécessaire. Placez la main gauche sur les poings du participant.
    4. Demandez au participant de dessiner la forme qu'il associe à l'audio présenté lorsque la main sur le dessus de ses poings est enlevée. Dans le groupe aveugle et les yeux bandés, demandez au participant de dessiner une forme tactile; et dans le groupe de vision, une forme visuelle. Demandez au participant de dire « oui » lorsqu'il aura terminé son dessin.
    5. Retirez la main gauche des poings du participant.
    6. Lire l'audio du lecteur MP3.
      REMARQUE : Jouez les informations auditives du lecteur MP3 une seule fois et ne les répétez pas oralement aux participants.
    7. Dès que le participant dit «oui», retirez son dessin tactile/visuel du tapis en caoutchouc et étiquetez-le dans le coin inférieur droit avec le bon numéro d'essai. Ne répondez pas à la réponse ou à la forme tirée du participant ou ne fournissez aucun commentaire.
      REMARQUE : Répétez 4,7,2 à 4,7,7 pour les quatre essais.
    8. Scannez tous les dessins tactiles/visuels (taille 1:1) dans le format jpg immédiatement après chaque séance de test.
      REMARQUE : L'expérience 3 est notée par un groupe de marqueurs après que toutes les données de dessin ont été recueillies.
    9. Produire un questionnaire pour la notation des données de dessin (cf. Figure 2):
      1. Acquerlez tous les dessins numérisés pour inclure 12 images par page dans le format A4 du paysage.
      2. Attribuez au hasard des essais de bouba/kiki, des essais sonores/mots et des tiroirs à bandeau/vision.
      3. Ajoutez le numéro d'essai dans le coin supérieur gauche de chaque image.
      4. Ajouter 'bouba' et 'kiki' et 'aveugle', 'yeux bandés' et 'voyant' sous chaque image.
    10. Recruter un marqueur de groupe, âgé de plus de 18 ans; avec l'audition et la vision normales/corrigées à l'intention et à la vision ; sans retard cognitif ou déficience, ni aucune déficience physique; qui sont tous naïfs à cette étude, et qui montrent une forme visuelle imprimée mot bouba / kiki-effet.
    11. Demandez aux marqueurs de répondre à deux questions à choix multiples par image dans le questionnaire :
      (1) 'Est-ce que la forme illustrée "bouba" ou "kiki;" et (2) 'Est-ce que la forme illustrée est dessinée par quelqu'un qui est aveugle (depuis la naissance), les yeux bandés, ou pleinement voyant? 17.
    12. Selon le nombre d'images dans le questionnaire, demandez à la moitié du groupe de buteurs de marquer la moitié du questionnaire, et l'autre moitié à marquer le reste.
    13. Pour chaque essai, compter «correspondre», «ne correspond pas», et «non concluant», c'est-à-dire:
      1. 'Correspond' lorsque (i) 75 % des marqueurs se sont mis d'accord sur la forme tactile/visuelle (bouba ou kiki) et (ii) cette forme correspondait au bouba/kiki auditif présenté dans cet essai.
      2. 'Ne correspond pas' lorsque (i) 75% des marqueurs se sont mis d'accord sur la forme tactile/visuelle (bouba ou kiki) et (ii) cette forme ne correspondait pas au bouba/kiki auditif présenté dans cet essai.
      3. 'Non concluant' lorsque les marqueurs se sont mis d'accord sur la forme tactile/visuelle (bouba ou kiki) sur la forme tactile/visuelle(bouba ou kiki). Supprimer les images 'non concluantes' /dessins des participants des analyses statistiques.
    14. Dans l'ensemble des essais, comptez un participant comme « correspondant » lorsque 75 % de ses images mentales dessinées : c'est-à-dire que les formes tactiles/visuelles correspondent au bouba/kiki auditif présenté.
    15. Pour chaque procès, compter « reconnu », « non reconnu » et « non concluant », c'est-à-dire :
      1. «Reconnu» lorsque (i) 66,6 % des marqueurs se sont mis d'accord sur le groupe expérimental (aveugle, bandeau ou vision) qui avait dessiné la forme illustrée, et (ii) cela était correct dans cet essai.
      2. «Non reconnu» lorsque (i) 66,6 % des marqueurs se sont mis d'accord sur le groupe expérimental (aveugle, bandeau ou vision) qui avait dessiné la forme illustrée, et (ii) ce n'était pas correct dans cet essai.
      3. 'Non concluant' lorsque les marqueurs se sont mis d'accord sur le groupe expérimental (aveugle, bandeau ou vision) qui avait dessiné la forme sur la photo. Exclure les reconnaissances « non concluantes » des participants des analyses statistiques.
    16. Dans l'ensemble des essais (et avec l'suppression des reconnaissances de participants « non concluantes »,comptez un participant comme « reconnu » lorsqu'il est reconnu dans environ 75 % de tous les essais.

Figure 2
Figure 2 : Exemples tirés du questionnaire pour la notation des données de tirage Veuillez cliquer ici pour voir une version plus grande de ce chiffre.

Representative Results

L'effet bouba/kiki

Six des 12 participants qui étaient aveugles congénitalement (50 %), neuf des 12 qui avaient les yeux bandés (75 %) et 10 des 12 participants qui étaient pleinement aperçus (83 %) a montré un effet bouba/visuel-auditif instantané : C'est-à-dire que le bandeau et le groupe de vision étaient sensiblement au-dessus du niveau de chance (de 50 %) :2(1. N 12) à 3,00, p 0,08 et2(1. N 12) à 5,33, p 0,02 (Expérience 1, Essai 1)17. Aucune différence significative n'a été constatée par le test exact de Fisher entre les trois groupes expérimentaux (Expérience 1, pré-test)17. (Cf. Tableau 1.)

En ce qui concerne l'effet bouba/kiki tactile/visuel/visuel à long terme : sur la première mesure répétée à l'intérieur du groupe, neuf des participants qui étaient congénitalement aveugles ont montré l'effet bouba/kiki avec neuf qui étaient pleinement voyants et sept qui étaient les yeux bandés : Le groupe aveugle et vision-de-vision nettement au-dessus du niveau de chance (de 50%) :2(1. N 12) à 3,00, p 0,08 et2(1. N 12) à 3,00, p 0,08 (Expérience 1, Essai 4)17. Sur la deuxième mesure répétée à l'intérieur du groupe, 11 participants du groupe aveugle et de la vision ont montré l'effet bouba/visuel-visuel tactile : les deux groupes expérimentaux étaient encore sensiblement au-dessus du niveau de chance (de 50 %) :2(1. N 12) 8,33, p 0,00 et2(1. N 12) 8,33, p 0,00; et sept dans le groupe des yeux bandés (Expérience 1, Essai 5)17. Enfin, sur la troisième mesure répétée à l'intérieur du groupe et après le test, neuf des 12 participants qui étaient aveugles congénitalement (75 %), six des 12 qui avaient les yeux bandés (50 %) et les 12 participants qui étaient pleinement voyants (100 %) a montré l'effet bouba/visuel-visuel tactile; les aveugles et le groupe de vision étaient encore une fois sensiblement au-dessus du niveau de chance (de 50 %) :2(1. N 12) à 3,00, p 0,08 et2(1. N 12) 12.00, p '0.00 (Expérience 1, Essai 8)17. Le test exact de Fisher a révélé une différence significative entre le bandeau et le groupe de vision[p ' 0,01. (Expérience 1, post-test)] 17. (Cf. Tableau 1.)

Groupe de participants Effet bouba/kiki instantané Effet bouba/kiki à long terme
Pré-test Mesure répétée 1 Mesure répétée 2 Mesure répétée 3/post-test
aveugle 50.0% 75.0% 91.7% 75.0%
bandeau 75.0% 58.3% 58.3% 50.0%
vue 83.3% 75.0% 91.7% 100.0%

Tableau 1 : L'effet bouba/kiki instantané et à long terme

La reconnaissance des formes bouba et kiki

Onze des 12 participants qui étaient aveugles congénitalement (92 %), neuf des 12 qui avaient les yeux bandés (75 %) et les 12 qui étaient pleinement aperçus (100 %) immédiatement reconnu le bouba/visuel et auditif congrue; les trois groupes expérimentaux étaient nettement au-dessus du niveau de chance (de 50 %) :2(1. N 12) 8,33, p 0,00,2(1. N 12) 3,00, p 0,08 et2(1. N 12) 12.00, p '0.00 (Expérience 2, Essai 1)17. (Cf. Tableau 2.)

À long terme, 11 participants du groupe aveugle ont reconnu les formes tactiles bouba/kiki ainsi que l'audio congrue et 10 participants avec un son incongru : Les deux types de congruosité reconnus nettement au-dessus du niveau de chance (de 50 %) :2( 1. N 12) 8,33, p 0,00 et2(1. N 12) 5,33, p 0,02 (Expérience 2, Essai 1-8)17. Neuf participants du groupe des yeux bandés ont reconnu les formes tactiles ainsi que l'audio congrue et huit participants ainsi qu'un son incongru; en d'autres termes, la forme et l'audio congrues étaient nettement supérieurs au niveau de chance (de 50 %) :2(1. N 12) 3,00, p 0,08 (Expérience 2, Essai 1-8)17. Les 12 participants du groupe de vision ont reconnu les formes visuelles bouba/kiki ainsi que l'audio congrue et six participants avec un son incongru : La forme et l'audio congrues reconnus significativement au-dessus du niveau de chance (de 50 %) :2(1. N 12) 12.00, p ' 0.00 (Expérience 2, Essai 1-8)17. (Cf. Tableau 2.)

Groupe de participants Reconnaissance instantanée de la forme bouba/kiki Reconnaissance à long terme des formes de bouba et de kiki
Forme et audio congrues Forme et audio congrues Forme et audio incongrus
aveugle 91.7% 91.7% 83.3%
bandeau 75.0% 75.0% 66.7%
vue 100.0% 100% 50.0%

Tableau 2 : La reconnaissance instantanée et à long terme des formes de bouba et de kiki

Les images mentales de bouba et de kiki

Huit des 12 participants qui étaient congénitalement aveugles [73 % (avec un dessin de participant « non concluant » enlevé)], huit des 12 participants qui avaient les yeux bandés [89 % (avec trois dessins de participants « non concluants » retirés)] et huit des 12 participants qui étaient pleinement aperçus [80 % (avec deux dessins de participants « non concluants » enlevés)] a immédiatement dessiné une image mentale : une forme tactile/visuelle qui correspondait au bouba/kiki auditif présenté (Expérience 3, Essai 1)17. Le bandeau et le groupe de vision étaient nettement supérieurs au niveau de chance (de 50 %) :2(1. N 9) 5,44, p 0,02 et2(1. N 10) 3,60, p 0,06 (Expérience 3, Essai 1)17. (Cf. Tableau 3.)

En ce qui concerne les images mentales à long terme de bouba et de kiki : 11 participants dans le groupe aveugle, huit dans le groupe des yeux bandés et 12 dans le groupe de vision ont dessiné des formes tactiles/visuelles de bouba/kiki qui correspondaient à la bouba/kiki auditive présentée (Expérience 3, Procès 1-4)17. Les aveugles et les groupes de vision étaient nettement au-dessus du niveau de chance (de 50 %) :2(1. N 12) 8,33, p 0,00 et2(1. N 12) 12.00, p ' 0.00 (Expérience 3, Essai 1-4)17. Le test exact de Fisher a révélé une différence significative entre le groupe des yeux bandés et le groupe de vision[p - 0,09 (expérience 3, essai 1-4)]17. (Cf. Tableau 3.)

Groupe de participants Image mentale instantanée de bouba/kiki Images mentales à long terme de bouba et de kiki
aveugle 72.7% 91.7%
bandeau 88.9% 66.7%
vue 80.0% 100.0%

Tableau 3 : Les images mentales instantanées et à long terme de bouba et de kiki

de plus. 83 % de tous les dessins des participants comprenaient la forme la plus caractéristique des formes globales de bouba et de kiki : courbe et angle, respectivement (Expérience 3, Essai 1-4)17. Les dessins des participants différaient en quantité de courbes/angles (p. ex., un et cinq angles pour le mot kiki : cf. Figure 2, Essais 1, 6 et 9), et dans la direction des courbes/angles [c.-à-d. horizontale, verticale ou diagonale : cf. Figure 2, Essais 2, 5 et 8 (son de bouba)], mais n'incluaient généralement pas la forme globale de bouba/kiki [Expérience 3, Essai 1-4 (cf. Figure 1; Figure 2)]17. Enfin, le groupe expérimental a été reconnu dans 43 % des réponses des scores : cinq participants dans le groupe aveugle, trois dans le groupe des yeux bandés et cinq dans le groupe de vision; aucun groupe expérimental n'était significativement au-dessus du niveau de chance [de 33,3 % (Expérience 3, Essai 1-4)]17.

L'effet de l'imagerie visuelle et de l'apprentissage

Le protocole présenté a réussi à étudier le rôle de l'imagerie visuelle dans l'effet bouba/kiki, si la formation à l'observation des régularités tactiles/visuelles-auditives de bouba et de kiki affectait l'effet bouba/kiki et la reconnaissance du tactile individuel /visuels formes bouba et kiki, et enfin quelles images mentales ces régularités forme-audio produit17. En incluant un groupe expérimental sans expérience visuelle (c.-à-d. le groupe aveugle) et deux groupes expérimentaux ayant une expérience visuelle (c.-à-d. le bandeau et le groupe de vision), il a été possible de tester l'effet de l'imagerie visuelle; et en incluant un groupe expérimental sans expérience visuelle et une vaste expérience tactile (c.-à-d. le groupe aveugle) et un groupe expérimental ayant une vaste expérience visuelle et aucune expérience tactile (c.-à-d. le groupe des yeux bandés), il a été possible de tester l'effet de la formation dans l'observation des régularités tactiles-auditives. Les résultats suggèrent clairement que le groupe des yeux bandés s'est appuyé sur l'imagerie visuelle pour résoudre de nouveaux problèmes tactiles-auditifs, mais pas à long terme (Expérience 1-3); que la formation à l'observation des régularités forme-audio de bouba/kiki a affecté l'effet tactile/visuel-auditif bouba/kiki (expérience 1) et la reconnaissance des formes tactiles/visuelles individuelles de bouba et de kiki [c.-à-d. avec l'audio congrue (Expérience 2)] , mais différemment dans chaque groupe expérimental (Expérience 1-2), et que tous les groupes expérimentaux ont créé des images mentales de la caractéristique tactile/ visuelle-auditive caractéristique caractéristique caractéristique de la fonction de forme bouba (courbe) et kiki [(angle) Expérience 3. Cf. Tableau 1; Tableau 2; Tableau 3]17. En outre, en incluant des mesures répétées au sein du groupe de l'effet instantané et à long terme (expérience 1-3), il a été possible de tester quand l'effet de l'imagerie visuelle et l'apprentissage des régularités forme-audio effectivement eu lieu; et en incluant trois tâches différentes (c.-à-d. l'effet bouba/visuel-visuel-visuel dans l'expérience 1, la reconnaissance des formes tactiles/visuelles individuelles de bouba/kiki ainsi que l'audio congrue et incongru dans l'expérience 2, et le dessin d'images mentales de l'audio bouba/kiki dans l'expérience 3), pour tester la robustesse de ces effets. Les résultats suggèrent clairement que l'effet de l'imagerie visuelle n'était pas robuste à long terme dans chaque tâche, en particulier lors de l'utilisation du toucher haptique [cf. le groupe des yeux bandés (expérience 1-3)]; considérant que l'effet de l'apprentissage des régularités forme-audio était, mais pas entre les tâches [cf. l'aveugle et le groupe de vision (Expérience 1-3). Cf. Tableau 1; Tableau 2; Tableau 3.] 17 Annonces

Discussion

Le protocole présenté est approprié pour étudier l'effet de l'imagerie visuelle et l'apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d'individus spécifiques.

Ce protocole serait approprié pour tester non seulement la précision, mais aussi le temps d'exploration: À partir du moment où l'expérimentateur enlève sa main gauche des poings du participant (dans le blind et bandeaux) / la plaque cartonou planche en mousse (dans le vision-groupe) au moment où le participant dit «oui». Dans les analyses statistiques, le temps d'exploration le plus long par essai par groupe expérimental serait divisé en quatre et le nombre de participants « rapides », « moyens » et « lents » dans chaque groupe expérimental compté : « Rapide » utilisant 25 % de ce temps d'exploration, » moyenne » de 26 à 75 % et « lente » à l'aide de 75 %. Dans l'ensemble des essais, les participants seraient comptés comme dans l'expérience 2 : C'est-à-dire comme « rapide » s'il était compté comme « rapide » dans 66,6 % de tous les essais, comme « moyen » s'il était compté comme « moyen » dans 66,6 % de tous les essais, et ainsi de suite. (Pour les participants « non concluants », c'est-à-dire que le participant ne peut pas être considéré comme « rapide », « moyen » ou « lent », cf. Expérience 3.) Il serait possible de tester séparément le temps d'exploration pour les réponses correctes et incorrectes, selon la taille de l'échantillon et/ou le nombre de réponses correctes et incorrectes. Qu'il s'agisse de l'exactitude des essais, du temps d'exploration ou des deux, il y a des étapes critiques du protocole qui doivent être suivies : les trois expériences doivent être menées en ordre fixe, et leurs essais présentés en ordre fixe, pour tous les participants. Les participants ne doivent pas être informés que le matériel d'essai dans les trois expériences comprennent bouba et kiki. En outre, les informations auditives du lecteur MP3 ne doivent être jouées qu'une seule fois et non répétées oralement aux participants (les trois expériences). Dans l'expérience 1 et l'expérience 2, le bouba tactile/visuel et le kiki doivent être présentés dans la même position et la même orientation. Pour le groupe de vision (dans les trois expériences), les matériaux d'essai doivent être mis en place derrière une plaque cartonnale/planche de mousse. Enfin, dans le groupe des yeux bandés, les participants ne doivent pas retirer leur bandeau tant que l'expérience 3 n'est pas terminée. Ces étapes visent à s'assurer que la quantité et le type d'informations sur le tactile/visuel et le bouba et le kiki auditifs sont gardés sous contrôle dans tous les groupes expérimentaux. En outre, il est crucial dans l'expérience 2 de présenter le bouba/kiki auditif dès que le participant commence à explorer le bouba/visuel tactile/kiki. Cela permettra de s'assurer que des informations multimodales (congrues ou incongrues) sont présentées. De plus, ce protocole serait également approprié pour tester d'autres groupes d'individus. Pour les intégrer, ces groupes participants pourraient être ajoutés en tant que groupes expérimentaux distincts : par exemple, un groupe de perception des couleurs et un groupe de perception de forme; 22 un groupe de perte de vision soudaine et un groupe progressif de perte de vision ; 20 Ans, états-unis , 21 et/ou des groupes spécifiques de personnes ayant une déficience auditive et/ou un trouble du spectre autistique13 pourraient être ajoutés.

Avec ce protocole, il serait possible d'établir une norme de groupe (pour l'exactitude et/ou le temps d'exploration) pour des groupes spécifiques sur chaque effet instantané et à long terme, y compris chaque mesure répétée au sein du groupe, et/ou tâche; puis pour tester les individus par rapport à la norme de leur groupe : Qu'un individu ou l'ensemble du groupe ait besoin d'une formation supplémentaire pour remarquer les régularités forme-audio. Une norme de groupe pour chaque effet instantané et à long terme, y compris chaque mesure répétée à l'intérieur du groupe, et/ou une tâche permettrait également de déterminer quel type de formation est nécessaire pour remarquer les régularités forme-audio : par exemple, plus d'essais avec le tactile/ bouba/kiki-effet visuel-auditif (expérience 1) et/ou plus d'essais avec une forme tactile/visuelle et audio congrues et incongrues (Expérience 2). En effet, il serait possible d'augmenter à la fois le nombre d'essais et le nombre de mesures répétées au sein du groupe dans chaque tâche ainsi que de modifier le temps entre eux, permettant ainsi une formation et des tests plus individualisés.

Toutefois, ce protocole devrait être modifié si l'essai du type de matériaux (p. ex., bouba ou kiki, forme tactile/visuelle remplie ou décrite, et/ou son ou mot auditif) assure le mieux l'apprentissage des régularités forme-audio. Une façon possible de modifier ce protocole pourrait consister à présenter les différents matériaux en blocs : par exemple, les formes tactiles/visuelles remplies et le son auditif et/ou les formes tactiles/visuelles et les mots auditifs décrits (Expérience 1). Ces blocs pourraient être présentés au hasard à tous les participants d'un groupe expérimental; ou, subsidiairement, chacun des quatre blocs pour séparer les groupes expérimentaux (expérience 1). Ce protocole devrait également être modifié si l'on teste encore plus la robustesse de l'imagerie visuelle et/ou des régularités forme-audio apprises à l'intérieur et à travers les tâches. La modification pourrait impliquer l'ajout de mesures répétées au sein du groupe avec une forme tactile/visuelle et/ou audio différentes de celles incluses dans la formation; par exemple, avec le son auditif pour 'maa-boo-maa' et 'tuh-kee-tee' après l'entraînement avec des formes tactiles/visuelles de bouba et de kiki et des mots auditifs (Expérience 1)1,3,4,10, 11 Ans, états-unis ( , 12 Ans, états-unis , 13 (en) , 14 (en) , 15 Annonces , 16. Une autre option pourrait consister à présenter une troisième forme tactile/visuelle qui n'est pas principalement courbée/angulaire avec les formes tactiles/visuelles de bouba et de kiki dans l'expérience 110,11,12 ,13,14,15,16. Un mot non-sens auditif et un son pourraient être créés pour cette forme tactile/visuelle pour produire une troisième paire de mots-formes14,15,16 et une troisième paire forme-son17 (Expérience 1). La paire forme-son pourrait alors être incluse dans l'expérience 2 comme catch-trials; ou alternativement comme des essais congrues réguliers et avec des essais incongrus correspondants. Enfin, le son (de l'expérience 2 et de l'expérience 1) et/ou le mot non-sens (de l'expérience 1) pourraient être présentés dans l'expérience 3. Une troisième option pourrait consister à ne pas mener l'expérience 2 et l'expérience 3 du tout, mais plutôt les inclure comme tâches dans les mesures répétées au sein du groupe dans l'expérience 1, dans l'ordre aléatoire.

Le protocole présenté est unique en ce qu'il garde sous contrôle à la fois l'imagerie visuelle et l'information sensorielle pendant la formation et les tests. Il est flexible : les échantillons de grande et de petite taille et les individus spécifiques peuvent être testés contre eux-mêmes (cf. les tests à l'intérieur du groupe) et/ou d'autres groupes d'individus (cf. les tests entre les groupes). Il est possible de tester à la fois la précision et le temps d'exploration, de modifier le nombre d'essais et de mesures répétées au sein du groupe dans chaque expérience et le temps qui les entoure, et de modifier ou même d'effondrer l'ordre des essais et/ou des expériences.

Disclosures

Les auteurs n'ont rien à révéler.

Acknowledgments

Bailleurs:
Ces travaux ont été financés par le programme de recherche et d'innovation Horizon 2020 de l'Union européenne dans le cadre des Actions Marie Sklodowska-Curie (accord de subvention numéro 657440) et de l'Association norvégienne des aveugles et des malvoyants.

Maquillage de film:
Maquilleur Rachael Parrey.

Materials

Name Company Catalog Number Comments
Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

DOWNLOAD MATERIALS LIST

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Tags

Comportement Numéro 151 Effet Bouba/kiki crossmodal toucher haptique ouïe effet d'apprentissage image mentale multimodal régularités sensorielles reconnaissance de forme régularités forme-audio vision imagerie visuelle
Étudier l'effet de l'imagerie visuelle et de l'apprentissage des régularités formel-audio sur Bouba et Kiki
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Graven, T., Desebrock, C.… More

Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter