Un abonnement JoVE est requis pour visualiser ce contenu. Connectez-vous ou commencez votre période d'essai gratuite.

Article de méthode

Examiner la production gestuelle en présence de défis de communication

1.6K vues

⸱

DOI :

10.3791/66256

⸱

26 janvier 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

Dans cet article

Résumé

Ici, nous présentons un protocole qui manipule la visibilité de l’interlocuteur pour examiner son impact sur la production de gestes dans la communication interpersonnelle. Ce protocole est flexible en fonction des tâches mises en œuvre, des gestes examinés et des modalités de communication. Il est idéal pour les populations ayant des problèmes de communication, comme les apprenants d’une langue seconde et les personnes atteintes de troubles du spectre autistique.

Résumé

Comprendre pourquoi les locuteurs modifient leurs gestes de la main lorsqu’ils s’adressent à des interlocuteurs fournit des informations précieuses sur la façon dont ces gestes contribuent à la communication interpersonnelle dans des contextes en face à face et virtuels. Les protocoles actuels manipulent la visibilité des intervenants et de leurs interlocuteurs en tandem dans un contexte de face à face pour examiner l’impact de la visibilité sur la production gestuelle lorsque la communication est difficile. Dans ces protocoles, les locuteurs accomplissent des tâches telles que l’enseignement de mots d’une langue seconde inconnue ou le récit des événements de vignettes de dessins animés à un interlocuteur qui est soit un autre participant, soit un complice. Lors de l’exécution de ces tâches, les intervenants sont visibles ou non visibles pour leur interlocuteur, et l’orateur est visible ou non visible pour le participant. Dans la tâche d’apprentissage des mots, les locuteurs et les interlocuteurs visibles les uns aux autres produisent plus de gestes représentatifs, qui transmettent un sens via la forme de la main et le mouvement, et des gestes déictiques (pointage) que les locuteurs et les interlocuteurs qui ne sont pas visibles les uns aux autres. Dans le protocole de narration, les adolescents atteints de troubles du spectre autistique (TSA) produisaient plus de gestes lorsqu’ils s’adressaient à des interlocuteurs visibles qu’à des interlocuteurs non visibles. Une force majeure du protocole actuel est sa flexibilité en termes de tâches, de populations et de gestes examinés, et le protocole actuel peut être mis en œuvre en visioconférence comme en présentiel. Ainsi, le protocole actuel a le potentiel de faire progresser la compréhension de la production gestuelle en élucidant son rôle dans la communication interpersonnelle chez les populations ayant des problèmes de communication.

Introduction

Les gestes de co-parole (jusqu’à présent, les gestes) - mouvements significatifs de la main produits en même temps que la parole - contribuent à la communication interpersonnelle en transmettant des informations complétant le contenu verbal1. Selon la taxonomie la plus largement utilisée 2,3, les gestes peuvent être divisés en trois catégories : les gestes représentatifs, qui transmettent des référents par leur forme et leur mouvement (par exemple, battre des mains d’avant en arrière pour transmettre le vol) ; les gestes rythmiques, qui transmettent l’accent par de simples mouvements ponctués (par exemple, déplacer légèrement la main dominante vers le bas en conjonction avec chaque mot de l’expression « tout de suite ») ; et les gestes déictiques, qui attirent l’attention sur la présence ou l’absence d’une entité en pointant du doigt (par exemple, balancer le pouce vers l’arrière pour indiquer quelque chose derrière soi). Les gestes représentatifs peuvent être divisés en deux catégories supplémentaires : les gestes iconiques, qui véhiculent des référents concrets (par exemple, un oiseau), et les gestes métaphoriques, qui transmettent des référents métaphoriques (par exemple, l’extase). Parce que le geste et la parole découlent du même contenu conceptuel, ils sont étroitement liés dans leur signification 4,5. En servant de support visuel emblématique pour la communication, les gestes peuvent aider à compenser les difficultés de compréhension du langage parlé6, que ce soit en raison de facteurs individuels tels qu’une maîtrise limitée de la langue parlée 7,8 ou de facteurs environnementaux tels que la difficulté à entendre la parole 9,10. Ainsi, les gestes font partie intégrante de la compréhension de la communication interpersonnelle dans des contextes en face à face et virtuels, car ils donnent un aperçu de la façon dont les locuteurs et les auditeurs transmettent et comprennent l’information de manière multimodale.

Plusieurs tâches interactives structurées ont été développées pour mesurer comment le geste affecte la communication interpersonnelle. Ces tâches comprennent des entretiens, au cours desquels les participants répondent à des questions en décrivant leurs expériences personnelles11,12 ; description de l’image, dans laquelle une image statique est présentée aux participants pour décrire13,14 ; la résolution d’énigmes, dans laquelle les participants décrivent comment résoudre une énigme en orientant correctement les composants dans l’espace15,16 ; la fourniture d’instructions, dans laquelle les participants sont invités à donner des indications vers un endroit inconnu des auditeurs 17,18,19 ; et la narration, dans laquelle les participants visionnent une caricature représentant une séquence d’événements et les racontent ensuite 20,21,22. De nombreuses tâches employées dans les études citées ci-dessus intègrent un contenu spatial et une action, que le geste transmet avec une efficacité particulière 15,23,24,25. Dans les tâches des études citées ci-dessus, les participants produisent généralement des gestes en conjonction avec le langage, et les informations transmises par le geste et sa relation avec le langage produit simultanément sont évaluées. Alternativement, les participants peuvent visionner un enregistrement d’une personne gesticulant (ou ne gesticulant pas) et produisant un langage lors de l’exécution de l’une de ces tâches, après quoi la compréhension des participants est évaluée. Toutes ces tâches peuvent être menées virtuellement ou en face à face, ce qui permet de collecter des données auprès d’un large éventail de participants et de comparer les modalités.

L’impact des gestes sur la communication interpersonnelle a été mis en œuvre auprès d’un large éventail de participants. Les populations ayant des problèmes de communication, notamment les jeunes enfants 26,27,28,29,30, les utilisateurs de langues secondes (L2) 8,31,32,33, les personnes atteintes de troubles du spectre autistique (TSA)20,21,22,34, les personnes atteintes de troubles du spectre autistique (TSA) troubles du langage 35,36,37, personnes aphasiques12,38, personnes atteintes de lésions cérébrales39 et personnes bégayant40,41. Ce travail a révélé que, bien que bon nombre de ces populations puissent utiliser des gestes pour faciliter la communication, certaines, comme les personnes atteintes de troubles du spectre autistique, peuvent éprouver des difficultés à tirer parti des gestes pour communiquer efficacement. Les résultats suggèrent que cela pourrait être dû à la mesure dans laquelle ces populations prennent en compte la conception du public et les indices environnementaux, mettant en évidence les implications pratiques de ces explications sur l’impact des gestes sur la communication.

La visibilité de l’interlocuteur est une caractéristique clé qui permet de mieux comprendre l’impact des gestes sur la communication interpersonnelle. Une question d’une grande importance dans le domaine de la recherche sur le geste est de savoir dans quelle mesure les participants gestuent pour leur propre bénéfice, indiquant le déchargement des opérations cognitives sur le corps, par rapport au bénéfice de leurs interlocuteurs, indiquant l’utilisation du geste pour communiquer. Cette question a été investiguée en examinant l’impact de la (non-)visibilité de l’interlocuteur sur la production gestuelle dans des contextes en face à face via l’utilisation d’une partition opaque26,42, ainsi que dans des contextes téléphoniques13 et virtuels43. Dans l’ensemble, les résultats de ce travail indiquent que, bien que les locuteurs gestuisent pour leur propre bénéfice, ils produisent plus de gestes représentatifs lorsqu’ils communiquent avec des interlocuteurs visibles que non visibles, alors que la production de gestes rythmés est similaire quelle que soit la visibilité de l’interlocuteur. Ainsi, ils suggèrent que le geste représentatif facilite la communication à travers une variété de contextes, suggérant que les locuteurs prennent en compte le point de vue de leurs interlocuteurs et modifient leur production gestuelle en conséquence. Bien que des recherches antérieures examinant l’effet de la visibilité de l’interlocuteur aient permis de mieux comprendre les contributions du geste à la communication interpersonnelle, elles se sont concentrées sur l’anglais comme première langue (L1) dans des populations en développement typique, de sorte qu’il n’est pas clair si les résultats peuvent être étendus aux populations ayant des problèmes de communication. Deux de ces populations sont les apprenants de L2, qui peuvent avoir du mal à communiquer par la parole dans la langue cible, et les enfants atteints de TSA, dont la communication verbale et non verbale est anormale. De plus, peu de recherches ont examiné l’impact de la visibilité de l’interlocuteur sur la production de gestes dans des contextes virtuels, ce qui permet de démêler l’effet de la visibilité de l’interlocuteur sur le participant de l’effet de la visibilité du participant sur l’interlocuteur, de sorte que la reproductibilité des résultats de ces contextes n’est pas claire à l’heure actuelle. Enfin, certaines recherches se sont concentrées sur l’impact de la visibilité de l’interlocuteur sur la production de types spécifiques de gestes, de sorte qu’il n’est pas clair si la production d’autres types de gestes est affectée de la même manière par la visibilité de l’interlocuteur.

Les protocoles décrits ci-dessous manipulent la visibilité de l’interlocuteur pour examiner la production de gestes dans des circonstances difficiles : apprentissage de mots L2 et récit narratif par des personnes atteintes de TSA. Le protocole d’apprentissage des mots L2 fait le lien entre la recherche examinant l’impact de l’observation des gestes sur l’apprentissage des mots L2 et la recherche examinant la contribution des gestes à la communication via un paradigme d’apprentissage interactif des mots. Dans ce paradigme, les participants qui ne sont pas familiers avec la langue cible apprennent des mots dans celle-ci, puis enseignent ces mots à d’autres participants qui ne sont pas familiers avec la langue cible, ce qui permet d’examiner l’impact de la visibilité de l’interlocuteur sur la production gestuelle dans les premières étapes de l’acquisition de la L2 dans un contexte conversationnel. Le paradigme de la narration de bande dessinée utilise une tâche de narration largement utilisée dans laquelle des différences dans la production de gestes ont été observées lorsque la visibilité de l’interlocuteur est manipulée avec une nouvelle population : les adolescents atteints de TSA. Cette population est intéressante parce que le développement du langage, y compris la production de gestes, est mature à l’adolescence, et que les TSA entraînent des difficultés de communication verbale et non verbale, y compris les gestes, ainsi qu’un manque de sensibilité aux besoins de communication des interlocuteurs. Ensemble, ces protocoles donnent un aperçu de la mesure dans laquelle la production de gestes dépend de la parole et, à l’inverse, peut la compenser lorsque la communication interpersonnelle est difficile.

Sur la base des résultats démontrant comment la visibilité de l’auditeur affecte la production de gestes par les anglophones L1 13,26,42,43, il a été émis l’hypothèse que les participants produiraient plus de gestes globaux et plus de gestes représentatifs lorsqu’ils discutent de mots L2 avec un interlocuteur visible qu’un interlocuteur non visible. Sur la base des résultats démontrant des anomalies dans la production de gestes dans les TSA20,44, il a été émis l’hypothèse que les adolescents atteints de TSA produiraient moins de gestes globaux ainsi que moins de gestes représentatifs et déictiques que les adolescents en développement typique (TD). De plus, sur la base des résultats montrant que les TSA entraînent des difficultés à prendre du recul45, on a émis l’hypothèse que la production gestuelle des adolescents atteints de TSA ne différerait pas significativement en présence d’interlocuteurs visibles et non visibles. Enfin, une interaction entre le diagnostic et la visibilité a été prédite, de sorte que la production gestuelle ne différerait pas selon la visibilité pour les adolescents atteints de TSA, mais qu’elle le serait pour les adolescents atteints de DT.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

Tous les participants ont fourni un consentement écrit, et tous les protocoles ont été approuvés par les comités d’examen institutionnels de l’établissement hôte. Les protocoles d’apprentissage des mots L2 et de narration de dessins animés ont été mis en œuvre dans les études sur lesquelles sont basés les résultats représentatifs21,33. Bien que ces protocoles n’aient été mis en œuvre que dans des contextes en personne jusqu’à présent, un protocole connexe manipulant la visibilité de l’interlocuteur et du participant de manière indépendante, non décrit ici, est actuellement en cours pour donner un aperçu de la reproductibilité dans ce contexte, avec des plans pour l’étendre aux populations ayant des problèmes de communication, comme les personnes atteintes de TSA.

1. Les participants

REMARQUE : Tout en respectant les contraintes nécessaires sur les caractéristiques des participants pour chaque étude, les échantillons doivent être représentatifs de la population dans la mesure du possible.

  1. Recrutement des participants pour le protocole d’apprentissage des mots L2
    1. Recrutez des participants âgés de 18 ans et plus ayant une vision normale ou corrigée à normale et une audition normale qui sont des locuteurs L1 de l’anglais. Pour s’assurer que l’étude examine l’impact du geste sur l’apprentissage initial des mots L2, recrutez des participants sans aucune connaissance du hongrois, la langue cible.
  2. Recrutement des participants pour le protocole de narration de bande dessinée
    1. Recruter des participants d’un âge capable de mener à bien la tâche expérimentale (10 à 20 ans chez Morett et coll.21.) avec un diagnostic de TSA ou qui sont en développement typique (TD).
      1. Pour s’assurer que les participants peuvent mener à bien la tâche expérimentale, recrutez des participants qui sont des locuteurs L1 de l’anglais, qui ont une vision normale ou corrigée à la normale et une audition normale, et qui ont un QI complet de 85 ou plus, tel que mesuré avant ou au moment de l’étude au moyen d’une évaluation standardisée46.
      2. Pour s’assurer que l’étude examine les effets spécifiques des TSA sur la production de gestes, recrutez des participants atteints de TSA sans épilepsie, méningite, encéphalite, diabète, trouble désintégratif de l’enfance ou trouble envahissant du développement non spécifié (TED-NOS).
      3. Pour s’assurer que la production de gestes dans les TSA peut être comparée à la production de gestes typiques, recrutez des participants à la TD sans troubles psychiatriques comorbides ou des parents au premier degré diagnostiqués avec des troubles envahissants du développement.

2. Vue d’ensemble de la manipulation de la visibilité

  1. Recrutez les participants par paires si les effets de la production et de l’observation de gestes spontanés seront examinés, comme dans le protocole d’apprentissage des mots L2. Recruter les participants individuellement en coordination avec un assistant de recherche agissant en tant que participant si seulement les effets de la production de gestes spontanés sont examinés, comme dans le protocole de narration de bande dessinée.
  2. Fournir un formulaire de consentement éclairé avec des informations sur l’étude aux participants pour qu’ils signent et répondent à toutes les questions à ce sujet, en prenant soin de ne pas révéler l’objectif de l’étude sur la production gestuelle. Récupérez le formulaire après que les participants l’aient signé.
  3. Pour les participants recrutés par paires, utilisez une méthode de sélection telle qu’un tirage au sort pour déterminer quel participant servira d’orateur, qui parlera le plus dans la tâche expérimentale et quel participant servira d’interlocuteur, qui fera la plupart de l’écoute et interagira occasionnellement avec l’orateur dans la tâche expérimentale. Pour les participants recrutés individuellement avec un assistant de recherche agissant en tant que participant, utilisez une méthode de sélection fixe telle qu’un tirage au sort truqué pour vous assurer que le participant sert toujours de conférencier et que l’assistant de recherche sert toujours d’interlocuteur.
  4. Dans la moitié des sessions expérimentales, placez une cloison opaque entre l’orateur et l’interlocuteur pour vous assurer qu’ils ne peuvent pas voir le visage ou les mains de l’autre.
  5. Expliquez aux participants ce qu’ils feront dans la tâche expérimentale et répondez à toutes les questions à ce sujet. Informez les participants que leur discours sera enregistré, en indiquant le microphone utilisé à cet effet. Pour éviter tout effet de la prise de conscience de l’enregistrement vidéo sur la production gestuelle, n’informez pas les participants qu’ils seront enregistrés sur vidéo et assurez-vous que la caméra vidéo utilisée à cet effet n’est pas visible par les participants.
  6. Lancez l’enregistrement vidéo et audio en appuyant sur les boutons appropriés. Mettez en œuvre la tâche expérimentale pour obtenir la parole et les gestes de l’orateur et de l’interlocuteur participant, s’il y en a un.
  7. Si une conception intra-participants est utilisée, retirez le séparateur opaque s’il est utilisé dans la première itération ou placez-le entre l’orateur et l’interlocuteur s’il n’est pas utilisé dans la première itération.
  8. Répétez la tâche expérimentale au besoin jusqu’à ce que tous les stimuli aient été épuisés.
  9. Arrêtez l’enregistrement vidéo et audio en appuyant sur les boutons appropriés. Informez les participants que l’étude s’est concentrée sur les gestes et qu’ils ont été enregistrés sur vidéo, et proposez de supprimer leurs vidéos avant l’analyse des données s’ils le souhaitent.
  10. Répondez à toutes les questions des participants et remerciez-les d’avoir participé avant de les congédier.

3. Protocole d’apprentissage en L2 mots

  1. Des enregistrements vidéo et audio de l’orateur et de l’interlocuteur afin que la production de paroles et de gestes pendant la tâche expérimentale puisse être analysée ultérieurement.
    1. Placez un microphone de table entre l’orateur et l’interlocuteur pour l’enregistrement audio. Placez une caméra vidéo sur le côté entre l’orateur et l’interlocuteur à un angle de 90° et assurez-vous qu’elle n’est pas visible par les participants.
    2. De plus, assurez-vous que l’orateur et l’interlocuteur sont englobés dans le champ de vision de la caméra vidéo et que l’écran de l’ordinateur n’est pas visible dans le champ de vision de la caméra vidéo afin de maintenir l’aveuglement à la condition dans laquelle les mots L2 sont présentés dans l’analyse.
  2. À l’aide d’un ordinateur, présentez un mot L2 de la langue cible à l’oral à l’aide d’écouteurs pour vous assurer qu’il est inaudible pour l’interlocuteur afin que celui-ci puisse ensuite l’enseigner à l’interlocuteur. En même temps, présentez soit une vidéo d’un locuteur L1 de la langue cible prononçant le mot L2 et produisant un geste de représentation transmettant son sens avec le texte du mot L2 en bas de l’écran, soit le mot L2 sous forme de texte au milieu de l’écran sans vidéo pour le locuteur.
  3. Après une pause de 500 ms, présentez la traduction L1 du mot L2 sous forme de texte au milieu de l’écran à l’orateur pendant 2000 ms.
  4. Demandez à l’explicateur d’enseigner le mot L2 et sa signification à l’interlocuteur par la parole et/ou le geste.
  5. Demandez à l’orateur d’appuyer sur un bouton pour passer à autre chose lorsque vous êtes prêt. Une fois que l’orateur l’a fait, présentez un autre mot L2. Répétez ce processus jusqu’à ce que les 20 mots L2 aient été présentés dans un ordre aléatoire.
  6. Testez individuellement les connaissances de l’orateur et de l’interlocuteur sur les mots L2 présentés dans la tâche expérimentale en présentant chaque mot L2 sous forme de texte et en les incitant à dire sa traduction L1 ou à sauter le mot s’ils ne se souviennent pas de sa traduction.

4. Protocole de narration de dessin animé

  1. Si le QI du participant n’a pas déjà été mesuré au moyen d’une évaluation de QI standardisée, administrez-en une pour vous assurer que son QI est de 85 ou plus.
  2. Des enregistrements vidéo et audio des participants afin que leur production de paroles et de gestes puisse être analysée ultérieurement. Placez un microphone de table devant le participant pour l’enregistrement audio. Placez une caméra d’un côté du participant à un angle de 90° et assurez-vous que la caméra n’est pas visible par le participant.
  3. Présentez la première moitié du dessin animé des Looney Tunes Canary Row au participant. Cette moitié du dessin animé contient plusieurs vignettes dans lesquelles Sylvester le chat tente et échoue à attraper l’oiseau Titi.
  4. Demandez au participant de raconter les événements de la première moitié de la bande dessinée à l’interlocuteur avec autant de détails qu’il peut s’en souvenir. Demandez à l’interlocuteur d’écouter le récit du participant, en l’incitant à en dire plus s’il est bref.
  5. Répétez les étapes 4.1. et 4.2. pour la seconde moitié de la vidéo de Canary Row, qui contient plusieurs autres vignettes dans lesquelles Sylvester le chat tente et échoue à attraper l’oiseau Titi.

5. Transcription et codage

REMARQUE : Pour minimiser les biais, dans la mesure du possible, transcrivez et codez les données à l’aveugle sans savoir quels participants et quels essais ont été assignés à quelles conditions. Idéalement, les transcripteurs et les codeurs ne devraient pas être impliqués dans la collecte de données.

  1. Transcrire tous les discours des participants orthographiquement à la main à l’aide d’un logiciel approprié selon un schéma normalisé, tel que CHAT47, pour produire un décompte de mots. Transcrivez toutes les informations verbales, telles que les remplissages et les corrections, mais ne transcrivez pas les pauses.
  2. Identifiez et codez tous les gestes des participants pour produire un décompte pour chaque type de geste. Identifiez les gestes d’un repos à l’autre et classez-les en quatre types en fonction de la taxonomie 2,3 de McNeill : iconique, métaphorique, rythmé et déictique. Notez que certains gestes peuvent être classés dans plusieurs types.
  3. Calculez le taux de gestes par cent mots en divisant le nombre de gestes de représentation par le nombre de mots et en le multipliant par 100 pour chaque vignette.
  4. Demandez à un codeur indépendant de coder les gestes des participants pour 25 % des données. Calculez le pourcentage d’accord pour les données codées par les deux codeurs et assurez-vous qu’il est d’au moins 80 % pour assurer une fiabilité inter-juges suffisante.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

Apprentissage des mots L2
Implémentation: Les résultats rapportés ci-dessous sont basés sur des données recueillies auprès de 52 participants en bonne santé (21 hommes, 31 femmes ; âge : M = 20,15, ET = 1,73, intervalle = 18-28) selon le protocole décrit ci-dessus. Tous les discours et gestes ont été codés par un codeur primaire, qui ne pouvait pas être aveugle aux conditions de visibilité, car les données de l’orateur et de l’interlocuteur ont été enregistrées à l’aide d’une...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

Le protocole actuel manipule la visibilité du locuteur et de l’interlocuteur l’un par rapport à l’autre, donnant un aperçu de son impact sur la production gestuelle dans des circonstances difficiles : apprentissage des mots L2 et récit narratif par des adolescents atteints de TSA. Ce protocole peut être mis en œuvre en personne ou virtuellement, ce qui permet de manipuler la visibilité des participants et des interlocuteurs en tandem ou indépendamment. Il peut s’adapter à une grande vari...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

L’auteur n’a aucun intérêt financier concurrent à déclarer.

Remerciements

Le développement et la validation du protocole d’apprentissage des mots L2 ont été soutenus par une bourse d’études supérieures en sciences et ingénierie de la défense nationale (NDSEG) (32 CFR 168a) émise par le Bureau de la recherche scientifique de l’armée de l’air du ministère de la Défense des États-Unis. Le développement et la validation du protocole de narration de dessins animés avec des adolescents atteints de TSA ont été soutenus par un prix Ruth S. Kirschstein Institutional National Research Service Award (T32) des National Institutes of Mental Health. L’auteur remercie Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo et Marco Pilotta pour leur aide dans la collecte de données et le codage.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
OrdinateurAppleZ13124" iMac, processeur 8 cœurs & GPU, puce M3
Conférence Microphone USBTonorB07GVGMW59
ELANThe Language Archivelogicielle utilisée pour transcrire la parole et les gestes
Enregistreur vidéoVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X zoom numérique 3 » Enregistreur vidéo à écran tactile 3 » avec contrôle de renote et trépied
Weschler Échelle abrégée de l’intelligencePearson158981561Utilisé pour vérifier le QI à grande échelle &ge ; 80 dans Morett et al. (2016)
Application

Références

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Explorer plus d’articles

Gestes de la mainCommunication interpersonnelleApprenants d'une seconde langueTrouble du spectre de l'autismeCommunication face à faceCommunication virtuelleOculométrieMécanismes neuraux
Examiner la production gestuelle en présence de défis de communication
Contactez-nous
Recommander à la bibliothèque

Confidentialité

Conditions d’utilisation

Politiques

Copyright © 2026 MyJoVE Corporation. Tous droits réservés.