Article de méthode

Examiner la production gestuelle en présence de défis de communication

1.5K vues

⸱

DOI :

10.3791/66256

⸱

26 janvier 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

Dans cet article

Résumé

Ici, nous présentons un protocole qui manipule la visibilité de l’interlocuteur pour examiner son impact sur la production de gestes dans la communication interpersonnelle. Ce protocole est flexible en fonction des tâches mises en œuvre, des gestes examinés et des modalités de communication. Il est idéal pour les populations ayant des problèmes de communication, comme les apprenants d’une langue seconde et les personnes atteintes de troubles du spectre autistique.

Résumé

Comprendre pourquoi les locuteurs modifient leurs gestes de la main lorsqu’ils s’adressent à des interlocuteurs fournit des informations précieuses sur la façon dont ces gestes contribuent à la communication interpersonnelle dans des contextes en face à face et virtuels. Les protocoles actuels manipulent la visibilité des intervenants et de leurs interlocuteurs en tandem dans un contexte de face à face pour examiner l’impact de la visibilité sur la production gestuelle lorsque la communication est difficile. Dans ces protocoles, les locuteurs accomplissent des tâches telles que l’enseignement de mots d’une langue seconde inconnue ou le récit des événements de vignettes de dessins animés à un interlocuteur qui est soit un autre participant, soit un complice. Lors de l’exécution de ces tâches, les intervenants sont visibles ou non visibles pour leur interlocuteur, et l’orateur est visible ou non visible pour le participant. Dans la tâche d’apprentissage des mots, les locuteurs et les interlocuteurs visibles les uns aux autres produisent plus de gestes représentatifs, qui transmettent un sens via la forme de la main et le mouvement, et des gestes déictiques (pointage) que les locuteurs et les interlocuteurs qui ne sont pas visibles les uns aux autres. Dans le protocole de narration, les adolescents atteints de troubles du spectre autistique (TSA) produisaient plus de gestes lorsqu’ils s’adressaient à des interlocuteurs visibles qu’à des interlocuteurs non visibles. Une force majeure du protocole actuel est sa flexibilité en termes de tâches, de populations et de gestes examinés, et le protocole actuel peut être mis en œuvre en visioconférence comme en présentiel. Ainsi, le protocole actuel a le potentiel de faire progresser la compréhension de la production gestuelle en élucidant son rôle dans la communication interpersonnelle chez les populations ayant des problèmes de communication.

Introduction

Les gestes de co-parole (jusqu’à présent, les gestes) - mouvements significatifs de la main produits en même temps que la parole - contribuent à la communication interpersonnelle en transmettant des informations complétant le contenu verbal1. Selon la taxonomie la plus largement utilisée 2,3, les gestes peuvent être divisés en trois catégories : les gestes représentatifs, qui transmettent des référents par leur forme et leur mouvement (par exemple, battre des mains d’avant en arrière pour transmettre le vol) ; les gestes rythmiques, qui transmettent l’accent par de simples mouvements ponctués (par exemple, déplacer légèrement la main dominante vers le bas en conjonction avec chaque mot de l’expression « tout de suite ») ; et les gestes déictiques, qui attirent l’attention sur la présence ou l’absence d’une entité en pointant du doigt (par exemple, balancer le pouce vers l’arrière pour indiquer quelque chose derrière soi). Les gestes représentatifs peuvent être divisés en deux catégories supplémentaires : les gestes iconiques, qui véhiculent des référents concrets (par exemple, un oiseau), et les gestes métaphoriques, qui transmettent des référents métaphoriques (par exemple, l’extase). Parce que le geste et la parole découlent du même contenu conceptuel, ils sont étroitement liés dans leur signification 4,5. En servant de support visuel emblématique pour la communication, les gestes peuvent aider à compenser les difficultés de compréhension du langage parlé6, que ce soit en raison de facteurs individuels tels qu’une maîtrise limitée de la langue parlée 7,8 ou de facteurs environnementaux tels que la difficulté à entendre la parole 9,10. Ainsi, les gestes font partie intégrante de la compréhension de la communication interpersonnelle dans des contextes en face à face et virtuels, car ils donnent un aperçu de la façon dont les locuteurs et les auditeurs transmettent et comprennent l’information de manière multimodale.

Plusieurs tâches interactives structurées ont été développées pour mesurer comment le geste affecte la communication interpersonnelle. Ces tâches comprennent des entretiens, au cours desquels les participants répondent à des questions en décrivant leurs expériences personnelles11,12 ; description de l’image, dans laquelle une image statique est présentée aux participants pour décrire13,14 ; la résolution d’énigmes, dans laquelle les participants décrivent comment résoudre une énigme en orientant correctement les composants dans l’espace15,16 ; la fourniture d’instructions, dans laquelle les participants sont invités à donner des indications vers un endroit inconnu des auditeurs 17,18,19 ; et la narration, dans laquelle les participants visionnent une caricature représentant une séquence d’événements et les racontent ensuite 20,21,22. De nombreuses tâches employées dans les études citées ci-dessus intègrent un contenu spatial et une action, que le geste transmet avec une efficacité particulière 15,23,24,25. Dans les tâches des études citées ci-dessus, les participants produisent généralement des gestes en conjonction avec le langage, et les informations transmises par le geste et sa relation avec le langage produit simultanément sont évaluées. Alternativement, les participants peuvent visionner un enregistrement d’une personne gesticulant (ou ne gesticulant pas) et produisant un langage lors de l’exécution de l’une de ces tâches, après quoi la compréhension des participants est évaluée. Toutes ces tâches peuvent être menées virtuellement ou en face à face, ce qui permet de collecter des données auprès d’un large éventail de participants et de comparer les modalités.

L’impact des gestes sur la communication interpersonnelle a été mis en œuvre auprès d’un large éventail de participants. Les populations ayant des problèmes de communication, notamment les jeunes enfants 26,27,28,29,30, les utilisateurs de langues secondes (L2) 8,31,32,33, les personnes atteintes de troubles du spectre autistique (TSA)20,21,22,34, les personnes atteintes de troubles du spectre autistique (TSA) troubles du langage 35,36,37, personnes aphasiques12,38, personnes atteintes de lésions cérébrales39 et personnes bégayant40,41. Ce travail a révélé que, bien que bon nombre de ces populations puissent utiliser des gestes pour faciliter la communication, certaines, comme les personnes atteintes de troubles du spectre autistique, peuvent éprouver des difficultés à tirer parti des gestes pour communiquer efficacement. Les résultats suggèrent que cela pourrait être dû à la mesure dans laquelle ces populations prennent en compte la conception du public et les indices environnementaux, mettant en évidence les implications pratiques de ces explications sur l’impact des gestes sur la communication.

La visibilité de l’interlocuteur est une caractéristique clé qui permet de mieux comprendre l’impact des gestes sur la communication interpersonnelle. Une question d’une grande importance dans le domaine de la recherche sur le geste est de savoir dans quelle mesure les participants gestuent pour leur propre bénéfice, indiquant le déchargement des opérations cognitives sur le corps, par rapport au bénéfice de leurs interlocuteurs, indiquant l’utilisation du geste pour communiquer. Cette question a été investiguée en examinant l’impact de la (non-)visibilité de l’interlocuteur sur la production gestuelle dans des contextes en face à face via l’utilisation d’une partition opaque26,42, ainsi que dans des contextes téléphoniques13 et virtuels43. Dans l’ensemble, les résultats de ce travail indiquent que, bien que les locuteurs gestuisent pour leur propre bénéfice, ils produisent plus de gestes représentatifs lorsqu’ils communiquent avec des interlocuteurs visibles que non visibles, alors que la production de gestes rythmés est similaire quelle que soit la visibilité de l’interlocuteur. Ainsi, ils suggèrent que le geste représentatif facilite la communication à travers une variété de contextes, suggérant que les locuteurs prennent en compte le point de vue de leurs interlocuteurs et modifient leur production gestuelle en conséquence. Bien que des recherches antérieures examinant l’effet de la visibilité de l’interlocuteur aient permis de mieux comprendre les contributions du geste à la communication interpersonnelle, elles se sont concentrées sur l’anglais comme première langue (L1) dans des populations en développement typique, de sorte qu’il n’est pas clair si les résultats peuvent être étendus aux populations ayant des problèmes de communication. Deux de ces populations sont les apprenants de L2, qui peuvent avoir du mal à communiquer par la parole dans la langue cible, et les enfants atteints de TSA, dont la communication verbale et non verbale est anormale. De plus, peu de recherches ont examiné l’impact de la visibilité de l’interlocuteur sur la production de gestes dans des contextes virtuels, ce qui permet de démêler l’effet de la visibilité de l’interlocuteur sur le participant de l’effet de la visibilité du participant sur l’interlocuteur, de sorte que la reproductibilité des résultats de ces contextes n’est pas claire à l’heure actuelle. Enfin, certaines recherches se sont concentrées sur l’impact de la visibilité de l’interlocuteur sur la production de types spécifiques de gestes, de sorte qu’il n’est pas clair si la production d’autres types de gestes est affectée de la même manière par la visibilité de l’interlocuteur.

Les protocoles décrits ci-dessous manipulent la visibilité de l’interlocuteur pour examiner la production de gestes dans des circonstances difficiles : apprentissage de mots L2 et récit narratif par des personnes atteintes de TSA. Le protocole d’apprentissage des mots L2 fait le lien entre la recherche examinant l’impact de l’observation des gestes sur l’apprentissage des mots L2 et la recherche examinant la contribution des gestes à la communication via un paradigme d’apprentissage interactif des mots. Dans ce paradigme, les participants qui ne sont pas familiers avec la langue cible apprennent des mots dans celle-ci, puis enseignent ces mots à d’autres participants qui ne sont pas familiers avec la langue cible, ce qui permet d’examiner l’impact de la visibilité de l’interlocuteur sur la production gestuelle dans les premières étapes de l’acquisition de la L2 dans un contexte conversationnel. Le paradigme de la narration de bande dessinée utilise une tâche de narration largement utilisée dans laquelle des différences dans la production de gestes ont été observées lorsque la visibilité de l’interlocuteur est manipulée avec une nouvelle population : les adolescents atteints de TSA. Cette population est intéressante parce que le développement du langage, y compris la production de gestes, est mature à l’adolescence, et que les TSA entraînent des difficultés de communication verbale et non verbale, y compris les gestes, ainsi qu’un manque de sensibilité aux besoins de communication des interlocuteurs. Ensemble, ces protocoles donnent un aperçu de la mesure dans laquelle la production de gestes dépend de la parole et, à l’inverse, peut la compenser lorsque la communication interpersonnelle est difficile.

Sur la base des résultats démontrant comment la visibilité de l’auditeur affecte la production de gestes par les anglophones L1 13,26,42,43, il a été émis l’hypothèse que les participants produiraient plus de gestes globaux et plus de gestes représentatifs lorsqu’ils discutent de mots L2 avec un interlocuteur visible qu’un interlocuteur non visible. Sur la base des résultats démontrant des anomalies dans la production de gestes dans les TSA20,44, il a été émis l’hypothèse que les adolescents atteints de TSA produiraient moins de gestes globaux ainsi que moins de gestes représentatifs et déictiques que les adolescents en développement typique (TD). De plus, sur la base des résultats montrant que les TSA entraînent des difficultés à prendre du recul45, on a émis l’hypothèse que la production gestuelle des adolescents atteints de TSA ne différerait pas significativement en présence d’interlocuteurs visibles et non visibles. Enfin, une interaction entre le diagnostic et la visibilité a été prédite, de sorte que la production gestuelle ne différerait pas selon la visibilité pour les adolescents atteints de TSA, mais qu’elle le serait pour les adolescents atteints de DT.

Protocole

Tous les participants ont fourni un consentement écrit, et tous les protocoles ont été approuvés par les comités d’examen institutionnels de l’établissement hôte. Les protocoles d’apprentissage des mots L2 et de narration de dessins animés ont été mis en œuvre dans les études sur lesquelles sont basés les résultats représentatifs21,33. Bien que ces protocoles n’aient été mis en œuvre que dans des contextes en personne jusqu’à présent, un protocole connexe manipulant la visibilité de l’interlocuteur et du participant de manière indépendante, non décrit ici, est actuellement en cours pour donner un aperçu de la reproductibilité dans ce contexte, avec des plans pour l’étendre aux populations ayant des problèmes de communication, comme les personnes atteintes de TSA.

1. Les participants

REMARQUE : Tout en respectant les contraintes nécessaires sur les caractéristiques des participants pour chaque étude, les échantillons doivent être représentatifs de la population dans la mesure du possible.

  1. Recrutement des participants pour le protocole d’apprentissage des mots L2
    1. Recrutez des participants âgés de 18 ans et plus ayant une vision normale ou corrigée à normale et une audition normale qui sont des locuteurs L1 de l’anglais. Pour s’assurer que l’étude examine l’impact du geste sur l’apprentissage initial des mots L2, recrutez des participants sans aucune connaissance du hongrois, la langue cible.
  2. Recrutement des participants pour le protocole de narration de bande dessinée
    1. Recruter des participants d’un âge capable de mener à bien la tâche expérimentale (10 à 20 ans chez Morett et coll.21.) avec un diagnostic de TSA ou qui sont en développement typique (TD).
      1. Pour s’assurer que les participants peuvent mener à bien la tâche expérimentale, recrutez des participants qui sont des locuteurs L1 de l’anglais, qui ont une vision normale ou corrigée à la normale et une audition normale, et qui ont un QI complet de 85 ou plus, tel que mesuré avant ou au moment de l’étude au moyen d’une évaluation standardisée46.
      2. Pour s’assurer que l’étude examine les effets spécifiques des TSA sur la production de gestes, recrutez des participants atteints de TSA sans épilepsie, méningite, encéphalite, diabète, trouble désintégratif de l’enfance ou trouble envahissant du développement non spécifié (TED-NOS).
      3. Pour s’assurer que la production de gestes dans les TSA peut être comparée à la production de gestes typiques, recrutez des participants à la TD sans troubles psychiatriques comorbides ou des parents au premier degré diagnostiqués avec des troubles envahissants du développement.

2. Vue d’ensemble de la manipulation de la visibilité

  1. Recrutez les participants par paires si les effets de la production et de l’observation de gestes spontanés seront examinés, comme dans le protocole d’apprentissage des mots L2. Recruter les participants individuellement en coordination avec un assistant de recherche agissant en tant que participant si seulement les effets de la production de gestes spontanés sont examinés, comme dans le protocole de narration de bande dessinée.
  2. Fournir un formulaire de consentement éclairé avec des informations sur l’étude aux participants pour qu’ils signent et répondent à toutes les questions à ce sujet, en prenant soin de ne pas révéler l’objectif de l’étude sur la production gestuelle. Récupérez le formulaire après que les participants l’aient signé.
  3. Pour les participants recrutés par paires, utilisez une méthode de sélection telle qu’un tirage au sort pour déterminer quel participant servira d’orateur, qui parlera le plus dans la tâche expérimentale et quel participant servira d’interlocuteur, qui fera la plupart de l’écoute et interagira occasionnellement avec l’orateur dans la tâche expérimentale. Pour les participants recrutés individuellement avec un assistant de recherche agissant en tant que participant, utilisez une méthode de sélection fixe telle qu’un tirage au sort truqué pour vous assurer que le participant sert toujours de conférencier et que l’assistant de recherche sert toujours d’interlocuteur.
  4. Dans la moitié des sessions expérimentales, placez une cloison opaque entre l’orateur et l’interlocuteur pour vous assurer qu’ils ne peuvent pas voir le visage ou les mains de l’autre.
  5. Expliquez aux participants ce qu’ils feront dans la tâche expérimentale et répondez à toutes les questions à ce sujet. Informez les participants que leur discours sera enregistré, en indiquant le microphone utilisé à cet effet. Pour éviter tout effet de la prise de conscience de l’enregistrement vidéo sur la production gestuelle, n’informez pas les participants qu’ils seront enregistrés sur vidéo et assurez-vous que la caméra vidéo utilisée à cet effet n’est pas visible par les participants.
  6. Lancez l’enregistrement vidéo et audio en appuyant sur les boutons appropriés. Mettez en œuvre la tâche expérimentale pour obtenir la parole et les gestes de l’orateur et de l’interlocuteur participant, s’il y en a un.
  7. Si une conception intra-participants est utilisée, retirez le séparateur opaque s’il est utilisé dans la première itération ou placez-le entre l’orateur et l’interlocuteur s’il n’est pas utilisé dans la première itération.
  8. Répétez la tâche expérimentale au besoin jusqu’à ce que tous les stimuli aient été épuisés.
  9. Arrêtez l’enregistrement vidéo et audio en appuyant sur les boutons appropriés. Informez les participants que l’étude s’est concentrée sur les gestes et qu’ils ont été enregistrés sur vidéo, et proposez de supprimer leurs vidéos avant l’analyse des données s’ils le souhaitent.
  10. Répondez à toutes les questions des participants et remerciez-les d’avoir participé avant de les congédier.

3. Protocole d’apprentissage en L2 mots

  1. Des enregistrements vidéo et audio de l’orateur et de l’interlocuteur afin que la production de paroles et de gestes pendant la tâche expérimentale puisse être analysée ultérieurement.
    1. Placez un microphone de table entre l’orateur et l’interlocuteur pour l’enregistrement audio. Placez une caméra vidéo sur le côté entre l’orateur et l’interlocuteur à un angle de 90° et assurez-vous qu’elle n’est pas visible par les participants.
    2. De plus, assurez-vous que l’orateur et l’interlocuteur sont englobés dans le champ de vision de la caméra vidéo et que l’écran de l’ordinateur n’est pas visible dans le champ de vision de la caméra vidéo afin de maintenir l’aveuglement à la condition dans laquelle les mots L2 sont présentés dans l’analyse.
  2. À l’aide d’un ordinateur, présentez un mot L2 de la langue cible à l’oral à l’aide d’écouteurs pour vous assurer qu’il est inaudible pour l’interlocuteur afin que celui-ci puisse ensuite l’enseigner à l’interlocuteur. En même temps, présentez soit une vidéo d’un locuteur L1 de la langue cible prononçant le mot L2 et produisant un geste de représentation transmettant son sens avec le texte du mot L2 en bas de l’écran, soit le mot L2 sous forme de texte au milieu de l’écran sans vidéo pour le locuteur.
  3. Après une pause de 500 ms, présentez la traduction L1 du mot L2 sous forme de texte au milieu de l’écran à l’orateur pendant 2000 ms.
  4. Demandez à l’explicateur d’enseigner le mot L2 et sa signification à l’interlocuteur par la parole et/ou le geste.
  5. Demandez à l’orateur d’appuyer sur un bouton pour passer à autre chose lorsque vous êtes prêt. Une fois que l’orateur l’a fait, présentez un autre mot L2. Répétez ce processus jusqu’à ce que les 20 mots L2 aient été présentés dans un ordre aléatoire.
  6. Testez individuellement les connaissances de l’orateur et de l’interlocuteur sur les mots L2 présentés dans la tâche expérimentale en présentant chaque mot L2 sous forme de texte et en les incitant à dire sa traduction L1 ou à sauter le mot s’ils ne se souviennent pas de sa traduction.

4. Protocole de narration de dessin animé

  1. Si le QI du participant n’a pas déjà été mesuré au moyen d’une évaluation de QI standardisée, administrez-en une pour vous assurer que son QI est de 85 ou plus.
  2. Des enregistrements vidéo et audio des participants afin que leur production de paroles et de gestes puisse être analysée ultérieurement. Placez un microphone de table devant le participant pour l’enregistrement audio. Placez une caméra d’un côté du participant à un angle de 90° et assurez-vous que la caméra n’est pas visible par le participant.
  3. Présentez la première moitié du dessin animé des Looney Tunes Canary Row au participant. Cette moitié du dessin animé contient plusieurs vignettes dans lesquelles Sylvester le chat tente et échoue à attraper l’oiseau Titi.
  4. Demandez au participant de raconter les événements de la première moitié de la bande dessinée à l’interlocuteur avec autant de détails qu’il peut s’en souvenir. Demandez à l’interlocuteur d’écouter le récit du participant, en l’incitant à en dire plus s’il est bref.
  5. Répétez les étapes 4.1. et 4.2. pour la seconde moitié de la vidéo de Canary Row, qui contient plusieurs autres vignettes dans lesquelles Sylvester le chat tente et échoue à attraper l’oiseau Titi.

5. Transcription et codage

REMARQUE : Pour minimiser les biais, dans la mesure du possible, transcrivez et codez les données à l’aveugle sans savoir quels participants et quels essais ont été assignés à quelles conditions. Idéalement, les transcripteurs et les codeurs ne devraient pas être impliqués dans la collecte de données.

  1. Transcrire tous les discours des participants orthographiquement à la main à l’aide d’un logiciel approprié selon un schéma normalisé, tel que CHAT47, pour produire un décompte de mots. Transcrivez toutes les informations verbales, telles que les remplissages et les corrections, mais ne transcrivez pas les pauses.
  2. Identifiez et codez tous les gestes des participants pour produire un décompte pour chaque type de geste. Identifiez les gestes d’un repos à l’autre et classez-les en quatre types en fonction de la taxonomie 2,3 de McNeill : iconique, métaphorique, rythmé et déictique. Notez que certains gestes peuvent être classés dans plusieurs types.
  3. Calculez le taux de gestes par cent mots en divisant le nombre de gestes de représentation par le nombre de mots et en le multipliant par 100 pour chaque vignette.
  4. Demandez à un codeur indépendant de coder les gestes des participants pour 25 % des données. Calculez le pourcentage d’accord pour les données codées par les deux codeurs et assurez-vous qu’il est d’au moins 80 % pour assurer une fiabilité inter-juges suffisante.

Résultats

Apprentissage des mots L2
Implémentation: Les résultats rapportés ci-dessous sont basés sur des données recueillies auprès de 52 participants en bonne santé (21 hommes, 31 femmes ; âge : M = 20,15, ET = 1,73, intervalle = 18-28) selon le protocole décrit ci-dessus. Tous les discours et gestes ont été codés par un codeur primaire, qui ne pouvait pas être aveugle aux conditions de visibilité, car les données de l’orateur et de l’interlocuteur ont été enregistrées à l’aide d’une seule caméra, comme décrit à l’étape 3.4. Pour établir la fiabilité inter-juges, un codeur secondaire a codé indépendamment tous les gestes produits par 6 paires sélectionnées au hasard (k = 389, 23,08 % des données). La concordance entre les évaluateurs primaires et secondaires était de 92 % pour identifier les gestes et de 90 % pour les catégoriser.

Vue d’ensemble des analyses : Dans les analyses suivantes, la production globale de gestes des locuteurs et des interlocuteurs et la production de différents types de gestes ont été comparées en fonction de la visibilité afin d’évaluer leur effet sur la communication des mots L2. En raison de l’irrégularité de la normalité et de l’asymétrie, des comparaisons basées sur la visibilité ont été effectuées à l’aide de tests U de Mann-Whitney non paramétriques, qui n’ont pas d’hypothèses basées sur la normalité et l’asymétrie. Plus précisément, des tests U de Mann-Whitney ont été utilisés pour déterminer si la probabilité que la production de gestes soit supérieure dans la condition visible que dans la condition non visible était égale à la probabilité que la production de gestes soit plus grande dans la condition non visible que dans la condition visible.

Résultats: Les tests U de Mann-Whitney ont révélé que les locuteurs primaires dont les interlocuteurs étaient visibles produisaient plus de gestes que les locuteurs primaires dont les interlocuteurs n’étaient pas visibles, U = 53, p = 0,02. Plus précisément, les locuteurs primaires avec des interlocuteurs visibles ont produit plus de gestes représentatifs, U = 30, p = 0,001, et déictiques, U = 52, p = 0,02, que les locuteurs primaires avec des interlocuteurs non visibles (voir Figure 1). La production de gestes de battement des locuteurs primaires ne différait pas significativement entre les conditions de visibilité, U = 82, n.s., bien qu’ils aient produit plus de ces gestes en présence d’interlocuteurs visibles que d’interlocuteurs non visibles. Bien que les interlocuteurs visibles par les locuteurs primaires aient également produit plus de gestes que les interlocuteurs non visibles par les locuteurs principaux, cette différence n’a pas atteint la signification, U = 89, n.s. Aucune des comparaisons entre différents types de gestes en fonction de la visibilité n’a atteint de signification pour les interlocuteurs, malgré le fait qu’ils produisaient plus de chaque type de geste en présence de locuteurs primaires visibles que non visibles. Ces résultats fournissent des preuves que les locuteurs primaires augmentent leur production de gestes représentatifs et déictiques en présence d’interlocuteurs visibles, alors que leurs interlocuteurs peuvent ne pas le faire.

Résultats de la relecture de dessins animés
Implémentation: Les résultats rapportés ci-dessous sont basés sur des données recueillies auprès de 41 participants adolescents, dont 18 ont reçu un diagnostic de TSA (15 hommes, 3 femmes ; âge : M = 15,17, ET = 2,75, intervalle = 10,44 - 19,49) et 23 d’entre eux étaient en développement typique (15 hommes, 6 femmes ; âge : M = 15,81, ET = 2,42, intervalle = 11,52-19,36). Les participants des deux groupes ont été appariés en fonction de l’âge chronologique, du sexe et du QI verbal. Tous les discours et gestes ont été codés par deux codeurs aveugles à la condition de visibilité et au diagnostic. Pour établir la fiabilité inter-juges, un codeur secondaire a codé indépendamment tous les gestes produits par 10 participants sélectionnés au hasard (24,3 % des données). La concordance entre les évaluateurs primaires et secondaires était de 98 % pour identifier les gestes et de 95,4 % pour les catégoriser.

Vue d’ensemble des analyses : Dans les analyses suivantes, la production globale de gestes et la production de différents types de gestes ont été comparées sur la base du diagnostic et de la visibilité afin d’évaluer leurs effets sur la communication. Plus précisément, des analyses bidirectionnelles de la variance ont été utilisées pour examiner les effets indépendants et interactifs du diagnostic (TSA par rapport à la DT) et de la visibilité (visible par rapport à non visible).

Résultats: Pour la production globale du geste, il n’y avait pas d’effet principal du diagnostic (F < 1). Cependant, nous avons trouvé une interaction du type de geste selon le diagnostic (F(3,117) = 0,74, p = 0,05, ηp2 = 0,07). Plus précisément, les adolescents atteints de TSA produisaient moins de gestes métaphoriques (M = 0,48 ; SD = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 et battre les gestes (M = 0,26 ; ET = 0,60, t(39) = 2,13, p = 0,04, d = 0,67) que les adolescents TD (métaphorique : M = 1,08 ; ET = 1,62 ; battement : M = 1,14 ; ET = 1,76). Aucune différence n’a été observée entre les adolescents atteints de TSA et de DT pour la production d’iconiques (TSA : M = 0,79 ; ET = 0,25 ; TD : M = 0,77 ; ET = 0,25 ; t < 1) ou déictique (DMA : M = 0,36 ; ET = 0,16 ; TD : M = 0,25 ; ET = 0,10 ; t<1) gestes. Les adolescents autistes et TD produisaient plus de gestes lorsqu’ils s’adressaient à un auditeur visible (M = 0,97 g/100 ; ET = 1,45) qu’un auditeur non visible (M = 0,36 g/100 ; ET = 0,83 ; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32 ; voir Figure 2). Cependant, la production globale de gestes n’a pas montré de diagnostic par interaction de visibilité de l’interlocuteur (F < 1). Pris ensemble, ces résultats indiquent que les adolescents atteints de TSA produisent différents types de gestes que leurs pairs TD, mais les adolescents atteints de TSA augmentent leur production de tous les types de gestes lorsqu’ils s’adressent à des interlocuteurs visibles, comme leurs pairs TD.

figure-results-1
Figure 1 : Production de gestes des locuteurs primaires et des interlocuteurs dans la tâche d’apprentissage de mots L2. Production de gestes des locuteurs primaires et des interlocuteurs par cent mots par condition de visibilité (les barres d’erreur représentent l’erreur standard). Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-2
Figure 2 : Production gestuelle d’adolescents TSA et TD par visibilité dans la tâche de narration de dessin animé. Production de différents types de gestes par cent mots chez les adolescents TSA et TD dans la condition (A) d’écoute visible et (B) condition d’écoute non visible (les barres d’erreur représentent l’erreur type). Cette figure a été modifiée avec la permission de Morett et al.21. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Discussion

Le protocole actuel manipule la visibilité du locuteur et de l’interlocuteur l’un par rapport à l’autre, donnant un aperçu de son impact sur la production gestuelle dans des circonstances difficiles : apprentissage des mots L2 et récit narratif par des adolescents atteints de TSA. Ce protocole peut être mis en œuvre en personne ou virtuellement, ce qui permet de manipuler la visibilité des participants et des interlocuteurs en tandem ou indépendamment. Il peut s’adapter à une grande variété de tâches expérimentales, de gestes et de populations, leur offrant la flexibilité nécessaire pour être mis en œuvre dans diverses circonstances où la communication est difficile et pour révéler de nombreuses façons dont la production de gestes est modifiée dans ces circonstances. Ainsi, en manipulant la visibilité de l’interlocuteur, le protocole actuel donne un aperçu de la façon dont le geste affecte la communication interpersonnelle dans les populations ayant des difficultés de communication.

Comme dans d’autres protocoles similaires utilisés avec des locuteurs adultes sains de L1 13,26,42,43, l’aspect le plus critique du protocole actuel est la manipulation de la visibilité des locuteurs et des interlocuteurs les uns par rapport aux autres. Étant donné que le protocole actuel a été mené en personne dans les deux études rapportées ici21,33, la visibilité a été manipulée en tandem, de sorte que les orateurs et les interlocuteurs étaient soit mutuellement visibles, soit non visibles l’un pour l’autre. Le protocole actuel peut facilement être adapté pour être mis en œuvre dans un contexte de vidéoconférence de sorte que la visibilité de l’orateur et de l’interlocuteur peut être manipulée indépendamment, ce qui permet de démêler les effets de la visibilité sur la production gestuelle par l’orateur et l’interlocuteur43. Un autre aspect critique du protocole actuel est sa nature dialogique, qui reflète des contextes conversationnels naturalistes grâce à l’inclusion d’un locuteur et d’un interlocuteur, conformément aux tâches interactives structurées précédentes utilisées pour examiner la production de gestes 11,12,17,18,19,20,22. Notamment, l’interlocuteur peut être soit un second participant, soit un assistant de recherche, selon que sa production gestuelle est intéressante ou non. Un dernier aspect critique du protocole actuel est de ne pas informer les participants de son accent sur la production de gestes et de s’assurer qu’ils ne savent pas qu’ils sont enregistrés sur vidéo avant que la tâche expérimentale ne soit terminée26,42. Bien que les participants aient été au courant de l’enregistrement vidéo dans certaines études utilisant des protocoles similaires 12,20,43, la production de gestes dans des protocoles tels que le protocole actuel est plus susceptible de se rapprocher de la production de gestes dans des contextes de conversation naturalistes lorsque les participants ne sont pas conscients que leurs gestes sont enregistrés.

L’une des grandes forces du protocole actuel est sa flexibilité en termes de tâches, de participants et de gestes. Bien que des tâches de narration narrative soient souvent utilisées en raison de leur efficacité à susciter des différences dans la production de gestes représentatifs dans des contextes en face à face26,42, la manipulation peut incorporer d’autres tâches pour susciter la production de gestes, telles que le paradigme d’apprentissage des mots L2 décrit ici33,48, ainsi que des entretiens11,12, une description d’image13,14, la résolution d’énigmes15,16, et disposition d’instruction 17,19,27. En raison de sa convivialité pour les participants, la manipulation de la visibilité de l’interlocuteur peut être utilisée avec des populations ayant des problèmes de communication, telles que les apprenants de L2 et les enfants atteints de troubles du spectre autistique, comme décrit ici, ainsi que les enfants et les adultes atteints de troubles spécifiques du langage, de bégaiement, de lésions cérébrales et d’aphasie. La manipulation de la visibilité de l’interlocuteur permet d’examiner les gestes représentatifs, rythmés et déictiques, ce qui permet de quantifier les différences dans leur production par la visibilité de l’interlocuteur à travers les populations. Enfin, bien que la manipulation de la visibilité de l’interlocuteur ait été développée à l’origine pour être utilisée dans un contexte de face à face, elle peut être mise en œuvre dans un contexte de vidéoconférence en allumant et en éteignant la webcam, ce qui permet une comparaison directe de la production de gestes lorsque la visibilité est manipulée dans des contextes de vidéoconférence et de face à face49, ainsi qu’un examen indépendant des effets de la visibilité de l’orateur principal et de l’interlocuteur sur la production de gestes43.

Bien que la manipulation de la visibilité de l’interlocuteur ait le potentiel de faire progresser la compréhension de la production de gestes dans des populations et des circonstances présentant des défis de communication en raison de sa convivialité et de sa flexibilité pour les participants, elle présente certaines limites. Dans son instanciation actuelle, il est mis en œuvre en personne, ce qui peut limiter le recrutement aux échantillons de commodité locaux. Cette limitation a été surmontée grâce à la mise en œuvre dans un contexte de vidéoconférence, mais à ce jour, elle n’a pas été mise en œuvre avec des populations ayant des difficultés de communication dans un contexte de vidéoconférence, de sorte que la mesure dans laquelle les résultats concernant la production de gestes dans ces populations se reproduisent dans ces contextes n’est pas claire à l’heure actuelle. Pour remédier à cette limitation, nous mettons actuellement en œuvre une version de la tâche de manipulation avec la tâche de récitage de dessin animé dans un contexte de vidéoconférence avec des anglophones de L1 en bonne santé, que nous prévoyons mettre en œuvre avec des personnes atteintes de TSA par la suite. Malgré l’accessibilité de la manipulation de la visibilité à un large éventail de participants potentiels ayant des problèmes de communication, les participants doivent être en mesure de mener à bien les tâches, ce qui les rend inaccessibles aux participants qui ne maîtrisent pas suffisamment la langue dans laquelle elles sont menées pour le faire. Bien que cette limitation puisse être résolue dans une certaine mesure par la simplification des tâches, la réduction des demandes de production vocale peut réduire la production de gestes, ce qui rend les différences de production de gestes plus difficiles à détecter en raison de la visibilité de l’interlocuteur.

Le protocole actuel représente la première mise en œuvre de la manipulation de la visibilité de l’interlocuteur auprès des populations ayant des difficultés de communication. Bien que la visibilité de l’interlocuteur ait déjà été manipulée pour examiner son effet sur la production de gestes chez de jeunes enfants en bonne santé26, qui peuvent avoir du mal à communiquer dans leur L1 d’anglais dans certains cas, ils ne connaissent pas le degré et la persistance des défis de communication que les apprenants de L2 débutants ou les adolescents atteints de TSA. Les résultats des études publiées précédemment et discutés dans la section des résultats représentatifs21,33 servent de preuve de concept que le protocole actuel peut révéler des similitudes et des différences dans la façon dont la visibilité de l’interlocuteur affecte la production de gestes dans ces populations, démontrant qu’ils peuvent être mis en œuvre avec des individus ayant des problèmes de communication plus importants et plus persistants que les jeunes enfants anglophones en bonne santé. À l’avenir, il sera fructueux de mettre en œuvre le protocole actuel auprès de populations ayant des problèmes de communication encore plus importants et persistants, tels que les personnes atteintes d’aphasie12,38, de troubles spécifiques du langage 35,36,37 ou de bégaiement 40,41 afin d’examiner l’impact de la manipulation de la visibilité de l’interlocuteur sur leur production de gestes.

Dans l’ensemble, les protocoles actuels fournissent un moyen d’examiner l’influence de la visibilité de l’interlocuteur sur la production gestuelle en présence de défis de communication lors de l’apprentissage de mots L2 et de la narration chez les personnes atteintes de TSA. Ce faisant, il donne un aperçu de la mesure dans laquelle la production gestuelle des individus ayant des difficultés de communication répond aux besoins de l’interlocuteur, révélant dans quelle mesure les individus ayant des problèmes de communication s’engagent dans la prise de perspective pendant la communication. La manipulation de la visibilité de l’interlocuteur offre la flexibilité nécessaire pour examiner cette question ainsi que d’autres questions théoriques importantes concernant la production de gestes avec diverses tâches, populations et types de gestes dans des contextes virtuels et en face à face, révélant dans quelle mesure les résultats sont généralisables et reproductibles et donnant un aperçu des situations dans lesquelles des différences individuelles dans la production de gestes peuvent être observées. Ainsi, la manipulation de la visibilité de l’interlocuteur a le potentiel de faire progresser la compréhension de la production gestuelle dans des circonstances de communication difficiles dans des contextes en face à face et virtuels.

Déclarations de divulgation

L’auteur n’a aucun intérêt financier concurrent à déclarer.

Remerciements

Le développement et la validation du protocole d’apprentissage des mots L2 ont été soutenus par une bourse d’études supérieures en sciences et ingénierie de la défense nationale (NDSEG) (32 CFR 168a) émise par le Bureau de la recherche scientifique de l’armée de l’air du ministère de la Défense des États-Unis. Le développement et la validation du protocole de narration de dessins animés avec des adolescents atteints de TSA ont été soutenus par un prix Ruth S. Kirschstein Institutional National Research Service Award (T32) des National Institutes of Mental Health. L’auteur remercie Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo et Marco Pilotta pour leur aide dans la collecte de données et le codage.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
OrdinateurAppleZ13124" iMac, processeur 8 cœurs & GPU, puce M3
Conférence Microphone USBTonorB07GVGMW59
ELANThe Language Archivelogicielle utilisée pour transcrire la parole et les gestes
Enregistreur vidéoVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X zoom numérique 3 » Enregistreur vidéo à écran tactile 3 » avec contrôle de renote et trépied
Weschler Échelle abrégée de l’intelligencePearson158981561Utilisé pour vérifier le QI à grande échelle &ge ; 80 dans Morett et al. (2016)
Application

Références

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Réimpressions et autorisations

Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE

Demander une autorisation

Mots-clés

Gestes de la mainCommunication interpersonnelleApprenants d une seconde langueTrouble du spectre de l autismeCommunication face faceCommunication virtuelleOculom trieM canismes neuraux

Articles connexes