Artículo de método

Examinando la producción de gestos en presencia de desafíos de comunicación

1.5K vistas

⸱

DOI:

10.3791/66256

⸱

26 de enero de 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

En este artículo

Resumen

Aquí, presentamos un protocolo que manipula la visibilidad del interlocutor para examinar su impacto en la producción de gestos en la comunicación interpersonal. Este protocolo es flexible a las tareas implementadas, los gestos examinados y la modalidad de comunicación. Es ideal para poblaciones con problemas de comunicación, como los estudiantes de un segundo idioma y las personas con trastorno del espectro autista.

Resumen

Comprender por qué los hablantes modifican sus gestos con las manos al hablar con los interlocutores proporciona información valiosa sobre cómo estos gestos contribuyen a la comunicación interpersonal en contextos presenciales y virtuales. Los protocolos actuales manipulan la visibilidad de los hablantes y sus interlocutores en conjunto en un contexto cara a cara para examinar el impacto de la visibilidad en la producción de gestos cuando la comunicación es difícil. En estos protocolos, los hablantes completan tareas como enseñar palabras de un segundo idioma desconocido o contar los eventos de viñetas de dibujos animados a un interlocutor que es otro participante o un cómplice. Al realizar estas tareas, los hablantes son visibles o no visibles para su interlocutor, y el hablante es visible o no visible para el participante. En la tarea de aprendizaje de palabras, los hablantes e interlocutores visibles entre sí producen más gestos representativos, que transmiten significado a través de la forma de la mano y el movimiento, y gestos deícticos (señalando) que los hablantes e interlocutores que no son visibles entre sí. En el protocolo de narración de historias, los adolescentes con trastorno del espectro autista (TEA) produjeron más gestos al hablar con interlocutores visibles que cuando no lo hicieron. Una de las principales fortalezas del protocolo actual es su flexibilidad en términos de las tareas, poblaciones y gestos examinados, y el protocolo actual se puede implementar tanto en videoconferencias como en contextos presenciales. Por lo tanto, el protocolo actual tiene el potencial de avanzar en la comprensión de la producción de gestos al dilucidar su papel en la comunicación interpersonal en poblaciones con desafíos de comunicación.

Introducción

Los gestos de co-habla (hasta ahora, gestos) -movimientos significativos de las manos producidos simultáneamente con el habla- contribuyen a la comunicación interpersonal al transmitir información que complementa el contenido verbal1. De acuerdo con la taxonomía más utilizada 2,3, los gestos se pueden dividir en tres categorías: gestos representativos, que transmiten referentes a través de su forma y movimiento (por ejemplo, aletear las manos hacia adelante y hacia atrás para transmitir volar); gestos de ritmo, que transmiten énfasis a través de movimientos punteados simples (por ejemplo, mover la mano dominante ligeramente hacia abajo junto con cada palabra en la frase "ahora mismo"); y los gestos deícticos, que llaman la atención sobre la presencia o ausencia de una entidad a través del señalamiento (por ejemplo, balancear el pulgar hacia atrás para indicar algo detrás de uno mismo). Los gestos representacionales pueden dividirse a su vez en dos categorías adicionales: gestos icónicos, que transmiten referentes concretos (por ejemplo, un pájaro), y gestos metafóricos, que transmiten referentes metafóricos (por ejemplo, éxtasis). Debido a que el gesto y el habla surgen del mismo contenido conceptual, están estrechamente relacionados en el significado 4,5. Al servir como un medio visual icónico para la comunicación, los gestos pueden ayudar a compensar cuando surgen desafíos en la comprensión del lenguaje hablado6, ya sea debido a factores individuales como el dominio limitado del idioma hablado 7,8 o factores ambientales como la dificultad para escuchar el habla 9,10. Por lo tanto, los gestos son fundamentales para comprender la comunicación interpersonal en contextos presenciales y virtuales, ya que proporcionan información sobre cómo los hablantes y los oyentes transmiten y comprenden la información de forma multimodal.

Se han desarrollado varias tareas interactivas estructuradas para medir cómo afecta el gesto a la comunicación interpersonal. Estas tareas incluyen entrevistas, en las que los participantes responden a las preguntas describiendo sus experiencias personales11,12; descripción de la imagen, en la que se presenta a los participantes una imagen estática para describir13,14; resolución de acertijos, en el que los participantes describen cómo resolver un rompecabezas orientando espacialmente los componentes correctamente15,16; provisión de dirección, en la que se instruye a los participantes para que den indicaciones para llegar a un lugar desconocido para los oyentes 17,18,19; y el relato narrativo, en el que los participantes ven una caricatura que representa una secuencia de eventos y posteriormente los vuelven a contar 20,21,22. Muchas de las tareas empleadas en los estudios citados anteriormente incorporan contenido espacial y acción, que el gesto transmite con particular eficacia 15,23,24,25. En las tareas de los estudios citados anteriormente, los participantes suelen producir gestos en conjunción con el lenguaje, y se evalúa la información transmitida a través del gesto y su relación con el lenguaje producido simultáneamente. Alternativamente, los participantes pueden ver una grabación de alguien gesticulando (o no gesticulando) y produciendo lenguaje al completar una de estas tareas, después de lo cual se evalúa la comprensión de los participantes. Todas estas tareas pueden llevarse a cabo tanto de forma virtual como presencial, lo que permite la recopilación de datos de una amplia gama de participantes y la comparación entre modalidades.

El impacto de los gestos en la comunicación interpersonal se ha implementado con una amplia gama de participantes. De particular interés han sido las poblaciones con problemas de comunicación, incluidos los niños pequeños 26,27,28,29,30, los usuarios de un segundo idioma (L2) 8,31,32,33, las personas con trastorno del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)21,22,34, las personas con trastornos del espectro autista (TEA)21,22,34, las personas con discapacidades específicas. trastorno del lenguaje 35,36,37, personas con afasia 12,38, personas con lesión cerebral39 y personas que tartamudean40,41. Este trabajo ha revelado que, si bien muchas de estas poblaciones pueden utilizar gestos para facilitar la comunicación, algunas, como las personas con trastorno del espectro autista, pueden tener dificultades para aprovechar los gestos para comunicarse de manera efectiva. Los hallazgos sugieren que esto puede deberse a la medida en que estas poblaciones tienen en cuenta el diseño de la audiencia y las señales ambientales, destacando las implicaciones prácticas de estas explicaciones para el impacto de los gestos en la comunicación.

Una característica clave que proporciona información sobre el impacto de los gestos en la comunicación interpersonal es la visibilidad del interlocutor. Una cuestión de gran importancia en el campo de la investigación de los gestos es hasta qué punto los participantes gesticulan para su propio beneficio, lo que indica la descarga de las operaciones cognitivas en el cuerpo, frente al beneficio de sus interlocutores, lo que indica el uso del gesto para comunicarse. Esta cuestión se ha investigado examinando el impacto de la (no)visibilidad del interlocutor en la producción de gestos en contextos cara a cara mediante el uso de una partición opaca26,42, así como en contextos telefónicos13 y virtuales43. En general, los resultados de este trabajo indican que, aunque los hablantes gesticulan para su propio beneficio, producen más gestos representacionales cuando se comunican con interlocutores visibles que con interlocutores no visibles, mientras que la producción de gestos de ritmo es similar independientemente de la visibilidad del interlocutor. Por lo tanto, sugieren que el gesto representacional facilita la comunicación en una variedad de contextos, sugiriendo que los hablantes tengan en cuenta la perspectiva de sus interlocutores y modifiquen su producción de gestos en consecuencia. Aunque investigaciones anteriores que examinan el efecto de la visibilidad del interlocutor han sido fundamentales para proporcionar información sobre las contribuciones del gesto a la comunicación interpersonal, se han centrado en el inglés como primera lengua (L1) en poblaciones con desarrollo típico, por lo que no está claro si los hallazgos pueden extenderse a poblaciones con problemas de comunicación. Dos de estas poblaciones son los estudiantes de L2, que pueden tener dificultades para comunicarse a través del habla en el idioma objetivo, y los niños con TEA, cuya comunicación verbal y no verbal es anormal. Además, pocas investigaciones han examinado el impacto de la visibilidad del interlocutor en la producción de gestos en contextos virtuales, lo que permite desvincular el efecto de la visibilidad del interlocutor sobre el participante del efecto de la visibilidad del participante para el interlocutor, por lo que la replicabilidad de los hallazgos de estos contextos no está clara actualmente. Por último, algunas investigaciones se han centrado en el impacto de la visibilidad del interlocutor en la producción de tipos específicos de gestos, por lo que no está claro si la producción de otros tipos de gestos se ve afectada de manera similar por la visibilidad del interlocutor.

Los protocolos que se describen a continuación manipulan la visibilidad del interlocutor para examinar la producción de gestos en circunstancias difíciles: aprendizaje de palabras en L2 y narración de historias por parte de personas con TEA. El protocolo de aprendizaje de palabras en L2 une la investigación que examina el impacto de la observación de gestos en el aprendizaje de palabras en L2 con la investigación que examina la contribución de los gestos a la comunicación a través de un paradigma interactivo de aprendizaje de palabras. En este paradigma, los participantes que no están familiarizados con la lengua meta aprenden palabras en ella y luego enseñan estas palabras a otros participantes que no están familiarizados con la lengua meta, lo que permite examinar el impacto de la visibilidad del interlocutor en la producción de gestos en las primeras etapas de la adquisición de L2 en un contexto conversacional. El paradigma del relato de dibujos animados emplea una tarea narrativa de recuento ampliamente utilizada en la que se han observado diferencias en la producción de gestos cuando se manipula la visibilidad del interlocutor con una nueva población: los adolescentes con TEA. Esta población es de interés porque el desarrollo del lenguaje, incluida la producción de gestos, es maduro en la adolescencia, y el TEA implica dificultades con la comunicación verbal y no verbal, incluidos los gestos, así como una falta de sensibilidad a las necesidades comunicativas de los interlocutores. En conjunto, estos protocolos proporcionan información sobre hasta qué punto la producción de gestos depende del habla y, por el contrario, puede compensarlo cuando la comunicación interpersonal es un desafío.

Sobre la base de los hallazgos que demuestran cómo la visibilidad del oyente afecta la producción de gestos por parte de los hablantes de inglés L1 13,26,42,43, se planteó la hipótesis de que los participantes producirían más gestos generales y más gestos representativos cuando discutieran palabras L2 con un interlocutor visible que con un interlocutor no visible. Sobre la base de los hallazgos que demuestran anormalidades en la producción de gestos en el TEA20,44, se planteó la hipótesis de que los adolescentes con TEA producirían menos gestos en general, así como menos gestos representativos y deícticos que los adolescentes con desarrollo típico (TD). Además, a partir de los hallazgos que muestran que el TEA conlleva dificultades para tomar perspectiva45, se planteó la hipótesis de que la producción de gestos por parte de los adolescentes con TEA no diferiría significativamente en presencia de interlocutores visibles y no visibles. Por último, se predijo una interacción entre el diagnóstico y la visibilidad, de modo que la producción de gestos no difiere en la visibilidad para los adolescentes con TEA, pero sí para los adolescentes con TD.

Protocolo

Todos los participantes dieron su consentimiento por escrito, y todos los protocolos fueron aprobados por las Juntas de Revisión Institucional de la institución anfitriona. Los protocolos de aprendizaje de palabras en L2 y narración de dibujos animados fueron implementados en los estudios en los que se basan los resultados representativos21,33. Aunque hasta la fecha estos protocolos solo se han llevado a cabo en contextos presenciales, actualmente se está llevando a cabo un protocolo relacionado que manipula la visibilidad del interlocutor y del participante de forma independiente y que no se describe aquí para proporcionar información sobre la replicabilidad en este contexto, con planes para expandirlo a poblaciones con desafíos de comunicación, como las personas con TEA.

1. Participantes

NOTA: Al mismo tiempo que se respetan las limitaciones necesarias sobre las características de los participantes para cada estudio, las muestras deben ser representativas de la población más grande en la medida de lo posible.

  1. Reclutamiento de participantes para el protocolo de aprendizaje de palabras L2
    1. Reclutar participantes de 18 años o más con visión normal o corregida a normal y audición normal que sean hablantes de inglés L1. Para garantizar que el estudio examine el impacto de los gestos en el aprendizaje de palabras L2 en la etapa inicial, reclute a participantes sin ningún conocimiento de húngaro, el idioma meta.
  2. Reclutamiento de participantes para el protocolo de recuento de dibujos animados
    1. Reclutar participantes de una edad capaz de completar la tarea experimental (10-20 años de edad en Morett et al.21.) con diagnóstico de TEA o que presenten un desarrollo típico (TD).
      1. Para garantizar que los participantes puedan completar la tarea experimental con éxito, reclute participantes que sean hablantes de inglés L1, que tengan una visión y una audición normales o corregidas a normales, y que tengan un coeficiente intelectual de 85 o más, medido antes o en el momento del estudio a través de una evaluación estandarizada46.
      2. Para asegurarse de que el estudio examine los efectos específicos del TEA en la producción de gestos, reclute participantes con TEA sin epilepsia, meningitis, encefalitis, diabetes, trastorno desintegrativo infantil o trastorno generalizado del desarrollo no especificado (PDD-NOS).
      3. Para garantizar que la producción de gestos en el TEA pueda compararse con la producción de gestos típica, reclute participantes con TD sin trastornos psiquiátricos comórbidos o familiares de primer grado diagnosticados con trastornos generalizados del desarrollo.

2. Visión general de la manipulación de la visibilidad

  1. Reclute a los participantes en parejas si se examinan los efectos de producir y observar gestos espontáneos, como en el protocolo de aprendizaje de palabras L2. Reclute a los participantes individualmente en coordinación con un asistente de investigación que actúe como participante si solo se examinan los efectos de producir gestos espontáneos, como en el protocolo de recuento de dibujos animados.
  2. Proporcionar un formulario de consentimiento informado con información sobre el estudio a los participantes para que lo firmen y respondan cualquier pregunta al respecto, teniendo cuidado de no revelar el enfoque del estudio en la producción de gestos. Recoja el formulario después de que los participantes lo hayan firmado.
  3. Para los participantes reclutados en parejas, utilice un método de selección como el lanzamiento de una moneda para determinar qué participante actuará como orador, quién hablará más en la tarea experimental y qué participante actuará como interlocutor, quién escuchará la mayor parte y ocasionalmente interactuará con el orador en la tarea experimental. En el caso de los participantes reclutados individualmente con un asistente de investigación que actúe como participante, utilice un método de selección fijo, como el lanzamiento de una moneda amañado, para asegurarse de que el participante siempre actúe como orador y que el asistente de investigación siempre actúe como interlocutor.
  4. En la mitad de las sesiones experimentales, coloque un separador opaco entre el orador y el interlocutor para asegurarse de que no puedan verse la cara o las manos del otro.
  5. Explique a los participantes lo que harán en la tarea experimental y responda cualquier pregunta al respecto. Informar a los participantes que su discurso será grabado en audio, señalando el micrófono utilizado para tal fin. Para evitar cualquier efecto de la conciencia de la grabación de vídeo en la producción de gestos, no informe a los participantes de que serán grabados en vídeo y asegúrese de que la cámara de vídeo utilizada para este fin no sea visible para los participantes.
  6. Inicie la grabación de vídeo y audio pulsando los botones correspondientes. Implemente la tarea experimental para obtener el habla y los gestos del hablante y del interlocutor participante, si lo hay.
  7. Si se emplea un diseño dentro de los participantes, elimine el divisor opaco si se usa en la primera iteración o colóquelo entre el hablante y el interlocutor si no se usa en la primera iteración.
  8. Repita la tarea experimental según sea necesario hasta que se hayan agotado todos los estímulos.
  9. Detenga la grabación de vídeo y audio pulsando los botones correspondientes. Informe a los participantes que el estudio se centró en los gestos y que fueron grabados en video y ofrezca eliminar sus videos antes del análisis de datos si lo desean.
  10. Responda a las preguntas de los participantes y agradézcales por participar antes de despedirlos.

3. Protocolo de aprendizaje de palabras L2

  1. El vídeo y el audio graban al hablante y al interlocutor para que la producción del habla y los gestos durante la tarea experimental pueda ser analizada posteriormente.
    1. Coloque un micrófono de mesa entre el orador y el interlocutor para la grabación de audio. Coloque una cámara de vídeo a un lado entre el orador y el interlocutor en un ángulo de 90° y asegúrese de que no sea visible para los participantes.
    2. Además, asegúrese de que tanto el hablante como el interlocutor estén incluidos dentro del alcance de la cámara de video y que la pantalla de la computadora no sea visible en el alcance de la cámara de video para mantener la ceguera a la condición en la que se presentan las palabras L2 en el análisis.
  2. Usando una computadora, presente una palabra L2 del idioma de destino auditivamente al hablante a través de auriculares para asegurarse de que sea inaudible para el interlocutor para que el hablante pueda enseñársela posteriormente al interlocutor. Al mismo tiempo, presente un video de un hablante de L1 de la lengua meta diciendo la palabra L2 y produciendo un gesto representacional que transmita su significado con el texto de la palabra L2 en la parte inferior de la pantalla o la palabra L2 como texto en el centro de la pantalla sin un video para el hablante.
  3. Después de una pausa de 500 ms, presente la traducción L1 de la palabra L2 como texto en el centro de la pantalla al altavoz durante 2000 ms.
  4. Pida a la persona que explica que enseñe la palabra L2 y su significado al interlocutor a través del habla y/o el gesto.
  5. Indique al altavoz que presione un botón para continuar cuando esté listo. Después de que el orador lo haga, presente otra palabra L2. Repita este proceso hasta que las 20 palabras L2 se hayan presentado en orden aleatorio.
  6. Evalúe individualmente el conocimiento del hablante y del interlocutor sobre las palabras L2 presentadas en la tarea experimental presentando cada palabra L2 como texto e incitándoles a decir su traducción en L1 o a omitir la palabra si no recuerdan su traducción.

4. Protocolo de recuento de dibujos animados

  1. Si el coeficiente intelectual del participante no se ha medido previamente a través de una evaluación de coeficiente intelectual estandarizada, administre una para asegurarse de que su coeficiente intelectual sea de 85 o más.
  2. El vídeo y el audio graban a los participantes para que su producción de habla y gestos pueda ser analizada posteriormente. Coloque un micrófono de mesa frente al participante para la grabación de audio. Coloque una cámara a un lado del participante en un ángulo de 90° y asegúrese de que la cámara no sea visible para el participante.
  3. Presente la primera mitad de la caricatura de los Looney Tunes Canary Row al participante. Esta mitad de la caricatura contiene varias viñetas en las que el gato Sylvester intenta y no logra atrapar al pájaro Piolín.
  4. Pida al participante que vuelva a contar los acontecimientos de la primera mitad de la caricatura al interlocutor con el mayor detalle que pueda recordar. Indique al interlocutor que escuche el relato del participante, incitando al participante a decir más si es breve.
  5. Repita los pasos 4.1. y 4.2. para la segunda mitad del video de Canary Row, que contiene varias viñetas más en las que el gato Sylvester intenta y no logra atrapar al pájaro Piolín.

5. Transcripción y codificación

NOTA: Para minimizar el sesgo, cuando sea posible, transcriba y codifique los datos a ciegas sin saber qué participantes y ensayos se asignaron a qué condiciones. Idealmente, los transcriptores y codificadores no deberían participar en la recopilación de datos.

  1. Transcriba todo el discurso de los participantes ortográficamente a mano utilizando el software adecuado de acuerdo con un esquema estandarizado, como CHAT47, para producir un recuento de palabras. Transcriba toda la información verbal, como muletillas y correcciones, pero no transcriba las pausas.
  2. Identifique y codifique todos los gestos de los participantes para producir un recuento para cada tipo de gesto. Identifique los gestos de reposo a reposo y clasifíquelos en cuatro tipos según la taxonomía 2,3 de McNeill: icónico, metafórico, beat y deíctico. Tenga en cuenta que algunos gestos pueden clasificarse como más de un tipo.
  3. Calcula la tasa de gestos por cada cien palabras dividiendo el número de gestos representativos por el número de palabras y multiplicándolo por 100 para cada viñeta.
  4. Hacer que un participante de código de codificador independiente haga gestos para el 25% de los datos. Calcule el porcentaje de concordancia para los datos codificados por ambos codificadores y asegúrese de que sea al menos del 80% para garantizar una fiabilidad suficiente entre evaluadores.

Resultados

Aprendizaje de palabras L2
Implementación: Los resultados que se informan a continuación se basan en datos recopilados de 52 participantes sanos (21 hombres, 31 mujeres; edad: M = 20.15, SD = 1.73, rango = 18-28) de acuerdo con el protocolo descrito anteriormente. Todos los signos y gestos fueron codificados por un codificador primario, que no podía ser ciego a la condición de visibilidad, ya que los datos tanto del hablante como del interlocutor se registraron utilizando una sola cámara, como se describe en el paso 3.4. Para establecer la fiabilidad entre evaluadores, un codificador secundario codificó de forma independiente todos los gestos producidos por 6 pares seleccionados al azar (k = 389, 23,08% de los datos). La concordancia entre los evaluadores primarios y secundarios fue del 92% en la identificación de gestos y del 90% en la categorización.

Resumen de los análisis: En los siguientes análisis, se comparó la producción general de gestos de los hablantes e interlocutores y la producción de diferentes tipos de gestos en función de la visibilidad para medir su efecto en la comunicación de las palabras L2. Debido a la irregularidad de la normalidad y la asimetría, las comparaciones basadas en la visibilidad se realizaron utilizando pruebas U de Mann-Whitney no paramétricas, que no tienen supuestos basados en la normalidad y la asimetría. Más específicamente, se utilizaron las pruebas U de Mann-Whitney para determinar si la probabilidad de que la producción de gestos fuera mayor en la condición visible que en la condición no visible era igual a la probabilidad de que la producción de gestos fuera mayor en la condición no visible que en la condición visible.

Resultados: Las pruebas U de Mann-Whitney revelaron que los hablantes primarios cuyos interlocutores eran visibles producían más gestos que los hablantes primarios cuyos interlocutores no eran visibles, U = 53, p = 0,02. En concreto, los hablantes primarios con interlocutores visibles produjeron más gestos representativos ( U = 30, p = 0,001) y deícticos ( U = 52, p = 0,02) que los hablantes primarios con interlocutores no visibles (véase la Figura 1). La producción de gestos de ritmo de los hablantes primarios no difirió significativamente entre las condiciones de visibilidad, U = 82, n.s., aunque produjeron más de estos gestos en presencia de interlocutores visibles que no visibles. Aunque los interlocutores visibles para los hablantes primarios también produjeron más gestos que los interlocutores no visibles para los hablantes primarios, esta diferencia no alcanzó significación, U = 89, n.s. Ninguna de las comparaciones entre los diferentes tipos de gestos en función de la visibilidad alcanzó significación para los interlocutores, a pesar de que produjeron más de todo tipo de gestos en presencia de hablantes primarios visibles que no visibles. Estos hallazgos proporcionan evidencia de que los hablantes primarios aumentan su producción de gestos representacionales y deícticos en presencia de interlocutores visibles, mientras que sus interlocutores pueden no hacerlo.

Resultados de la repetición de dibujos animados
Implementación: Los resultados que se presentan a continuación se basan en los datos recopilados de 41 participantes adolescentes, 18 de los cuales fueron diagnosticados con TEA (15 hombres, 3 mujeres; edad: M = 15,17, SD = 2,75, rango = 10,44 - 19,49) y 23 de los cuales tenían un desarrollo típico (15 hombres, 6 mujeres; edad: M = 15,81, SD = 2,42, rango = 11,52-19,36). Los participantes de ambos grupos fueron emparejados según la edad cronológica, el sexo y el coeficiente intelectual verbal. Todo el habla y los gestos fueron codificados por dos codificadores ciegos a la visibilidad, la condición y el diagnóstico. Para establecer la fiabilidad entre evaluadores, un codificador secundario codificó de forma independiente todos los gestos producidos por 10 participantes seleccionados al azar (24,3% de los datos). La concordancia entre los evaluadores primarios y secundarios fue del 98% en la identificación de gestos y del 95,4% en la categorización.

Resumen de los análisis: En los siguientes análisis, se comparó la producción general de gestos y la producción de diferentes tipos de gestos a partir del diagnóstico y la visibilidad para medir sus efectos en la comunicación. Específicamente, se emplearon análisis de varianza de dos vías para examinar los efectos independientes e interactivos del diagnóstico (TEA vs. TD) y la visibilidad (visible vs. no visible).

Resultados: Para la producción general de gestos, no hubo un efecto principal del diagnóstico (F < 1). Sin embargo, encontramos una interacción del tipo de gesto por diagnóstico (F(3,117) = 0,74, p = 0,05, η p2 = 0,07). En concreto, los adolescentes con TEA produjeron menos gestos metafóricos (M = 0,48; SD = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 y gestos de ritmo (M = 0,26; DE = 0,60, t(39) = 2,13, p = 0,04, d = 0,67) que los adolescentes TD (metafórico: M = 1,08; DE = 1,62; latido: M = 1,14; DE = 1,76). No se encontraron diferencias entre los adolescentes con TEA y TD para la producción de TEA icónica (TEA: M = 0,79; DE = 0,25; TD: M = 0,77; DE = 0,25; t < 1) o deíctico (ASD: M = 0,36; DE = 0,16; TD: M = 0,25; DE = 0,10; T<1) gestos. Tanto los adolescentes con TEA como con TD produjeron más gestos al hablar con un oyente visible (M = 0,97 g/100; DE = 1,45) que un oyente no visible (M = 0,36 g/100; DE = 0,83; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32; véase la figura 2). Sin embargo, la producción general de gestos no mostró un diagnóstico por la interacción de visibilidad del interlocutor (F < 1). En conjunto, estos resultados indican que los adolescentes con TEA producen diferentes tipos de gestos que sus compañeros con TD, pero los adolescentes con TEA aumentan su producción de todo tipo de gestos cuando hablan con interlocutores visibles, como sus compañeros con TD.

figure-results-1
Figura 1: Producción de gestos de hablantes e interlocutores primarios en la tarea de aprendizaje de palabras L2. Producción de gestos de hablantes principales e interlocutores por cada cien palabras por condición de visibilidad (las barras de error representan el error estándar). Haga clic aquí para ver una versión más grande de esta figura.

figure-results-2
Figura 2: Producción de gestos de adolescentes con TEA y TD por visibilidad en la tarea de recuento de dibujos animados. Producción de diferentes tipos de gestos por cada cien palabras por adolescentes con TEA y TD en la condición (A) de oyente visible y (B) condición de oyente no visible (las barras de error representan el error estándar). Esta figura ha sido modificada con permiso de Morett et al.21. Haga clic aquí para ver una versión más grande de esta figura.

Discusión

El protocolo actual manipula la visibilidad del hablante y del interlocutor entre sí, proporcionando información sobre su impacto en la producción de gestos en circunstancias difíciles: el aprendizaje de palabras en L2 y la narración de historias por parte de adolescentes con TEA. Este protocolo puede implementarse de forma presencial o virtual, permitiendo manipular la visibilidad de participantes e interlocutores de forma conjunta o independiente. Puede acomodar una amplia variedad de tareas, gestos y poblaciones experimentales, proporcionándoles la flexibilidad para ser implementados en diversas circunstancias en las que la comunicación es desafiante y para revelar numerosas formas en que la producción de gestos se altera dentro de estas circunstancias. Por lo tanto, al manipular la visibilidad del interlocutor, el protocolo actual proporciona información sobre cómo el gesto afecta la comunicación interpersonal en poblaciones con desafíos de comunicación.

Al igual que en otros protocolos similares utilizados con hablantes adultos sanos de L1 13,26,42,43, el aspecto más crítico del protocolo actual es la manipulación de la visibilidad de los hablantes e interlocutores entre sí. Debido a que el protocolo actual se llevó a cabo en persona en ambos estudios reportados aquí21,33, la visibilidad se manipuló en conjunto, de modo que los hablantes y los interlocutores eran mutuamente visibles o no visibles entre sí. El protocolo actual puede adaptarse fácilmente para su aplicación en un contexto de videoconferencia, de modo que la visibilidad del hablante y del interlocutor pueda manipularse de forma independiente, lo que permite desentrañar los efectos de la visibilidad en la producción de gestos por parte del hablante y del interlocutor43. Otro aspecto crítico del protocolo actual es su naturaleza dialógica, que refleja contextos conversacionales naturalistas a través de la inclusión de un hablante y un interlocutor, en consonancia con las tareas interactivas estructuradas previas utilizadas para examinar la producción de gestos 11,12,17,18,19,20,22. En particular, el interlocutor puede ser un segundo participante o un asistente de investigación, dependiendo de si su producción de gestos es de interés. Un último aspecto crítico del protocolo actual es no informar a los participantes de su enfoque en la producción de gestos y asegurarse de que no sean conscientes de que están siendo grabados en video hasta después de que se complete la tarea experimental26,42. Aunque los participantes han sido conscientes de la grabación de vídeo en algunos estudios que utilizan protocolos similares 12,20,43, la producción de gestos en protocolos como el actual es más probable que se aproxime a la producción de gestos en entornos conversacionales naturalistas cuando los participantes no son conscientes de que sus gestos están siendo grabados.

Una de las principales fortalezas del protocolo actual es su flexibilidad en términos de tareas, participantes y gestos. Aunque las tareas de narración se utilizan a menudo dada su eficacia para provocar diferencias en la producción de gestos representacionales en contextos cara a cara26,42, la manipulación puede incorporar otras tareas para provocar la producción de gestos, como el paradigma de aprendizaje de palabras L2 descrito aquí33,48, así como entrevistas 11,12, descripción de imágenes13,14, resolución de acertijos15,16, y la disposición de dirección 17,19,27. Debido a su facilidad de uso para los participantes, la manipulación de la visibilidad del interlocutor se puede utilizar con poblaciones con problemas de comunicación, como los estudiantes de L2 y los niños con trastorno del espectro autista, como se describe aquí, así como con niños y adultos con discapacidad específica del lenguaje, tartamudez, lesión cerebral y afasia. La manipulación de la visibilidad del interlocutor permite el examen de los gestos representacionales, beatos y deícticos, lo que permite cuantificar las diferencias en su producción por la visibilidad del interlocutor entre las poblaciones. Por último, aunque la manipulación de la visibilidad del interlocutor se desarrolló originalmente para su uso en un contexto cara a cara, puede implementarse en un contexto de videoconferencia encendiendo y apagando la cámara web, lo que permite la comparación directa de la producción de gestos cuando se manipula la visibilidad en contextos de videoconferencia y cara a cara49, así como un examen independiente de los efectos de la visibilidad del hablante principal y del interlocutor en la producción de gestos43.

Aunque la manipulación de la visibilidad del interlocutor tiene el potencial de avanzar en la comprensión de la producción de gestos en poblaciones y circunstancias con desafíos de comunicación debido a su facilidad de uso y flexibilidad para los participantes, tiene algunas limitaciones. En su instanciación actual, se implementa en persona, lo que puede limitar el reclutamiento a muestras de conveniencia locales. Esta limitación se ha superado mediante la implementación en un contexto de videoconferencia, pero hasta la fecha, no se ha implementado con poblaciones con desafíos de comunicación en un contexto de videoconferencia, por lo que actualmente no está claro hasta qué punto los hallazgos sobre la producción de gestos en estas poblaciones se replican en estos contextos. Para abordar esta limitación, actualmente estamos implementando una versión de la manipulación con la tarea de recuento de dibujos animados en un contexto de videoconferencia con hablantes sanos de inglés L1, que planeamos implementar con personas con TEA posteriormente. A pesar de la accesibilidad de la manipulación de la visibilidad a una amplia gama de participantes potenciales con problemas de comunicación, los participantes deben ser capaces de completar las tareas con éxito, lo que las hace inaccesibles para los participantes que carecen de un dominio suficiente del idioma en el que se les lleva a cabo para hacerlo. Aunque esta limitación puede abordarse hasta cierto punto a través de la simplificación de tareas, la reducción de las demandas de producción de voz puede reducir la producción de gestos, lo que hace que las diferencias en la producción de gestos sean más difíciles de detectar debido a la visibilidad del interlocutor.

El protocolo actual representa la primera implementación de la manipulación de la visibilidad del interlocutor con poblaciones con problemas de comunicación. Aunque la visibilidad del interlocutor ha sido manipulada previamente para examinar su efecto en la producción de gestos en niños pequeños sanos26, que pueden tener dificultades para comunicarse en su L1 de inglés en algunos casos, no experimentan el grado y la persistencia de los desafíos de comunicación que experimentan los estudiantes principiantes de L2 o los adolescentes con TEA. Los hallazgos de los estudios publicados anteriormente discutidos en la sección de resultados representativos21,33 sirven como prueba de concepto de que el protocolo actual puede revelar similitudes y diferencias en cómo la visibilidad del interlocutor afecta la producción de gestos en estas poblaciones, demostrando que pueden implementarse con individuos con desafíos de comunicación mayores y más persistentes que los niños pequeños sanos que hablan inglés L1. En el futuro, será fructífero implementar el protocolo actual con poblaciones con desafíos de comunicación aún mayores y más persistentes, como individuos con afasia12,38, trastorno específico del lenguaje 35,36,37 o tartamudez 40,41 para examinar el impacto de la manipulación de la visibilidad del interlocutor en su producción de gestos.

En general, los protocolos actuales proporcionan un medio para examinar la influencia de la visibilidad del interlocutor en la producción de gestos en presencia de desafíos de comunicación durante el aprendizaje de palabras en L2 y la narración en individuos con TEA. Al hacerlo, proporciona información sobre el grado en que la producción de gestos de las personas con desafíos de comunicación responde a las necesidades de los interlocutores, revelando el grado en que las personas con desafíos de comunicación se involucran en la toma de perspectiva durante la comunicación. La manipulación de la visibilidad del interlocutor proporciona la flexibilidad necesaria para examinar esta y otras cuestiones teóricas importantes relativas a la producción de gestos con diversas tareas, poblaciones y tipos de gestos en contextos virtuales y presenciales, revelando hasta qué punto los resultados son generalizables y replicables y proporcionando información sobre situaciones en las que se pueden observar diferencias individuales en la producción de gestos. Por lo tanto, la manipulación de la visibilidad del interlocutor tiene el potencial de avanzar en la comprensión de la producción de gestos en circunstancias comunicativas desafiantes en contextos presenciales y virtuales.

Divulgaciones

El autor no tiene intereses financieros contrapuestos que declarar.

Agradecimientos

El desarrollo y la validación del protocolo de aprendizaje de palabras L2 contó con el apoyo de una beca de posgrado en Ciencias e Ingeniería de Defensa Nacional (NDSEG) (32 CFR 168a) emitida por la Oficina de Investigación Científica de la Fuerza Aérea del Departamento de Defensa de los Estados Unidos. El desarrollo y la validación del protocolo de narración de dibujos animados con adolescentes con TEA contó con el apoyo de un premio Ruth S. Kirschstein Institutional National Research Service (T32) de los Institutos Nacionales de Salud Mental. El autor agradece a Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo y Marco Pilotta por su ayuda con la recopilación de datos y la codificación.

Materiales

Lista de materiales utilizados en este artículo
NombreEmpresaNúmero de catálogoComentarios
OrdenadorAppleZ13124" iMac, CPU de 8 núcleos & GPU, chip M3
Micrófono USB para conferenciasTonorB07GVGMW59
ELANEl ArchivoAplicación de software utilizada para transcribir voz y gestos
Grabadora de vídeoVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X zoom digital Grabadora de vídeo con pantalla táctil de 3" con control de renota y trípode
Escala abreviada de inteligencia de WeschlerPearson158981561Se utiliza para verificar el CI a escala completa ≥ 80 en Morett et al. (2016)
de Lenguas

Referencias

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Reimpresiones y permisos

Solicitar permiso para reutilizar el texto o las figuras de este artículo de JoVE

Solicitar permiso

Etiquetas

Gestos manualescomunicaci n interpersonalestudiantes de segunda lenguatrastorno del espectro autistacomunicaci n cara a caracomunicaci n virtualseguimiento ocularmecanismos neuronales

Artículos relacionados