Artigo de método

Examinando a produção de gestos na presença de desafios de comunicação

1.5K vistas

⸱

DOI:

10.3791/66256

⸱

26 de janeiro de 2024

1Department of Speech, Language, and Hearing Sciences, University of Missouri

Neste artigo

Resumo

Aqui, apresentamos um protocolo que manipula a visibilidade do interlocutor para examinar seu impacto na produção de gestos na comunicação interpessoal. Este protocolo é flexível para tarefas implementadas, gestos examinados e modalidade de comunicação. É ideal para populações com desafios de comunicação, como alunos de segunda língua e indivíduos com transtorno do espectro do autismo.

Resumo

Entender por que os falantes modificam seus gestos de mão ao falar com interlocutores fornece informações valiosas sobre como esses gestos contribuem para a comunicação interpessoal em contextos presenciais e virtuais. Os protocolos atuais manipulam a visibilidade dos falantes e seus interlocutores em conjunto em um contexto face a face para examinar o impacto da visibilidade na produção de gestos quando a comunicação é desafiadora. Nesses protocolos, os falantes concluem tarefas como ensinar palavras de uma segunda língua desconhecida ou recontar os eventos de vinhetas de desenhos animados para um interlocutor que é outro participante ou um cúmplice. Ao realizar essas tarefas, os falantes são visíveis ou não visíveis para seu interlocutor, e o falante é visível ou não visível para o participante. Na tarefa de aprendizagem de palavras, falantes e interlocutores visíveis uns aos outros produzem mais gestos representacionais, que transmitem significado por meio da forma e do movimento da mão, e gestos dêitticos (apontando) do que falantes e interlocutores que não são visíveis um para o outro. No protocolo de reconto narrativo, os adolescentes com transtorno do espectro autista (TEA) produziram mais gestos ao falar com interlocutores visíveis do que com interlocutores não visíveis. Um dos principais pontos fortes do protocolo atual é sua flexibilidade em termos de tarefas, populações e gestos examinados, e o protocolo atual pode ser implementado em videoconferência e também em contextos presenciais. Assim, o protocolo atual tem o potencial de avançar na compreensão da produção de gestos, elucidando seu papel na comunicação interpessoal em populações com desafios de comunicação.

Introdução

Gestos de co-fala (até então, gestos) - movimentos significativos das mãos produzidos simultaneamente com a fala - contribuem para a comunicação interpessoal, transmitindo informações que complementam o conteúdo verbal1. De acordo com a taxonomia mais utilizada 2,3, os gestos podem ser divididos em três categorias: gestos representacionais, que transmitem referentes por meio de sua forma e movimento (por exemplo, bater as mãos para frente e para trás para transmitir o vôo); gestos de batida, que transmitem ênfase por meio de movimentos pontilhados simples (por exemplo, mover a mão dominante ligeiramente para baixo em conjunto com cada palavra na frase "agora"); e gestos dêiticos, que chamam a atenção para a presença ou ausência de uma entidade por meio do apontamento (por exemplo, balançar o polegar para trás para indicar algo atrás de si mesmo). Os gestos representacionais podem ser divididos em duas categorias adicionais: gestos icônicos, que transmitem referentes concretos (por exemplo, um pássaro) e gestos metafóricos, que transmitem referentes metafóricos (por exemplo, êxtase). Como o gesto e a fala surgem do mesmo conteúdo conceitual, eles estão intimamente relacionados no significado 4,5. Ao servir como um meio visual icônico para a comunicação, os gestos podem ajudar a compensar quando surgem desafios na compreensão da linguagem falada6, seja devido a fatores individuais, como proficiência limitada no idioma falado 7,8 ou fatores ambientais, como dificuldade em ouvir a fala 9,10. Assim, os gestos são essenciais para entender a comunicação interpessoal em contextos presenciais e virtuais, fornecendo informações sobre como falantes e ouvintes transmitem e compreendem informações multimodalmente.

Várias tarefas interativas estruturadas foram desenvolvidas para medir como o gesto afeta a comunicação interpessoal. Essas tarefas incluem entrevistas, nas quais os participantes respondem a perguntas descrevendo suas experiências pessoais11,12; descrição da imagem, na qual uma imagem estática é apresentada aos participantes para descrever13,14; resolução de quebra-cabeças, em que os participantes descrevem como resolver um quebra-cabeça orientando espacialmente os componentescorretamente 15,16; provisão de direção, na qual os participantes são instruídos a dar instruções para um local desconhecido para os ouvintes 17,18,19; e recontagem narrativa, na qual os participantes assistem a um desenho animado retratando uma sequência de eventos e, posteriormente, os recontam 20,21,22. Muitas das tarefas empregadas nos estudos citados acima incorporam conteúdo espacial e ação, que o gesto transmite com particular eficácia 15,23,24,25. Nas tarefas dos estudos citados acima, os participantes normalmente produzem gestos em conjunto com a linguagem, e as informações transmitidas por meio do gesto e sua relação com a linguagem produzida simultaneamente são avaliadas. Alternativamente, os participantes podem ver uma gravação de alguém gesticulando (ou não gesticulando) e produzindo linguagem ao completar uma dessas tarefas, após o que a compreensão dos participantes é avaliada. Todas essas tarefas podem ser realizadas virtualmente e presencialmente, permitindo a coleta de dados de uma ampla gama de participantes e a comparação entre as modalidades.

O impacto dos gestos na comunicação interpessoal foi implementado com uma ampla gama de participantes. De particular interesse têm sido as populações com desafios de comunicação, incluindo crianças pequenas 26,27,28,29,30, usuários de segunda língua (L2) 8,31,32,33, indivíduos com transtorno do espectro autista (TEA)20,21,22,34, indivíduos com transtorno específico alteração da linguagem 35,36,37, indivíduos com afasia12,38, indivíduos com lesão cerebral39 e indivíduos com gagueira40,41. Este trabalho revelou que, embora muitas dessas populações possam utilizar gestos para facilitar a comunicação, algumas, como indivíduos com transtorno do espectro do autismo, podem encontrar dificuldade em alavancar gestos para se comunicar de forma eficaz. Os resultados sugerem que isso pode ser devido à medida em que essas populações levam em consideração o design do público e as pistas ambientais, destacando as implicações práticas dessas explicações para o impacto dos gestos na comunicação.

Uma característica fundamental que fornece informações sobre o impacto dos gestos na comunicação interpessoal é a visibilidade do interlocutor. Uma questão de grande importância no campo da pesquisa do gesto é até que ponto os participantes gesticulam para seu próprio benefício, indicando o descarregamento de operações cognitivas no corpo, versus o benefício de seus interlocutores, indicando o uso do gesto para se comunicar. Essa questão foi investigada examinando o impacto da (não) visibilidade do interlocutor na produção de gestos em contextos face a face por meio do uso de uma partição opaca26,42, bem como em contextos telefônicos13 e contextos virtuais43. De modo geral, os resultados deste trabalho indicam que, embora os falantes gesticulem para seu próprio benefício, eles produzem mais gestos representacionais ao se comunicarem com interlocutores visíveis do que não visíveis, enquanto a produção de gestos de batida é semelhante, independentemente da visibilidade do interlocutor. Assim, eles sugerem que o gesto representacional facilita a comunicação em uma variedade de contextos, sugerindo que os falantes levem em consideração a perspectiva de seus interlocutores e modifiquem sua produção de gestos de acordo. Embora pesquisas anteriores que examinaram o efeito da visibilidade do interlocutor tenham sido fundamentais para fornecer informações sobre as contribuições do gesto para a comunicação interpessoal, elas se concentraram no inglês como primeira língua (L1) em populações com desenvolvimento típico, por isso não está claro se as descobertas podem ser estendidas a populações com desafios de comunicação. Duas dessas populações são os alunos de L2, que podem ter dificuldade para se comunicar por meio da fala no idioma alvo, e crianças com TEA, cuja comunicação verbal e não verbal é anormal. Além disso, poucas pesquisas examinaram o impacto da visibilidade do interlocutor na produção de gestos em contextos virtuais, o que permite que o efeito da visibilidade do interlocutor sobre o participante seja desembaraçado do efeito da visibilidade do participante para o interlocutor, de modo que a replicabilidade dos achados desses contextos não está clara atualmente. Finalmente, algumas pesquisas se concentraram no impacto da visibilidade do interlocutor na produção de tipos específicos de gestos, portanto, não está claro se a produção de outros tipos de gestos é afetada de forma semelhante pela visibilidade do interlocutor.

Os protocolos descritos abaixo manipulam a visibilidade do interlocutor para examinar a produção de gestos em circunstâncias desafiadoras: aprendizagem de palavras em L2 e recontagem de narrativas por indivíduos com TEA. O protocolo de aprendizado de palavras L2 une pesquisas que examinam o impacto da observação de gestos no aprendizado de palavras L2 com pesquisas que examinam a contribuição dos gestos para a comunicação por meio de um paradigma interativo de aprendizado de palavras. Nesse paradigma, os participantes não familiarizados com a língua-alvo aprendem palavras nela e, em seguida, ensinam essas palavras a outros participantes não familiarizados com a língua-alvo, permitindo que o impacto da visibilidade do interlocutor na produção de gestos seja examinado nos estágios iniciais da aquisição de L2 em um contexto conversacional. O paradigma de reconto de desenhos animados emprega uma tarefa de reconto narrativo amplamente utilizada, na qual diferenças na produção de gestos têm sido observadas quando a visibilidade do interlocutor é manipulada com uma nova população: adolescentes com TEA. Essa população é de interesse porque o desenvolvimento da linguagem, incluindo a produção de gestos, é maduro na adolescência, e o TEA acarreta dificuldade na comunicação verbal e não verbal, incluindo gestos, bem como falta de sensibilidade às necessidades comunicativas dos interlocutores. Juntos, esses protocolos fornecem informações sobre até que ponto a produção de gestos depende - e, inversamente, pode compensar - a fala quando a comunicação interpessoal é desafiadora.

Com base em descobertas que demonstram como a visibilidade do ouvinte afeta a produção de gestos por falantes de inglês L1 13,26,42,43, foi levantada a hipótese de que os participantes produziriam mais gestos gerais e gestos mais representacionais ao discutir palavras L2 com um interlocutor visível do que não visível. Com base em achados que demonstram anormalidades na produção de gestos no TEA20,44, foi levantada a hipótese de que adolescentes com TEA produziriam menos gestos gerais, bem como menos gestos representacionais e dêitticos do que adolescentes com desenvolvimento típico (DT). Além disso, com base nos achados que mostram que o TEA acarreta dificuldade em assumir a perspectiva45, foi levantada a hipótese de que a produção de gestos por adolescentes com TEA não diferiria significativamente na presença de interlocutores visíveis e não visíveis. Por fim, foi prevista uma interação entre diagnóstico e visibilidade, de modo que a produção de gestos não diferiria pela visibilidade para adolescentes com TEA, mas sim para adolescentes com DT.

Protocolo

Todos os participantes assinaram o termo de consentimento livre e esclarecido e todos os protocolos foram aprovados pelos Comitês de Ética em Pesquisa da instituição anfitriã. Os protocolos de aprendizagem de palavras L2 e reconto de desenhos animados foram implementados nos estudos nos quais os resultados representativos se baseiam21,33. Embora esses protocolos tenham sido conduzidos apenas em contextos presenciais até o momento, um protocolo relacionado manipulando a visibilidade do interlocutor e do participante de forma independente não descrito aqui está sendo conduzido para fornecer informações sobre a replicabilidade neste contexto, com planos para expandi-lo para populações com desafios de comunicação, como indivíduos com TEA.

1. Participantes

NOTA: Embora respeitando as restrições necessárias sobre as características dos participantes para cada estudo, as amostras devem ser representativas da população maior, na medida do possível.

  1. Recrutamento de participantes para o protocolo de aprendizagem de palavras L2
    1. Recrute participantes com 18 anos ou mais com visão normal ou corrigida para normal e audição normal que sejam falantes de inglês L1. Para garantir que o estudo examine o impacto do gesto no aprendizado de palavras L2 no estágio inicial, recrute participantes sem nenhum conhecimento de húngaro, o idioma de destino.
  2. Recrutamento de participantes para protocolo de recontagem de desenhos animados
    1. Recrutar participantes de idade capaz de completar a tarefa experimental (10-20 anos de idade em Morett et al.21.) com diagnóstico de TEA ou que estejam tipicamente em desenvolvimento (DT).
      1. Para garantir que os participantes possam concluir a tarefa experimental com sucesso, recrute participantes que falem inglês L1, tenham visão normal ou corrigida para normal e audição normal e tenham um QI em escala real de 85 ou superior, conforme medido antes ou no momento do estudo por meio de uma avaliação padronizada46.
      2. Para garantir que o estudo examine os efeitos específicos do TEA na produção de gestos, recrute participantes com TEA sem epilepsia, meningite, encefalite, diabetes, transtorno desintegrativo da infância ou transtorno invasivo do desenvolvimento sem outra especificação (PDD-NOS).
      3. Para garantir que a produção de gestos no TEA possa ser comparada à produção típica de gestos, recrute participantes com DT sem transtornos psiquiátricos comórbidos ou parentes de primeiro grau diagnosticados com transtornos invasivos do desenvolvimento.

2. Visão geral da manipulação de visibilidade

  1. Recrute os participantes em pares se os efeitos da produção e observação de gestos espontâneos forem examinados, como no protocolo de aprendizagem de palavras L2. Recrute participantes individualmente em coordenação com um assistente de pesquisa atuando como participante, se apenas os efeitos da produção de gestos espontâneos forem examinados, como no protocolo de recontagem de desenhos animados.
  2. Fornecer um termo de consentimento livre e esclarecido com informações sobre o estudo aos participantes para assinar e responder a quaisquer perguntas sobre o mesmo, tomando cuidado para não revelar o foco do estudo na produção de gestos. Colete o formulário depois que os participantes o assinarem.
  3. Para participantes recrutados em pares, use um método de seleção, como um cara ou coroa, para determinar qual participante servirá como orador, quem fará a maior parte da conversa na tarefa experimental e qual participante servirá como interlocutor, que fará a maior parte da escuta e ocasionalmente interagirá com o orador na tarefa experimental. Para participantes recrutados individualmente com um assistente de pesquisa atuando como participante, use um método de seleção fixo, como um sorteio manipulado, para garantir que o participante sempre atue como orador e que o assistente de pesquisa sempre atue como interlocutor.
  4. Em metade das sessões experimentais, coloque uma divisória opaca entre o orador e o interlocutor para garantir que eles não possam ver o rosto ou as mãos um do outro.
  5. Explique aos participantes o que eles farão na tarefa experimental e responda a quaisquer perguntas sobre ela. Informe aos participantes que sua fala será gravada em áudio, apontando o microfone utilizado para esse fim. Para evitar quaisquer efeitos da consciência da gravação de vídeo na produção de gestos, não informe aos participantes que eles serão gravados em vídeo e certifique-se de que a câmera de vídeo usada para esse fim não seja visível para os participantes.
  6. Inicie a gravação de vídeo e áudio pressionando os botões apropriados. Implemente a tarefa experimental para obter fala e gesto do falante e do interlocutor participante, se houver.
  7. Se um design dentro dos participantes for empregado, remova o divisor opaco se usado na primeira iteração ou coloque-o entre o falante e o interlocutor se não for usado na primeira iteração.
  8. Repita a tarefa experimental conforme necessário até que todos os estímulos tenham sido esgotados.
  9. Pare a gravação de vídeo e áudio pressionando os botões apropriados. Informe aos participantes que o estudo se concentrou em gestos e que eles foram gravados em vídeo e ofereça-se para excluir seus vídeos antes da análise dos dados, se desejar.
  10. Responda a todas as perguntas dos participantes e agradeça por participarem antes de dispensá-los.

3. Protocolo de aprendizagem de palavras L2

  1. O vídeo e o áudio gravam o falante e o interlocutor para que a produção de fala e gesto durante a tarefa experimental possa ser analisada posteriormente.
    1. Coloque um microfone de mesa entre o alto-falante e o interlocutor para gravação de áudio. Coloque uma câmera de vídeo de lado entre o palestrante e o interlocutor em um ângulo de 90° e certifique-se de que não seja visível para os participantes.
    2. Além disso, certifique-se de que tanto o falante quanto o interlocutor estejam englobados no escopo de visão da câmera de vídeo e que a tela do computador não seja visível no escopo de visão da câmera de vídeo para manter a cegueira para a condição em que as palavras L2 são apresentadas na análise.
  2. Usando um computador, apresente uma palavra L2 do idioma alvo auditivamente ao falante por meio de fones de ouvido para garantir que ela seja inaudível para o interlocutor, para que o falante possa ensiná-la posteriormente ao interlocutor. Ao mesmo tempo, apresente um vídeo de um falante L1 do idioma de destino dizendo a palavra L2 e produzindo um gesto representacional transmitindo seu significado com o texto da palavra L2 na parte inferior da tela ou a palavra L2 como texto no meio da tela sem um vídeo para o falante.
  3. Após uma pausa de 500 ms, apresente a tradução L1 da palavra L2 como texto no meio da tela para o alto-falante por 2000 ms.
  4. Solicite ao explicador que ensine a palavra L2 e seu significado ao interlocutor por meio de fala e/ou gesto.
  5. Instrua o alto-falante a pressionar um botão para seguir em frente quando estiver pronto. Depois que o orador fizer isso, apresente outra palavra L2. Repita esse processo até que todas as 20 palavras L2 tenham sido apresentadas em ordem aleatória.
  6. Teste individualmente o conhecimento do falante e do interlocutor sobre as palavras L2 apresentadas na tarefa experimental, apresentando cada palavra L2 como texto e solicitando-os a dizer sua tradução L1 ou pular a palavra se não se lembrarem de sua tradução.

4. Protocolo de recontagem de desenhos animados

  1. Se o QI do participante não tiver sido medido por meio de uma avaliação de QI padronizada anteriormente, administre uma para garantir que seu QI seja 85 ou superior.
  2. O vídeo e o áudio gravam os participantes para que sua produção de fala e gesto possa ser analisada posteriormente. Coloque um microfone de mesa na frente do participante para gravação de áudio. Coloque uma câmera de um lado do participante em um ângulo de 90° e certifique-se de que a câmera não seja visível para o participante.
  3. Apresente a primeira metade do desenho animado dos Looney Tunes, Canary Row, ao participante. Esta metade do desenho animado contém várias vinhetas em que Sylvester, o gato, tenta e não consegue pegar o pássaro Piu-Piu.
  4. Instrua o participante a recontar os eventos da primeira metade do desenho animado para o interlocutor com o máximo de detalhes que puder se lembrar. Instrua o interlocutor a ouvir o relato do participante, levando-o a dizer mais se for breve.
  5. Repita as etapas 4.1. e 4.2. para a segunda metade do vídeo Canary Row, que contém várias outras vinhetas em que Sylvester, o gato, tenta e não consegue pegar o pássaro Piu-Piu.

5. Transcrição e codificação

NOTA: Para minimizar o viés, quando possível, transcreva e codifique os dados às cegas sem saber quais participantes e ensaios foram designados para quais condições. Idealmente, transcritores e codificadores não devem estar envolvidos na coleta de dados.

  1. Transcreva todas as falas dos participantes ortograficamente à mão usando um software apropriado de acordo com um esquema padronizado, como o CHAT47, para produzir uma contagem de palavras. Transcreva todas as informações verbais, como preenchimentos e correções, mas não transcreva pausas.
  2. Identifique e codifique todos os gestos dos participantes para produzir uma contagem para cada tipo de gesto. Identifique gestos de descanso para descanso e categorize-os em quatro tipos com base na taxonomiade McNeill 2,3: icônico, metafórico, batida e dêitico. Observe que alguns gestos podem ser classificados como mais de um tipo.
  3. Calcule a taxa de gestos por cem palavras dividindo o número de gestos representacionais pelo número de palavras e multiplicando-o por 100 para cada vinheta.
  4. Faça com que um codificador independente codifique os gestos do participante para 25% dos dados. Calcule a porcentagem de concordância para dados codificados por ambos os codificadores e certifique-se de que seja de pelo menos 80% para garantir confiabilidade suficiente entre avaliadores.

Resultados

Aprendizagem de palavras L2
Implementação: Os resultados relatados abaixo são baseados em dados coletados de 52 participantes saudáveis (21 homens, 31 mulheres; idade: M = 20,15, DP = 1,73, intervalo = 18-28) de acordo com o protocolo descrito acima. Todas as falas e gestos foram codificados por um codificador primário, que não pôde ser cego para a condição de visibilidade, pois os dados do falante e do interlocutor foram gravados usando uma única câmera, conforme descrito na etapa 3.4. Para estabelecer a confiabilidade entre avaliadores, um codificador secundário codificou independentemente todos os gestos produzidos por 6 pares selecionados aleatoriamente (k = 389, 23,08% dos dados). A concordância entre os avaliadores primários e secundários foi de 92% na identificação de gestos e de 90% para categorizá-los.

Visão geral das análises: Nas análises a seguir, a produção geral de gestos de falantes e interlocutores e a produção de diferentes tipos de gestos foram comparadas com base na visibilidade para avaliar seu efeito na comunicação de palavras de L2. Devido à irregularidade da normalidade e assimetria, as comparações baseadas na visibilidade foram feitas por meio de testes U não paramétricos de Mann-Whitney, que não possuem suposições baseadas em normalidade e assimetria. Mais especificamente, os testes U de Mann-Whitney foram usados para determinar se a probabilidade de produção de gestos ser maior na condição visível do que na condição não visível era igual à probabilidade de produção de gestos ser maior na condição não visível do que na condição visível.

Resultados: Os testes U de Mann-Whitney revelaram que os falantes primários cujos interlocutores eram visíveis produziram mais gestos do que os falantes primários cujos interlocutores não eram visíveis, U = 53, p = 0,02. Especificamente, os falantes primários com interlocutores visíveis produziram mais gestos representacionais, U = 30, p = 0,001, e dêiticos, U = 52, p = 0,02, do que os falantes primários com interlocutores não visíveis (ver Figura 1). A produção de gestos de batida dos falantes primários não diferiu significativamente entre as condições de visibilidade, U = 82, n.s., embora tenham produzido mais desses gestos na presença de interlocutores visíveis do que não visíveis. Embora os interlocutores visíveis para os falantes primários também produzissem mais gestos do que os interlocutores não visíveis para os falantes primários, essa diferença não conseguiu alcançar significância, U = 89, n.s. Nenhuma das comparações entre diferentes tipos de gestos em função da visibilidade alcançou significância para os interlocutores, apesar do fato de que eles produziram mais de cada tipo de gesto na presença de falantes primários visíveis do que não visíveis. Essas descobertas fornecem evidências de que os falantes primários aumentam sua produção de gestos representacionais e dêiticos na presença de interlocutores visíveis, enquanto seus interlocutores não.

Resultados de recontagem de desenhos animados
Implementação: Os resultados relatados abaixo são baseados em dados coletados de 41 participantes adolescentes, 18 dos quais foram diagnosticados com TEA (15 homens, 3 mulheres; idade: M = 15,17, DP = 2,75, intervalo = 10,44 - 19,49) e 23 dos quais eram tipicamente em desenvolvimento (15 homens, 6 mulheres; idade: M = 15,81, DP = 2,42, intervalo = 11,52-19,36). Os participantes de ambos os grupos foram pareados em idade cronológica, sexo e QI verbal. Todas as falas e gestos foram codificados por dois codificadores cegos para a condição de visibilidade e diagnóstico. Para estabelecer a confiabilidade entre avaliadores, um codificador secundário codificou independentemente todos os gestos produzidos por 10 participantes selecionados aleatoriamente (24,3% dos dados). A concordância entre os avaliadores primários e secundários foi de 98% na identificação de gestos e de 95,4% para categorizá-los.

Visão geral das análises: Nas análises a seguir, a produção geral de gestos e a produção de diferentes tipos de gestos foram comparadas com base no diagnóstico e na visibilidade para avaliar seus efeitos na comunicação. Especificamente, análises de variância bidirecionais foram empregadas para examinar os efeitos independentes e interativos do diagnóstico (TEA vs. DT) e visibilidade (visível vs. não visível).

Resultados: Para a produção global do gesto, não houve efeito principal do diagnóstico (F < 1). No entanto, encontramos uma interação do tipo de gesto por diagnóstico (F(3,117) = 0,74, p = 0,05, ηp2 = 0,07). Especificamente, os adolescentes com TEA produziram menos gestos metafóricos (M = 0,48; DP = 0,63), t(39) = 1,99, p = 0,05, d = 0,49 e gestos de batida (M = 0,26; DP = 0,60, t(39) = 2,13, p = 0,04, d = 0,67) do que os adolescentes DT (metafórico: M = 1,08; DP = 1,62; batimento: M = 1,14; DP = 1,76). Não foram encontradas diferenças entre adolescentes com TEA e DT para a produção de ícones (TEA: M = 0,79; DP = 0,25; TD: M = 0,77; DP = 0,25; t < 1) ou dêitico (CIA: M = 0,36; DP = 0,16; DT: M = 0,25; DP = 0,10; t<1). Tanto os adolescentes com TEA quanto com DT produziram mais gestos ao falar com um ouvinte visível (M = 0,97 g/100; DP = 1,45) do que um ouvinte não visível (M = 0,36 g/100; DP = 0,83; F(1,39) = 18,18, p < 0,001, ηp2 = 0,32; veja a Figura 2). No entanto, a produção geral do gesto não apresentou diagnóstico por interação de visibilidade interlocutora (F < 1). Em conjunto, esses resultados indicam que os adolescentes com TEA produzem diferentes tipos de gestos do que seus pares DT, mas os adolescentes com TEA aumentam sua produção de todos os tipos de gestos ao falar com interlocutores visíveis, como seus pares DT.

figure-results-1
Figura 1: Produção de gestos de falantes e interlocutores primários na tarefa de aprendizagem de palavras L2. Produção de gestos de falantes primários e interlocutores por cem palavras por condição de visibilidade (barras de erro representam erro padrão). Clique aqui para ver uma versão maior desta figura.

figure-results-2
Figura 2: Produção gestual de adolescentes com TEA e DT por visibilidade na tarefa de recontar desenhos animados. Produção de diferentes tipos de gestos por cem palavras por adolescentes com TEA e DT na condição (A) de ouvinte visível e (B) de ouvinte não visível (barras de erro representam erro padrão). Essa figura foi modificada com permissão de Morett et al.21. Clique aqui para ver uma versão maior desta figura.

Discussão

O protocolo atual manipula a visibilidade do falante e do interlocutor um para o outro, fornecendo informações sobre seu impacto na produção de gestos em circunstâncias desafiadoras: aprendizagem de palavras L2 e recontagem de narrativas por adolescentes com TEA. Este protocolo pode ser implementado presencialmente ou virtualmente, permitindo que a visibilidade do participante e do interlocutor seja manipulada em conjunto ou de forma independente. Ele pode acomodar uma ampla variedade de tarefas, gestos e populações experimentais, proporcionando-lhes a flexibilidade para serem implementadas em várias circunstâncias em que a comunicação é desafiadora e para revelar inúmeras maneiras pelas quais a produção de gestos é alterada nessas circunstâncias. Assim, ao manipular a visibilidade do interlocutor, o protocolo atual fornece informações sobre como o gesto afeta a comunicação interpessoal em populações com desafios de comunicação.

Como em outros protocolos semelhantes usados com falantes L1 adultos saudáveis 13,26,42,43, o aspecto mais crítico do protocolo atual é a manipulação da visibilidade dos falantes e interlocutores entre si. Como o protocolo atual foi conduzido presencialmente em ambos os estudos aqui relatados21,33, a visibilidade foi manipulada em conjunto, de modo que falantes e interlocutores eram mutuamente visíveis ou não visíveis um para o outro. O protocolo atual pode ser facilmente adaptado para implementação em contexto de videoconferência, de modo que a visibilidade do locutor e do interlocutor possa ser manipulada de forma independente, permitindo que os efeitos da visibilidade na produção do gesto pelo locutor e interlocutor sejam desembaraçados43. Outro aspecto crítico do protocolo atual é sua natureza dialógica, que reflete contextos conversacionais naturalistas por meio da inclusão de um falante e de um interlocutor, consistente com tarefas interativas estruturadas anteriores usadas para examinar a produção de gestos 11,12,17,18,19,20,22. Notavelmente, o interlocutor pode ser um segundo participante ou um assistente de pesquisa, dependendo se a produção do gesto é de interesse. Um aspecto crítico final do protocolo atual é não informar os participantes sobre seu foco na produção de gestos e garantir que eles não saibam que estão gravados em vídeo até que a tarefa experimental seja concluída 26,42. Embora os participantes tenham conhecimento da gravação de vídeo em alguns estudos usando protocolos semelhantes 12,20,43, a produção de gestos em protocolos como o protocolo atual tem maior probabilidade de se aproximar da produção de gestos em ambientes de conversação naturalistas quando os participantes não sabem que seus gestos estão sendo gravados.

Um dos principais pontos fortes do protocolo atual é sua flexibilidade em termos de tarefas, participantes e gestos. Embora as tarefas de recontagem narrativa sejam frequentemente utilizadas devido à sua eficácia em eliciar diferenças na produção de gestos representacionais em contextos face a face26,42, a manipulação pode incorporar outras tarefas para eliciar a produção de gestos, como o paradigma de aprendizagem de palavras L2 descrito aqui33,48, bem como entrevistas11,12, descrição de imagens13,14, resolução de quebra-cabeças15,16, e disposição de direção 17,19,27. Devido à sua simpatia para o participante, a manipulação da visibilidade do interlocutor pode ser usada com populações com desafios de comunicação, como alunos de L2 e crianças com transtorno do espectro autista, conforme descrito aqui, bem como crianças e adultos com distúrbio específico de linguagem, gagueira, lesão cerebral e afasia. A manipulação da visibilidade do interlocutor permite o exame de gestos representacionais, beat e dêiticos, permitindo que as diferenças em sua produção pela visibilidade do interlocutor sejam quantificadas entre as populações. Por fim, embora a manipulação da visibilidade do interlocutor tenha sido originalmente desenvolvida para uso em contexto presencial, ela pode ser implementada em contexto de videoconferência ligando e desligando a webcam, permitindo a comparação direta da produção de gestos quando a visibilidade é manipulada em contextos de videoconferência e presencial49, bem como o exame independente dos efeitos da visibilidade do falante principal e do interlocutor na produção de gestos43.

Embora a manipulação da visibilidade do interlocutor tenha o potencial de avançar na compreensão da produção de gestos em populações e circunstâncias com desafios de comunicação devido à sua simpatia e flexibilidade do participante, ela tem algumas limitações. Em sua instanciação atual, ele é implementado pessoalmente, o que pode limitar o recrutamento a amostras de conveniência locais. Essa limitação foi superada por meio da implementação em um contexto de videoconferência, mas até o momento não foi implementada com populações com desafios de comunicação em um contexto de videoconferência, portanto, até que ponto as descobertas sobre a produção de gestos nessas populações se replicam nesses contextos não está clara atualmente. Para resolver essa limitação, estamos atualmente implementando uma versão da manipulação com a tarefa de recontagem de desenhos animados em um contexto de videoconferência com falantes saudáveis de inglês L1, que planejamos implementar com indivíduos com TEA posteriormente. Apesar da acessibilidade da manipulação da visibilidade a uma ampla gama de participantes em potencial com desafios de comunicação, os participantes devem ser capazes de concluir as tarefas com sucesso, tornando-as inacessíveis aos participantes que não têm domínio suficiente do idioma em que são conduzidas para fazê-lo. Embora essa limitação possa ser endereçada até certo ponto por meio da simplificação de tarefas, a redução das demandas de produção de fala pode reduzir a produção de gestos, tornando as diferenças na produção de gestos mais difíceis de detectar devido à visibilidade do interlocutor.

O protocolo atual representa a primeira implementação da manipulação da visibilidade do interlocutor com populações com desafios de comunicação. Embora a visibilidade do interlocutor tenha sido previamente manipulada para examinar seu efeito na produção de gestos em crianças pequenas saudáveis26, que podem ter dificuldade para se comunicar em sua L1 de inglês em alguns casos, elas não experimentam o grau e a persistência dos desafios de comunicação que os alunos iniciantes de L2 ou adolescentes com TEA fazem. Os resultados dos estudos publicados anteriormente discutidos na seção de resultados representativos21,33 servem como uma prova de conceito de que o protocolo atual pode revelar semelhanças e diferenças em como a visibilidade do interlocutor afeta a produção de gestos nessas populações, demonstrando que eles podem ser implementados com indivíduos com desafios de comunicação maiores e mais persistentes do que crianças pequenas saudáveis de língua inglesa L1. No futuro, será proveitoso implementar o protocolo atual com populações com desafios de comunicação ainda maiores e mais persistentes, como indivíduos com afasia12,38, distúrbio específico de linguagem 35,36,37 ou gagueira40,41 para examinar o impacto da manipulação da visibilidade do interlocutor na produção de seus gestos.

No geral, os protocolos atuais fornecem um meio de examinar a influência da visibilidade do interlocutor na produção de gestos na presença de desafios de comunicação durante o aprendizado de palavras em L2 e recontagem de narrativas em indivíduos com TEA. Ao fazer isso, fornece informações sobre até que ponto a produção de gestos de indivíduos com desafios de comunicação responde às necessidades do interlocutor, revelando até que ponto os indivíduos com desafios de comunicação se envolvem na tomada de perspectiva durante a comunicação. A manipulação da visibilidade do interlocutor fornece a flexibilidade para examinar isso, bem como outras questões teóricas importantes sobre a produção de gestos com várias tarefas, populações e tipos de gestos em contextos virtuais e presenciais, revelando até que ponto os resultados são generalizáveis e replicáveis e fornecendo informações sobre situações em que diferenças individuais na produção de gestos podem ser observadas. Assim, a manipulação da visibilidade do interlocutor tem o potencial de avançar na compreensão da produção de gestos sob circunstâncias comunicativas desafiadoras em contextos presenciais e virtuais.

Divulgações

O autor não tem interesses financeiros concorrentes a declarar.

Agradecimentos

O desenvolvimento e a validação do protocolo de aprendizado de palavras L2 foram apoiados por uma bolsa de pós-graduação em ciência e engenharia de defesa nacional (NDSEG) (32 CFR 168a) emitida pelo Escritório de Pesquisa Científica da Força Aérea do Departamento de Defesa dos EUA. O desenvolvimento e a validação do protocolo de recontagem de desenhos animados com adolescentes com TEA foram apoiados pelo Prêmio Ruth S. Kirschstein Institucional National Research Service (T32) do National Institutes of Mental Health. O autor agradece a Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta pela assistência na coleta e codificação de dados.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
ComputadorAppleZ131iMac de 24", CPU de 8 núcleos e GPU, chip M3
Conferência Microfone USBTonorB07GVGMW59
ELANO aplicativo Language ArchiveSoftware usado para transcrever fala e gestos
Gravador de vídeoVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X zoom digital Gravador de vídeo com tela sensível ao toque de 3 "com controle de renota e tripé
Weschler Escala Abreviada de InteligênciaPearson158981561Usado para verificar QI e ge 80 em escala real em Morett et al. (2016)

Referências

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Gestos ManuaisComunica o InterpessoalAprendizes de Segunda L nguaTranstorno do Espectro AutistaComunica o Face a FaceComunica o VirtualRastreamento OcularMecanismos Neurais

Artigos relacionados