Um Protocolo Comportamental para a Avaliação do Esforço Cognitivo e da Revisão Estratégica em Tarefas de Tradução e Interpretação à Vista de Inglês para Chinês

Resumo

Este protocolo integra registros comportamentais multimodais para avaliar correlatos observáveis do esforço cognitivo e a eficácia funcional da revisão na tradução escrita e na interpretação simultânea entre inglês e chinês. Ele combina registro de digitação, captura de tela, análise de áudio, codificação baseada em transcrição e avaliação de qualidade padronizada.

Resumo

Este artigo apresenta um protocolo comportamental multimodal para examinar correlatos observáveis de esforço cognitivo e revisão estratégica durante tradução escrita e interpretação simultânea do inglês para o chinês. Registros de digitação e gravações de tela são sincronizados para a tradução escrita, enquanto gravações de áudio e transcrições literais são utilizadas na interpretação simultânea. Episódios de revisão e autorreparo são codificados por tipo e por resultado funcional (eficaz, neutro ou prejudicial), independentemente das avaliações holísticas da qualidade do produto final. Em uma demonstração com 62 participantes divididos em grupos novatos e treinados, ambos os grupos realizaram as duas condições de tarefa em ordem contrabalanceada. Os participantes treinados obtiveram pontuações médias mais altas na qualidade do produto final na tradução escrita (20,1 ± 2,1 vs. 16,8 ± 2,3) e na interpretação simultânea (18,9 ± 2,4 vs. 15,4 ± 2,6), além de uma proporção maior de revisões ou autorreparos eficazes. Como pausas, exclusões, latência de início e densidade de revisão são indiretos e sensíveis à tarefa, eles são interpretados como correlatos comportamentais que exigem triangulação, e não como medidas diretas de um constructo unitário. O protocolo destina-se a textos expositivos controlados e pode ser adaptado a outros pares linguísticos após o reajuste dos métodos de entrada, limiares de pausa, comparabilidade dos textos e procedimentos de pontuação.

Introdução

A tradução escrita e a interpretação simultânea do inglês para o chinês exigem compreensão do texto-fonte, transferência entre línguas e formulação na língua de destino, mas impõem condições de tarefa diferentes. A tradução escrita permite leitura recursiva e edição diferida, enquanto a interpretação simultânea exige produção oral sob restrições temporais mais rigorosas. Carga cognitiva, dificuldade de processamento e esforço cognitivo são construtos relacionados, mas não intercambiáveis: a carga refere-se às exigências da tarefa, enquanto o esforço refere-se aos recursos que um participante investe diante dessas exigências. O esforço cognitivo é latente e multidimensional; portanto, latência, pausas, exclusões e densidade de revisão são tratadas aqui como correlatos comportamentais que podem refletir planejamento, monitoramento, processos motores ou dificuldade, e devem ser interpretados conjuntamente, e não como medições diretas do esforço^{1,2,3,4,5,6,7,8}.

A pesquisa orientada a processos combina pontuações de produtos com registros comportamentais alinhados no tempo para identificar quando e como ocorrem as decisões de tradução. O registro de pressionamento de teclas fornece informações sobre as sequências de produção e revisão, mas a composição por meio do método de entrada chinês pode separar eventos físicos das teclas dos caracteres efetivamente inseridos; portanto, é necessário gravar a tela de forma sincronizada para reconstruir o estado do texto visível^9,10,11. Os limiares de pausa são escolhas analíticas e não fronteiras cognitivas universais, e limiares mais curtos podem alterar significativamente conclusões baseadas em pausas^8,12. Consequentemente, o protocolo exige verificações explícitas de sincronização, análises de sensibilidade aos limiares e a separação de medidas específicas da tarefa das medidas compartilhadas.

A frequência de revisão isoladamente não indica se o monitoramento melhora um resultado. Revisões escritas e autocorreções orais podem ter como alvo a escolha lexical, a sintaxe, o significado ou o estilo, mas seu resultado funcional deve ser avaliado em relação ao significado da fonte e ao segmento-alvo imediatamente anterior. Pesquisas sobre interpretação simultânea na leitura de texto escrito envolvendo processamento entre inglês-chinês e chinês-inglês mostram que treinamento, direcionalidade, coordenação entre olhos e voz e desencadeadores específicos do problema ligados ao idioma podem alterar os padrões de desempenho^13,14,15,16. Por esse motivo, o tipo de episódio, o resultado do episódio, a qualidade do produto final e o comportamento relacionado à execução são codificados como variáveis separadas.

O protocolo foi desenvolvido para adultos aprendizes ou tradutores/intérpretes treinados que trabalham com textos expositivos curtos e não especializados em sessões controladas baseadas em computador. É mais adequado quando os registros de teclas pressionadas e da tela podem ser capturados para a produção escrita, e um áudio de alta qualidade pode ser gravado para a produção oral. A estrutura pode ser adaptada a outros pares linguísticos, mas a correspondência de textos, a segmentação em unidades de informação, o comportamento do teclado ou do método de entrada, os limiares de pausa e os pontos de referência de avaliação devem ser revalidados para cada par linguístico e sistema de escrita¹⁷. A demonstração compara as condições da tarefa em vez de atribuir todas as diferenças unicamente à modalidade, pois o comprimento do texto, os limites de tempo, o modo de saída e as oportunidades de revisão também diferem.

Protocolo

Todos os métodos que envolvem o uso de seres humanos foram realizados em conformidade com as diretrizes institucionais e receberam aprovação explícita do Comitê de Ética em Pesquisa com Seres Humanos do Instituto de Tecnologia da Informação de Guilin (Número de Aprovação: UYHAJ2025899). O consentimento informado por escrito foi obtido de todos os participantes antes de sua participação. Consulte a Tabela de Materiais para obter uma lista abrangente dos equipamentos e softwares utilizados neste estudo.

1. Recrutamento dos participantes e atribuição aos grupos

1. Recrute 62 participantes, compreendendo estudantes de inglês ou tradução e estagiários intérpretes profissionais. Verifique se todos os participantes são falantes nativos de chinês com visão e audição normais ou corrigidas para a normalidade.
2. Atribua aos participantes com menos de 12 meses de treinamento estruturado em tradução o grupo de iniciantes, e aos que possuem pelo menos 12 meses de treinamento, o grupo treinado. Relate separadamente a prática prévia de tradução escrita e interpretação simultânea para todos os participantes.
3. Triagem dos participantes antes da atribuição da tarefa para excluir aqueles com exposição prévia aos textos-fonte, deficiência sensorial não corrigida ou incapacidade de utilizar o método padronizado de entrada em chinês.
4. Exclua tarefas após a gravação apenas por motivos previamente especificados, como uso proibido de ferramentas externas, execução incompleta, arquivos corrompidos ou áudio inutilizável.
5. Mantenha um registro de exclusão de tarefas sem informações pessoalmente identificáveis. Relate a amostra final analisada de forma consistente no texto e na Figura 1A–D.

2. Seleção de materiais e avaliação piloto

1. Selecione textos expositivos curtos em inglês de domínios acadêmicos gerais, educacionais, sociais ou de comunicação pública. Utilize textos para tradução escrita com aproximadamente 180–220 palavras e textos para interpretação simultânea com cerca de 120–160 palavras.
2. Iguale ou ajuste estatisticamente o comprimento do texto, dificuldade léxica, complexidade sintática, densidade de informação e familiaridade com o tema entre as condições da tarefa.
3. Instrua três especialistas bilíngues a avaliar independentemente a dificuldade léxica, complexidade sintática, densidade de informação, familiaridade com o tema e adequação para transferência em uma escala de 1 a 5 pontos (1 = muito baixa, 5 = muito alta).
4. Calcule um coeficiente de correlação intraclasse (ICC) com efeitos aleatórios bidirecionais e intervalo de confiança de 95% para as médias das avaliações. Revise os itens que apresentarem baixa concordância (ICC < 0,75).
5. Mantenha pares de textos apenas quando as variáveis padronizadas de correspondência estiverem dentro de uma margem de tolerância de ±10%.
6. Defina uma unidade de informação como a menor proposição no texto-fonte que expressa uma ideia, relação ou evento individualmente avaliável. Resolva desacordos sobre delimitações antes da aplicação da tarefa.
7. Teste as instruções, método de entrada, sincronização, qualidade sonora e limites de tempo com participantes que não serão incluídos na análise principal. Registre as distribuições de tempo de conclusão e a proporção de participantes que atingem cada limite de tempo.
8. Revise um texto ou limite de tempo quando os participantes do teste apresentarem desempenho no teto ou no piso, ambiguidade persistente ou instabilidade na gravação. Documente todas as alterações antes de iniciar o estudo principal.

3. Administração da tarefa e configuração da gravação

1. Avalie os participantes individualmente em uma sala silenciosa e com atenuação sonora, utilizando configurações padronizadas de hardware e software.
2. Leia um roteiro de instruções padronizado e permita um item de prática não experimental. Proíba o uso de dicionários, mecanismos de busca, inteligência artificial generativa, tradução automática e corpora externos.
3. Equilibre os dois tipos de ordem das tarefas (tradução escrita primeiro versus interpretação simultânea primeiro) dentro de cada grupo de treinamento e mantenha um intervalo de descanso de 5 minutos.
4. Prepare a lista de alocação antes da conclusão do recrutamento e mantenha a atribuição oculta até que a elegibilidade seja confirmada. Se forem utilizados múltiplos textos-fonte, equilibre a identidade dos textos independentemente da ordem das tarefas e mantenha uma variável de identificação do texto para análise.
5. Apresente o texto-fonte em inglês continuamente e instrua o participante a produzir uma tradução precisa e natural para o chinês no campo de entrada designado. Permita edição livre, mas proíba estritamente a colagem de texto externo.
6. Aplique o limite máximo de 20 minutos estabelecido no estudo piloto sem exibir um cronômetro regressivo, e registre se esse limite foi atingido.
7. Capture continuamente todo o processo de tradução escrita, utilizando um software de registro de teclas sincronizado com gravação contínua da tela. Mantenha as traduções finais juntamente com os arquivos de log com carimbo de tempo para extração comportamental posterior.
8. Apresente o texto-fonte para interpretação simultânea na tela e instrua o participante a iniciar uma versão oral em chinês sem o uso de anotações escritas.
9. Aplique consistentemente o limite máximo de 6 minutos e registre se esse limite foi atingido. Distinga uma observação com limite de tempo de uma observação concluída normalmente.
10. Grave a saída oral utilizando software de captura digital de áudio. Gere transcrições rigorosas e verbatim dessas gravações para facilitar a codificação posterior.

4. Extração de indicadores do processo comportamental

1. Extraia os correlatos comportamentais da tarefa escrita a partir dos arquivos de registro, definindo a latência inicial como o intervalo entre o início do estímulo e o primeiro caractere chinês inserido.
2. Extraia o tempo total da tarefa, contagem e duração de pausas, taxa de exclusão, densidade de revisões e taxa de produção. Mantenha os carimbos de tempo brutos e o denominador exato utilizado para cada medida normalizada.
3. Utilize 2 s como limiar operacional para pausas na escrita. Informe se foram incluídas pausas durante a navegação com o cursor, seleção de texto ou seleção de candidatos no método de entrada.
4. Extraia os correlatos comportamentais da tarefa oral a partir da forma de onda e da transcrição verificada, definindo a latência de início como o intervalo entre a apresentação do estímulo e a primeira enunciação significativa na língua-alvo.
5. Exclua inspirações, pigarros e sons não lexicais abandonados da latência de início. Extraia o tempo total de interpretação, pausas silenciosas, pausas preenchidas, repetições, inícios falsos, autorreparos e taxa de fala.
6. Defina uma pausa oral silenciosa como um silêncio dentro de uma enunciação com duração mínima de 1,0 s. Examine os limites das pausas com base na forma de onda e na transcrição verificada, e exclua os silêncios iniciais e finais das contagens de pausas dentro da enunciação.
7. Complete um registro de controle de qualidade para cada tarefa aplicada. Documente se o arquivo de processo correspondente está legível e completo, se a transcrição foi verificada e se a codificação foi concluída ou submetida à análise. Mantenha o registro original e rastreie quaisquer correções na trilha de auditoria.

5. Codificação da revisão estratégica e da autorreparação oral

1. Reconstrua cada revisão escrita alinhando o registro de teclas pressionadas, o vídeo da tela e o texto final.
2. Trate um episódio como uma sequência contínua de ações de edição direcionadas ao mesmo segmento-alvo e encerre o episódio quando a produção for retomada em outro local por pelo menos 2 s ou quando um segmento diferente for editado.
   NOTA: Para entrada em chinês, distinga alterações na composição antes da confirmação de exclusões no texto-alvo após a confirmação e codifique apenas as últimas como revisões textuais.
3. Atribua um tipo primário de revisão com base em mudanças semânticas, sintáticas, lexicais ou estilísticas. Permita uma etiqueta secundária para casos sobrepostos, mas use a etiqueta primária para contagens mutuamente exclusivas. Aplique os exemplos práticos fornecidos no Arquivo Suplementar 1.
4. Produza uma transcrição literal com carimbos de tempo antes de codificar a autocorreção oral. Instrua o primeiro transcritor a marcar conteúdo lexical, pausas preenchidas, repetições, falsas partidas, interrupções e trechos incompreensíveis.
5. Peça a um segundo revisor treinado que verifique a transcrição em relação ao áudio e resolva discrepâncias, preservando os carimbos de tempo originais do áudio.
6. Defina uma autocorreção oral como uma reformulação explícita que substitui, completa ou corrige um segmento imediatamente anterior na língua-alvo. Não infira monitoramento oculto apenas a partir do silêncio. Aplique as mesmas regras de decisão lexicais, sintáticas, semânticas e estilísticas à autocorreção oral.
7. Codifique uma repetição exata sem mudança corretiva como disfluência, um início abandonado seguido por uma nova construção como falsa partida mais reparo, e uma omissão ou má tradução sem reformulação explícita como erro de saída.
8. Quando o áudio for ambíguo ou quando duas categorias permanecerem igualmente plausíveis, marque o episódio como ambíguo. Mantenha etiquetas provisórias para episódios ambíguos e resolva-os antes da análise de confiabilidade.
9. Avalie o resultado funcional comparando os segmentos-alvo anteriores e posteriores ao episódio com a unidade de informação fonte e o contexto local do alvo. Faça essa avaliação antes de revelar a pontuação global final. Não use uma mudança na pontuação global como definição de eficácia.
10. Codifique duplamente pelo menos 20% das produções selecionadas em ambos os grupos e ordens de tarefa e calcule a confiabilidade com base nas codificações independentes antes da resolução de conflitos.
11. Requalifique e recodifique quando a concordância entre avaliadores for inferior a um kappa de Cohen de 0,80. Documente esse limite exato e quaisquer ações corretivas adotadas.

6. Avaliação da qualidade e modelagem estatística

1. Avalie cada tradução escrita final e cada interpretação simultânea utilizando a rubrica analítica de 25 pontos no Arquivo Suplementar 1.
2. Avalie a precisão, completude, adequação lexical, coerência e naturalidade na língua de destino de 0 a 5, utilizando os pontos de referência indicados. Não interpole critérios de pontuação após inspecionar a pertinência ao grupo.
3. Instrua os avaliadores a utilizarem tanto o áudio quanto a transcrição verificada para as dimensões da interpretação simultânea. Analise as pausas e as medidas de desfluentes separadamente das pontuações da rubrica.
4. Treine dois avaliadores independentes utilizando o código e pelo menos 10 produções de prática, mantendo os avaliadores cegos quanto ao grupo dos participantes e à ordem das tarefas.
5. Após a pontuação independente e a codificação dos episódios, calcule a confiabilidade antes da discussão. Resolva as discordâncias por consenso e consulte um terceiro avaliador apenas quando o consenso não puder ser alcançado.
6. Informe um coeficiente de correlação intraclasse de efeitos aleatórios bidirecionais e de concordância absoluta para as pontuações contínuas médias de qualidade. Informe o kappa de Cohen para o código categórico primário de revisão e um kappa separado para o código de resultado eficaz/neutro/detrimental. Indique o número exato e a porcentagem de episódios codificados duplamente.
7. Verifique se cada arquivo de processo é legível e completo antes da análise, alinhe os registros da tarefa escrita com os registros de tela correspondentes e verifique as transcrições em relação ao áudio.
8. Registre falhas de alinhamento, problemas de inteligibilidade e ações corretivas em um registro de controle de qualidade. Normalize as medidas de frequência utilizando 100 unidades de informação do texto-fonte para a frequência de pausas e 100 caracteres chineses produzidos para a densidade de revisão escrita.
9. Codifique o resultado funcional independentemente da pontuação final de qualidade holística. Codifique um episódio como eficaz quando o segmento pós-revisão melhorar o texto sem introduzir novos problemas, como neutro quando não produzir alteração significativa e como prejudicial quando introduzir um erro.
10. Calcule a taxa de eficácia como o número de episódios eficazes dividido pelo total de episódios classificáveis, excluindo episódios ambíguos do denominador.
11. Analise a demonstração como um conjunto de dados exploratório com medidas repetidas. Especifique o modelo de efeitos fixos para prever a pontuação total de qualidade utilizando a condição da tarefa, grupo de treinamento, métricas de pausa, densidade de revisão, taxa de eficácia, carga de desfluência e velocidade da fala.
12. Inclua um intercepto aleatório por participante e inclua efeitos aleatórios do texto-fonte apenas se o delineamento contiver textos amostrados independentemente em número suficiente.
13. Centralize os preditores contínuos, inspecione os resíduos e verifique a colinearidade. Informe o método de estimação, versão do software, β, EP, IC 95%, valores exatos de p, componentes de variância, AIC, BIC e R² marginal/condicional. Descreva a análise como exploratória e evite afirmações causais confirmatórias.
14. Exporte um pacote de análise reprodutível contendo dados anonimizados, dicionário, código, rubrica, detalhes do software, scripts e resultados. Confirme que cada valor de figura e tabela possa ser rastreado até uma variável e etapa de análise nomeadas antes da publicação.

Resultados

Características basais dos participantes e disponibilidade de dados

O questionário continha 62 participantes (31 novatos e 31 treinados), e a folha de tarefas continha 124 registros, indicando dois registros de tarefas concluídos por participante (Tabela 1). O grupo novato tinha menos de 12 meses de formação estruturada em tradução (máximo observado, 8,6 meses), enquanto o grupo treinado tinha pelo menos 12 meses (mínimo observado, 13,3 meses). As distribuiçõe...

Discussão

Este estudo demonstra um protocolo multimodal para medir indicadores observáveis de processos e codificar a revisão estratégica na tradução escrita e na interpretação simultânea entre inglês e chinês. O protocolo não mede diretamente uma variável unitária de esforço cognitivo. Em vez disso, latência, pausas, exclusões e padrões de revisão são interpretados como correlatos comportamentais sensíveis à tarefa, cujo significado depende da triangulação com registros sincronizados e evidências da qualidade do produto final

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Software de análise acústica (Praat)	Paul Boersma e David Weenink	https://www.fon.hum.uva.nl/praat/
Computador desktop	Dell	OptiPlex
Software de gravação de áudio digital (Audacity)	Equipe Audacity	https://www.audacityteam.org/
Software de registro de digitação (Inputlog)	Universidade de Antuérpia	https://www.inputlog.net/
Software de gravação de tela (OBS Studio)	Projeto OBS	https://democreator.wondershare.com/
Software de análise estatística (SPSS)	IBM	versão 27