Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada

Esse método pode ajudar a responder a perguntas-chave no processamento on-line da língua falada, incluindo frases semanticamente complexas, como disjunções e condicionals. A principal vantagem dessa técnica é que ela pode ser realizada em uma ampla gama de populações para estudar a maioria dos temas em áreas de processamento linguístico. Demonstrando o procedimento será Xu Jing, um estudante de pós-graduação.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min e Zhou Xuehan são os alunos do meu grupo de pesquisa. Para preparar os estímulos visuais, baixe 60 imagens de arte de clipe gratuitos de direitos autorais de animais da Internet e abra as imagens em um editor de imagens apropriado. Clique em Ferramentas e use a seleção rápida para selecionar e excluir o plano de fundo de cada imagem.

Clique em Imagem e Tamanho da Imagem para redimensionar as imagens para 120 por 120 pixels e desenhar uma grande caixa aberta de 320 x 240 pixels, uma pequena caixa fechada de 160 x 160 pixels, e duas pequenas caixas abertas de 160 x 240 pixels. Abra um novo arquivo para criar um modelo de 1.024 por 768 pixels para a primeira imagem de teste e arraste as caixas para os locais indicados. Arraste duas imagens de arte de clipe para a grande caixa aberta e uma de cada uma das mesmas duas imagens nas duas pequenas caixas abertas.

Em seguida, crie mais 59 imagens de teste como apenas demonstrado com cada imagem animal sendo usada duas vezes por imagem de teste, contrabalanciando os locais espaciais das quatro caixas entre as imagens. Para preparar os estímulos da língua falada, projete quatro frases de teste correspondentes a cada imagem de teste na língua nativa dos participantes para um total de 240 frases de teste a serem registradas, com pelo menos três das quatro frases e uma de cada uma das formas como ilustrado. Recrute uma falante nativa feminina para gravar quatro depoimentos de exemplo, bem como áudio para todos os animais que estão sendo usados no experimento.

Divida as 240 sentenças de teste em quatro grupos, com cada grupo contendo 15 declarações conjuntivas, 15 declarações disjuntivas, 15 depoimentos, e 15 frases de preenchimento. Em seguida, salve todas as informações importantes sobre os estímulos de teste em um arquivo de texto delimitado por guia, com cada linha correspondente a cada uma das 240 ensaios. Para construir a sequência de experimentos, abra o construtor de experimentos e crie um novo projeto.

Arraste um objeto de tela de exibição para o espaço de trabalho e renomeie a Instrução do espaço de trabalho. Clique em Inserir recurso de texto de várias linhas e clique duas vezes para abrir a sequência de blocos para construir a sequência de blocos. Arraste um nó de configuração da câmera EI para a sequência de blocos para trazer uma tela de configuração da câmera no EYELink host PC para facilitar a calibração e validação da configuração da configuração da câmera.

Clique no campo Tipo de calibração no painel de propriedades e selecione HV5 na lista de queda. Para construir a sequência de ensaio, arraste um nó display Screen para a sequência de ensaio e renomeie-a Animal_1_Image. Arraste um nó De Som de Reprodução para a sequência de ensaio e renomeie-o Animal_1_Audio.

Arraste um nó timer para a sequência de ensaio e renomeie-o Animal_1_Audio_Length. Continue arrastando e renomeando os nódulos adicionais Display Screen, Play Sound e Timer para a sequência de ensaio até que três nodes tenham sido criados para cada imagem de arte de clipe. Em seguida, arraste um nó Drift Correct para a sequência de ensaio para introduzir a correção de deriva.

Para construir a sequência de gravação, arraste um novo nó display Screen para a sequência de gravação. Renomeie o nó Test_Image. Clique duas vezes no nó Display Screen para abrir o construtor de tela, clique na Região de Área de Interesse de Inserção de Retângulo e desenhe quatro áreas retangulares de interesse.

Arraste um nó timer para o espaço de trabalho, renomeie o nó Pause e altere a propriedade de duração para 500 milissegundos. Arraste um nó De som de reprodução para o espaço de trabalho e renomeie o nó Test_Audio e arraste um nó timer para o espaço de trabalho e renomeie-o Test_Audio_Length. Em seguida, adicione um nó teclado no espaço de trabalho, renomeie o nó Respostas comportamentais e altere a propriedade Chaves Aceitáveis para Cima, Para Baixo, Direita, Esquerda.

Para realizar um experimento, inicie o sistema no PC host para iniciar a aplicação host da câmera e clique na versão executável do projeto experimental no PC de exibição. Insira o nome do participante e clique em Selecionar valor de condição para executar para selecionar um grupo na janela prompt. Coloque um pequeno adesivo na testa do participante para rastrear a posição da cabeça mesmo quando a imagem do aluno é perdida, como durante piscadas ou movimentos repentinos. Seat o participante aproximadamente 60 centímetros de um monitor de cores 4:3 de 21 polegadas com uma resolução de 1.024 por 769 pixels, para o qual 27 pixels equivale a um ângulo de grau.

Ajuste a altura do monitor do pc de exibição para garantir que quando o participante está olhando para frente, ele está olhando verticalmente para o meio para o topo 75% do monitor, em seguida, gire o braço de foco na montagem da mesa para trazer a imagem do olho em foco. Em seguida, clique em Calibrar no PC host e peça ao participante para se fixar em uma grade de cinco alvos de fixação, em sucessão aleatória, sem respostas comportamentais, para mapear os movimentos oculares do participante para o olhar de consideração no mundo visual. Clique em Validar e peça ao participante para se fixar na mesma grade de metas de fixação para validar os resultados de calibração.

Realize uma verificação de deriva pedindo ao participante para pressionar a barra de espaço no teclado enquanto fixa no ponto preto no centro da tela. Em seguida, apresente os estímulos visuais através do monitor de PC de exibição enquanto reprodumente os estímulos auditivos através de um par de alto-falantes externos situados à esquerda e à direita do monitor. Para codificação e análise de dados, abra o visualizador de dados e clique em Arquivo, Arquivo de Importação e importe vários arquivos de dados eyelink para importar todos os arquivos de rastreador de olhos gravados.

Salve os arquivos em um único arquivo evs e, em seguida, abra o arquivo evs e clique em Análise, Relatórios e Relatório de Amostra para exportar os dados de amostra bruta sem agregação. A resposta correta a uma declaração conjuntiva é a grande caixa aberta, enquanto a resposta correta a uma declaração, mas é a pequena caixa aberta contendo o primeiro animal mencionado dentro da declaração. Criticamente, qual caixa é escolhida para as declarações conjuntivas depende de como uma declaração condicional é processada.

Por exemplo, a pequena caixa fechada é escolhida apenas quando a implicação escalar e as inferências de ignorância são computadas, o que resulta da compreensão de uma afirmação disjuntiva. Como ilustrado no painel, a fixação dos olhos na pequena caixa fechada não aumenta a menos que o conectivo sentencial seja o conectivo disjuntivo ou com o aumento começando não mais tarde do que a compensação do conectivo disjuntivo. O Visual World Paradigm é uma técnica versátil de rastreamento ocular para inferir a compreensão on-line da língua falada dos participantes a partir de seus movimentos oculares no mundo real.

Ao recrutar os participantes, lembre-se que eles devem ter capacidade visual normal ou correta e uma capacidade auditiva normal. Para projetar um estudo do mundo real elegível, outros fatores que possam afetar os movimentos oculares dos participantes devem ser controlados ou descartados. Ao analisar estatisticamente os resultados, deve-se considerar problema que pode surgir de respostas limitadas, todas as correlações automáticas ou comparações automáticas.