Waiting
登录处理中...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

O paradigma do mundo visual monitora os movimentos oculares dos participantes na área de trabalho visual, como eles estão ouvindo ou falando uma língua falada. Este paradigma pode ser usada para investigar o processamento on-line de uma vasta gama de questões linguísticas, incluindo instruções semanticamente complexas, tais como declarações disjuntiva.

Abstract

Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, dos participantes dos olhos movimentos de objetos ou fotos na área de trabalho visual são registradas através de um tracker do olho como o participante produz ou compreende uma língua falada, descrevendo o visual simultâneo mundo. Este paradigma tem grande versatilidade, como ele pode ser usado em uma ampla gama de populações, incluindo aqueles que não sabem ler e/ou quem abertamente não pode dar suas respostas comportamentais, tais como pré-letrados crianças, adultos idosos e doentes. Mais importante, o paradigma é extremamente sensível a manipulações grained fino do sinal de fala, e pode ser usada para estudar o processamento on-line da maioria dos tópicos na compreensão da linguagem em vários níveis, tais como o acústico grained fino fonético características, as propriedades das palavras e das estruturas linguísticas. O protocolo descrito neste artigo ilustra como um olho mundo visual típico estudo de rastreamento é conduzido, com um exemplo mostrando como o processamento on-line de algumas declarações semanticamente complexas pode ser explorado com o paradigma do mundo visual.

Introduction

Língua falada é um fluxo de informações rápido e contínuo, que desaparece imediatamente. É um desafio para estudar experimentalmente neste temporal, rapidamente mudar o sinal de fala. Movimentos oculares gravados no paradigma mundo visual podem ser usados para superar este desafio. Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, movimentos oculares dos participantes para fotos em uma exibição ou objetos reais em um espaço de trabalho visual são monitorados como eles ouvir, ou produzem, língua falada, representando o conteúdo do mundo visual1 ,2,3,4. A lógica básica, ou a hipótese de vinculação, por trás desse paradigma é que compreender ou planejando um enunciado (abertamente ou dissimuladamente) mudará atenção visual dos participantes para um determinado objeto no mundo visual. Esta mudança de atenção terá uma alta probabilidade de iniciar um movimento ocular de sacádicos para trazer a área assistida para a visão central. Com este paradigma, os pesquisadores pretendem determinar em que momento temporal, com relação a algum Marco acústico no sinal de fala, ocorre uma mudança na atenção visual do participante, como medido por um movimento ocular de sacádicos para um objeto ou um retrato no visual mundo. Quando e onde os movimentos oculares sacádicos são lançados em relação ao sinal de discurso são usados para deduzir o processamento da linguagem on-line. O paradigma do mundo visual pode ser usado para estudar a língua falada compreensão1,2 e a produção5,6. Este artigo metodológico incidirá sobre estudos de compreensão. Em um estudo de compreensão utilizando o paradigma de mundo visual, olho dos participantes movimentos na tela visual são monitorados como eles escutam as declarações faladas, falando sobre a exibição visual.

Sistemas de rastreamento de olho diferentes foram projetados na história. O mais simples, menos caro e mais portátil sistema é apenas uma câmera de vídeo normal, que registra uma imagem dos olhos do participante. Movimentos oculares são então manualmente codificados através de exame do frame-por-frame da gravação do video. No entanto, a taxa de amostragem de tal um olho-tracker é relativamente baixa, e o processo de codificação é demorado. Assim, um olho comercial contemporâneo, sistema de rastreamento normalmente usa sensores ópticos, medindo a orientação do olho em sua órbita7,8,9. Para entender como funciona um sistema de acompanhamento de olho comercial contemporâneo, os seguintes pontos devem ser considerados. Primeiro, a medir corretamente o sentido da visão central, um iluminador infravermelho (normalmente com o comprimento de onda em torno de 780-880 nm) é normalmente definido junto ou fora do eixo óptico da câmera, tornando a imagem da pupila distintamente mais clara ou mais escura do que a íris circundante. A imagem da pupila e/ou do reflexo corneal aluno (normalmente a primeira Purkinje imagem) é usada para calcular a orientação do olho em sua órbita. Em segundo lugar, a localização de olhar o mundo visual é realmente contingente não só sobre a orientação de olho no que diz respeito a cabeça, mas também sobre a orientação da cabeça em relação ao mundo visual. Para inferir com precisão o olhar de respeito da orientação do olho, a fonte de luz e a câmera do olho-trackers são fixos em relação a cabeça dos participantes (capacetes olho-trackers) ou são fixos em relação ao mundo visual (montado na mesa ou remotos olho-trackers). Em terceiro lugar, cabeça orientação dos participantes deve ser fixos em relação ao mundo visual ou computacionalmente ser compensada se a cabeça dos participantes é livre para se mover. Quando um olho-tracker remoto é usado em um modo de cabeça-livre-a-move, posição de cabeça dos participantes é gravada normalmente colocando um pequeno adesivo na testa dos participantes. A orientação da cabeça então é computacionalmente subtraída a orientação de olho para recuperar o local de olhar o mundo visual. Em quarto lugar, uma calibração e um processo de validação são então necessárias para mapear a orientação do olho para o olhar de respeito no mundo visual. No processo de calibração, registam-se amostras de fixação dos participantes de pontos de destino conhecido para mapear os dados brutos olho para olhar a posição do mundo visual. No processo de validação, os participantes são apresentados com os mesmos pontos de destino como o processo de calibração. A diferença existente entre a posição de fixação computadas nos resultados calibrado e a posição real do alvo fixado no mundo visual são usados para avaliar a exatidão da calibração. Para confirmar ainda mais a precisão do processo de mapeamento, uma seleção de tração é normalmente aplicada em cada tentativa, onde um destino único de fixação é apresentado aos participantes para medir a diferença entre a posição de fixação computadas e a posição real do destino atual.

Os dados primários de um estudo do mundo visual são um fluxo de locais de olhar o mundo visual gravado na taxa de amostragem do olho-controlador, variando sobre a totalidade ou parte da duração da julgamento. A variável dependente utilizada em um estudo do mundo visual é, normalmente, a proporção de amostras que fixações dos participantes estão situadas em determinada região espacial do mundo visual em uma determinada janela de tempo. Para analisar os dados, uma janela de tempo tem em primeiro lugar a ser selecionado, muitas vezes referida como períodos de interesse. A janela de tempo é geralmente tempo-bloqueado para a apresentação de alguns eventos linguísticos na entrada do auditório. Além disso, o mundo visual também é necessário dividir em várias regiões de interesse (ROIs), cada uma das quais é associada com um ou mais objetos. Uma tal região contém o objeto correspondente para a correta compreensão da língua falada e, portanto, é muitas vezes chamada a área-alvo. Uma maneira comum para visualizar os dados é uma trama de proporção-de-fixação, onde em cada bin em uma janela de tempo, a proporção de amostras com um olhar para cada região de interesse são em média entre os participantes e itens.

Usando os dados obtidos de um estudo do mundo visual, pesquisa de diferentes questões pode ser respondidas: um) sobre o nível de grãos grosseiros, são os movimentos oculares dos participantes no mundo visual afetado pela entrada linguística auditiva diferente? b) se houver um efeito, qual é a trajetória do efeito ao longo do julgamento? É um efeito linear ou um efeito de alto-ordem? e c) se existe um efeito, em seguida, sobre o nível de grão fino, quando é o mais antigo ponto temporal onde emerge tal efeito e quanto tempo dura este efeito último?

Para analisar estatisticamente os resultados, os seguintes pontos devem ser considerados. Primeiro, a variável de resposta, ou seja, proporções de fixações, tanto abaixo como acima limitada (entre 0 e 1), que seguirá uma distribuição multinomial, ao invés de uma distribuição normal. De agora em diante, métodos estatísticos tradicionais com base na distribuição normal como teste t, ANOVA e modelos lineares (efeito misturado)10, não podem ser diretamente utilizados até as proporções foram transformadas para ilimitado variáveis tais como com logit empírica fórmula11 ou foram substituídos por ilimitado dependente de variáveis como distância euclidiana12. Também podem ser usadas técnicas estatísticas que não exigem que o pressuposto de distribuição normal tão generalizada de modelos lineares (efeito misturado)13 . Em segundo lugar, para explorar a trajetória de mudança do efeito observado, uma variável que indicam a série de tempo tem a ser adicionado para o modelo. Essa variável de série temporal é, originalmente, o olho-tracker é realinhados ao aparecimento da linguagem de entrada os pontos de amostragem. Desde que a trajetória de mudança normalmente não é linear, uma função polinomial de ordem superior do tempo-série normalmente é adicionada para o (generalizado) (efeito misturado) modelo linear, ou seja, de análises de curva de crescimento14. Além disso, as posições de olho dos participantes no atual ponto de amostragem é altamente dependente pontos de amostragem anterior, especialmente quando a frequência de gravação é alta, resultando no problema da autocorrelação. Para reduzir a autocorrelação entre os pontos de amostragem adjacentes, dados originais são frequentemente incluídos na amostra para baixo ou binned. Nos últimos anos, os modelos de efeito misturado aditivo generalizada (GAMM) também utilizámos para combater a autocorrelated erros12,15,16. A largura das caixas varia entre diferentes estudos, variando de vários milissegundos para várias centenas de milissegundos. O bin mais estreita, que um estudo pode escolher é limitada pela taxa de amostragem do controlador olho utilizado no estudo específico. Por exemplo, se um tracker do olho tem uma taxa de amostragem de 500 Hz, então a largura da janela de tempo não pode ser menor do que 2 ms = 1000/500. Em terceiro lugar, quando uma análise estatística é repetidamente aplicada a cada bin de tempo dos períodos de interesse, o erro do familywise induzido de estas que comparações múltiplas devem ser combatidas. Como descrevemos anteriormente, a análise da trajetória informa o pesquisador se o efeito observado sobre o nível de grãos grosseiros é linear em relação a mudança do tempo, mas não mostra os efeitos observados, quando começa a emergir e como tempo observado efeito dura. Para determinar a posição temporal quando a diferença observada começa a divergir e para descobrir a duração do período temporal que dura o efeito observado, uma análise estatística tem que ser aplicado repetidamente a bin cada vez. Estas comparações múltiplas introduzirá o so-called familywise erro, não importa qual método estatístico é usado. O erro do familywise tradicionalmente é corrigido com ajuste de Bonferroni17. Recentemente, um método chamado teste não paramétrico de permutação originalmente usado em neuroimagem arquivada18 foi aplicado ao visual da palavra paradigma19 de controle para o erro do familywise.

Os pesquisadores utilizando o paradigma de mundo visual pretendem inferir a compreensão de uma língua falada de movimentos dos olhos dos participantes do mundo visual. Para garantir a validade desta dedução, outros fatores que possivelmente influenciam os movimentos oculares devem ser descartados ou controlados. Os seguintes dois fatores estão entre os mais comuns que precisam ser considerados. O primeiro fator envolve alguns padrões sistemáticos em fixações de explicativas dos participantes independentes do idioma de entrada, tais como a tendência para se fixar na parte superior esquerda quadrat do mundo visual e os olhos se movendo na direção horizontal, sendo mais fácil do que em a direção vertical, etc.12,20 para certificar-se que os padrões observados de fixação estão relacionados com os objetos, não para os locais espaciais, onde se encontram os objetos, as posições espaciais de um objeto devem ser contrabalançadas em ensaios diferentes ou diferentes participantes. O segundo fator que pode afetar os movimentos oculares dos participantes é as características básicas da imagem dos objetos do mundo visual, tais como orientação luminância, contraste, cor e borda, entre outros21. Para diagnosticar esse potencial confusão, a exibição visual é geralmente apresentada antes do início da língua falada, ou antes do início do marcador acústico crítico da língua falada, para cerca de 1000 MS. durante o período temporal desde o início da imagem de teste para o início da gravação de teste, o idioma de entrada ou o ponto de desambiguação do idioma de entrada ainda não foi ouvida. Qualquer diferença observada entre as diferentes condições deve ser deduzida de outros fatores de confusão como a exibição visual por si, em vez do idioma de entrada. Doravante, movimentos oculares observados neste período de visualização fornecem uma linha de base para determinar o efeito da entrada linguística. Este período de visualização também permite que os participantes para se familiarizar com a exibição visual e para reduzir o viés sistemático das fixações explicativas, quando a língua falada é apresentada.

Para ilustrar como um típico olho rastreamento estudo utilizando o paradigma de mundo visual é conduzido, o protocolo seguinte descreve um experimento adaptado de L. Zhan17 para explorar o processamento on-line de instruções semanticamente complexas, ou seja, declarações disjuntiva (S1 ou S2), declarações de conjuntivas (S1 e S2) e mas-declarações (S1 mas não-S2). Em conservação ordinária, as informações expressadas por algumas declarações são realmente mais fortes do que seu significado literal. Disjuntas declarações como caixa do Xiaoming contém uma vaca ou um galo são tais declarações. Logicamente, a instrução disjuntiva é verdade, enquanto as dois disjunções caixa do Xiaoming contém uma vaca e caixa do Xiaoming contém um galo não são ambos falsos. Portanto, a instrução disjuntiva é verdadeira quando as duas proposições são ambos verdadeiros, onde a instrução conjuntiva correspondente caixa do Xiaoming contém uma vaca e um galo também é verdade. Em comum conversa, no entanto, ouvindo que a instrução disjuntiva frequentemente sugere que a correspondente declaração de conjuntiva é false (implicature escalar); e sugere que os valores de verdade das duas proposições são desconhecidos pelo orador (inferência de ignorância). Difiram na literatura em se duas inferências são processos gramaticais ou pragmática22,23,24,25,26. A experiência mostra como paradigma o mundo visual pode ser usado para julgar entre essas contas, explorando o processamento on-line de três instruções complexas.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Todas as disciplinas devem dar consentimento informado por escrito antes da administração dos protocolos experimentais. Todos os procedimentos, formulários de consentimento e o protocolo experimental foram aprovados pelo Comitê de ética de pesquisa da língua de Pequim e da Universidade de cultura.

Nota: Um estudo de compreensão utilizando o paradigma de mundo visual normalmente consiste das seguintes etapas: introduzir os problemas teóricos a ser explorado; Formam um desenho experimental; Preparar os estímulos visuais e auditivos; Enquadrar o problema teórico no que diz respeito ao delineamento experimental; Selecione um olho-tracker para rastrear os movimentos dos olhos dos participantes; Selecione um software e criar um script com o software para apresentar os estímulos; Código e analisar os dados gravados-movimentos oculares. Um experimento específico pode diferir entre si em qualquer uma das etapas descritas. Por exemplo, um protocolo é introduzido para realizar o experimento e discutir alguns pontos que pesquisadores precisam manter em mente quando eles construir e realizar seu próprio experimento utilizando o paradigma de mundo visual.

1. preparar o teste de estímulos

  1. Estímulos visuais
    1. Baixe 60 artes clip dos animais que estão livres de direitos autorais da internet. Abra cada imagem um a um, com um editor de imagem (por exemplo, Pixelmator), clique em ferramentas de | Ferramenta Seleção rápida para selecionar e excluir o fundo. Clique na imagem | Tamanho da imagem para redimensioná-los para 120 x 120 pixels.
    2. Convide um aluno estudando pintura desenhar quatro caixas de luz verdes, conforme ilustrado na Figura 1. Use o editor de imagem para redimensionar a caixa aberta para 320 x 240 pixels, a pequena caixa fechada com o tamanho de 160 x 160 pixels e duas caixas pequenas abertas para 160 x 240 pixels, respectivamente.
    3. Clique Pixelmator | Arquivo | Nova para construir um modelo de teste de imagem com o tamanho de 1024 768 pixéis. Arraste os animais e as caixas para os locais de correção sendo ilustrados na Figura 1.
      Nota: O layout da imagem teste varia entre os estudos, mas o ideal é usar quatro objetos e colocá-los em quatro quadrantes da imagem teste. Desta forma, é mais fácil contrabalançar a posição espacial dos objetos.
    4. Crie 60 imagens de teste como Figura 1, com cada imagem animal sendo usada duas vezes. Contrabalançar as localizações espaciais das caixas de quatro entre as imagens.
      Nota: O número de imagens não tem que ser exatos 60, enquanto o seu efeito é dissociável do que das manipulações experimentais.
  2. Estímulos de linguagem falada
    1. Projeto quatro sentenças de teste correspondente a cada imagem de teste e teste 240 frases no total a ser gravado. Certifique-se de que três das quatro frases são em forma de Figura 2; e a sentença de enchimento é em forma de caixa do Xiaoming não contiver um galo mas uma vaca.
      Nota: As frases de teste devem ser apresentadas na língua nativa que os participantes falam. Os participantes neste experimento são chineses de Beijing, China continental, para que a língua de teste é o chinês mandarim.
    2. Recrute um falante nativo feminino (um falante nativo de chinês mandarim neste experimento) para gravar quatro declarações de exemplo como a Figura 2, assim como o áudio de todos os animais sendo usados no experimento. Ao gravar os nomes de animais isolados, pedir o orador a imaginar que os nomes dos animais são componentes intactos de uma frase simples, tais como _ caixa do Xiaoming contém um/uma , mas ela só precisa de pronunciar o nome do animal abertamente.
    3. Substitua os segmentos de áudio dos dois animais nas demonstrações de exemplo com o áudio dos dois animais usados em cada tentativa para criar a lista completa dos áudios teste. Primeiro, abra o Praat (qualquer outro software de edição de áudio é uma alternativa elegível) e clique em aberto | Leitura de arquivo | Navegue até o arquivo | Abra e edite, , navegar de um elemento a ser substituído e clique em ver e editar | Editar | Copiar a seleção para a área de transferência som. Em segundo lugar, use as mesmas etapas para abrir uma declaração de exemplo, clique em colar depois da seleção. Em terceiro lugar, clique em salvar | salvar como arquivo wav para salvar a instrução editada. Repita o processo para todos os elementos a ser alterada e todas as sentenças de teste.
    4. Recrute cerca de 10 falantes nativos da língua-teste (chinês mandarim aqui) para determinar se é ou não o áudio de teste construído natural e inteligível.
      Nota: O áudio de teste tradicionalmente é gravado como um todo, em vez de palavras separadas. Esse método de gravação tradicional é razoável que se o áudio de teste é se separam palavras. Se os estímulos de linguagem falada são frases ao invés de palavras separadas, no entanto, esse método tradicional tem várias deficiências: primeiro, uma propriedade onipresente de um discurso contínuo é que dois ou mais sons da fala tendem a sobreposição temporal e espacialmente, que torna difícil determinar o aparecimento da palavra crítica. Em segundo lugar, a variação entre o comprimento dos diferentes ensaios também dificulta a combinar todos os experimentos juntos para análises estatísticas. Em terceiro lugar, o método de gravação tradicionais, muitas vezes é demorado, especialmente quando os números do teste de áudio são relativamente grandes, como as experiências que relatamos no protocolo. Para superar as deficiências do método tradicional de gravação, propõe-se um método diferente para construir os teste falada áudios. Primeiro, registou-se uma lista de frases de amostra contendo as palavras que são comuns entre todo o áudio do teste. Segundo, todas as palavras que a mudança entre ensaios também foram registradas em isolamento. Finalmente, as frases de amostra foram substituídas com as palavras gravadas para construir a lista completa dos áudios teste. Em comparação com o método tradicional, o novo método tem várias vantagens. Em primeiro lugar, todo o áudio do teste é exatamente o mesmo, exceto para as palavras de críticas e todos os potenciais efeitos de confundimento no teste áudio doravante são controlados. Em segundo lugar, sendo o mesmo no comprimento também faz a segmentação dos áudios teste mais fácil do que quando o áudio do teste é registrado como um todo. Uma desvantagem potencial deste método é que o áudio construído pode não ser natural. De agora em diante, a naturalidade da gravação de teste tem que ser avaliados antes de serem elegíveis para o teste real...
  3. Divida as 240 frases de teste em quatro grupos, com cada grupo contendo 15 declarações conjuntivas, 15 declarações disjuntiva, 15 mas declarações e sentenças de enchimento 15. Certifique-se de que cada participante encontra apenas um grupo de 240 ensaios: Veja todo o teste imagens mas ouve apenas um grupo de áudios o teste.
    Nota: Esta é a resposta à preocupação de que se o mesmo estímulo é repetido, os participantes podem estar se acostumando a esses estímulos e, possivelmente, até mesmo se tornando estratégica sobre como eles terem respondido aos estímulos.
  4. Salve todas as informações importantes sobre os estímulos do teste em um arquivo delimitado por tabulação txt, com cada linha correspondente a cada um dos 240 ensaios. Certifique-se de que o arquivo inclui, pelo menos, as seguintes colunas: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ imagem, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Nota: experiment_group é usado para dividir os 240 ensaios em 4 grupos. sentential_connective corresponde a diferentes condições experimentais. animal_1_image corresponde à imagem do animal que será apresentado em primeiro lugar para familiarizar os participantes com os animais utilizados na imagem de teste. test_image, test_audioe test_audio_length referem-se a imagem de teste e o teste de áudio bem como seu comprimento usado no julgamento do atual. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right referir-se o nome as quatro de áreas de interesse no atual julgamento, i. e., se é um "Grande abertura", "pequeno fechado" caixa, abrir o pequeno caixa contendo o animal "mencionado pela primeira vez" no teste de áudio, ou a pequena caixa aberta contendo o animal "segundo mencionado" no teste de áudio. animal_1_audio e animal_1_audio_length referem o áudio e o comprimento de áudio correspondente a animal_1_image. animal_2_image, animal_2_audioe animal_2_audio_length correspondem o segundo animal que será apresentado. Uma coisa a salientar é que a sequência de apresentar os dois animais é contrabalançada com relação se o animal é mencionado no primeiro ou no segundo semestre de áudios o teste.

2. a previsão teórica no que diz respeito ao delineamento do quadro.

  1. Certifique-se de respostas comportamentais dos participantes e movimentos oculares na concepção experimental podem ser usados para diferenciar a compreensão das frases teste e podem ser usados para julgar entre as diferentes contas a ser testado.
    Nota: Tendo em conta o desenho experimental, a resposta correta para uma declaração de conjuntiva é a grande caixa aberta, tais como A caixa na Figura 1. A resposta correta para um mas-instrução é a pequena caixa aberta contendo o animal sendo mencionado no primeiro semestre de áudios do teste, tais como a caixa D na Figura 1. Respostas dos participantes à instrução disjuntas, no entanto, dependem se e/ou como duas inferências discutidas são processadas. Se os participantes calcular o escalar implicature nem a inferência de ignorância, então, todas as quatro caixas são opções elegíveis. Se os participantes calcular que o implicature escalar, mas não a inferência de ignorância, então o grande abre, como na Figura 1, a casa A será governado para fora, e as restantes três caixas, B, C e D são todas as opções elegíveis. Se participantes computar a inferência de ignorância, mas não o implicature escalar e, em seguida, as caixas pequenas abertas serão governadas para fora, ou seja., caixas, C e D serão governadas para fora. Para resumir, a pequena caixa fechada, tais como a caixa B na Figura 1, será não escolhida como a opção final de uma instrução disjuntiva até o implicature escalar e inferências ignorância ambos são computados.

3. construir o roteiro Experimental

  1. Abra o clique Experiment Builder, arquivo | Nova para criar um projeto de experimento. Insira o nome do projeto como vwp_disjunction. Selecione a localização do projeto. Verifique EyeLink experimento e escolha Eyelink 1000plus na lista suspensa. Essas operações criará um subdiretório que contém que todos os arquivos relacionados ao experimento criará um subdiretório chamado vwp_disjunction com um arquivo chamado "graph.ebd" na pasta.
    Nota: Experiment Builder é usado para construir o roteiro experimental para apresentar os estímulos do teste e para gravar os movimentos oculares dos participantes, bem como suas respostas comportamentais. O experimento Builder é uma ferramenta de What-You-See-Is-What-You-Get para construir o roteiro experimental. É fácil de usar, mas qualquer outro software de apresentação de estímulos é uma alternativa elegível.
  2. Visualize a estrutura hierárquica de uma típica experiência de olho de monitoramento utilizando o paradigma de mundo visual como pode ser visto na Figura 3. Cada retângulo rosa na figura é implementado como um objeto de sequência por Experiment Builder; e cada objeto com fundo cinza é implementado como um objeto do nó.
    Nota: Uma sequência no construtor de experimento é um controlador de circuito experimental usado para encadear diferentes objetos como um nó complexo. Uma sequência sempre começa com um nó Iniciar . E uma fonte de dados pode ser anexada a um nó de sequência para fornecer parâmetros diferentes para cada julgamento.
  3. Construir a sequência de experimento
    1. Clique em arquivo de | Abrir, navegue até o diretório do experimento e duplo clique no arquivo graph.ebd no diretório do projeto para abrir o projeto de experimento salvos.
    2. Clique em Editar | Gerenciador de biblioteca | Imagem | Adicionar para carregar as imagens para o projeto de experimento. Da mesma forma, clique em Editar | Gerenciador de biblioteca | Som | Adicionar para carregar o áudio para o projeto de experimento.
    3. Arraste um objeto DISPLAY_SCREEN para o espaço de trabalho e altere seu valor de etiqueta no painel Propriedades para renomeá-lo como instrução. Dê um duplo clique para abrir o nó de instrução e clique no botão Inserir recurso de texto de várias linhas para a instrução de experimental de entrada. Assegurar que a instrução contém as seguintes informações:
      Em cada julgamento, primeiro você vai ver imagens de dois animais, um animal de cada impresso na tela, por sua vez, juntamente com o áudio dos animais jogou nos dois alto-falantes situados em ambos os lados da tela. Em seguida será apresentado um ponto preto no centro da tela. Você deve pressionar a tecla de espaço enquanto fixando em ponto. Em seguida, você verá uma imagem de teste consiste em quatro caixas impressas na tela e ouvir uma frase de teste sendo jogada por meio de dois alto-falantes. Sua tarefa é localizar caixa do Xiaoming, de acordo com a sentença de teste, você ouviu e pressione o botão correspondente, logo que possível:
      Superior esquerdo caixa---seta para a esquerda
      Top caixa direita-seta para cima
      Inferior esquerdo caixa---seta para a esquerda
      Caixa direita inferior---seta para a direita
      Em cada imagem de teste, você verá quatro caixas situadas em quatro quadrantes e dois animais contendo nas caixas. As quatro caixas podem variar em duas dimensões: sua proximidade e seu tamanho. Se uma caixa está fechada ou não influencia nosso conhecimento epistêmico sobre essa caixa, mas não o animal que ele contém. Se uma caixa é aberta, então, o animal contido nessa caixa é conhecido. Se uma caixa está fechada, então o animal contido nessa caixa é desconhecido. O tamanho de uma caixa afeta o número de animais contidos em caixa, mas não nosso conhecimento epistêmico naquela caixa. Não importa a caixa está fechada ou não, uma pequena caixa só e sempre contém um animal e uma grande caixa sempre contém dois animais diferentes.
      Se você estiver confortável com o objetivo experimental e o procedimento, por favor avise o experimentador e vamos ajudá-lo para executar o padrão olho rotinas de calibração e validação de controle. Se você tiver alguma dúvida, não hesite em perguntar.
      Nota: Esta é uma instrução que será impresso na tela antes do experimento (as instruções devem ser escritas na língua nativa, que os participantes falam, tais como o chinês mandarim aqui).
    4. Arraste um objeto de teclado para o espaço de trabalho.
      Nota: Este passo é usado para acabar com a tela de instrução
    5. Arraste um objeto de sequência para o espaço de trabalho e renomeá-lo como bloco.
    6. Selecione a sequência de bloco , clique no campo valor da propriedade Fonte de dados para abrir o Editor de fonte de dados. Clique no botão Importar dados na tela de editor de fonte de dados, testa para o arquivo. txt, criado na etapa 1.4 para importar a fonte de dados.
    7. Clique no botão de Seleção aleatória de configuração no editor de origem de dados, verificar Permitir julgamento randomização, selecione o campo de valor do campo de coluna e selecione experimental_group de trial_number a lista suspensa do campo de Coluna de fraccionamento .
    8. Arraste o segundo DISPLAY_SCREEN objeto para o espaço de trabalho e renomeá-lo como adeus. Clique duas vezes no nó adeus e insira as seguintes informações: na língua materna dos participantes (chinês mandarim neste protocolo):o experimento é concluído e agradeço muito sua participação.
    9. Clique no nó Iniciar , arraste a seta para o nó de instrução e solte o botão do mouse para conectar o nó Iniciar para o nó de instrução . Repita que o mesmo mouse move-se para conectar a instrução nó ao nó de teclado , teclado nó para nó de bloco , então bloco nó para o nó de adeus . Clique em Exibir | Organizar o Layout para organizar os nós na área de trabalho.
  4. Construir a sequência de bloco
    1. Dê um duplo clique para abrir a sequência de bloco . Arraste um nó de El_CAMERA_SETUP na sequência de bloco para que apareça uma tela de configuração da câmera no PC Host EyeLink para o experimentador executar a validação, calibração e configuração da câmera. Clique no campo tipo de calibração no painel de propriedades e escolha HV5 na lista suspensa.
      Nota: O número de locais no processo de mapeamento varia entre diferentes projetos experimentais. Os locais mais amostrados e mais espaço coberto, maior a precisão pode ser esperada. Mas as amostras mais significa mais tempo para terminar os processos. Então, praticamente, o número de localizações em um estudo específico não pode ser muito grande, especialmente quando os participantes são crianças pré-letrados ou pacientes clínicos. No paradigma visual do mundo, o número de áreas de interesse é relativamente pequeno, e as áreas de interesse são normalmente relativamente grandes. O processo de mapeamento pode atingir um nível satisfatório com número relativamente pequeno de locais. O protocolo descrito, eu usei de um cinco pontos calibração e validação.
    2. Arraste um nó de sequência na sequência de bloco e renomeá-lo como julgamento. Conecte o nó Iniciar o nó CAMERA_SETUP , então ao nó de resultadosE.
  5. Construir a sequência do julgamento
    1. Dê um duplo clique para abrir a sequência do julgamento , arraste um nó DISPLAY_SCREEN na sequência do julgamento e renomeá-lo como animal_1_image. Dê um duplo clique para abrir o Construtor de tela nó e clique no botão Inserir imagem recurso na barra de ferramentas tela Builder para inserir uma imagem animal proveniente das fontes de imagem inserida. Clique no campo valor da propriedade Nome do arquivo fonte , navegue até a fonte de dados anexado à sequência de bloco ; e dê um duplo clique na coluna Animal_1_Image para conectar o DISPLAY_SCREEN com a coluna correta da fonte de dados.
    2. Arraste um nó PLAY_SOUND na sequência do julgamento e renomeá-lo como animal_1_audio. Clique na propriedade de Arquivo de som do nó animal_1_audio e conectá-lo com a coluna correta da fonte de dados (como sendo descrito na etapa 3.5.1).
    3. Arraste um nó TIMER na sequência do julgamento e renomeá-lo como animal_1_audio_length. Clique na propriedade de duração da TIMER nó e navegue para a coluna correta da fonte de dados criada em 3.4.1.
    4. Arraste outro nó DISPLAY_SCREEN , outro PLAY_SOUND nó e outro nó TIMER na sequência do julgamento , renomeá-los como animal_2_image, animal_2_audio, e animal _2_audio_duration, Repita as etapas sendo descritas nos passos 3.5.1 - 3.5.3.
      Nota: Estes passos estão incluídos para o controle para a confusão potencial que a mesma imagem pode ser nomeada de forma diferente pelos diferentes participantes. Contrabalançar a sequência de apresentar os dois animais com relação se é mencionado no primeiro ou segundo semestre de áudios o teste.
    5. Arraste um objeto de Sequência de preparar para a sequência do julgamento e altere a propriedade Desenhar para Eyelink Host de imagem.
      Nota: Este nó é usado para pré-carregar os arquivos de imagem e áudio para memória para desenho de imagem em tempo real e reproduzir som. E também é usado para desenhar gráficos de gabarito no PC Host para que a precisão do olhar dos participantes pode ser monitorado.
    6. Arraste um nó DRIFT_CORRECT para a sequência do julgamento para introduzir a correção de deriva.
    7. Arraste um novo nó de sequência e renomeá-lo como gravação. Conectar-se a começar a esses nós um depois de um.
  6. Construir a sequência de gravação
    1. Verificar o campo de registro no painel de propriedade da sequência de gravação e dê um duplo clique para abrir a sequência de gravação .
      Nota: Uma sequência com propriedade de registro verificada significa que os movimentos oculares dos participantes durante este período serão registrados.
    2. Arrastar um novo DISPLAY_SCREEN na sequência de registro , renomeá-lo como test_image. Adicione a mensagem test_image_onset para a propriedade de mensagem do nó test_image .
      Nota: Na fase de análise de dados, a mensagem no nó de test_image e a mensagem no nó test_audio (seção 3.6.6) são importantes para localizar o início das imagens de teste e o aparecimento de áudios o teste em cada tentativa.
    3. Dê um duplo clique para abrir o Construtor de tela nó e clique no botão Inserir imagem recurso na barra de ferramentas tela Builder para inserir qualquer imagem animal proveniente das fontes de imagem inserida. Clique no campo valor do Nome do arquivo de fonte Propriedade, navegue até a fonte de dados anexado à sequência de bloco ; e dê um duplo clique na coluna test_image para conectar o DISPLAY_SCREEN com a coluna correta da fonte de dados.
    4. Clique duas vezes no nó DISPLAY_SCREEN para abrir o Construtor de tela, clique no botão de Inserir região de área de interesse de retânguloe desenhe quatro áreas retangulares de interesse, como ilustrado pelas caixas azuis na Figura 1. Alterar os rótulos das quatro áreas de interesse para Top_Left, Top_Right, Bottom_Lefte Bottom_Righte conectar o Nome DataViewer arquivado com colunas correto da fonte de dados.
      Nota: Estas áreas são invisíveis para os participantes. Para tornar as áreas de interesse mais significativo, rotular o nome do superior esquerdo área no exemplo como "Caixa (um aberto grande)", área superior direita área como "Caixa B (pequeno fechado)", inferior esquerda área como "Caixa C (segundo mencionado)" e área inferior direita como "caixa D (mencionado pela primeira vez)" , porque as duas caixas abertas pequenas contêm os dois animais sendo mencionados no primeiro e segundo semestre de áudios o teste, respectivamente.
    5. Arraste um nó TIMER para o espaço de trabalho, renomeá-lo como pausae altere a propriedade de duração de 500 ms.
      Nota: Este nó TIMER adiciona alguma defasagem de tempo entre o início do teste de imagem e o início da gravação de teste. O intervalo de tempo dá aos participantes a oportunidade de familiarizar-se com as imagens de teste. Os movimentos oculares dos participantes durante este período de visualização também fornecem uma linha de base para a determinação dos efeitos da entrada da língua falada, especialmente quando as palavras críticas situam-se no início de áudios o teste.
    6. Arraste um nó PLAY_SOUND para o espaço de trabalho e renomeá-lo como test_audio. Clique na Propriedade do Arquivo de som e conectá-lo com a coluna correta da fonte de dados (como sendo descrito na etapa 3.5.1) e adicionar a mensagem test_audio_onset para a propriedade de mensagem .
    7. Arraste um nó TIMER para o espaço de trabalho, renomeá-la como test_audio_length. Altere a propriedade Duration para 10500 ms.
    8. Adicionar um novo nó TIMER , renomeá-lo como record_extensione altere a propriedade Duration para 4000 ms.
    9. Adicionar um novo nó de teclado para o espaço de trabalho, renomeá-lo como respostas comportamentaise altere a propriedade de chaves aceitável para "[cima, baixo, direita, esquerda]".
      Nota: As escolhas comportamentais dos participantes podem ser usado para confirmar a validade da conclusão deduzida a partir de movimentos dos olhos dos participantes.
    10. Conecte o nó Iniciar a pausa, test_audio, test_audio_length, então a Record_extension nó. Adicione outra conexão de test_audio_length a behavioral_responses nó.
      Nota: Ao adicionar essas conexões, julgamento atual vai acabar e um novo julgamento vai começar depois que os participantes fizeram um pressionamento de tecla para escolher Xiaomingdo caixa, ou 4000 ms após o deslocamento do teste de áudio.
    11. Arraste um nó variável no espaço de trabalho, renomeá-lo como key_pressede conectar seu valor da propriedade behavioral_Responses teclado | Desencadeada dados |  Chave.
    12. Arraste um nó RESULT_FILE para o espaço de trabalho, arraste um nó ADD_TO_RESULT_FILE para o espaço de trabalho e conectar-se tanto o record_extension nó e o nó de behavioral_responses para o ADD_TO_RESULT_FILE nó.
  7. Clique experimento | Construir para construir o roteiro experimental, clique experimento | Teste corra para testar o experimento. Depois que tudo é feito, clique em experiência | Implantar o para criar uma versão executável do projeto experimental.
    Nota: Para obter mais informações sobre como usar o construtor de experiência, por favor consulte o manual do software27.

4. recrutar participantes

  1. Certifique-se os participantes para ter uma visão normal normal ou corrigida. Recomendamos que os participantes míope de usar lentes de contato, mas os óculos também são aceitáveis, contanto que as lentes estão limpas. Certifique-se de que todos os participantes são falantes nativos da língua teste, tais como o chinês mandarim aqui.
    Nota: Como uma diretriz geral, um participante é considerado elegível desde que o participante pode ver as imagens de teste a uma distância de cerca de 60 centímetros. Em termos de número de participantes, de acordo com algumas regras de ouro, o número de participantes para a análise de regressão deve ser nada menos do que 50. Aqui, trinta e sete estudantes de pós-graduação do Beijing idioma e cultura Universidade participaram na experiência, que é um pouco menor que a quantidade recomendada.

5. realizar o experimento

Nota: Quando os participantes são adultos desenvolvidos normais, um experimentador é suficiente para conduzir a realização do experimento. Mas se os participantes são populações especiais, tais como crianças, dois ou mais experimentadores são necessários.

  1. Selecione um tracker do olho para gravar os movimentos oculares dos participantes.
    Nota: O tracker do olho usado neste experimento é Eyelink 1000plus em execução sob a modalidade de cabeça livre de movimentar. Isto é uma mancha em vídeo, desktop montada sistema de rastreamento, usando o princípio de aluno com reflexo corneal (CR) para controlar a rotação do olho. Quando executando sob o modo de cabeça livre de movimentar, o tracker do olho tem a taxa de amostragem monocular de 500 Hz, com uma resolução espacial de 0,01 ° e um erro médio de menos de 0,5 °. Para obter informações mais detalhadas do sistema, por favor consulte sua especificação técnica28,29. Trackers alternativos podem ser usados, mas com modo de controle remoto são melhor, especialmente quando os participantes são crianças pré-letrados.
  2. Inicialize o sistema no PC Host para iniciar o aplicativo de Host da câmera.
  3. Para configurar o sistema para o modo remoto desktop, clique no botão de Opção definido , defina a opção de configuração Desktop - alvo autocolante - Monocular - 16/25 mm de comprimento..--RTARBLER.
  4. Clique na versão executável do projeto experimental no PC Display, introduza o nome do participantee escolha um grupo na janela prompt de para selecione valor de condição para executar.
    Nota: Cada sessão de teste irá criar uma pasta com o nome introduzido sob os subdiretório resultados do projeto experimento. O arquivo do FED sob a pasta continha dados de movimentos relevantes do olho.
  5. Peça aos participantes para sentar-se aproximadamente 60 cm de uma 21 polegadas, monitor de cor de 4:3 com resolução de 1024px x 769px, onde 27 pixels é igual a 1 grau de ângulo.
  6. Ajuste a altura do monitor do PC de Display, para garantir que, quando o participante está sentado e olhando para a frente, eles estão olhando verticalmente no meio para top 75% do monitor.
    Nota: A cadeira, mesa, e/ou no monitor do PC é preferido se forem reguláveis em altura. A cadeira e a mesa com rodízios devem ser evitados, já que tendem a causar o rolo e o movimento não intencional.
  7. Coloca um adesivo pequeno alvo na testa dos participantes, controlar a posição de cabeça, mesmo quando a imagem do aluno é perdida, como durante o pisca ou movimentos bruscos.
    Nota: Rastreadores de olho diferentes podem usar métodos diferentes para controlar a cabeça dos participantes. Para maximizar o alcance de movimento lateral do assunto, o olho controlado deve ser do mesmo lado como o iluminador.
  8. Gire o braço com foco na montagem da mesa para focar a imagem do olho.
  9. Clique no botão calibrar no host PC para conduzir o processo de calibração por pedindo aos participantes que se fixam a uma grade de cinco alvos de fixação em sucessão aleatória com nenhuma respostas comportamentais evidentes, para mapear os movimentos oculares dos participantes para o olhar de respeito o mundo visual.
  10. Clique no botão validar no host PC para validar os resultados calibrados por pedindo aos participantes que se fixam a mesma grelha de alvos de fixação. Repeti as rotinas de calibração e validação, quando o erro é maior que 1°.
  11. Realizar as duas rotinas no início do experimento, e sempre que a precisão da medição é pobre (EG., depois de fortes movimentos da cabeça ou uma mudança na postura dos participantes).
  12. Clique no botão de gravar no host PC para iniciar o experimento.
  13. Execute uma verificação de tração em cada tentativa, pedindo aos participantes que pressione a tecla de espaço do teclado e fixando para o ponto preto, apresentado no centro da tela.
    Nota: Quando os participantes são pré-letrados crianças ou pacientes clínicos, explicitamente, instruindo-os para pressionar o teclado enquanto fixando o ponto preto é normalmente impraticável. Mas suas fixações atenção e olho tendem a ser automaticamente atraído pelo dot preto exibido. Neste caso, o experimentador deve ser a pessoa a pressionar o teclado enquanto o participante é concentrado no ponto preto.
  14. Apresentar o estímulo visual através do monitor do PC de Display e jogar os estímulos auditivos através de um par de alto-falantes externos à esquerda e à direita do monitor (fones de ouvido também são aceitáveis).
    Nota: As gravações são jogadas do disco rígido como clipes de som mono 24 kHz. Se não há nenhuma razão especial, clips de som mono são preferidos para clips de som estéreo. Em um clip de som estéreo, a diferença entre as duas faixas de som, bem como a diferença entre os dois alto-falantes pode afetar os movimentos oculares dos participantes. Para obter mais informações sobre como usar o tracker do olho, por favor consulte o manual do usuário30.

6. dados de codificação e análises

  1. Abra o Visualizador de dados, clique em arquivo | Importar arquivo | Importar vários arquivos de dados de Eyelink para importar todos os arquivos de rastreador de olho gravado (com a extensão do FED) e salvá-los em um único . EVS arquivo.
  2. Abra o arquivo salvo do EVS e clique análise | Relatórios | Relatório de exemplo para exportar os dados de amostra cru com nenhuma agregação.
    Nota: Se o tracker do olho tem uma taxa de amostragem de 500 Hz, os dados exportados terá 500 pontos de dados, doravante 500 linhas, por segundo por julgamento. Se o olho esquerdo dos participantes é rastreado, certifique-se das colunas a seguir, bem como as variáveis criadas na fonte de dados são exportadas: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ TAMANHO, SAMPLE_INDEX, SAMPLE_MESSAGE. Para obter mais informações sobre como usar o Visualizador de dados, por favor consulte o manual do software31.
  3. Restringir as análises estatísticas para a janela temporal desde o início da imagem teste para o deslocamento dos teste áudios, i. e., a janela temporal com a duração de 11 s.
  4. Exclua as amostras onde os movimentos oculares dos participantes não são registrados, tais como participantes piscarem seus olhos, que afeta aproximadamente 10% dos dados gravados.
    Nota: Este é um passo opcional, como os resultados são, normalmente, o mesmo não importa se estas amostras excluído.
  5. Os dados de código. Para construir os dados para uma área específica de interesse em um certo ponto de amostragem, código os dados como 1 se a fixação do olho dos participantes situa-se na área de interesse a serem analisados nesse ponto de amostragem. Codificar os dados como 0 se a fixação do olho não está situada em áreas de interesse naquele ponto de amostragem.
  6. Desenhe uma proporção de fixação para visualizar os dados obtidos. Para calcular as proporção de fixações sobre determinada área de interesse, a média dos dados codificados para todos os ensaios e para todos os participantes em cada amostra ponto sob cada condição. Traça as proporção calculada de fixações no eixo y contra o ponto de amostragem no eixo, com diferentes painéis que indicam áreas de interesse e com as cores de plotagem denotando diferentes condições experimentais.
    Nota: No experimento, quatro painéis retratado padrões de fixação dos participantes sobre as quatro áreas de interesse. As linhas vermelhas, verdes e azuis ilustrado padrões de fixação dos participantes quando as instruções do teste foram conjunção (S1 e S2), mas-instruções (S1 mas não S2) e disjunções (S1 ou S2), respectivamente. O software usado para desenhar a trama descritiva é o pacote de ggplot2 do ambiente R. Outro software também está disponível. A Figura 5 é um exemplo de tal parcela.
  7. Ajuste um binomial generalizado linear modelo misto (GLMM) em cada área de interesse em cada ponto de amostragem, em que os dados foi codificados como 1 ou 0, dependendo se a fixação do participante está situada dentro ou fora da área de interesse naquele ponto de amostragem.
    Nota: Como os dados não são guardados, e os dados codificados só podem ser 1 ou 0, então a distribuição dos dados codificados é binário, ao invés de normal. De agora em diante, um modelo GLMM com a família da distribuição binomial é usado. O modelo GLMM inclui um prazo fixo, os participantes, termos e condições do dois aleatórios, experimentais e itens. A fórmula avaliada para os dois termos aleatórios inclui tanto a intercepta e a inclinação das condições experimentais. O software usado para fazer a montagem do modelo é o pacote de lme4 do ambiente R. Outro software também está disponível. Uma coisa deve ser mencionada é que a linha de base dos itens fixos diferem quando a área de interesse analisadas, ou seja., as caixas analisadas, são diferentes. Para ser mais específico, a conjunção (S1 e S2) foi escolhida como a linha de base quando se analisa a grande-abrir caixa (A caixa), a disjunção (A e B) foi escolhida como a linha de base, ao analisar a caixa pequena-fechado (caixa B), e declaração mas foi escolhida como a linha de base quando se analisa a caixa primeiramente mencionado (caixa D).
  8. Bonferroni ajustar os valores de p obtidos com o teste de Wald z , para reduzir o erro familywise induzido por comparações múltiplas.
    Nota: O ajuste de Bonferroni é a forma tradicional de lidar com o erro familywise induzido por comparações múltiplas. Outros métodos também estão disponíveis, como descrevemos na seção Introdução.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Respostas comportamentais dos participantes estão resumidas na Figura 4. Como descrevemos anteriormente, a resposta correta para uma declaração de conjuntiva (S1 e S2) é a grande caixa aberta, tais como A caixa na Figura 1. A resposta correta para um mas-declaração (S1 mas não S2) é a pequena caixa aberta contendo o primeiro animal mencionado, tais como a caixa D na Figura 1. Criticamente, qual caixa é escolhida para a instrução disjuntiva (S1 ou S2) depende de como uma declaração disjuntiva é processada: caixa fechada pequena, tais como a caixa B na Figura 1, é escolhida apenas quando o implicature escalar e as inferências de ignorância relativas à instrução disjuntiva ambos são computados. A Figura 4 ilustra que quando compreender uma instrução disjuntiva (S1 ou S2), os participantes computar as inferências ambos os dois.

Além disso, fixações de olho dos participantes na caixa fechada pequena, especialmente quando estas fixações são seguidas pelas respostas comportamentais na caixa, também sugerem que o implicature escalar e as inferências de ignorância são computadas. As duas inferências devem foram processadas não mais tarde do que o primeiro ponto temporal quando participantes deslocar sua atenção visual e fixações na pequena caixa fechada. Movimentos dos participantes oculares estão resumidos na Figura 5. Como podemos ver no painel B, olho-fixações dos participantes na caixa pequena-fechado (casa B) não aumentam a menos que o conjuntivo sentenciais é a disjuntiva conjuntivo, ou. Além disso, esse aumento começa a não mais tarde do que o deslocamento do conjuntivo disjuntiva. Isto sugere que tanto a implicature escalar e as inferências de ignorância são computadas antes o deslocamento do conjuntivo sentenciais, ou seja, imediatamente ao encontrarmos o conjuntivo disjuntiva.

Figure 1
Figura 1 . Um exemplo das imagens utilizadas no experimento teste. A área cinza é a imagem de teste na verdade sendo apresentada aos participantes. As caixas de blues, as linhas pontilhadas e os pixels que indicam a largura dos elementos são apenas para fins de ilustração e são invisíveis para os participantes. (Adaptado do experimento um dos L. Zhan 17 com permissão). Clique aqui para ver uma versão maior desta figura.

Figure 2
Figura 2 . Um exemplo das frases teste usado no experimento (reproduzido do L. Zhan17 com permissão). Clique aqui para ver uma versão maior desta figura.

Figure 3
Figura 3 . A estrutura hierárquica de uma típica experiência de olho de monitoramento utilizando o paradigma de mundo visual. O áudio ilustrado na imagem são as Inglês traduções para o chinês mandarim usado no experimento. Clique aqui para ver uma versão maior desta figura.

Figure 4
Figura 4 . Respostas comportamentais dos participantes registrados no experimento (adaptado de um experimento de L. Zhan17 com permissão). Clique aqui para ver uma versão maior desta figura.

Figure 5
Figura 5 . Os movimentos observados no experimento dos olhos dos participantes. O início e o deslocamento dos conectivos sentenciais são representados por duas linhas verticais tracejadas. Uma diferença significativa existente entre o disjunctive e a condição de base em certo ponto de amostragem é representada pela área cinza (p <.05, Bonferroni ajustado) (adaptado de L. Zhan17 com permissão). Clique aqui para ver uma versão maior desta figura.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Para realizar um estudo do mundo visual, existem várias etapas essenciais a seguir. Primeiro, os pesquisadores pretendem deduzir a interpretação da língua inibirem apresentada através de movimentos dos olhos dos participantes do mundo visual. De agora em diante, em projetar o layout dos estímulos visuais, as propriedades dos movimentos oculares em uma tarefa natural que potencialmente afetam os movimentos oculares dos participantes devem ser controladas. Então pode ser reconhecido o efeito da língua falada em movimentos dos olhos dos participantes. Pistas de segunda, acústicas na língua falada são transitórias e sem assinaturas acústicas unicamente correspondente a determinada categoria linguística são. Para movimentos corretamente fechadura dos participantes oculares com o aparecimento de um marcador linguístico, pesquisadores devem encontrar objectiva e consistente maneira para definir o limite de uma estrutura linguística. Em terceiro lugar, para mapear corretamente olho rotação dos participantes em torno da cabeça com seu olhar de respeito no mundo visual, os pesquisadores precisam realizar uma ou várias sequências de calibração, validação e processos de correção de deriva. Em quarto lugar, os dados obtidos de um estudo do mundo visual tem algumas propriedades peculiares, como sendo inferior e superior delimitada e tendo erros de autocorrelated etc. Estas propriedades peculiares devem ser consideradas quando um método é selecionado para analisar estatisticamente os dados.

Um estudo do mundo visual consiste em três componentes essenciais: Exibir visual, linguagem falada, tarefa experimental. As modificações podem ser feitas em qualquer componente para cumprir propósitos específicos dos investigadores. Primeiro, uma apresentação visual é normalmente um display de rastreio representando uma matriz de fotos. Mas também pode ser um display de rastreio representando uma matriz de palavras impressas32, uma cena esquemático30,31ou uma cena do mundo real que contém objetos reais1,32. Em segundo lugar, as declarações faladas podem ser uma palavra36, uma simples frase30,31, uma declaração semanticamente complexo17,34,35ou um diálogo de39. Em terceiro lugar, em termos da tarefa experimental, os participantes também simplesmente chamados a olhar o mundo visual e ouvir atentamente os utterances auditivo30,31; ou são sendo obrigados a fazer algumas respostas comportamentais, como agir para fora os movimentos descritos pelo enunciado auditivo1, determinar se ou não o auditivo enunciado aplica-se à exibição visual38ou escolhendo o correto imagem no display visual do enunciado falado fala-se em17.

O paradigma do mundo visual, em comparação com outras técnicas linguísticas, tem várias vantagens exclusivas. Primeiro, o paradigma do mundo visual pode ser usado em uma ampla das populações, incluindo aqueles que não sabem ler e/ou quem abertamente não pode dar as respostas comportamentais, tais como crianças pré-letrados37,38,39, 40 , 41 , 42e adultos idosos46pacientes (EG., aphasics)47. Isto é porque os estímulos de linguagem são apresentados no auditivo, e não sob a forma de textos escritos; e a compreensão da linguagem é inferida de movimentos de olhos automático implícita dos participantes ao invés de suas respostas comportamentais evidentes. Em segundo lugar, o paradigma do mundo visual é extremamente sensível a manipulações grained fino do sinal de fala. Este paradigma pode ser usada para estudar o processamento on-line da maioria dos tópicos na compreensão da linguagem em vários níveis, tais como o bem grained acústico características fonético33,,45,46, as propriedades de palavras de30,31, as estruturas linguísticas1,47e as estruturas lógicas de instruções semanticamente complexas como concessives37, biconditionals37, condicionais38e disjunções17.

O paradigma do mundo visual, em comparação com outra técnica linguísticas, também tem algumas limitações potenciais. Primeiro, a interpretação dos participantes da língua falada é deduzida de seus movimentos de olho no mundo visual, não da real interpretação dos estímulos língua per se. daqui em diante, as propriedades de linguagem que podem ser posteriormente estudados com o mundo visual paradigma são limitadas àquelas que podem ser visualizadas, i. e., eles devem estar de alguma forma relacionados com as entidades ou eventos do mundo visual. Em segundo lugar, o paradigma do mundo visual usado é normalmente mais restrito do que o real mundo visual, com um conjunto limitado de referências na foto e um conjunto limitado de ações potenciais. Este chamado problema fechado-conjunto48 pode criar estratégias de tarefas específicas que o processamento de linguagem observados não generalizam além as situações específicas, criadas dentro do experimento. De agora em diante, o paradigma não pode ser sensível às características dos conhecimentos linguísticos e experiência deitado fora o conjunto fechado que se estabeleceram em um determinado teste.

O paradigma do mundo visual essencialmente explora a integração das informações de domínio visual e as informações do domínio auditivo. Teoricamente, qualquer informação que pode ser processada pelos dois domínios sensacionais pode ser potencialmente estudada usando este paradigma. Por exemplo, o mundo visual pode ser realidade virtual ou vídeos dinâmicos. A entrada auditiva não é necessariamente a língua e pode ser qualquer outro formato, como a música e o som do mundo natural, etc. Além disso, este paradigma pode ser novamente prorrogada para explorar a integração de informações de outros domínios, ao invés do domínio visual e auditivo domínio. Por exemplo, pesquisadores podem usar esta técnica para ver como as fixações dos participantes no mundo visual são afetadas por diferentes cheiros, toques diferentes, etc.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

O autor declara que ele tem sem interesses financeiros concorrentes.

Acknowledgments

Esta pesquisa foi apoiada pela Fundação de ciência de Pequim linguagem e Universidade Cultural no âmbito dos fundos de pesquisa Fundamental para as universidades Central (aprovação número 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Comportamento questão 140 olho segue técnica paradigma do mundo visual linguagem falada processamento on-line instrução complexa generalizada modelo linear misto distribuição binomial familywise erro ajuste de Bonferroni
Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter