Summary
O presente artigo clientes uma metodologia de acompanhamento de olho para estudos na compreensão da linguagem. Para obter dados fiáveis, etapas-chave do protocolo devem ser seguidas. Entre estes estão a afinação correta do tracker do olho (por exemplo, garantindo a boa qualidade das imagens olhos e cabeça) e calibração precisa.
Abstract
O presente trabalho é uma descrição e uma avaliação de uma metodologia que visa quantificar os diferentes aspectos da interação entre o processamento da linguagem e a percepção do mundo visual. A gravação do olho-olhar padrões forneceu boa evidência para a contribuição do contexto visual e conhecimentos de linguística/mundo de compreensão de linguagem. Inicial de pesquisa avaliou efeitos de contexto de objeto para testar teorias da modularidade no processamento da linguagem. Na introdução, descrevemos como investigações posteriores tomaram o papel do contexto mais amplo de visual na linguagem de processamento como um tópico de pesquisa em sua própria direita, fazendo perguntas tais como nossa percepção visual dos eventos e dos alto-falantes contribui para compreensão informada pela experiência dos comprehenders. Entre os aspectos examinados do contexto visual são ações, eventos, de um alto-falante olhar e expressões faciais emocionais, bem como configurações de objeto espacial. Seguindo uma visão geral do método olho de monitoramento e suas diferentes aplicações, lista as principais etapas da metodologia no protocolo, ilustrando como usá-lo com êxito para estudar a compreensão de linguagem visualmente-situado. Uma seção final apresenta três conjuntos de resultados representativos e ilustra os benefícios e limitações do olho de monitoramento para investigar a interação entre a percepção da compreensão de mundo e linguagem visual.
Introduction
Pesquisas linguísticas destacou a importância das análises de movimento dos olhos em compreender os processos implicados na compreensão da linguagem. O núcleo de se inferir os processos de compreensão do registro do olhar é uma hipótese que liga a cognição de olho movimentos5. Existem três tipos principais de movimentos oculares: sacadas, movimentos vestíbulo-ocular e movimentos de perseguição suave. Os saques são movimentos balísticos e rápidos que acontecem principalmente inconscientemente e foram confiantemente associados a mudanças na atenção6. São considerados os momentos de olhar relativa estabilidade entre os saques, conhecido como fixações, atenção visual atual do índice. O locus das fixações e a duração dos mesmos em relação aos processos cognitivos de medição é conhecido como o "método de eye-tracking". As primeiras implementações desse método serviam para examinar a compreensão de leitura em contextos estritamente linguísticos (veja Rayner7 para uma revisão). Essa abordagem, a duração da inspeção de uma palavra ou frase região é associada com a dificuldade de processamento. Olho de rastreamento, no entanto, também foi aplicado para examinar a compreensão da língua falada durante a inspeção de objetos do mundo (ou em um computador exibir2). Nesta versão de 'mundo visual' olho-de acompanhamento, a inspeção de objetos é guiada pela linguagem. Quando os comprehenders ouvirem a zebra, por exemplo, a inspeção de uma zebra na tela é levado a refletir o que eles estão pensando sobre o animal. No que é conhecido como o paradigma do mundo visual, olhar de um comprehender olho é levado para refletir a compreensão da linguagem falada e ativação de conhecimento associado (por exemplo, os ouvintes também inspecionam a zebra quando ouvem pastando, indicando uma ação executada pela zebra)2. Essas inspecções sugerem uma ligação sistemática entre linguagem-mundo relações e de movimentos do olho2. Uma maneira comum de quantificar este link está calculando a proporção de olhares para diferentes regiões pré-determinado em uma tela. Isto permite que os pesquisadores para comparar diretamente (através de condições, pelos participantes e itens) a quantidade de atenção dada aos diferentes objetos em um determinado tempo e como esses valores mudam em resolução milissegundos.
Investigação em Psicolinguística tem explorado olho de rastreamento no visuais mundos para arreliar distante concorrentes hipóteses teóricas sobre a arquitetura da mente1. Fixações de olho nos objetos representados, além disso, revelaram que o comprehenders pode — supondo um contexto linguístico suficientemente restritivo — executar incremental interpretação semântica8 e até mesmo desenvolver expectativas sobre os próximos caracteres 9. tais dados de olhar olho tem também lançar luz sobre uma gama de mais processos de compreensão, tais como a ambiguidade lexical resolução10,11, pronome resolução12, a desambiguação de papel estrutural e temática atribuição por meio de informações no contexto visual13,14,16e processos pragmáticos15, entre muitos outros4. Claramente, os movimentos oculares de objetos durante a compreensão de linguagem podem ser informativos dos processos implicados.
O método de controle de olho é não-invasivo e pode ser usado com crianças, usuários de linguagem jovem e mais velhos. Uma grande vantagem é que, ao contrário de punctate respostas para sondas ou botão de resposta pressiona em tarefas de verificação, fornece insights sobre o tempo em uma resolução de milissegundos em como linguagem orienta a atenção e como o contexto visual (sob a forma de objetos, ações, eventos, de um alto-falante olhar e expressões faciais emocionais, bem como configurações de objeto espacial) contribui para o processamento da linguagem. A continuidade da medida durante a compreensão de sentença complementa bem com outras medidas pós-sentença e pós-experiência como de verificação de imagens/vídeo-sentença ostensiva, questões de compreensão e tarefas de recuperação de memória. Respostas evidentes nestas tarefas podem enriquecer a interpretação do registro olhar olho fornecendo insights sobre o resultado do processo de compreensão, memória e aprendizagem2. Combinar o olho com essas outras tarefas de monitoramento revelou até que ponto os diferentes aspectos do contexto visual modulam atenção visual e a compreensão (imediata, bem como atraso) em toda a vida útil.
A apresentação da linguagem (falada ou escrita) e cenas podem ser simultânea ou sequencial. Por exemplo, Knoeferle e colaboradores17 apresentou a cena 1.000 ms antes da sentença falada, e manteve-se presente durante a compreensão. Eles relataram evidências que clipart representações de eventos de ação contribuem para a resolução de ambiguidade estrutural local em alemão sujeito-verbo-objeto (SVO) em comparação com as frases de sujeito-objeto-verbo (OVS). Knoeferle e Crocker18 apresentaram uma cena de clipart antes de uma frase escrita e testaram a integração incremental de clipart eventos durante a compreensão da frase. Observaram a congruência incremental efeitos, significando que tempos de leitura dos participantes dos constituintes da sentença foram mais quando estas incompatível (vs correspondido) o evento retratado na cena anterior. Em outra variante estímulo de apresentação, os participantes primeiro ler uma frase que descreve uma relação espacial em então viram uma cena de um arranjo espacial específico envolvendo objeto desenhos de linha19. Este estudo avaliou as previsões dos modelos computacionais linguagem espacial, pedindo aos participantes para classificar o ajuste da sentença dada à cena, com os movimentos do olho durante o interrogatório de cena a ser gravados. Padrões do olhar dos participantes foram modulados pela forma do objeto que eles foram confrontados com — parcialmente confirmando as previsões do modelo e fornecendo dados para refinamento do modelo.
Enquanto muitos estudos utilizaram clipart representações17,18,19,20,21,22,23, também é possível combinar o mundo real objetos, vídeos desses objetos, ou fotografias estáticas com língua falada1,21,24,25,26,46. Knoeferle e os colegas usaram um cenário do mundo real24 e Abashidze e os colegas usaram um formato de apresentação em vídeo para analisar eventos de ação e efeitos tenso25. Variando o conteúdo exacto das cenas (por exemplo, representando ações ou não)22,,27,38 é possível e também pode revelar efeitos de contexto visual. Um estudo relacionado por Rodríguez e colaboradores26 investigou a influência de pistas de videotape sexo visual sobre a compreensão do apresentado posteriormente sentenças faladas. Participantes assistiram os vídeos exibindo as mãos ou masculinas ou femininas, realizando uma ação estereotipadas relacionadas com o género. Depois, ouviram uma frase sobre um evento de ação estereótipo masculino ou feminino enquanto simultaneamente inspecionando um display mostrando duas fotos lado a lado, um de um homem e o outro de uma mulher. Este rico ambiente visual e linguístico permitiu os autores arreliar distante os efeitos da mediada por linguagem estereotipado conhecimento na compreensão dos efeitos das indicações gênero apresentado visualmente (mão).
Uma aplicação deste paradigma tem como alvo as alterações do desenvolvimento em processamento de linguagem. Movimentos oculares de objetos durante a compreensão da linguagem falada revelaram os efeitos dos eventos retratados em 4 - 5 - anos de idade27,28 e de adultos mais velhos29 em tempo real, mas um pouco atrasado em comparação com adultos jovens. Kröger e colaboradores22 examinaram os efeitos de pistas prosódicas e caso marcação dentro de um experimento e comparei estas através de experimentos em adultos e crianças. Os participantes inspecionado uma cena de ação-evento ambíguo ao escutar uma frase alemã inequivocamente-marcadas de relacionados. Movimentos oculares revelaram que os distintos padrões prosódicos ajudaram os adultos nem o 4 - ou 5-year-olds quando disambiguating quem faz-o-que-quem. Caso de sentença-inicial, marcando, no entanto, influenciado dos adultos, mas não os movimentos do olho da criança. Isto sugere que a compreensão de 5 anos de marcação de caso não é suficientemente robusto para permitir a atribuição de função temática (ver o estudo por Özge e colaboradores30), pelo menos não quando eventos de ação não disambiguate relações temáticas de papel. Estes resultados são interessantes, dado que estão em contraste com os resultados anteriores de efeitos prosódicos na atribuição de papel temático31. Kröger e colaboradores22 propôs que o contexto de visual (mais ou menos solidário) é responsável para os resultados contrastantes. À medida que essas interpretações segurar, eles destacam o papel do contexto na compreensão da linguagem em toda a vida útil.
O método de controle de olho combina bem com as medidas da foto (ou vídeo) sentença verificação tarefas18,20,26, classificação de tarefas de verificação de imagem imagem32, corpus de estudos24 tarefas19, ou tarefas de recuperação pós-experimental25,33. Abashidze e colaboradores34 e Kreysa e colaboradores33 investigaram a interação de olhar de alto-falante e mundo real ação vídeos34 e alto-falante olhar e ação representações33, respectivamente, como pistas para conteúdo da futura sentença. Combinando o rastreamento do olhar de olho em uma cena durante a compreensão de linguagem com uma tarefa de memória pós-experimental, eles ganharam uma melhor compreensão da maneira em que percepção os ouvintes do olhar de um alto-falante e as ações retratadas interagem e afetam os dois processamento de linguagem imediata e recuperação de memória. Os resultados revelaram a contribuição distinta das ações contra o alto-falante olhar para compreensão em tempo real contra processos de recordação de pós-experiência memória.
Enquanto o método de olho-de rastreamento pode ser empregado com grande flexibilidade, determinadas normas são fundamentais. O protocolo seguinte resume um procedimento generalizado que pode ser ajustado para diferentes tipos de perguntas de pesquisa, de acordo com as necessidades específicas dos pesquisadores. Este protocolo é um procedimento padronizado empregado no laboratório de Psicolinguística no Humboldt-Universität zu Berlin, assim como na antiga linguagem e cognição laboratório no cognitivo interação tecnologia excelência Cluster (CITEC) no Universidade de Bielefeld. O protocolo descreve um desktop e uma instalação remota. Este último é recomendado para uso em estudos com crianças ou adultos mais velhos. Todos os experimentos, mencionados nos Resultados representante usam um dispositivo rastreador de olho que tem uma taxa de amostragem de 1.000 Hz e é usado em conjunto com um estabilizador de cabeça, um PC para testar os participantes (Display PC) e um PC para o monitoramento do experimento e a movimentos oculares dos participantes (Host PC). A principal diferença deste dispositivo ao seu antecessor é que ela permite binocular olho de monitoramento. O protocolo destina-se a ser suficientemente geral para uso com outros dispositivos de controle de olho que incluem um estabilizador de cabeça e fazer uso de um PC dual configuração (Host + Display). No entanto, é importante manter em mente que outras configurações provavelmente terá diferentes métodos para lidar com problemas tais como falhas de calibração ou perda de faixa, na qual caso o experimentador deve referir-se o usuário manual do seu dispositivo específico.
Protocol
Este protocolo segue as diretrizes de ética da instituição onde os dados foram coletados, ou seja, a interação cognitiva tecnologia excelência Cluster (CITEC) da Universidade de Bielefeld e Humboldt-Universität zu Berlin. Os experimentos conduzidos na Universidade de Bielefeld foram aprovados individualmente pela Comissão de ética da Universidade de Bielefeld. O laboratório de Psicolinguística no Humboldt-Universität zu Berlin tem um protocolo de ética do laboratório que foi aprovado pelo Comitê de ética da Deutsche Gesellschaft für Sprachwissenschaft, sociedade alemã de linguística (DGF).
1. área de trabalho configuração
Nota: A seguir estão as principais etapas de um experimento do olho de monitoramento.
- Preparação do instrumento
- Ligue a câmera olho e o PC Host (ver Figura 1 para uma ilustração da coleta de dados em laboratório e o pre-processamento de configuração).
- Inicie o software tracker do olho.
- Ative a exibição de PC. Abra a pasta que contém os experimentos.
- Inicie a versão 'implantada' com uma extensão de .exe clicando duas vezes.
- Dependendo da configuração, pode aparecer um prompt para selecionar uma lista experimental, que é normalmente um arquivo delimitado por tabulação.csv/.txt contendo as condições, nomes de arquivo de som, frases escritas e/ou imagens que um participante será exposto a. Selecione a lista, e o programa vai começar. Nome do arquivo de saída, onde os resultados serão armazenados.
Nota: O arquivo de saída é salva no PC Display e um back-up é salvo no PC Host. - A primeira tela do experimento (a introdução ou a tela de boas vindas) Deixe aberta.
- Remova a tampa protetora da câmera olho perseguidor.
- Para fins de higiene, coloque um tecido sobre o titular do queixo.
- Opcional: Prepare uma almofada de resposta e/ou um teclado conforme exigido pela experiência.
- Opcional: Se apresentando estímulos auditivos, ajustar o volume dos alto-falantes e testá-los antes de executar o experimento. Alternativamente, teste a funcionalidade dos auscultadores para ser usado pelo participante.
- Prepare os formulários necessários para ser assinado pelo participante.
- Ajuste a intensidade da luz no laboratório a fim de ter um quarto mal iluminado com uma luminosidade constante durante todo o processo de coleta de dados.
- Preparação para os participantes
- Depois que os participantes chegaram, apresente-se.
- Lugar uma não perturbe Cadastre-se na porta do laboratório.
- Pergunta o participante a se sentar.
- Orientar o participante através de informações e o consentimento necessário e formas demográficas.
- Deixe o participante Leia e assine o formulário de consentimento.
- Explique resumidamente os aspectos gerais do experimento e sua duração. Não fornecem muita informação antes do experimento, uma vez que isto pode influenciar o comportamento do olhar do participante e os dados resultantes.
- Fornecer instruções escritas e o participante a oportunidade de fazer perguntas.
- Explica brevemente a função do tracker do olho.
- Se necessário, esclarecer a tarefa e apontar quaisquer botões/chaves que precisará ser pressionado durante o experimento.
- Explica como o resto de queixo destina-se a minimizar o movimento da cabeça durante o experimento. Mencione que o dispositivo funciona melhor se o participante que evita quaisquer movimentos.
- Configurando o tracker do olho
- Preparar o participante para o experimento: pedir-lhes para se sentar à mesa e coloque o queixo sobre o resto do queixo. Peça-lhes para se apoiar sua testa contra o encosto de cabeça.
- Perguntar ao participante para ajustar a altura e a posição da cadeira, se necessário: o participante deve se sentir confortável com o queixo sobre o resto do queixo e testa contra o encosto de cabeça.
- Explicar que é comum para mover acidentalmente a cabeça durante o experimento, e que este deve ser evitado. Explica que a postura de cabeça pode ter que ser corrigido durante o experimento.
- Se o experimento exige pressionar um botão (por exemplo, através da almofada de resposta), instruir o participante a deixar seus dedos descansando sobre os botões para ser pressionado e evitar olhar para a almofada de resposta ao pressionar um botão.
- Pergunta o participante a ler a tela de boas-vindas/introdução.
- Sente na frente do PC Host. Se a tela não é já na configuração da câmera, clique em configuração da câmera para chegar à tela direita. Se foi removida a tampa protetora da lente da câmera e o participante está correctamente posicionado sobre o resto do queixo, a tela deve mostrar três imagens dos olhos do participante: uma maior imagem na parte superior e dois menores na parte inferior à esquerda e à direita. Estas imagens menores mostram um olho cada um, correspondendo à esquerda e o olho direito.
- Selecione o olho a ser rastreado. Costuma-se controlar o olho dominante do participante. Se o participante não sabe qual olho é dominante, realizar um teste de dominância ocular (etapa 1.3.8).
- Determine a dominância ocular. Pergunta o participante a esticar um braço e alinhar o polegar com um objeto distante com ambos os olhos abertos. Pergunta o participante a alternativa fechando o olho esquerdo ou direito. O olho dominante é aquele em que o polegar permanece alinhado com o objeto quando o olho é aberto35,36.
- Clique na imagem | Display de pc (ou pressione Enter) e as imagens descritas na etapa 1.3.6 também aparecerá na tela do monitor do participante, mas apenas um de cada vez.
- Pressione a seta esquerda/direita no teclado do computador do participante ou do experimentador para alternar entre a menor e maior imagem do olho. Focar a imagem menor (o olho).
- Pressione A (janela de olho Align) em qualquer teclado para centralizar a caixa de limites de pesquisa sobre a posição do aluno. Então, um quadrado vermelho em volta do olho aparece com um círculo turquesa [o 'reflexo corneal', (cr)] na parte inferior da pupila. O aluno em si deve ser azul.
- Certifique-se de que duas cruzes ('mira') aparecem na tela — um no centro do aluno e um no centro da reflexão da córnea. A caixa vermelha e as duas cruzes significa que o tracker do olho está detectando o aluno e o cr.
Nota: Se a caixa vermelha ou as cruzes estão ausentes, o olho não é controlado — neste caso, nenhum aluno será exibido no computador do experimentador. - Ajuste o foco da câmera girando manualmente o foco da lente. Tenha cuidado para não tocar a frente da lente. Gire a lente até o melhor ponto de foco é alcançado.
Nota: O melhor ponto de foco é alcançado quando o círculo turquesa (o reflexo corneal) é tão pequeno quanto possível (ou seja, quando este círculo está em foco). - Defina o limite do aluno. Certifique-se de que apenas a imagem da pupila é azul (por exemplo, os cílios não devem ser azuis) no PC Host. Também, certifique-se que o aluno inteiro (não apenas a parte central) é azul. Só se preocupe com o que está dentro da Praça Vermelha.
- Pressione A. Isso define automaticamente o limite do aluno. Se o aluno não é exibido com precisão em azul, ajuste o limite manualmente usando a tecla UP para aumentar e a tecla para baixo para diminuir a quantidade de azul parte da superfície da imagem.
Nota: Rímel (que é geralmente preto, como o aluno) pode interferir com configuração limiar — o tracker do olho pode levar os cílios escuros para o aluno. Neste caso, solicitar o participante para remover a maquiagem deles, fornecendo-lhes maquiagem tecidos removedor. - Defina o limite de cr. Se A foi pressionado na etapa 1.3.15, o limite de cr deveria ter automaticamente foi definido.
Nota: Valores numéricos para todas as configurações de limite devem ser visíveis. Se um ponto de interrogação aparece em qualquer um deles, havia um problema em uma das etapas anteriores e os limiares devem ser definidos manualmente.
- Calibrando o tracker do olho
Nota: Verifique se o tracker do olho consistentemente pode identificar a posição do olho quando o participante Olha para outras partes da tela.- Pergunte ao participante de olhar para os quatro cantos da tela um de cada vez enquanto a janela de configuração da câmera está no modo de exibição. Observar atentamente para qualquer reflexão irregular (estas aparecem como turquesa 'bolhas' na tela) que interferem com o reflexo corneal quando o olhar do olho é dirigido no canto.
- Pergunta o participante a olhar para o centro da tela e então direcionar seu olhar para o canto problemático se a caixa vermelha ao redor do olho e também de mira não é visível em qualquer ponto durante a etapa 1.4.1. Isto ajudará a determinar a origem do problema.
- Re-ajustar a posição da cabeça do participante e verificar se este produz alguma melhoria. Se necessário, repita este passo. Se o dispositivo é ainda incapaz de controlar com precisão o olhar do participante depois de várias tentativas, aborte o experimento.
- Informe o participante que o tracker do olho vai ser calibrado e que eles vão ver um círculo preto (com um pequeno ponto cinzento) movendo-se para diferentes partes da tela. Instrua o participante a fixar o círculo até que ele se move para um novo local. Instrua o participante para evitar sobrecarregar os olhos e se concentrar no pequeno cinzento ponto dentro do círculo preto para obter melhores resultados.
- Diga-o participante que é importante para manter ainda e não para tentar antecipar a posição do círculo próximo durante a calibração. Instrua-os a seguir os círculos com os seus olhos e não com sua cabeça. Clique em calibrar para iniciar o processo de calibração. Normalmente, um procedimento de calibração 9-ponto é usado em que o círculo preto move-se para nove locais de forma serial.
- Para uma calibração automática, pressione ENTER após o participante com precisão tem fixado o primeiro ponto no meio da tela. De calibração manual (por exemplo, quando há problemas de rastreamento do participante olho ou quando lidar com participante especial grupos como crianças), aceitar cada fixação pressionando ENTER (ou clicando em Accept fixação/ pressionando a barra de espaço).
Nota: No final do processo de calibração, um padrão quase retangular na tela do experimentador deve ser visível. Isto representa os padrões de olhar olho do participante. Além disso, os resultados de uma boa calibração devem ser realçados em verde. Se eles não são, repita o procedimento de calibração (i.e., clique em calibração). - Valide os resultados. Diga o participante a percorrer o mesmo procedimento (olhando para pontos) para validar os resultados do processo de calibração. Lembrá-los a olhar para o ponto e ser ainda.
Nota: O processo de validação é similar de calibração e ambos os resultados são comparados pelo software rastreador de olho para garantir que o olho está sendo controlado com precisão. - Clique validar.
- Aceite cada fixação pressionando ENTER (ou clicando em aceitar afixação/pressionando a barra de espaço).
- Após a validação, os resultados aparecerão na tela do experimentador. Especial atenção para as medidas de dois de erro, o erro médio (por exemplo, 0,23 °) e o erro máximo (por exemplo, 0,70 °). Estes representam os graus a que a imagem controlada desvia a olhar real a posição de um participante.
- Quando usando um paradigma do mundo visual, manter o erro médio (o primeiro número) sob 0,5 ° e o erro máximo (o segundo número) abaixo dos 1°.
- Se os valores de erro são acima do limiar, pedir o participante a reajustar a posição da sua cabeça e reinicie o procedimento de calibração. Se nenhuma melhora for observada, aborte o experimento.
Nota: É comum observar erros de calibração alta quando o participante usa lentes de contato. O participante deverá solicitar com antecedência que traga seus óculos de prescrição em vez de suas lentes de contato. - Após concluir com sucesso o processo de calibração, clique em Saída/registro para iniciar o experimento. Informe o participante que a experiência vai começar agora.
- Durante o experimento
Nota: Durante o experimento (dependendo de como uma experiência individual é programada, mas normalmente antes de cada ensaio experimental), uma tela deriva cheque ou tração correta exibirá um ponto no centro da tela. Sua finalidade é relatar o erro calculado de fixação para o atual julgamento e, dependendo do modelo de rastreador de olho, para ajustá-lo automaticamente.- Durante a fase de instrução, o participante tem sido dito para fixar o ponto central, sempre que ele aparece. Certifique-se que durante todas as fases de correta seleção/deriva deriva, os participantes são novamente fixando o ponto. Isto pode ser feito seguindo o olhar do participante no PC Host, onde o olhar do participante aparece como um círculo verde em movimento.
- Concluída a seleção/deriva de tração correta, pressione ENTER (ou a barra de espaço) para fazer o ponto desaparecer e exibir o próximo julgamento.
- Determine como lidar com o fracasso para passar a fase de seleção deriva de acordo com o modelo do controlador olho usado. Dependendo do modelo, o tracker do olho também executará um automático correção de deriva , ajustando as coordenadas do olhar para coincidir com aqueles do ponto central, ou fará um sinal sonoro para alertar o experimentador para re-calibrar antes de continuar a experimento (deriva de seleção).
- Se utilizar uma correção automática deriva, tenha em mente que muitas correções de deriva em ensaios consecutivos e/ou muito grande um grau de correção de deriva vão distorcer os resultados e exigem uma re-calibração do dispositivo.
- Re-calibração durante o experimento
- É possível para re-calibrar a qualquer momento durante o experimento. Durante a apresentação da tela deriva deriva de correção/seleção , clique em configuração da câmera, clique em calibrar. Passar por processos de calibração e validação, até atingir um valor satisfatório e, em seguida, clique em saída/registro. O experimento vai retomar a partir do ponto de saída na sequência de julgamento.
- Após a experiência
- Fornece ao participante com um questionário para avaliar se eles foram capazes de adivinhar as chaves manipulações experimentais. Aqui, também é importante perguntar sobre estratégias potenciais que poderiam foram desenvolvidas ao longo do experimento.
- Depoimento do participante sobre o propósito do experimento. Agradecer-lhes pela sua participação e fornecer a necessária compensação monetária ou atribuir crédito de curso, se for o caso.
2. remota instalação: Ajustando a configuração para estudos com crianças e adultos mais velhos
Nota: Esta seção descreve apenas as diferenças entre uma instalação remota e uma configuração de desktop, conforme descrito na etapa 1. Pontos não explicitamente mencionado aqui deve ser considerado idêntico ao procedimento descrito na etapa 1.
- Troca a lente da câmera 35mm padrão olho rastreador para uma lente de 16 milímetros.
- Ligue todos os equipamentos necessários (Host PC, alto-falantes, tracker do olho e portátil se for usado um laptop).
- Coloque o laptop em um carrinho do portátil e o tracker do olho na frente dele (o participante deve ser capaz de ver o top 75% da tela).
- Colocar um adesivo de"alvo" (disponível a partir do fabricante do controlador) na testa do participante (acima da sobrancelha do olho direito ou na face direita, se a testa for muito pequeno (ou seja, em caso de lactentes); este substitui adesivo do queixo o resto da configuração de área de trabalho e permite que o tracker do olho determinar com precisão a posição da cabeça do participante.
- Certifique-se que o participante está assentado 550-600 mm distância da câmera (a distância da vinheta alvo para a câmera).
- Certifique-se de que as palavras "grande angular" ou "olho de perto" não aparecem no PC Host. Se isso acontecer, significa que a posição da vinheta alvo não é o ideal. Neste caso, reajuste a etiqueta de destino. Também pode significar que a testa do participante é particularmente pequena. Se este for o caso, coloca o adesivo na bochecha do participante.
Nota: Se o adesivo é colocado muito perto da orelha, a mensagem "grande angular" é provável que apareça e o adesivo deve ser reposicionado. - Antes de iniciar o processo de calibração descrito na etapa 1.4, certifique-se que o participante está sentado confortavelmente. Peça-lhes para manter a mesma posição ao longo de todo o experimento e explicar que o tracker do olho é muito sensível aos movimentos corporais. Insistem que eles mantêm sua cabeça ainda. Se o participante se move muito, o dispositivo emitirá um zumbido.
Nota: Se a instalação de rastreador de olho remoto está sendo usada para testar as populações sensíveis, tais como crianças ou adultos mais velhos, é aconselhável a utilização de um procedimento de calibração manual.
3. Ajuste o Setup para a leitura de estudos
Nota: Ao investigar os efeitos de contexto visual na leitura, é necessário prestar especial atenção aos processos de calibração e recalibração. Ao contrário de estudos mundo visual, olho durante a leitura de rastreamento requer um maior grau de precisão do dispositivo, dada a precisão necessária para rastrear padrões de leitura palavra por palavra e letra a letra.
- Certifique-se que tanto o erro médio e máximo exibido durante a fase de validação permanece abaixo dos 0,5 °.
- Certifique-se de usar pelo menos uma escala de 9 pontos para calibração. Isto assegura um rastreamento mais preciso da posição de olhar olho, que é essencial, dado o pequeno tamanho das áreas de interesse durante a leitura.
Representative Results
Um estudo realizado por de Münster e colaboradores37 investigou a interação da estrutura da frase, representado ações e expressões faciais emocionais durante a compreensão de linguagem. Este estudo é bem adequado para ilustrar as vantagens e limitações do método, como mostrou que robusto ambos descritos efeitos de ação e efeitos marginais de expressões faciais emocionais na compreensão da sentença. Os autores criaram 5 vídeos de s de expressão facial de uma mulher que mudou a partir de uma posição de descanso em um feliz ou em uma expressão triste. Eles também criaram emocionalmente positivamente valenced alemão objeto-verbo-advérbio-sujeito (OVAdvS) sentenças da forma ' a [objeto/pacientecaso acusativo] [verbo] [advérbio positivo] [sujeito/agentecaso nominativo].' Via o advérbio positivo, as sentenças correspondentes o vídeo 'feliz' e incompatíveis com o vídeo 'triste', permitindo em antecipação do princípio do agente (que estava sorrindo e descrito como agir alegremente pelo advérbio positivo). Após o vídeo de alto-falante, a frase apareceu com uma das duas versões de uma cena de agente-paciente-distrator clipart. Em uma versão, o agente foi retratado como executar a ação mencionada no paciente, enquanto o personagem de distrator executou uma ação diferente. A outra versão da cena retratada sem ações entre os personagens. Movimentos oculares na cena revelaram os efeitos das ações e da expressão facial do falante na compreensão da sentença.
A representação de ação rapidamente afetou a atenção visual dos participantes, significando que os participantes parecia mais com o agente do que no distrator quando a mencionada ação foi (vs não foi) retratado. Esses olhares eram antecipatórias (i.e., ocorrendo antes que o agente foi mencionado), sugerindo que a representação de ação esclareceu o agente antes da sentença. O efeito mais antigo da representação ação surgiu durante o verbo (i.e., o verbo mediada o agente ação associada). Por outro lado, se o orador precedente sorriu ou parecia infeliz não teve claro efeito sobre a antecipação do agente (Figura 2). O último resultado poderia refletir o link mais tênue entre o sorriso de um alto-falante e um advérbio sentenciais positivo relativos à ação do agente retratados (comparada com uma referência de verbo-ação direta mediando um agente de ação associada). Alternativamente, pode ser específico para a apresentação da tarefa e estímulo: Talvez emoção efeitos seriam ter sido mais pronunciada em uma tarefa mais socialmente interativa ou em uma que apresenta a compreensão de sentença do orador rosto durante (e não antes). No entanto, apresentar o rosto de um alto-falante sorridente durante a compreensão poderia causar participantes para se concentrar no rosto em detrimento de outros conteúdos de cena, talvez mascaramento caso contrário observáveis efeitos das variáveis manipuladas (fonte: dados não publicados).
Em uma outra variante do paradigma, Guerra e Knoeferle32 perguntou se espacial-semântica das relações linguagem-mundo podem modular a compreensão do conteúdo semântico abstrato durante a leitura. Guerra e Knoeferle emprestado a ideia de teoria da metáfora conceitual38 que a distância espacial (por exemplo, proximidade) aterra o significado das relações semânticas abstratas (por exemplo, similaridade). Em consonância com esta hipótese, os participantes leitura coordenado substantivos abstratos mais rápido quando eles foram semelhantes (vs oposto) em significado e foi precedidos de uma proximidade de transtorte vídeo (vs distância; jogando cartas move mais perto juntos vs. mais distantes). Em um segundo conjunto de estudos39, frases descreveram a interação entre duas pessoas como íntimo ou hostil, levando à descoberta que vídeos de duas placas, aproximando-se um outro aceleraram-se a leitura das regiões de sentença que transmitiu social proximidade/intimidade. Observe que a distância espacial afectados frase ler rapidamente e de forma incremental, mesmo quando as sentenças não se referia os objetos no vídeo. Os vídeos distintamente modulada leitura vezes em função da congruência entre distância espacial e aspectos semânticos, bem como sociais do significado da frase. Estes efeitos apareceram tanto no leitura de primeira passagem (a duração da primeira inspeção de uma região pré-determinada de sentença) e o tempo total gasto na região frase (consulte a Figura 3 para obter uma ilustração dos resultados dos estudos por Guerra e Knoeferle)32. No entanto, as análises também revelaram uma variação substancial entre os participantes, levando à conclusão de que tais efeitos sutis de cartão-distância podem não ser tão robustos como os efeitos das relações de verbo-ação, para mencionar um exemplo.
Um conjunto adicional de estudos ilustra como a variação na estrutura da frase pode ajudar a avaliar a generalidade dos efeitos de contexto visual. Abashidze e colaboradores34 e Rodríguez e colaboradores26 examinaram os efeitos de ações recentes sobre o tratamento subsequente de sentenças faladas. Em ambos os estudos, os participantes primeiro inspecionou um vídeo de ação (por exemplo, pepinos de condimento um experimentador, ou mãos femininas assando um bolo). Em seguida, eles ouviram uma frase alemã, que também estava relacionada com a ação recente ou outra ação que pode ser executada próximo (condimento tomates34; construindo um modelo26). Durante a compreensão, os participantes inspecionado uma cena mostrando dois objetos (pepinos, tomates)34 ou duas fotografias do agente faces (um feminino e um rosto masculino agente, chamado 'Susanna' e 'Thomas', respectivamente)26. No estudo de Abashidze e colaboradores34, o orador mencionado pela primeira vez o experimentador e, em seguida, o verbo (por exemplo, condimento), suscitando expectativas sobre um tema (por exemplo, o pepino ou os tomates). No estudo de Rodríguez e colaboradores26, o orador mencionado pela primeira vez um tema (o bolo) e em seguida o verbo (cozimento), suscitando expectativas sobre o agente da ação (feminino: Susanna, ou macho: Thomas, retratada através de fotos de um feminino e um rosto masculino).
Em ambos os estudos, a pergunta em questão era se as pessoas (visualmente) anteciparia o agente/tema do evento ação recente ou o outro agente/tema baseado no ainda mais as sugestões contextuais fornecidas durante a compreensão. Em Abashidze e colaboradores34, olhar do experimentador cued objeto futuro tema (os tomates) desde o início do verbo (literalmente traduzido do alemão: 'o experimentador-agente sabores em breve...'). Em Rodríguez e colaboradores26, conhecimento do gênero de ações estereotipadas tornou-se disponível quando o tema e o verbo foram mencionados (por exemplo, a tradução literal do alemão estímulo foi: 'o tema bolo coze em breve...'). Em ambos os conjuntos de estudos, os participantes preferencialmente inspecionado o alvo/agente da ação recente (os pepinos34 ou Susanna26) sobre o alvo (futuro/outros-gênero) alternativo (o tomate34 ou Thomas26) durante a sentença.
Esta chamada 'preferência recente-evento', assim, parece ser robusto, através de uma variação substancial na estrutura da frase e materiais experimentais. Isso foi modulado, no entanto, por restrições de visuais da cena simultâneas26, tal que apresentar fotografias plausíveis de temas do verbo fotografias além de gênero dos agentes reduziu a dependência sobre os eventos de ação recentemente-inspecionado e atenção modulada com base no conhecimento do gênero-estereótipo veiculado pela linguagem. A Figura 4 ilustra as principais conclusões dos experimentos por Rodríguez e colaboradores26.
Enquanto esta versão do paradigma visual-mundo produziu resultados robustos, outros estudos têm destacado a complexidade (e limitações) da hipótese de vinculação. Burigo e Knoeferle20 descobriu que os participantes — quando escuta a difamações como der de über Die caixa ist Wurst ('é a caixa acima a salsicha') — principalmente seguido do enunciado na inspeção clipart representações desses objetos. Mas em uma proporção de julgamentos, o olhar dos participantes dissociado do que foi mencionado. Ao ouvir 'linguiça' e tendo inspecionado a salsicha pelo menos uma vez, próxima inspeção dos participantes retornou à caixa em aproximadamente 21% dos julgamentos na verificação acelerada (experimento 1) e em 90% dos ensaios de verificação pós-sentença ( Experimento 2). Este padrão de olhar sugere que a referência '(salsicha audiência') guiado apenas alguns (inspecionando a salsicha), mas nem todos olho movimentos (inspeção da caixa). Este tipo de projeto poderia ser usado para provocar processos léxico-referencial separados dos outros (incluindo a sentença-nível interpretativo) processos. No entanto, pesquisadores devem ter cuidado quando fazer afirmações sobre diferentes níveis de processamento linguísticos com base em diferenças relativas em proporções movimento dos olhos, dada a ambiguidade na vinculação olhar olho cognitivo e processos de compreensão.
Figura 1: visão geral sobre o ambiente de coleta de dados. O gráfico mostra como o software diferente e elementos de hardware utilizados para a coleta de dados e pré-processamento se relacionam. Clique aqui para ver uma versão maior desta figura.
Figura 2: Resultados representativos de Münster e colaboradores37. Estes painéis mostram o média por assunto log-olhar rácios de probabilidade por condição na região de verbo (para a ação representada) e na região de verbo-advérbio combinado (para o efeito de prime emocional). Os resultados mostram uma proporção consideravelmente maior de olhares para a imagem de destino quando a ação mencionada na frase foi retratada do que quando tudo não foi apresentado. Os resultados para o efeito emocionais primes faciais foram menos conclusivos: eles sugerem apenas um ligeiro aumento na proporção média do log de olhares para o destino quando o prime facial tinha uma Valência emocional positiva (um sorriso) do que quando tinha uma valência negativa (triste). As barras de erro representam o erro padrão da média. Esta figura foi modificada em Münster et al 37. clique aqui para ver uma versão maior desta figura.
Figura 3: Resultados representativos de Guerra e Knoeferle32. Este painel mostra os tempos de leitura de primeira passagem média (em milissegundos) do adjetivo (des) semelhança. Os resultados mostram tempos de leitura mais curtos para frases de similaridade após ver dois cartões jogando aproxime-se juntos em comparação com mais distantes. As barras de erro representam o erro padrão da média. Esta figura foi modificada de Guerra e Knoeferle32. Clique aqui para ver uma versão maior desta figura.
Figura 4: Resultados representativos de Rodríguez e colaboradores26. Este painel mostra o olhar de média de log por assunto rácios de probabilidade por condição na região de verbo. As proporções de parece acima 0 mostrar uma preferência para a imagem do agente de destino e as proporções abaixo 0 mostram uma preferência para a imagem de agente do concorrente. Os resultados mostram que os participantes eram mais propensos a inspecionar a imagem do agente de destino quando o objeto e o verbo mencionado na frase correspondência com os eventos anteriores em vídeo do que quando eles não fizeram. Além disso, havia mais olhares em direção a imagem do agente de destino quando a ação descrita pela sentença em conformidade com os estereótipos de género. As barras de erro representam o erro padrão da média. Esta figura foi modificada de Rodríguez et al . 26. clique aqui para ver uma versão maior desta figura.
Discussion
Em resumo, as variantes opinião do olho de rastreamento em contextos visuais descobriram muitas maneiras em que uma cena visual pode afetar a compreensão de linguagem. Este método fornece vantagens cruciais em comparação com métodos como medição de tempos de reação. Por exemplo, movimentos oculares em curso nos fornecem uma janela em processos de compreensão de linguagem e como estas interagem com nossa percepção do mundo visual ao longo do tempo. Além disso, os participantes não são necessariamente necessário para executar uma tarefa explícita durante a compreensão de linguagem (como julgar a gramaticalidade de uma frase através de pressionar um botão). Isto permite que os pesquisadores usar o método com populações que podem lutar com respostas comportamentais evidentes diferente olhar olho, tais como lactentes, crianças e, em alguns casos, adultos mais velhos. Olho de rastreamento é ecologicamente válido em que ele reflete respostas de atenção dos participantes — não muito diferente do interrogatório de visual dos seres humanos de coisas relevantes para a comunicação no mundo em torno deles durante a escuta mais ou menos atenta ao desenrolar dos enunciados.
Um dos limites (ou talvez características) do paradigma visual do mundo é que nem todos os eventos podem ser retratados direta e inequívoca. Eventos e objetos concretos podem, naturalmente, ser retratados. Mas como conceitos abstratos são melhores retratado é menos clara. Isso pode limitar (ou definir) insights sobre a interação entre o processamento da linguagem e a percepção do mundo visual usando uma paradigma do mundo visual olho de monitoramento. Novos desafios se relacionar as hipóteses de vinculação entre os processos de compreensão e comportamento observado. Fixações do olho são uma única resposta comportamental que provavelmente reflete muitos subprocessos durante a compreensão de linguagem (por exemplo, acesso lexical, referenciais processos, mediada por linguagem de expectativas, efeitos de contexto visual, entre outros). Dada essa percepção, pesquisadores devem ter cuidadosos para não over - ou interpretar mal o padrão observado de olhar. Para resolver este problema, pesquisas anteriores destacou o papel da compreensão subtarefas para clarificar a interpretação do olhar recorde40.
Uma maneira de melhorar a interpretabilidade dos movimentos oculares é integrá-los com outras medidas tais como potenciais relacionados a eventos cérebro (ERPs). Investigando o mesmo fenômeno com dois métodos que são comparáveis em sua granularidade temporal e complementares em suas hipóteses de vinculação, pesquisadores podem descartar explicações alternativas dos seus resultados e enriquecer a interpretação de cada um medida individual41. Esta abordagem tem sido perseguida através de de experimentos43, mas, mais recentemente, também dentro de uma única experiência (embora em contextos estritamente linguístico)44. Futuras pesquisas poderiam beneficiar enormemente tal integração metodológica e continuaram a combinação com tarefas pós-teste e pós-experimentais.
O método de controle de olho pode replicar os resultados estabelecidos, bem como testar novas hipóteses, sobre a interação da atenção visual em cenas com compreensão de linguagem. O procedimento descrito no protocolo deve ser cuidadosamente seguido, desde que o experimentador mesmo pequenos erros podem afetar a qualidade dos dados. Em estudos de leitura, por exemplo, as regiões de análise relevantes são frequentemente palavras individuais ou até cartas, significando que a calibração mesmo pequenos erros podem distorcer os resultados (ver o artigo por Raney e colegas42). Passos 1.4 e 1.5 do protocolo, a calibração do tracker do olho e a seleção/deriva de tração correta, são de particular importância, uma vez que elas impactam diretamente a precisão de gravação. Para calibrar corretamente o tracker do olho pode resultar no tracker não precisão de controle de movimentos oculares para previamente estabelecidas áreas de interesse. Tal falta de rastreamento levará à falta de pontos de dados e uma perda no poder estatístico que pode ser problemático quando investigando relações de linguagem-ao-mundo que são muito sutis e produzem tamanhos pequeno efeito estatístico (veja a descrição do experiências de Guerra e Knoeferle32 e Münster e colegas37 entre os Resultados de representante).
Dada a necessidade de maximizar a potência e sensibilidade do equipamento, é importante que os experimentadores saiba como lidar com os problemas que ocorrem rotineiramente durante uma sessão experimental. Por exemplo, o aluno posição e o movimento dos participantes usando óculos podem resultar em dificuldades de calibração devido a reflexos de luz nas lentes dos óculos de um participante. Uma maneira de resolver este problema é espelhar a imagem do olho do participante no PC Display e incentivá-los a mover sua cabeça até que o reflexo da luz, os óculos já não é visível na sua tela, significa que já não é captada pela câmera. Uma outra causa da falha de calibração pode ser constrição da pupila, que pode ser uma consequência de uma exposição excessiva à luz. Nesse caso, escurecimento da luz no laboratório aumentará a dilatação da pupila e, assim, ajudar o tracker em detectar com precisão a pupila do olho.
Como um pensamento final, gostaríamos de abordar o potencial que o paradigma visual-mundo tem para a pesquisa sobre a aprendizagem de segunda língua. O paradigma tem já sido utilizado com sucesso em pesquisas linguísticas para investigar fenômenos como a interação de várias linguagens lexical e fonológica46,,47,48. Além disso, a estreita ligação entre a atenção visual e aprendizagem de línguas, frequentemente tem sido destacada na literatura linguística aplicada na aquisição de segunda língua49,50,51. Futuras pesquisas sobre o aprendizado da segunda língua provavelmente continuará a beneficiar-se da posição vantajosa do olho de rastreamento como um método que fornece um índice da atenção visual em resolução milissegundo.
Disclosures
Os autores não têm nada para divulgar.
Acknowledgments
Esta pesquisa foi financiada pelo ZuKo (iniciativa de excelência, Humboldt-Universität zu Berlin), a 277 do Cluster de excelência 'Cognitivo interação tecnologia' (Conselho de investigação alemão, DFG) e pelo sétimo programa-quadro da União Europeia para a investigação, desenvolvimento tecnológico e demonstração sob contrato de concessão n ° 316748 (LanPercept). Os autores também reconhecem o apoio dos fundos Basal para centros de excelência, projeto FB0003, do programa de pesquisa associativa de CONICYT (governo do Chile) e do projeto "FoTeRo" no centro de foco XPrag (DFG). Pia Knoeferle desde o primeiro rascunho do artigo informados por um protocolo de laboratório que Helene Kreysa instanciado na Universidade de Bielefeld e que continua a ser usado no Humboldt-Universität zu Berlin. Todos os autores contribuíram para o conteúdo, fornecendo entrada sobre métodos e resultados de uma forma ou de outra. Camilo Rodríguez Ronderos e Pia Knoeferle coordenou a entrada dos autores e, em duas iterações, substancialmente revisaram o projecto inicial. Ernesto Guerra produziu as figuras 2 - 4 , com base na entrada de Katja Münster, Alba Rodríguez e Ernesto Guerra. Helene Kreysa fornecido Figura 1 e Pia Knoeferle atualizado. Partes dos resultados relatados foram publicadas no processo da reunião anual da sociedade de ciência cognitiva.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
