Olhar em ação: capacetes Eye Tracking da atenção Visual dinâmico de crianças durante o comportamento naturalista

Summary

Crianças pequenas não passivamente observar o mundo, mas prefiro ativamente explorar e interagir com seu ambiente. Este protocolo fornece princípios orientadores e recomendações práticas para o uso de rastreadores de olho capacetes para gravar dos infantes e crianças ambientes visuais dinâmicos e atenção visual no contexto do comportamento natural.

Abstract

Ambientes visual jovem infantil são dinâmicas, mudando de momento a momento como crianças fisicamente e visualmente explorar espaços e objetos e interagirem com as pessoas ao seu redor. Olho de capacetes de rastreamento oferece uma oportunidade única para capturar exibições egocêntricas dinâmico e como alocam atenção visual dentro daquelas opiniões das crianças. Este protocolo fornece princípios orientadores e recomendações práticas para pesquisadores usando rastreadores de capacetes de olho em laboratório e configurações mais naturalistas. Olho de capacetes de rastreamento complementa outros métodos experimentais, aumentando as oportunidades para coleta de dados em contextos mais ecologicamente válidos maior portabilidade e liberdade de movimentos de cabeça e corpo em relação ao olho em tela de rastreamento. Este protocolo também pode ser integrado com outras tecnologias, como rastreamento de movimento e ritmo cardíaco monitorização, para fornecer um conjunto de dados de alta densidade multimodal para examinar o comportamento natural, aprendizagem e desenvolvimento do que era possível anteriormente. Este documento ilustra os tipos de dados gerados a partir de olho capacetes de rastreamento em um estudo visando investigar a atenção visual em um contexto natural para crianças: fluxo livre jogo de brinquedo com um pai. O uso bem sucedido do presente protocolo permitirá que pesquisadores coletar dados que podem ser usados para responder a perguntas, não só sobre atenção visual, mas também sobre uma ampla gama de outras habilidades perceptuais, cognitivas e sociais e o seu desenvolvimento.

Introduction

Das últimas décadas viram o crescente interesse em estudar o desenvolvimento da atenção visual, alimentação do lactente e da criança. Este interesse tem resultou em grande parte do uso de medições de tempo a olhar como um primário significa avaliar outras funções cognitivas na infância e evoluiu para o estudo da atenção visual infantil em sua própria direita. Investigações contemporâneas de atenção visual, alimentação do lactente e da criança principalmente medem os movimentos oculares durante tarefas de olho de monitoramento baseado em tela. Infantes sentam em uma cadeira ou o colo do pai na frente de uma tela, enquanto seus movimentos oculares são monitorados durante a apresentação de imagens estáticas ou eventos. Tais tarefas, no entanto, não conseguem capturar a natureza dinâmica da atenção visual natural e o meio pelo qual são gerados ambientes visuais naturais infantil - exploração activa.

Lactentes e crianças são criaturas ativas, movendo suas mãos, cabeça, olhos e corpos para explorar os objetos, pessoas e espaços em torno deles. Cada novo desenvolvimento na morfologia do corpo, habilidade motora e comportamento - rastejar, andar, pegar objetos, se envolver com os parceiros sociais - é acompanhado de alterações concomitantes no ambiente visual precoce. Porque o infantes que determina o que eles veem, e o que eles veem serve para o que eles fazem em ação visualmente orientada, estudar o desenvolvimento natural da atenção visual é melhor realizado no contexto do comportamento natural¹.

Rastreadores de olho capacetes (ETs) foram inventados e usados para adultos por décadas^2,3. Só recentemente os avanços tecnológicos fizeram capacetes tecnologia de olho-de acompanhamento adequado para bebés e crianças. Os participantes são equipados com duas câmeras leves na cabeça, uma câmera de cena virada para fora que capta a perspectiva de primeira pessoa do participante e uma câmera de olho virado para dentro que capta a imagem do olho. Um procedimento de calibração fornece dados de treinamento a um algoritmo que mapeia como com precisão quanto possível as mudanças posições do aluno e reflexo corneal (CR) na imagem do olho para os correspondentes pixels na imagem cena que foram sendo atendidos visualmente. O objetivo desse método é capturar ambos os ambientes naturais visuais de lactentes e crianças ativo visual exploração nesses ambientes como infantes mover livremente. Esses dados podem ajudar a responder às perguntas, não só sobre a atenção visual, mas também sobre uma ampla gama de desenvolvimentos perceptuais, cognitivos e sociais^4,5,6,7,8. O uso destas técnicas transformou entendimentos de atenção conjunta^7,8,9, atenção sustentada¹⁰, mudando experiências visuais com a idade e desenvolvimento motor^{4 , 6 , 11}e o papel das experiências visuais na palavra aprendizagem¹². O presente trabalho fornece princípios orientadores e recomendações práticas para a realização de experiências de acompanhamento de olho capacetes com infantes e crianças e ilustra os tipos de dados que podem ser gerados de olho capacetes de rastreamento em um natural contexto para crianças: fluxo livre jogo de brinquedo com um pai.

Protocol

Este tutorial é baseado em um procedimento para coleta de dados de acompanhamento de olho capacetes com crianças aprovadas pelo Conselho de revisão institucional da Universidade de Indiana. Obteve-se consentimento informado dos pais antes da participação de crianças no experimento.

1. preparação para o estudo

1. Equipamento de eye-Tracking. Selecione um dos vários capacetes olho-rastreamento sistemas comercialmente disponíveis, ou um comercializado como especificamente para crianças ou modificar o sistema para trabalhar com um boné infantil sob medido, por exemplo, como mostrado nas figuras 1 e 2. Certifique-se de que o sistema de acompanhamento de olho tem as características necessárias para o teste de lactentes e/ou crianças seguindo estas etapas:
   1. Selecione uma câmera de cena que é ajustável em termos de posicionamento e tem um ângulo grande o suficiente para capturar um campo de visão adequado para abordar as questões de pesquisa. Para capturar a maior parte da actividade da criança num ambiente de recreio como descrito aqui, selecione uma câmera que capta a pelo menos 100 graus diagonal campo de vista.
   2. Selecione uma câmera do olho que é ajustável em termos de posicionamento e possui um LED infravermelho, também construído para a câmera ou adjacente à câmera e posicionado de tal forma que a córnea do olho vai refletir essa luz. Observe que alguns modelos de olho de monitoramento tem corrigido posicionamento, mas modelos que pagar ajustes flexíveis são recomendados.
   3. Escolher um sistema de acompanhamento de olho que é tão discreto e leve quanto possível fornecer a maior chance que bebês/crianças tolerará usando o equipamento.
      1. Incorporar o sistema em um boné, anexando as câmeras de cena e o olho a uma cinta de Velcro que é afixada para o lado oposto do Velcro costurado sobre a tampa, e o posicionamento das câmeras fora do centro de visão da criança.
         Nota: Sistemas projetados para ser semelhante a óculos não são ideais. A morfologia do rosto da criança é diferente de um adulto e partes que recair sobre a criança nariz ou ouvidos podem ser perturbador e desconfortável para o participante.
      2. Se o ET é transferido para um computador, os cabos do pacote e mantê-los nas costas do participante para evitar distração ou tropeçar. Como alternativa, use um sistema auto-suficiente que armazena dados em um dispositivo intermediário, tal como um telemóvel, que pode ser colocado sobre a criança, o que permite maior mobilidade.
   4. Selecione um pacote de software de calibração que permite a calibração off-line.
2. Ambiente de gravação.
   1. Considere a extensão a que a criança vai passar em todo o espaço durante a coleta de dados. Se uma posição única é preferível, mencione isso ao cuidador da criança para que eles podem ajudar a criança a ficar no local desejado. Remova todos os desviadores potenciais do espaço, exceto para aqueles que a criança deve interagir com, que deve estar ao nosso alcance.
   2. Emprega uma câmera de terceira pessoa para auxiliar na codificação posterior de comportamento infantil, bem como identificar momentos quando o ET pode tornar-se deslocado. Se a criança vai passar em todo o espaço, considere câmeras adicionais também.

2. colete os dados de acompanhamento de olho.

1. Pessoal e atividade. Tenho dois experimentadores presentes, um para interagir com e ocupar a criança e para colocar e posicionar o ET.
   1. Exercer plenamente a criança uma actividade que ocupa as mãos da criança para que a criança não alcance até mover ou agarrar o ET, enquanto ele está sendo colocado em sua cabeça. Considere os brinquedos que incentivam ações manuais e pequenos livros que a criança pode segurar enquanto o experimentador ou o pai lê para a criança.
2. Coloque o ET na criança. Porque a tolerância dos bebês de desgastar o capacetes ET varia, siga estas recomendações para promover o sucesso na colocação e mantendo o ET na criança:
   1. No tempo que antecederam ao estudo, pedir cuidadores ter seu desgaste de criança um boné ou gorro, semelhante à que é usado com o ET, em casa para pegá-los, acostumados a ter alguma coisa na sua cabeça.
   2. O estudo, têm diferentes tipos de tampas disponíveis para que o ET pode ser anexado. Personalize bonés compra de diferentes tamanhos e estilos de tampões, como um boné que pode ser usado para trás ou um gorro com orelhas de animais, e adicionando o Velcro para que o sistema de acompanhamento de olho, equipado com o lado oposto do Velcro, pode ser anexado. Também considere ter chapéus para ser usado pelo cuidador e experimentadores, para incentivar o interesse da criança e a vontade de também usar um boné.
      1. Antes de colocar a tampa sobre a criança, ter um experimentador dessensibilizar a criança aos toques na cabeça tocando levemente o cabelo várias vezes quando a atenção e o interesse da criança é dirigida a um brinquedo.
   3. Para colocar o ET na criança, seja para trás ou para o lado da criança (ver Figura 2). Coloque o ET na criança quando suas mãos estiverem ocupadas, tais como quando a criança está segurando um brinquedo em cada mão.
      1. Se a criança Olha para o experimentador colocando o ET, dizer Olá e avise a criança que está sendo feito ao mesmo tempo proceder à rapidamente, coloque o ET na cabeça da criança. Evite se mover muito lentamente ao colocar o ET, que pode causar angústia da criança e pode levar a pobre posicionamento como a criança tem maior oportunidade para mover sua cabeça ou alcançar para o ET.
      2. Para reduzir o tempo gasto, ajustando a câmera após a colocação, antes de colocar o ET sobre o participante, definir as câmeras para estar em sua posição antecipada quando sobre a cabeça da criança (ver seções 2.3.1 e 2.3.2).
3. Posição do ET a cena e câmeras olho. Uma vez que o ET é sobre a cabeça da criança, fazer ajustes para a posição das câmaras de cena e de olho enquanto feeds de vídeo essas câmeras de monitoramento:
   1. Posição da câmera de cena baixa na testa para melhor aproximar campo de visão a criança (ver Figura 1B); Centro de visão da câmera a cena em que a criança vai olhar para durante o estudo.
      1. Tenha em mente que as mãos e objetos realizados serão sempre muito perto da criança e com baixo teor de visão da câmera de cena, enquanto ainda mais objetos serão no fundo e mais alto na visão da câmera de cena. Posição da câmera de cena para melhor capturar o tipo de exibição mais relevante para a questão de pesquisa.
      2. Teste a posição da câmera local atraindo a atenção da criança para locais específicos no seu campo de visão usando um ponteiro laser ou brinquedo pequeno. Assegurar a esses locais em antecipada estão Visualizando distância das regiões que serão de interesse durante o estudo (ver Figura 3).
      3. Evite a inclinação, verificando que as superfícies horizontais aparecem flat na visão da câmera de cena. Marca a orientação vertical da câmara para mitigar a possibilidade da câmara inadvertidamente ficando invertida durante o reposicionamento de cena, mas note que etapas extras durante o pós-processamento podem reverter as imagens para a orientação correta, se necessário.
   2. Para obter dados de olhar de alta qualidade, posicione a câmera do olho para detectar o aluno e o reflexo corneal (CR) (ver Figura 2).
      1. Posicione a câmera do olho para está centrada na pupila da criança, com nenhuma oclusão por bochechas ou pestanas ao longo de toda a gama de movimento do olho (ver Figura 2C-F para obter exemplos de imagens do olho bom e ruim). Para ajudar com isso, posicione a câmera do olho abaixo do olho, próximo a bochecha, apontando para cima, mantendo a câmera fora do centro da vista da criança. Alternativamente, posicione a câmera do olho abaixo e para o lado exterior do olho, apontando para dentro.
      2. Verifique se a câmera está perto o suficiente para que seu movimento produz um deslocamento relativamente grande da pupila na imagem da câmera do olho o olho.
      3. Evitar a inclinação, certificando-se que os cantos dos olhos da imagem do olho podem formar uma linha horizontal (ver Figura 2C).
      4. Certifique-se de que o contraste da pupila contra a íris é relativamente alto para que o aluno pode distinguir com precisão de iris (ver Figura 2C). Para ajudar com isso, ajuste a posição da luz LED (se próximo a câmera eye) ou a distância da câmera olho do olho (se o LED não é independentemente ajustável). Para a deteção de pupila aumentada, posicione o diodo emissor de luz em um ângulo e não diretamente para o olho. Certifique-se de que quaisquer ajustes para o diodo emissor de luz ainda produzem uma clara CR (ver Figura 2C).
4. Obter pontos durante o estudo para a calibração de off-line.
   1. Uma vez que as imagens da cena e o olho são de alta qualidade como podem ser, dados de calibração cobrar por chamar a atenção da criança para locais diferentes em seu campo de visão.
      1. Obter pontos de calibração em várias superfícies com qualquer coisa que claramente direciona a atenção da criança a um ponto pequeno, claro em seu campo de visão (ver Figura 3). Por exemplo, use um ponteiro laser contra um fundo sólido ou uma superfície com pequenas luzes de LED ativado independentemente.
      2. Limite a presença de outros destinos interessantes em vista da criança para garantir que a criança Olha para os alvos de calibração.
   2. Alternar entre a chamar a atenção para diferentes locais que exigem grandes deslocamentos angulares do olho.
      1. Cobrir o campo de visão igualmente e não se movem muito rapidamente entre pontos que ajudarão em encontrar claras sacadas da criança durante a calibração off-line para ajudar a inferir quando olharam para a próxima localização.
      2. Se a criança não parece imediatamente para o novo local de destaque, chamar a atenção para o local por mexer com o laser, girar de ligar/desligar os LEDs ou tocar o local com um dedo.
      3. Se possível, obter mais pontos de calibração que necessária no caso de alguns se tornar inutilizável depois.
   3. Certifique-se de que a posição do corpo da criança durante a calibração corresponde à posição que será usada durante o estudo.
      1. Por exemplo, não recolha pontos de calibração quando a criança está sentada se espera-se que a criança mais tarde vai estar de pé.
      2. Certifique-se de que a distância entre a criança e os alvos de calibração é semelhante à distância entre a criança e as regiões que serão de interesse durante o estudo.
      3. Não coloque pontos de calibração, muito perto do corpo da criança que, durante o experimento, a criança vai principalmente olhar para objetos que estão mais longe. Se um está interessado em objetos próximos e distantes, considere dois conjuntos diferentes de pontos de calibração, obtendo, que mais tarde pode ser usado para criar calibrações exclusivas para cada distância de visualização (ver secção 3.1 para obter mais informações).
         Nota: Binocular olho de rastreamento é um desenvolvimento tecnologia^13,14 , que promete avanços no rastreamento de olhar em profundidade.
   4. Para acomodar para tração ou movimento do ET durante o estudo, recolher pontos de calibração no início e no final do estudo no mínimo. Se possível, recolha pontos de calibração adicional a intervalos regulares durante a sessão.
5. Monitore os Feeds de vídeo ET e terceira pessoa durante o estudo.
   1. Se o ET colidida ou desalinhado devido a outras movimentos/ações, tome nota de quando no estudo isto aconteceu porque pode ser necessário recalibrar e código as porções do estudo antes e depois do colisão/desalinhamento separadamente (ver secção 3.1.1).
   2. Se possível, interromper o estudo após cada colisão/desalinhamento para reposicionar as câmeras de cena e olho (veja seção 2.3), em seguida, obter novos pontos de calibração (ver secção 2.4).

3. após o estudo, calibre os dados ET usando Software de calibração.

Nota: Uma variedade de pacotes de software de calibração são comercialmente disponíveis.

1. Considerar a criação de várias calibragens. Personalize pontos de calibração para diferentes segmentos de vídeo para aumentar a precisão da faixa de olhar, não alimentando os dados algoritmo incorretamente incompatível.
   1. Se o ET mudou de posição a qualquer momento durante o estudo, crie calibrações separadas para as porções antes e após a mudança na posição de ET.
   2. Se estiver interessado em atenção a objetos a distâncias muito diferentes de visualização, crie calibrações separadas para as partes do vídeo onde a criança está olhando para objetos a cada distância de visualização. Tenha em mente que as diferenças na distância de visualização pode ser criada por turnos na atenção visual da criança entre muito perto e variar os objetos longe, mas também por alterações na posição do corpo da criança em relação a um objeto, tais como deslocamento de sentado para em pé.
2. Cada calibração. Estabelece o mapeamento entre cena e olho, criando uma série de pontos de calibração - pontos na imagem a cena para que o olhar da criança foi claramente dirigido durante esse quadro. Note que o software de calibração pode extrapolar e interpolar o ponto do olhar (POG) em todos os quadros de um conjunto de pontos de calibração uniformemente dispersos em toda a imagem da cena.
   1. Ajudar o software de calibração em detectar o aluno e CR em cada quadro da câmera olho vídeo para garantir que o POG identificado é confiável. Em casos onde o software não consegue detectar o CR confiantemente e consistentemente, use a aluno única (nota, no entanto, que a qualidade dos dados vai sofrer como resultado).
      1. Obter uma imagem de olho nos quadros de câmera olho ajustando os limiares da calibração vários parâmetros de deteção do software, que podem incluir: o brilho da imagem do olho, o tamanho da pupila o software espera, e uma caixa delimitadora que define o limites de onde o software vai olhar para o aluno. Desenhe a caixa delimitadora tão pequenas quanto possível, garantindo que o aluno permanece dentro da caixa em toda a gama completa do olho do movimento. Esteja ciente que uma caixa delimitadora maior que abrange o espaço que o aluno nunca ocupa aumenta a probabilidade de deteção de aluno falsa e pode causar pequenos movimentos do aluno a ser detectado com menos precisão.
      2. Esteja ciente que mesmo após o ajuste de vários limites de deteção do software, o software pode ainda às vezes incorretamente localizar o aluno ou CR; por exemplo, se as pestanas cobrem a pupila.
   2. Encontre pontos de calibração bom com base em quadros de câmera a cena e olho. Observe que os melhores pontos de calibração fornecidos para o software são aqueles em que o aluno e o CR são com precisão detectados, o olho estàvel é fixado em um ponto claramente identificável no espaço da imagem da cena, e os pontos são dispersos uniformemente em toda a gama a imagem da cena.
      1. Certifique-se que aluno detecção é exata para cada quadro em que um ponto de calibração é plotado, para que ambos válidos x-y cena coordenadas e x-y válido aluno são alimentados para o algoritmo.
      2. Durante a primeira passagem em calibração, identifica pontos de calibração em momentos quando a criança está claramente tentando um ponto distinto da imagem da cena. Tenha em mente que estes podem ser pontos intencionalmente criados pelo experimentador durante a coleta de dados, por exemplo, com um ponteiro laser (consulte a Figura 3A-B), ou podem ser pontos do estudo em que o POG é facilmente identificável (veja Figura 3C), enquanto o aluno é detectado com precisão para os quadros.
      3. Para encontrar momentos de olhar para as coordenadas da imagem cena de extrema x-y mais, fazer a varredura através os quadros de câmera olho encontrar momentos com deteção de aluno precisos quando olho da criança está em sua posição mais extrema de x-y.
   3. Fazer várias "passagens" para cada calibração aprimorar em iterativamente a calibragem mais exata possível. Observe que, depois de completar uma primeira "passagem" em calibração, muitos programas de software permitirá a exclusão de pontos utilizados anteriormente sem perder a faixa atual (por exemplo, mira). Selecione um novo conjunto de pontos de calibração para treinar o algoritmo do zero, mas com a ajuda adicional da faixa POG gerada pela passagem de calibração anterior, permitindo-a gradualmente aumentar a precisão de calibração por "limpar" progressivamente qualquer ruído ou imprecisões, introduzidos por passagens anteriores.
3. Para avaliar a qualidade da calibração, observando quão bem o POG corresponde ao olhar conhecidos locais, tais como os pontos produzidos por um ponteiro laser durante a calibração e reflete a direção e magnitude das sacadas da criança. Evite o uso de pontos para avaliar a qualidade de calibração que também foram usados como pontos durante o processo de calibração.
   1. Lembre-se que porque cabeças e os olhos das crianças são normalmente alinhados, atenção visual infantil mais frequentemente é dirigida em direção ao centro da imagem a cena, e uma faixa exata refletirá isso. Para avaliar o egocentrismo da faixa, traçar as coordenadas POG do frame-por-frame x-y na imagem cena gerada pela calibração (ver Figura 4). Confirme que os pontos são mais densa no centro da imagem a cena e distribuídos simetricamente, exceto em casos onde a câmera da cena não foi centrada no centro do campo de visão da criança de quando originalmente posicionado.
   2. Observe que alguns softwares de calibração gerará pontuações de ajuste lineares e/ou homography que refletem com precisão de calibração. Tenha em mente que estes escores são úteis em certa medida, uma vez que, se eles são pobres, a faixa provavelmente também será pobre. No entanto, não use pontuações ajuste como a principal medida de precisão de calibração como eles refletem o grau a que os pontos de calibração escolhido de acordo com eles mesmos, que não dá nenhuma informação sobre o ajuste desses pontos para o local de verdade do chão do POG.
   3. Lembre-se que há momentos no estudo que o alvo do olhar é facilmente identificável e, portanto, pode ser usado como verdade do chão. Calcular a exatidão em graus de ângulo visual medindo-se o erro entre alvos conhecidos olhar e mira o POG (erro em pixels da imagem de vídeo pode ser aproximadamente convertido em graus, com base nas características da lente da câmera cena)⁴.

4. código de regiões de interesse (ROIs).

Nota: A codificação de ROI é a avaliação de dados POG para determinar que uma criança está frequentando visualmente para durante um momento específico no tempo de região. ROI pode ser codificado com alta precisão e alta resolução a partir dos dados POG do frame-por-frame. A saída esta codificação é um fluxo de pontos de dados - um ponto por vídeo frame - que indicam a região de POG ao longo do tempo (consulte a Figura 5A).

1. Antes de começar a codificação de ROI, compilar uma lista de todos os ROIs que deve ser codificado com base nas questões de pesquisa. Esteja ciente de que a codificação ROIs que não são necessários para responder a pesquisa questões faz codificação desnecessariamente demorado.
2. Princípios de codificação de ROI.
   1. Lembre-se que codificação bem sucedida exige renunciar as suposições do codificador, sobre onde a criança deve olhar e em vez disso, examinar cuidadosamente do cada quadro olho imagem, cena e computada POG. Por exemplo, mesmo se um objeto está sendo realizado pela criança e é muito grande na imagem de cena para um quadro específico, não inferi que a criança está olhando para aquele objeto naquele momento, a menos que indicado também pela posição dos olhos. Observe que ROIs indicam que região a criança é foveating, mas não captura a informação visual completa a criança está tomando.
   2. Use a imagem do olho, cena e faixa POG para determinar qual ROI está sendo atendida visualmente.
      1. Usar a faixa POG como um guia, não como terra-verdade. Embora idealmente a faixa POG indicará claramente a localização exata olhou para pela criança para cada quadro, estar ciente de que isto não será sempre o caso devido à natureza (2D) dimensional 2 da imagem em relação a natureza 3D do mundo real, visto pelo chil cena d e variação na precisão de calibração entre os participantes.
         1. Lembre-se que a faixa POG computada é uma estimativa baseada em um algoritmo de calibração e que confiabilidade da faixa POG para um quadro específico, portanto, depende de quão bem o aluno e o CR são detectados; se um ou ambos não são detectados ou estiverem incorretos, a faixa POG não será confiável.
            Nota: Ocasionalmente, a Cruz será consistentemente o alvo por uma distância fixa. Software mais recente pode permitir a computacionalmente corrigir esta discrepância. Caso contrário, um investigador treinado pode fazer a correção manualmente.
      2. Use o movimento da pupila da imagem do olho como a principal sugestão pode ter alterado o ROI.
         1. Percorrem os frames um por um, vendo a imagem do olho. Quando ocorre um movimento visível do olho, verifique se a criança está mudando sua POG para um ROI de novo ou não definido ROI.
         2. Note que nem todos os movimentos oculares indicam uma mudança no ROI. Se o ROI constitui uma grande região do espaço (por exemplo, um objeto de perto), tenha em mente esse olho pequeno movimento pode refletir um olhar para um novo local dentro do mesmo ROI. Da mesma forma, lembre-se que os movimentos oculares podem ocorrer como a criança controla um único ROI em movimento, ou como uma criança que está se movendo sua cabeça também move seus olhos para manter o olhar sobre o ROI mesmo.
         3. Observe que com alguns ETs a imagem do olho é uma imagem espelhada do olho da criança, caso em que se o olho se move para a esquerda que deve corresponder a um deslocamento para a direita na cena.
   3. Porque a faixa POG serve apenas como um guia, fazer uso de informações contextuais disponíveis também para orientar as decisões de codificação.
      1. Integre informações de fontes diferentes ou quadros quando codificação ROI. Mesmo que o ROI é codificado separadamente para cada quadro, utilize frames antes e depois do quadro atual para obter informações contextuais que podem auxiliar na determinação do ROI correto. Por exemplo, se a faixa POG é ausente ou incorreta para um determinado quadro devido à deteção de aluno pobre, mas o olho não se mexeu com base em quadros anteriores e posteriores em que o aluno foi detectado com precisão, então ignore a trilha POG para o quadro e código ba o ROI sed sobre os quadros circundantes.
      2. Fazer outras decisões específicas às perguntas de pesquisa dos usuários.
         1. Por exemplo, fazer um protocolo para como codificar ROI quando dois ROIs estão em estreita proximidade com o outro, caso em que pode ser difícil determinar qual é o ROI "correto". Em casos onde a criança aparenta estar concentrado na junção do dois ROIs, decida se deseja código ambos ROIs simultaneamente ou se a formulação de um conjunto de regras de decisão sobre como selecionar e atribuir apenas uma das categorias ROI.
         2. Como um exemplo adicional, quando um objeto de interesse é mantido tal que uma mão está obstruindo o objeto, decida se o POG de código como um ROI para a mão ou um ROI para o objeto corrente.
3. Código de ROI para confiabilidade. Implemente uma confiabilidade codificação procedimento após a conclusão do ROI inicial Protocolo de codificação. Existem muitos tipos diferentes de procedimentos de codificação de confiabilidade disponível; Escolha o procedimento mais relevante com base nas questões específicas de investigação.

Representative Results

O método discutido aqui foi aplicado a um contexto de jogo de brinquedo de fluxo livre entre crianças e seus pais. O estudo foi desenhado para investigar natural atenção visual em um ambiente desordenado. Díades foram instruídos a brincar livremente com um conjunto de 24 brinquedos por seis minutos. Atenção visual de crianças foi medida pela codificação do início e deslocamento de olhares específico para as regiões de interesse (ROIs)..--cada um dos 24 brinquedos e a cara do pai..--e analisando a duração e a proporção de olhar na hora de cada ROI. Os resultados são visualizados na Figura 5.

Figura 5 A mostra fluxos ROI de amostra para duas crianças de 18 meses de idade. Cada bloco colorido nos riachos representa contínuos quadros em que a criança olhou para um ROI particular. Os olho-olhar dados obtidos demonstram um número de propriedades interessantes da atenção visual natural.

Primeiro, as crianças mostram diferenças individuais na sua seletividade para diferentes subconjuntos de brinquedos. Figura 5 B mostra a proporção da interação 6 minutos que cada criança passou a olhar para cada um dos 10 selecionados brinquedo ROIs. Embora a proporção total de tempo criança 1 e criança 2 passou olhando brinquedos (incluindo todos os 24 brinquedo ROIs) era um pouco semelhante, 0,76 e 0,87, respectivamente, proporções de tempo gasto em brinquedos individuais variaram muito, tanto dentro e entre os sujeitos.

Como essas proporções de olhar o tempo foram atingidos também diferiam entre as crianças. Figura 5 C mostra a duração média de cada criança de olhares a cada um dos 10 selecionados brinquedo ROIs. A duração média dos olhares de todos os 24 brinquedo ROIs por criança 2 (M = 2.38 s, SD = 2.20 s) foi quase duas vezes tanto quanto o de 1 criança (M = 1,20 s, SD = 0,78 s). Comparar os padrões olhando para o chocalho joaninha vermelha (barras de roxos) na Figura 5B, C ilustra por computação várias medidas procura, como proporções e durações de olhar, é importante para uma compreensão completa dos dados; a mesma proporção de olhando para este brinquedo foi alcançada por estas crianças através de diferentes números de olhares de diferentes durações.

Outra propriedade demonstrada por esses dados é que ambas as crianças raramente olharam para a cara dos pais: as proporções do rosto olhando para criança 1 e criança 2 foram.015 e.003, respectivamente. Além disso, a duração da aparência dessas crianças na cara do seu pai eram curtas, em média 0.79 s (SD = 0,39 s) e 0,40 s (SD = 0,04 s) para criança 1 e criança 2, respectivamente.

Figura 1 . Olho de capacetes de controle empregadas em três diferentes contextos: (A) brinquedo do tabletop jogo, peça de brinquedo (B) no chão e (C) a ler um livro de imagens. Clique aqui para ver uma versão maior desta figura.

Figura 2 . Configurando o sistema de acompanhamento de olho de capacetes. (A) pesquisador posicionamento um rastreador de olho nas crianças. (B) um tracker do olho bem posicionado em uma criança. (C) a boa imagem do olho com pupila centrada grande e claro reflexo corneal (CR). (D, E, F) Exemplos de imagens de mau-olhado. Clique aqui para ver uma versão maior desta figura.

Figura 3 . Três maneiras diferentes de obter pontos de calibração. Dois modos de exibição de cada momento são mostrados; Top: visão em terceira pessoa, parte inferior: visão em primeira pessoa da criança. Setas na terceira pessoa vista ilustram a direção de um feixe de laser. Caixas de encastrar no canto superior direito do programa de vista da criança imagens do olho bom cada momento usado para calibração e mira rosa indicam ponto de olhar baseada a calibração concluída. Ponto de calibração (A) gerado por um experimentador usando um ponteiro laser e dedo para dirigir a atenção para um objeto no chão. (B) ponto de calibração gerado por um experimentador usando um ponteiro laser para dirigir a atenção para pontos sobre uma superfície. (C) ponto de calibração durante brinquedo brincar com um pai em que a atenção da criança é direcionada para um objeto realizado. Clique aqui para ver uma versão maior desta figura.

Figura 4 . Parcelas de exemplo usadas para avaliar a qualidade de calibração. Pontos individuais representam ponto de x-y por quadro de olhar (POG) coordenadas na imagem da câmera a cena, conforme determinado pelo algoritmo de calibração. (A) qualidade boa calibração por uma experiência de jogo-brinquedo de criança, indicado pela densidade aproximadamente circular de POG é centralizado e baixa (criança POG é normalmente dirigido ligeiramente para baixo quando olhando para brinquedos, a criança está segurando) e mais ou menos uniformemente POG distribuído na imagem de câmera de cena restantes. (B) qualidade pobre calibração, indicado pela densidade alongada e inclinada de POG é fora-centrado e mal distribuída POG na imagem de câmera de cena restantes. (C) calibração de pobre qualidade e/ou pobre posicionamento inicial da câmara local, indicada pelo POG fora-centrado. Clique aqui para ver uma versão maior desta figura.

Figura 5 . Do dois filhos olho-olhar dados e estatísticas. (A) amostra ROI fluxos para criança 1 e criança 2 durante 60 s da interação. Cada bloco colorido nos riachos representa contínuos quadros em que a criança olhou para um ROI para um brinquedo específico ou o rosto do pai. Espaço em branco representa quadros em que a criança não olhou para qualquer um do ROIs. (B) a proporção de tempo olhando para a cara do pai e 10 brinquedo ROIs, para ambos os filhos. Proporção foi calculada somando as durações de todos os olhares para cada ROI e dividindo as durações somadas pelo tempo da sessão total de 6 minutos. (C) quer dizer a duração de Olha para do pai cara e dez brinquedo ROIs, para ambos os filhos. Duração média foi computadorizada calculando as durações dos olhares individuais para cada ROI durante a interação de 6 minutos. Clique aqui para ver uma versão maior desta figura.

Discussion

Este protocolo fornece princípios orientadores e recomendações práticas para a implementação de olho capacetes de rastreamento com bebês e crianças pequenas. Este protocolo foi baseado no estudo dos comportamentos naturais da criança no contexto do jogo livre de pai-criança com brinquedos em um ambiente de laboratório. Software e equipamento de olho de monitoramento interno foram utilizados para a calibração e a codificação de dados. No entanto, este protocolo destina-se a ser geralmente aplicável aos pesquisadores usando uma variedade de sistemas de acompanhamento de olho capacetes para estudar uma variedade de tópicos em desenvolvimento infantil e a criança. Apesar de optimizar a utilização do presente protocolo envolverá estudo específico alfaiataria, a adoção destas práticas gerais conduziram a utilização bem sucedida do presente protocolo em uma variedade de contextos (ver Figura 1), incluindo o olho de capacetes simultâneo de rastreamento de pais e crianças^7,8,9,10e capacetes olho de monitoramento de populações clínicas, incluindo crianças com implantes cocleares¹⁵ e crianças diagnosticadas com espectro do autismo distúrbios de^16,17.

Este protocolo fornece inúmeras vantagens para investigar o desenvolvimento de uma variedade de comportamentos e competências naturais. A liberdade de movimento de cabeça e corpo que capacetes ETs permitir que pesquisadores dá a oportunidade de capturar tanto ambientes de visual auto-gerada dos participantes e sua exploração activa nesses ambientes. A portabilidade de capacetes ETs melhora capacidade dos pesquisadores para coletar dados em contextos mais ecologicamente válidos. Devido a essas vantagens, este método fornece uma alternativa ao tempo procurando em tela e olho-de rastreamento métodos para estudar o desenvolvimento em domínios tais como a atenção visual, atenção social e integração perceptual-motor e complementa e ocasionalmente os desafios os pesquisadores inferências podem desenhar usando métodos experimentais mais tradicionais. Por exemplo, o protocolo descrito aqui aumenta a oportunidade para os participantes que apresentam diferenças individuais em olhar o comportamento, porque os participantes têm controle não só sobre onde e por quanto tempo eles centram a sua atenção visual em uma cena, como em olho em tela de controle, mas também sobre a composição das cenas por meio de seus olhos, cabeça e os movimentos do corpo e manipulação física dos elementos no ambiente. Dados dos dois participantes aqui apresentados demonstram as diferenças individuais no olhar de crianças quanto tempo e que crianças objetos amostra quando eles são capazes de criar e explorar seu ambiente visual ativamente. Além disso, os dados apresentados, bem como outros estudos empregando este protocolo, sugerem que na peça naturalista brinquedo com os pais, crianças olhar para a cara dos pais muito menor do que sugerido pelo anterior pesquisa^{4,5 ,7,8,9,10}.

Apesar destes benefícios, olho de capacetes de rastreamento com infantes e crianças coloca uma série de desafios metodológicos. O desafio mais importante é a obtenção de uma boa calibração. Porque a imagem da cena é apenas uma representação 2D do mundo 3D que foi realmente visto, um perfeito mapeamento entre a posição do olho e olharam a cena local é impossível. Seguindo as orientações fornecidas no presente protocolo, o mapeamento pode tornar-se confiável perto da "verdade do chão", no entanto especial atenção para várias questões. Primeiro, a liberdade de circulação de cabeça e corpo permitida pelo olho de capacetes de rastreamento também significa que os jovens participantes colidirá frequentemente o sistema de acompanhamento de olho. Este é um problema, porque qualquer mudança na posição física do olho em relação as câmeras olho ou cena mudará o mapeamento entre o aluno/CR e os pixels correspondentes a presença da imagem da cena. Realizar calibrações separadas para estas partes do estudo, portanto, é fundamental, como fazê-lo resultará em um algoritmo que controla somente o olhar da criança com precisão para uma parte do estudo, se apenas pontos durante uma porção são usados para calibrar. Segunda detecção exata da pupila da criança e CR são críticos. Se um ponto de calibração da imagem da cena é plotado enquanto o aluno é detectado incorretamente ou não detectado em tudo, em seguida, o algoritmo também aprende a associar essa coordenada x-y de calibração na imagem a cena com uma coordenada de x-y aluno incorreto, ou a algoritmo está sendo alimentado com dados em branco no caso onde o aluno não é detectado em tudo. Assim, se boa detecção não é alcançada por um segmento do estudo, qualidade de calibração para estes quadros será pobre e não deve ser confiável para codificação POG. Em terceiro lugar, porque cabeças e os olhos das crianças são normalmente alinhados, atenção visual mais frequentemente é dirigida em direção ao centro da imagem a cena. No entanto, pontos de calibração extrema x-y a imagem da cena também são necessários para o estabelecimento de uma faixa precisa olhar em toda a imagem da cena inteira. Assim, embora os pontos de calibração normalmente devem ser escolhidos em momentos quando o olho é estável em um objeto, isso pode não ser possível para pontos de calibração nos cantos da imagem cena. Finalmente, tenha em mente que mesmo quando é obtida uma imagem de bom olho e o sistema calibra, isto não garante que os dados são de qualidade suficiente para a análise pretendida. Diferenças em fatores individuais tais como a fisiologia do olho, bem como fatores ambientais, tais como iluminação e no olho de monitoramento hardware e software pode influenciar a qualidade dos dados e têm potencial para criar deslocamentos ou imprecisões nos dados. ^{18 , 19} fornecer mais informações e possíveis soluções para tais questões (Veja também Franchak 2017²⁰).

Trabalham com infantes e crianças também envolve o desafio de garantir tolerância do ET cabeça montado ao longo da sessão. Empregando as recomendações incluídas neste protocolo, projetado para uso com crianças de aproximadamente 9-24 meses de idade, um laboratório pode obter dados de acompanhamento de olho de capacetes de alta qualidade de aproximadamente 70% dos participantes²⁰. Os outros 30% dos participantes também não pode iniciar o estudo devido à intolerância do tracker do olho ou confusão fora do estudo antes dados suficientes (por exemplo, > 3-5 minutos de jogo) com um bom olho faixa pode ser obtida. Para o sucesso 70% dos participantes de alimentação do lactente e da criança, estas sessões normalmente última para mais de 10 minutos, porém muito mais sessões podem ser inviável com as tecnologias atuais, dependendo da idade do participante e a natureza da tarefa em que o participante está envolvida. Ao projetar o ambiente e a tarefa de pesquisa, os pesquisadores devem ter em mente o status do desenvolvimento dos participantes, como habilidade motora, habilidade cognitiva e desenvolvimento social, incluindo a sensação de segurança ao redor de estranhos, podem toda a influência atenção dos participantes e habilidade de executar a tarefa pretendida. Empregar este protocolo com infantes mais novos do que 9 meses também envolverá desafios práticos adicionais como sustentando lactentes que não podem ainda sentar no seus próprios, bem como a consideração de olho morfologia e fisiologia, como a disparidade binocular, que difere de mais crianças e adultos^19,21. Além disso, esse protocolo é mais bem sucedido quando efectuados por experimentadores treinados experientes, o que podem restringir o intervalo dos ambientes em que dados podem ser coletados. Os experimentadores prática mais tem, mais provável que eles serão capazes de realizar o experimento lisamente e coletar dados de rastreamento de olho de alta qualidade.

Olho de capacetes de rastreamento também pode representar o desafio adicional de codificação de dados demorados relativamente mais. Isto é porque, com a finalidade de encontrar ROIs, capacetes de olho-controle de dados é melhor codificado frame por frame do que por "fixações" da atenção visual. Ou seja, fixações são normalmente identificadas quando a taxa de alteração nas coordenadas x-y do frame-por-frame POG é baixa, tomado como uma indicação de que os olhos são estáveis em um ponto. No entanto, porque a cena vista um tracker do olho capacetes se move com movimentos de corpo e cabeça do participante, posição do olho pode somente ser com precisão mapeada para um local físico sendo foveated por considerar como os olhos estão se movendo em relação à cabeça e os movimentos do corpo. Por exemplo, se um participante se mexer sua cabeça e olhos juntos, ao invés de seus olhos somente, o x-y POG coordenadas dentro da cena pode permanecem inalterado mesmo quando um participante examina um quarto ou faixas de um objeto em movimento. Assim, "fixações" da atenção visual não podem ser facilmente e com precisão determinadas a partir apenas os dados POG. Para mais informações sobre problemas associados com fixações no olho de capacetes, controle de dados de identificação, por favor consulte outros trabalho^15,22. Codificação manualmente dados frame-por-frame para ROI pode exigir tempo extra comparado com fixações de codificação. Como referência, levou programadores altamente treinados entre 5 e 10 minutos para codificar manualmente para ROI cada minuto dos dados apresentados aqui, que foi recolhida em 30 frames por segundo. O tempo necessário para a codificação é muito variável e depende da qualidade do olho controle de dados; o tamanho, número e discriminability visual dos alvos ROI; a experiência do codificador; e a ferramenta de anotação usada.

Apesar destes desafios, este protocolo pode ser flexivelmente adaptar uma variedade de ambientes controlados e naturalistas. Este protocolo também pode ser integrado com outras tecnologias, como rastreamento de movimento e ritmo cardíaco monitorização, para fornecer um conjunto de dados de alta densidade multimodal para examinar o comportamento natural, aprendizagem e desenvolvimento do que era possível anteriormente. Continuou os avanços na tecnologia de olho de monitoramento de capacetes decerto aliviar muitos desafios atuais e fornecer fronteiras ainda maiores para os tipos de perguntas de pesquisa que podem ser abordados usando esse método.

Materials

Name	Company	Catalog Number	Comments
Head-mounted eye tracker	Pupil Labs	World Camera and Eye Camera