Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano

Summary

O objetivo do protocolo é detalhar como coletar dados de vídeo para uso em laboratório; como gravar dados de rastreamento de olhos dos participantes olhando para os dados e como analisar eficientemente o conteúdo dos vídeos que eles estavam olhando para usar uma técnica de aprendizado de máquina.

Abstract

Como os indivíduos vivem cada vez mais nas cidades, os métodos para estudar seus movimentos diários e os dados que podem ser recolhidos tornam-se importantes e valiosos. Olho-Tracking informática são conhecidos para se conectar a uma gama de sentimentos, condições de saúde, Estados mentais e ações. Mas porque a visão é o resultado de constantes movimentos oculares, provocando o que é importante do que é o ruído é complexo e intensivo de dados. Além disso, um desafio significativo é controlar o que as pessoas olham em comparação com o que lhes é apresentado.

A seguir, apresentamos uma metodologia para combinar e analisar o rastreamento dos olhos em um vídeo de uma cena natural e complexa com uma técnica de aprendizado de máquina para analisar o conteúdo do vídeo. No protocolo, nos concentramos em analisar dados de vídeos filmados, como um vídeo pode ser melhor usado para registrar os dados de rastreamento dos participantes, e importante como o conteúdo do vídeo pode ser analisado e combinado com os dados de rastreamento de olhos. Apresentamos um breve resumo dos resultados e uma discussão sobre o potencial do método para estudos posteriores em ambientes complexos.

Introduction

Nossas experiências diárias de vida de ambientes urbanos impactam muito em nossa saúde e bem-estar. Nosso bem-estar pode depender da quantidade de espaços verdes que vemos e experimentamos^1,2,3, e essas visões podem ser quantificadas usando equipamentos de rastreamento de olhos para orientar a tomada de decisão sobre o design do parque. No entanto, surge um problema com o volume de dados de rastreamento de olho que é gerado e que faz sentido desses dados. Como o equipamento para gravar dados do olhar em um laboratório ou ambiente natural torna-se mais fácil de usar e mais poderoso, os pesquisadores precisam considerar como podemos coletar e analisar dados validamente para ajudar com questões de tomada de decisão.

Até agora, uma grande quantidade de pesquisa de rastreamento de olho usou fotografias em uma pesquisa ou configuração de laboratório⁴. Embora esta metodologia permite uma grande quantidade de reprodutibilidade e controle sobre os resultados, é incapaz de tirar proveito dos últimos avanços na tecnologia de rastreamento de olho que incluem o uso de vídeo e wearable Eye-trackers móveis. Além disso, argumentamos que o ato de caminhar e relaxar é necessariamente dinâmico, especialmente quando orientado para uma tarefa como a wayfinding⁵. Conseqüentemente uma compreensão inteiramente científica destas configurações deve ocorrer fora do laboratório. No entanto, no momento, o rastreamento dos olhos em um cenário naturalista da vida real faz comparando a experiência entre os assuntos muito difícil. Por exemplo, se quiséssemos comparar se um entrevistado Olha para árvores mais do que outro, como poderíamos controlar para o fato de seu ponto de vista seria constantemente mudando em comparação com os outros ou que sua cabeça poderia ter virado. A análise detalhada nestas circunstâncias é quase impossível com técnicas atuais da análise. Nós argumentamos que é importante controlar as áreas de visualização disponíveis para o indivíduo que está sendo estudado e na análise para ser capaz de explicar a cena total que está sendo visto em qualquer um ponto no tempo.

Há um conjunto de teorias que ligam os níveis de estresse e as percepções de segurança às visões da paisagem e medidas bem evoluídas de estresse^6,7. Houve também um rápido aumento na sofisticação do equipamento de rastreamento ocular para medir o olhar⁸. O rastreamento ocular é importante porque os movimentos oculares involuntários podem ser conectados de forma mais confiável à preferência, estresse e outras medidas tradicionais do que pesquisas e testes fisiológicos intrusivos, como níveis de cortisol salivares. O objetivo desta pesquisa é desenvolver ferramentas que permitam uma medição mais precisa dos dados de rastreamento dos olhos aplicados a ambientes mais naturalistas, de modo a fornecer mais evidências para ou refutar teorias de longa data que tenham informado o design do parque para Décadas.

O objetivo deste projeto é desenvolver e testar uma nova técnica de análise que possa gerar dados relevantes de rastreamento de olho para diferentes vídeos de simulações de caminhada no parque. Nosso trabalho relatado aqui e em outros lugares⁹ representa um ponto de meio caminho entre o cenário naturalista de um sistema de rastreamento de olho totalmente móvel e os estudos de fotografia baseados em laboratório referidos acima. Em particular, nos concentramos em usar vídeos como o material de estímulo, explorando como este material pode ser usado para testar a quantidade de fascínio que diferentes parques geram na cidade de Melbourne. Nosso trabalho é baseado no pressuposto de que a análise detalhada dos vídeos é um passo necessário para romper antes de empreender uma avaliação mais completa, mais naturalista do potencial dos parques para fornecer a restauração do stress.

Neste estudo, empregamos um desktop Eye-Tracker com vídeos de passeios através de parques urbanos e pediu aos participantes para imaginar que eles estavam fazendo um passeio relaxante através de um parque. Descrevemos um método para permitir a quantidade de tempo que os participantes gastaram observando diferentes objetos para serem comparáveis entre os parques. Os estudos do desktop são geralmente mais fáceis de controlar comparados aos estudos móveis do ET e permitem a análise comparativa de cada assunto.

O software de rastreamento de olhos padrão usa uma ferramenta de área de interesse manual na qual um operador pode desenhar manualmente limites em torno de objetos de interesse em cada cena. Isso permite que a quantidade de tempo que os participantes gasto observando objetos diferentes sejam contados automaticamente. Para os dados de vídeo, esse processo é trabalhoso e sujeito a subjetividade e erro do operador. Em versões posteriores do software de análise de rastreamento de olho, AOIs pode rastrear automaticamente objetos entre quadros quando eles são do mesmo tamanho no vídeo. Esta é uma melhoria, entretanto, esta é pretendida somente ser usada para um número pequeno de estímulos em cada imagem e cada imagem deve ser verific e confirmado.

A rotulagem manual de objetos em uma imagem é comum e suportada por software de edição de imagem, como o GNU Image manipulação Program (GIMP). Dado que 1 s produz 30 frames ou imagens, a rotulagem manual dos vídeos é impraticável. Além disso, a rotulagem AOI desenhando polígonos vetoriais em torno da borda de objetos complexos, como as coberturas de árvores, é muito demorado. Finalmente, embora seja concebìvel possível calcular o tamanho dos objetos em um campo de visão usando a rotulagem do vetor, esta característica não está atualmente disponível.

O método que nós relatamos abaixo lida com estas limitações. Este estudo empregou a rotulagem automática de objetos. Isso é possível usando uma técnica de processamento de imagem conhecida como rotulagem semântica, na qual cada pixel em cada quadro do vídeo é atribuído a um rótulo que indica uma classe de objeto. O aprendizado de máquina é usado para derivar classificadores de pixel para cada classe de objeto de interesse. Esses classificadores fornecem um rótulo probabilístico para cada pixel (conhecido como potenciais unários), que são então refinados em um processo de otimização subsequente para alcançar a saída rotulada final. Esses classificadores aprendem limites de decisão estatística entre cada classe de objeto no espaço de recursos extraídos da imagem, incluindo textura, histograma de orientações de borda, valores de cor RGB e as coordenadas de imagem normalizadas. Uma técnica apropriada para isso é implementada na caixa de ferramentas de aprendizado de máquina DARWIN¹⁰ e é descrita abaixo.

Protocol

Aprovação ética para este projeto foi dada pelo Comitê de ética da Universidade católica australiana-número de aprovação #201500036E. Isso garantiu que o consentimento informado foi obtido de todos os participantes e todos os participantes participaram voluntariamente, e que os dados dos participantes permaneceram anônimos e confidenciais. Além disso, a aprovação foi dada devido ao método e equipamentos de reunião normas de segurança australianas.

1. filmagens cenas urbanas que podem ser usados em um olho-Tracking estudo

1. Use uma câmera de vídeo digital de alta qualidade anexada a um gimbal para criar um vídeo simulado "andando" ou "sentado".
2. Grave o filme com movimentos fluidos suaves em resolução 4k a 25 fps e guarde-os em 1920 x 1080 HD.
3. Use uma empresa de filmagem profissional para produzir filmes digitais se não estiver familiarizado com este ou falta de acesso ao equipamento.
4. Atire filme em um take, a um único comprimento em todos os vídeos com rotas predefinidas precisas e características.
   Nota: exemplo de detalhes de vídeo: cada filme de caminhada simulado foi de 3 min 50 s de comprimento e cada filme de sessão simulado foi 1 minuto de duração. Para ambos os vídeos neste estudo, os vídeos começaram com uma subida de escada curta, levando a um caminho. O caminho foi seguido por exatamente 1 min 30 s e, em seguida, a câmera parou e garimpou esquerda para 45-60 graus e parou por 15 segundos. A câmera, em seguida, continuou ao longo do caminho de caminhada até a marca de 3 min 25 s, garimpou esquerda 40-70 graus por 15 segundos, continuou ao longo do caminho até a marca de 3 min 50 s, em seguida, desvaneceu-se para preto.
5. Assegure-se de que os filmes sejam comparáveis, ou seja não introduzem dados novos do olhar das trajetórias diferentes da caminhada ou do movimento da câmera. Um filme foi tirado de cada caminhada, dois no total.
6. Como os movimentos oculares são afetados pelo som, gravar um arquivo de sons de parque urbano genérico de um dos passeios para o mesmo comprimento do vídeo sem interrupções de ruídos bruscos altos fora do Parque (por exemplo, alarmes de carro). Isto pode ser jogado em vez da trilha sonora existente de ambos os vídeos para que o impacto visual do vídeo pode ser isolado.
   Nota: o movimento excessivo de veículos e outros objetos pode afetar os movimentos oculares e distorcer os resultados. Se alguma desta intrusão ocorre, o filme pode ser jogado para os participantes, mas os quadros podem precisar ser excluído da análise.
7. Se estiver interessado em atividades diferentes em uma caminhada, como caminhar e, em seguida, sentado em um banco, salvar ou editar as cenas de sentar e andar como arquivos separados, de modo a testá-los de forma independente.

2. configuração e calibração de área de trabalho do equipamento de rastreamento de olhos

1. Mostre as sequências filmadas para indivíduos em uma sala onde a luz natural pode ser excluída para evitar reflexões na tela. Mostrá-lo a eles em uma tela tão grande quanto possível para ocupar tanto do campo visual, evitando assim a distração de fora do campo de visão. Um monitor de PC widescreen (16:9) (22 polegadas) com participantes aproximadamente 60 cm de distância da tela é um padrão aceitável.
2. Realize uma calibração na tela para cada participante usando a ferramenta de calibração embutida no software de rastreamento de olhos. Exija que os participantes vejam uma bola vermelha se movendo ao redor da tela como parte disso e parando em 5 pontos de calibração de chave.
3. Durante a calibração observar os participantes e garantir que eles não estão movendo a cabeça também. Se eles estão muito perto da tela e a tela é muito grande, isso pode ser um problema. Ajuste a distância do ecrã em conformidade.
4. Edite cada filme para ter uma cruz branca situada no canto superior esquerdo dos primeiros quadros do vídeo. Isso pode ser feito usando um software de edição de vídeo. Mostrar esta tela por 3 segundos, em seguida, começar a jogar a pé. Isso é para verificar a calibração de rastreamento de olho e para garantir que os tempos de coleta de dados de rastreamento de olho podem ser combinados com números de quadro individuais.

3. recrutamento e ética

1. Use uma empresa de recrutamento profissional de pesquisa para garantir uma propagação de diferentes gêneros, idades e ocupações entre a amostra ou recrutar no local de entre o aluno e corpo de pessoal.
2. Participantes da tela para condições oculares ou neurológicas conhecidas e/ou lesões. Eles devem ser questionados se eles estão tomando medicamentos que são conhecidos por afetar os movimentos oculares (por exemplo , benzodiazepinas).
3. Conduta perto de testes de leitura de visão e um teste de excursão de movimento da tocha ocular para demonstrar que eles têm excursões de movimento completo olho.
4. Participantes da pesquisa sobre sua idade, gênero e frequência de uso do parque.

4. instalação experimental do participante

1. Peça aos participantes que se imaginem precisando de restauração. Use uma sentença que lhes permita imaginar o contexto do vídeo de seguimento do olho usado como: ' imagine que é o meio-dia e você está andando sozinho em Melbourne. Você está mentalmente cansado de concentração intensa no trabalho e está procurando um lugar para ir para uma caminhada, sentar e descansar por um pouco, antes de voltar ao trabalho '.
2. Sente os participantes confortavelmente na frente da tela do computador a uma distância de 60 – 65 cm para ver os filmes.
3. Usando um programa de planilha ordem os filmes aleatoriamente antes de jogar na frente dos participantes.
4. Use alto-falantes para reproduzir o mesmo áudio para todos os filmes.
5. Registre a trajetória do olhar dos participantes usando um sistema de rastreamento de olho de mesa. Monte o dispositivo de seguimento do olho da área de trabalho como por as instruções do fabricante. Isso poderia ser apenas abaixo da tela em uma tabela, ou poderia clipe para a borda da tela, por exemplo, por cima.
6. Use uma unidade Eye-tracking que tenha uma taxa de amostragem de 120 Hz e uma exatidão de 0,50 °, que permita a grande liberdade de movimentos da cabeça permitindo a gravação durante movimentos principais naturais. Um olho-perseguidor mais baixo da freqüência é igualmente aceitável. A 57,3 cm, 1 ° de ângulo visual equivale a ~ 1 cm na tela.
7. Permita que os participantes vejam a filmagem em um monitor em alta definição.
8. Registre os movimentos oculares usando o software de rastreamento de olhos
9. Empregue um filtro da fixação para converter os dados crus da amostra do olho para a análise. No menu principal, clique em ferramentas ≫ configurações. Selecione a guia filtros de fixação . Selecione o filtro de fixação de acordo com as especificações do fabricante sobre o melhor tipo de filtro para agregar os dados brutos de rastreamento de olho em fixações.
10. Se a gravação de dados de rastreamento de olho usando vários filmes, dar pausas entre as sessões de gravação sempre que os participantes solicitá-lo.

5. conectando os parques visualizados a impressões dos vídeos

1. Compare a medida em que as pessoas visualizaram os objetos e suas opiniões dos vídeos, pedindo aos participantes para avaliar cada um dos parques em uma escala de 1 – 10, em primeiro lugar para saber se eles sentiram que seria capaz de descansar e recuperar nesse ambiente (1 , não muito, a 10, muito) e em segundo lugar o quanto eles gostaram do Parque (1, não muito, para 10, muito).
2. Pergunte aos participantes se eles iriam usar o parque para relaxar ou aliviar o stress (s/N) e se eles reconheceram o parque que estavam olhando (s/N) para controlar o impacto potencial de uma associação anterior com o parque.
3. Recorde respostas de resposta curta dos participantes para explicar suas impressões usando um gravador de voz e, em seguida, transgravar estes.

6. análise automática de vídeo para a área de extração de interesse

1. Seleção de AOIs
   1. Escolha os artigos que são do interesse aos desenhadores do parque, aos desenhadores urbanos, aos planeadores ou aos arquitetos, tais como árvores, arbustos, signposts, edifícios, relvado, trajetos, etapas, etc.
   2. Para um desempenho ideal e requisitos mínimos de treinamento (discutidos mais adiante), use elementos que são facilmente visualmente distinguíveis uns dos outros a olho nu, e/ou ocupam consistentemente diferentes regiões de cada quadro de vídeo. Em geral, exemplos de treinamento suficientes que descrevem diferenças visualmente distintas de cada AOI devem ser suficientes para um desempenho robusto.
2. Classificadores de treinamento para extração AOI
   1. Seleção dos quadros de treinamento a serem usados, número e raciocínio
      1. Escolha um número adequado de quadros de treinamento (doravante denominado conjunto de treinamento). Não há nenhum número fixo que é apropriado.
         Observação: os quadros devem fornecer cobertura suficiente do intervalo de aparência visual de cada classe de objeto (ou seja, esses objetos a serem rotulados) em todo o vídeo. Por exemplo, 40 quadros de uma seqüência de vídeo de quadro 15.000 representando uma única cena de parque foram encontrados para alcançar precisão suficiente. Se uma sequência contiver variação significativa em seguida, mais quadros podem ser necessários.
      2. Considere o conteúdo do quadro ao escolher quadros de treinamento. Estes incluem: iluminação, formas com relação ao que está sendo classificado (por exemplo, não apenas um tipo de árvore, mas uma gama de tipos de árvores, sua posição na imagem, a forma como eles são iluminados, etc), textura e cor.
      3. Considere também o número de quadros a serem incluídos. Especificamente, o comprimento e a variação das condições visuais exibidas em todo o vídeo que está sendo analisado, bem como o número de classes de objeto para identificar, e a freqüência de sua aparência.
   2. Rotulagem manual do pixel para frames do treinamento
      Observação: a rotulagem manual dos quadros de treinamento associará pixels a classes de interesse de objeto.
      1. Rotulagem de pixel de quadros de treinamento
         1. Por sua vez, abra cada quadro de treinamento do vídeo no software de edição de imagem.
         2. Para cada quadro de treinamento do vídeo, sobrepor uma camada de imagem transparente na imagem carregada para rotulagem e criar uma paleta de cores, fornecendo uma cor para cada classe de objeto determinado de interesse (ou seja, Aoi).
         3. Assegure-se de que a paleta de cores e o mapeamento de cores para classes de objetos sejam os mesmos em todo o processo de rotulagem.
         4. Selecione a cor para o exemplo AOI.
         5. Regiões de cor da amostra AOIs selecionando, com um clique do mouse e arraste, pixels dentro da área para "cor" usando a escolha de paleta apropriada.
            Nota: é possível colorir objetos grandes imprecisamente. No entanto, para objetos estreitos/pequenos de apenas alguns pixels de largura, tome maior cuidado para garantir que a rotulagem manual Capture com precisão a aparência visual do objeto.
         6. Uma vez que a rotulagem de um quadro esteja completa, exporte a camada sobreposta como um arquivo de imagem separado. Verifique se o nome do arquivo base corresponde ao nome do arquivo base do quadro original, mas com um "c" anexado ao final. Por exemplo, se o nome do arquivo do quadro original era "1234. png", então o nome da camada rotulada deve ser "1234c. png".
         7. Verifique se todas as imagens marcadas são armazenadas em uma única pasta.
      2. Rotulagem de pixel de quadros de validação
         Observação: para validar quantitativamente a precisão do classificador treinado, um conjunto adicional de quadros rotulados deve ser criado.
         1. Selecione os quadros da sequência de vídeo original que ainda não foram escolhidos para serem incluídos no conjunto de treinamento. Para um vídeo de 5 minutos, estes não precisam ser mais de 20 frames, mas devem ser amostrados uniformemente de toda a seqüência de vídeo para garantir a cobertura suficiente.
         2. Identifique os pixels em cada quadro usando o mesmo procedimento descrito para preparar quadros de treinamento (6.2.2). No entanto, desta vez ser tão preciso e tão abrangente quanto possível com a rotulagem, pois isso será usado como uma comparação de verdade em terra.
         3. Quando a rotulagem de um quadro estiver concluída, use a mesma convenção de nomenclatura para treinamento, no entanto, assegure que os arquivos sejam salvos em uma pasta de quadros de validação separada.
   3. Rotulagem automática de pixel da sequência de vídeo
      1. Faça o download da biblioteca de software DARWIN de http://drwn.anu.edu.au.
         Observação: o sistema descrito neste documento foi implementado em um ambiente Linux e, portanto, a versão Linux do DARWIN deve ser baixada e instalada, seguindo as instruções do site.
      2. Inicie a GUI Darwin
      3. Na GUI de Darwin, clique em etiquetas de treinamento de carga.
      4. Usando a caixa de diálogo explorador de arquivos que aparece, selecione a pasta que contém as imagens de treinamento rotuladas para a seqüência de vídeo relevante.
      5. Clique em Load Video frames e siga o mesmo procedimento que 6.2.3.2 para selecionar a pasta que contém todos os quadros originais da sequência de vídeo. Este deve ser um dobrador das imagens, em que cada nome de arquivo do frame é o número desse frame na seqüência Video (por exemplo, o frame 1234 seria nomeado 1234. png)
      6. Clique no botão treinar . O algoritmo examinará agora cada quadro de treinamento rotulado e aprenderá um modelo de aparência para classificar pixels em qualquer uma das classes de objeto especificadas de interesse.
   4. Validando o classificador treinado
      1. Quando o treinamento estiver concluído, clique no botão validar treinamento .
      2. Usando a caixa de diálogo explorador de arquivos, selecione a pasta que contém todas as imagens de validação rotuladas para a sequência de vídeo relevante. O classificador treinado agora será usado para classificar pixels em cada um dos quadros referidos no conjunto de validação. Compare isso com os rótulos de verdade de aterramento fornecidos na pasta de validação.
         Observação: uma vez concluída, a GUI exibirá estatísticas de precisão, incluindo a porcentagem de pixels corretamente rotulados para cada quadro no conjunto de validação, bem como em todo o conjunto de validação.
      3. Para validar visualmente os rótulos gerados, clique no botão Validação Visual . Se clicado, cada imagem rotulada gerada é exibida ao lado do quadro de validação original.
         Observação: isso pode ser instrutivo na identificação de onde mis-classificações estão ocorrendo no objeto. Por exemplo, a inspeção visual pode indicar que os erros estão ocorrendo consistentemente em uma parte específica de uma classe de objeto, sugerindo que a rotulagem aprimorada no conjunto de treinamento seja necessária. Alternativamente, a inspeção pode mostrar que os erros ocorrem somente em um ponto de tempo específico no vídeo, sugerindo que mais exemplos de treinamento são exigidos desse período de tempo no vídeo.
      4. Se a precisão observada na validação quantitativa ou qualitativa estiver abaixo dos níveis aceitáveis, inclua mais exemplos de treinamento. Nesse caso, repita todas as etapas de 6.2.2 para incluir quadros de treinamento adicionais, retreinar o classificador a seguir as etapas em 6.2.3 e revalidar as etapas a seguir em 6.2.4.
   5. Rotulagem de pixel de vídeo
      1. Depois que a fase de treinamento e validação do classificador estiver concluída, clique em quadros de etiquetas na GUI de Darwin para iniciar a rotulagem completa de todos os quadros na sequência de vídeo usando o classificador treinado.
      2. Siga o prompt para selecionar uma pasta de destino para todos os quadros de saída, que serão na forma de imagens rotuladas usando a mesma paleta de cores usada no treinamento.

7. registrando os dados de rastreamento de olho para o conteúdo de vídeo

1. No olho-Tracking Software clique em arquivo ≫ exportar... Exporte o arquivo de rastreamento de olho como um arquivo CSV.
2. Abra o arquivo em um programa de planilha.
3. A partir da sequência de vídeo, identifique o tempo em que a cruz branca na parte superior esquerda da moldura (ver 2,3) desaparece. Use esse tempo para identificar o rastreamento ocular usando a coluna relevante no resultado de rastreamento de olhos. Este é o início da coleta de dados de rastreamento de olhos.
4. Adicione uma coluna aos dados de rastreamento de olhos.
5. Usando esse novo rótulo de coluna, cada linha ou ponto de dados de rastreamento de olho com um número de quadro começando no número 1.

8. exibindo a quantidade de tempo que os participantes examinaram diferentes classes de objetos nos vídeos

Nota: devido ao enorme tamanho dos dados de rastreamento de olho, linguagem de programação Python é melhor usado para as etapas através de 8,4, embora um programa de processamento de dados também pode ser usado.

1. Usando o código Python incluso, calcule a quantidade de sobreposição entre os objetos de interesse e o tempo e a frequência de fixação de rastreamento ocular.
2. Soma esses dados para entender a quantidade de tempo que os participantes gastaram observando objetos diferentes.
3. Empregue um histograma para mostrar a quantidade total de tempo que os objetos ocuparam a tela.
4. Compare isso com a quantidade total de tempo que os participantes olharam para diferentes objetos.
5. Para produzir um heatmap no software de rastreamento de olhos, clique em um dos vídeos de caminhada do Parque usando a caixa de seleção.
6. Clique na guia mapa de calor .
7. Ajuste a cor e outras características do mapa de calor como desejado usando as variáveis de ' count ' (número total de fixações feitas sobre a janela de tempo), ' duração absoluta ' (duração da fixação acumulada), e ' duração relativa ' (a quantidade de tempo gasto olhando para um objeto dividido pela quantidade de tempo gasto olhando para uma cena).
8. Exporte a imagem ou o vídeo que inclui o mapa de calor como um arquivo JPEG ou arquivo de vídeo.

Representative Results

Figura 1 e Figura 2 mostram o resultado de tomar todos os dados de rastreamento de olho para todo o vídeo em todos os participantes e produzindo um mapa de calor; Esta é a abordagem padrão disponível em pacotes de software de rastreamento de olho. Comparando a Figura 1 e a Figura 2 é possível identificar que, em média, os participantes escaneados à esquerda e à direita na coordenada x do vídeo na Figura 1 em comparação com a Figura 2, que mostra uma forma mais arredondada. Isso porque a Figura 1 tinha mais elementos horizontais em todo o vídeo em comparação com o parque na Figura 2. A imagem por trás do mapa de calor é um único quadro e não representa adequadamente o conteúdo completo do vídeo.

O sistema de rastreamento de olho do desktop e o software só contam os resultados onde ambos os olhos podem ser localizados ao mesmo tempo. Em outras palavras, se um ou ambos os olhos não puderem ser localizados, os dados serão contados como perdidos. Em nosso caso os dados de seguimento do olho foram capturados para > 80% do tempo.

A Figura 3 e a Figura 4 mostram o resultado da utilização do protocolo e do uso do aprendizado de máquina para analisar o conteúdo dos vídeos. A Figura 3 mostra a densa vegetação de Fitzroy Gardens em comparação com a vegetação relativamente escassa do parque real (Figura 4). No último, mais céu é visível, mais das cenas são dominadas pela vegetação do arbusto. A Figura 5 mostra o tempo de fixação dos diferentes objetos no decorrer do vídeo para um dos participantes. Ele mostra que, embora o caminho é claramente visível durante o curso do vídeo, o participante só olha para este recurso, ocasionalmente, mas em pontos-chave. Da mesma forma, como mostra a Figura 6 , embora uma pequena fração do conteúdo do vídeo em Royal Park pertence a objetos artificiais, o participante no estudo examina essas características em uma extensão comparativamente grande.

Os achados da figura 3, figura 4, figura 5e Figura 6 podem ser resumidos na Figura 7 e Figura 8 para todos os 39 participantes cujos dados foram utilizados neste estudo. A Figura 7 mostra o tempo de permanência para todos os participantes quando se olha para objetos ao longo do comprimento do vídeo. A Figura 8 mostra esses mesmos dados divididos pela quantidade de tempo e espaço que esses objetos diferentes ocuparam no vídeo. Um valor de 1 indica que o tempo de permanência pode ser contabilizado pela quantidade de objeto no vídeo. A Figura 7 mostra que objetos artificiais, como lâmpadas de rua e bancos, são habitadas em uma extensão maior em comparação com outros objetos (> 1). A Figura 7 também mostra que objetos menos pertinentes, como o céu em ambas as imagens, foram vistos comparativamente menos (< 1).

Figura 1: exemplo de mapa de calor que é produzido para todo o vídeo de um dos parques. Isto mostra onde a maioria das trilhas do olho foi ficada situada. Anote a forma horizontal do mapa de calor devido à dominância dos elementos horizontais no vídeo. Estale por favor aqui para ver uma versão maior desta figura.

Figura 2: exemplo de mapa de calor que é produzido para todo o vídeo de um outro dos parques. Observe a forma mais arredondada devido à presença de elementos verticais e horizontais no vídeo. Estale por favor aqui para ver uma versão maior desta figura.

Figura 3: Histograma de conteúdo no vídeo de Fitzroy Gardens analisado usando a técnica de aprendizado de máquina. Estale por favor aqui para ver uma versão maior desta figura.

Figura 4: Histograma de conteúdo no vídeo do Royal Park analisado usando a técnica de aprendizado de máquina. Estale por favor aqui para ver uma versão maior desta figura.

Figura 5: tempo de fixação de rastreamento ocular gasto olhando objetos em Fitzroy Gardens. Estale por favor aqui para ver uma versão maior desta figura.

Figura 6: tempo de fixação de rastreamento ocular gasto olhando objetos em Royal Park. Estale por favor aqui para ver uma versão maior desta figura.

Figura 7: os tempos de permanência de rastreamento de olhos agregados para todos os participantes e objetos para ambos os parques. Estale por favor aqui para ver uma versão maior desta figura.

Figura 8: tempo de permanência de rastreamento de olho agregado em relação ao conteúdo de todos os participantes e objetos para ambos os parques. Estale por favor aqui para ver uma versão maior desta figura.

Discussion

Geralmente, em pacotes de software padrão para analisar dados de rastreamento de olhos, um vetor AOI é usado. Mesmo para uma única imagem imóvel, o tamanho do vetor não pode ser facilmente medido. Além disso, incluindo todos os AOIs em uma imagem e calculando as quantidades relativas de AOIs é trabalhoso. É quase impossível fazer isso manualmente em um vídeo sem uma técnica de aprendizado de máquina, como a descrita. Esta foi uma declaração relativamente simples que infere uma situação de visualização gratuita. Um cenário muito mais preciso pode ser usado e descrições de cenários diferentes antes do mesmo estímulo também podem afetar os movimentos oculares¹¹.

Nossa pesquisa utilizou um método para classificar com precisão os objetos em um vídeo e analisar a extensão em que estes eram visíveis ao olho. O método representa um meio de contabilização para a extensão a que os movimentos de olho são lig aos objetos do interesse. Isso permite que os objetos de interesse estejam presentes em um campo de visão a serem controlados ao comparar o rastreamento ocular de diferentes assuntos com um dispositivo de rastreamento de olho móvel ou locais diferentes ao usar um sistema baseado em área de trabalho. Considerações que podem afetar a classificação automática de objetos usando o aprendizado de máquina que empregamos incluem iluminação, formas em relação ao que está sendo classificado (por exemplo , não apenas um tipo de árvore, mas uma variedade de tipos de árvore, sua posição no imagem, a forma como eles são iluminados, etc.), textura, e cor. Considerações sobre o número de quadros incluem o comprimento e a variação das condições visuais exibidas em todo o vídeo que está sendo analisado, bem como o número de classes de objeto para identificar e a frequência de sua aparência. Os Quadros mudam a cada 1/25 segundos, mas o rastreamento ocular com o software ocorre em 1/120 (120 Hz). Por esta razão os dados de rastreamento de olho serão coletados em 4,8 vezes a taxa na qual um novo quadro aparece. Não é possível etiquetar completamente exatamente mas a rotulagem dos frames deve mudar cada 5 vezes. Por exemplo, os dados de rastreamento de olho durante 99 a 101 s foram considerados para o quadro de 100 segundos do vídeo.

Uma vantagem significativa dos pacotes de rastreamento de olho atuais é que eles estão configurados para permitir que os usuários analisem um filme de suas próprias fixações e caminhos de rastreamento ocular e descrevam por que eles olharam para certos objetos. Isso resulta em um conjunto de dados qualitativos que pode revelar por que indivíduos individuais pensam que eles olharam para determinados objetos. Uma extensão do projeto seria também mostrar-lhes a quantidade de tempo gasto olhando para objetos em momentos diferentes em relação ao conteúdo, por exemplo, as informações na Figura 8. No entanto, fazer isso controlando o número de objetos em uma cena rapidamente o suficiente não é possível atualmente.

Por exemplo, os participantes podiam ser solicitados a ver seus próprios caminhos de olhar que haviam sido gravados e a descrever por que haviam olhado para os objetos particulares¹². No nosso caso, no final de cada filme os participantes foram convidados a classificar cada um dos parques em uma escala de 1-10, em primeiro lugar para saber se eles sentiram que seria capaz de descansar e recuperar nesse ambiente (1, não muito, para 10, muito) e em segundo lugar o quanto eles gostam do Parque (1, não muito, a 10, muito).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker