Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano

Resumo

O objetivo do protocolo é detalhar como coletar dados de vídeo para uso em laboratório; como gravar dados de rastreamento de olhos dos participantes olhando para os dados e como analisar eficientemente o conteúdo dos vídeos que eles estavam olhando para usar uma técnica de aprendizado de máquina.

Resumo

Como os indivíduos vivem cada vez mais nas cidades, os métodos para estudar seus movimentos diários e os dados que podem ser recolhidos tornam-se importantes e valiosos. Olho-Tracking informática são conhecidos para se conectar a uma gama de sentimentos, condições de saúde, Estados mentais e ações. Mas porque a visão é o resultado de constantes movimentos oculares, provocando o que é importante do que é o ruído é complexo e intensivo de dados. Além disso, um desafio significativo é controlar o que as pessoas olham em comparação com o que lhes é apresentado.

A seguir, apresentamos uma metodologia para combinar e analisar o rastreamento dos olhos em um vídeo de uma cena natural e complexa com uma técnica de aprendizado de máquina para analisar o conteúdo do vídeo. No protocolo, nos concentramos em analisar dados de vídeos filmados, como um vídeo pode ser melhor usado para registrar os dados de rastreamento dos participantes, e importante como o conteúdo do vídeo pode ser analisado e combinado com os dados de rastreamento de olhos. Apresentamos um breve resumo dos resultados e uma discussão sobre o potencial do método para estudos posteriores em ambientes complexos.

Introdução

Nossas experiências diárias de vida de ambientes urbanos impactam muito em nossa saúde e bem-estar. Nosso bem-estar pode depender da quantidade de espaços verdes que vemos e experimentamos^1,2,3, e essas visões podem ser quantificadas usando equipamentos de rastreamento de olhos para orientar a tomada de decisão sobre o design do parque. No entanto, surge um problema com o volume de dados de rastreamento de olho que é gerado e que faz sentido desses dados. Como o equipamento para gravar dados do olhar em um laboratório ou ambiente natural torna-se mais fácil de usar e mais poderoso, os pesquisadores precisam considerar como podemos coletar e analisar dados validamente para ajudar com questões de tomada de decisão.

Até agora, uma grande quantidade de pesquisa de rastreamento de olho usou fotografias em uma pesquisa ou configuração de laboratório⁴. Embora esta metodologia permite uma grande quantidade de reprodutibilidade e controle sobre os resultados, é incapaz de tirar proveito dos últimos avanços na tecnologia de rastreamento de olho que incluem o uso de vídeo e wearable Eye-trackers móveis. Além disso, argumentamos que o ato de caminhar e relaxar é necessariamente dinâmico, especialmente quando orientado para uma tarefa como a wayfinding⁵. Conseqüentemente uma compreensão inteiramente científica destas configurações deve ocorrer fora do laboratório. No entanto, no momento, o rastreamento dos olhos em um cenário naturalista da vida real faz comparando a experiência entre os assuntos muito difícil. Por exemplo, se quiséssemos comparar se um entrevistado Olha para árvores mais do que outro, como poderíamos controlar para o fato de seu ponto de vista seria constantemente mudando em comparação com os outros ou que sua cabeça poderia ter virado. A análise detalhada nestas circunstâncias é quase impossível com técnicas atuais da análise. Nós argumentamos que é importante controlar as áreas de visualização disponíveis para o indivíduo que está sendo estudado e na análise para ser capaz de explicar a cena total que está sendo visto em qualquer um ponto no tempo.

Há um conjunto de teorias que ligam os níveis de estresse e as percepções de segurança às visões da paisagem e medidas bem evoluídas de estresse^6,7. Houve também um rápido aumento na sofisticação do equipamento de rastreamento ocular para medir o olhar⁸. O rastreamento ocular é importante porque os movimentos oculares involuntários podem ser conectados de forma mais confiável à preferência, estresse e outras medidas tradicionais do que pesquisas e testes fisiológicos intrusivos, como níveis de cortisol salivares. O objetivo desta pesquisa é desenvolver ferramentas que permitam uma medição mais precisa dos dados de rastreamento dos olhos aplicados a ambientes mais naturalistas, de modo a fornecer mais evidências para ou refutar teorias de longa data que tenham informado o design do parque para Décadas.

O objetivo deste projeto é desenvolver e testar uma nova técnica de análise que possa gerar dados relevantes de rastreamento de olho para diferentes vídeos de simulações de caminhada no parque. Nosso trabalho relatado aqui e em outros lugares⁹ representa um ponto de meio caminho entre o cenário naturalista de um sistema de rastreamento de olho totalmente móvel e os estudos de fotografia baseados em laboratório referidos acima. Em particular, nos concentramos em usar vídeos como o material de estímulo, explorando como este material pode ser usado para testar a quantidade de fascínio que diferentes parques geram na cidade de Melbourne. Nosso trabalho é baseado no pressuposto de que a análise detalhada dos vídeos é um passo necessário para romper antes de empreender uma avaliação mais completa, mais naturalista do potencial dos parques para fornecer a restauração do stress.

Neste estudo, empregamos um desktop Eye-Tracker com vídeos de passeios através de parques urbanos e pediu aos participantes para imaginar que eles estavam fazendo um passeio relaxante através de um parque. Descrevemos um método para permitir a quantidade de tempo que os participantes gastaram observando diferentes objetos para serem comparáveis entre os parques. Os estudos do desktop são geralmente mais fáceis de controlar comparados aos estudos móveis do ET e permitem a análise comparativa de cada assunto.

O software de rastreamento de olhos padrão usa uma ferramenta de área de interesse manual na qual um operador pode desenhar manualmente limites em torno de objetos de interesse em cada cena. Isso permite que a quantidade de tempo que os participantes gasto observando objetos diferentes sejam contados automaticamente. Para os dados de vídeo, esse processo é trabalhoso e sujeito a subjetividade e erro do operador. Em versões posteriores do software de análise de rastreamento de olho, AOIs pode rastrear automaticamente objetos entre quadros quando eles são do mesmo tamanho no vídeo. Esta é uma melhoria, entretanto, esta é pretendida somente ser usada para um número pequeno de estímulos em cada imagem e cada imagem deve ser verific e confirmado.

A rotulagem manual de objetos em uma imagem é comum e suportada por software de edição de imagem, como o GNU Image manipulação Program (GIMP). Dado que 1 s produz 30 frames ou imagens, a rotulagem manual dos vídeos é impraticável. Além disso, a rotulagem AOI desenhando polígonos vetoriais em torno da borda de objetos complexos, como as coberturas de árvores, é muito demorado. Finalmente, embora seja concebìvel possível calcular o tamanho dos objetos em um campo de visão usando a rotulagem do vetor, esta característica não está atualmente disponível.

O método que nós relatamos abaixo lida com estas limitações. Este estudo empregou a rotulagem automática de objetos. Isso é possível usando uma técnica de processamento de imagem conhecida como rotulagem semântica, na qual cada pixel em cada quadro do vídeo é atribuído a um rótulo que indica uma classe de objeto. O aprendizado de máquina é usado para derivar classificadores de pixel para cada classe de objeto de interesse. Esses classificadores fornecem um rótulo probabilístico para cada pixel (conhecido como potenciais unários), que são então refinados em um processo de otimização subsequente para alcançar a saída rotulada final. Esses classificadores aprendem limites de decisão estatística entre cada classe de objeto no espaço de recursos extraídos da imagem, incluindo textura, histograma de orientações de borda, valores de cor RGB e as coordenadas de imagem normalizadas. Uma técnica apropriada para isso é implementada na caixa de ferramentas de aprendizado de máquina DARWIN¹⁰ e é descrita abaixo.

Protocolo

Aprovação ética para este projeto foi dada pelo Comitê de ética da Universidade católica australiana-número de aprovação #201500036E. Isso garantiu que o consentimento informado foi obtido de todos os participantes e todos os participantes participaram voluntariamente, e que os dados dos participantes permaneceram anônimos e confidenciais. Além disso, a aprovação foi dada devido ao método e equipamentos de reunião normas de segurança australianas.

1. filmagens cenas urbanas que podem ser usados em um olho-Tracking estudo

1. Use uma câmera de vídeo digital de alta qualidade anexada a um gimbal para criar um vídeo simulado "andando" ou "sentado".
2. Grave o filme com movimentos fluidos suaves em resolução 4k a 25 fps e guarde-os em 1920 x 1080 HD.
3. Use uma empresa de filmagem profissional para produzir filmes digitais se não estiver familiarizado com este ou falta de acesso ao equipamento.
4. Atire filme em um take, a um único comprimento em todos os vídeos com rotas predefinidas precisas e características.
   Nota: exemplo de detalhes de vídeo: cada filme de caminhada simulado foi de 3 min 50 s de comprimento e cada filme de sessão simulado foi 1 minuto de duração. Para ambos os vídeos neste estudo, os vídeos começaram com uma subida de escada curta, levando a um caminho. O caminho foi seguido por exatamente 1 min 30 s e, em seguida, a câmera parou e garimpou esquerda para 45-60 graus e parou por 15 segundos. A câmera, em seguida, continuou ao longo do caminho de caminhada até a marca de 3 min 25 s, garimpou esquerda 40-70 graus por 15 segundos, continuou ao longo do caminho até a marca de 3 min 50 s, em seguida, desvaneceu-se para preto.
5. Assegure-se de que os filmes sejam comparáveis, ou seja não introduzem dados novos do olhar das trajetórias diferentes da caminhada ou do movimento da câmera. Um filme foi tirado de cada caminhada, dois no total.
6. Como os movimentos oculares são afetados pelo som, gravar um arquivo de sons de parque urbano genérico de um dos passeios para o mesmo comprimento do vídeo sem interrupções de ruídos bruscos altos fora do Parque (por exemplo, alarmes de carro). Isto pode ser jogado em vez da trilha sonora existente de ambos os vídeos para que o impacto visual do vídeo pode ser isolado.
   Nota: o movimento excessivo de veículos e outros objetos pode afetar os movimentos oculares e distorcer os resultados. Se alguma desta intrusão ocorre, o filme pode ser jogado para os participantes, mas os quadros podem precisar ser excluído da análise.
7. Se estiver interessado em atividades diferentes em uma caminhada, como caminhar e, em seguida, sentado em um banco, salvar ou editar as cenas de sentar e andar como arquivos separados, de modo a testá-los de forma independente.

2. configuração e calibração de área de trabalho do equipamento de rastreamento de olhos

1. Mostre as sequências filmadas para indivíduos em uma sala onde a luz natural pode ser excluída para evitar reflexões na tela. Mostrá-lo a eles em uma tela tão grande quanto possível para ocupar tanto do campo visual, evitando assim a distração de fora do campo de visão. Um monitor de PC widescreen (16:9) (22 polegadas) com participantes aproximadamente 60 cm de distância da tela é um padrão aceitável.
2. Realize uma calibração na tela para cada participante usando a ferramenta de calibração embutida no software de rastreamento de olhos. Exija que os participantes vejam uma bola vermelha se movendo ao redor da tela como parte disso e parando em 5 pontos de calibração de chave.
3. Durante a calibração observar os participantes e garantir que eles não estão movendo a cabeça também. Se eles estão muito perto da tela e a tela é muito grande, isso pode ser um problema. Ajuste a distância do ecrã em conformidade.
4. Edite cada filme para ter uma cruz branca situada no canto superior esquerdo dos primeiros quadros do vídeo. Isso pode ser feito usando um software de edição de vídeo. Mostrar esta tela por 3 segundos, em seguida, começar a jogar a pé. Isso é para verificar a calibração de rastreamento de olho e para garantir que os tempos de coleta de dados de rastreamento de olho podem ser combinados com números de quadro individuais.

3. recrutamento e ética

1. Use uma empresa de recrutamento profissional de pesquisa para garantir uma propagação de diferentes gêneros, idades e ocupações entre a amostra ou recrutar no local de entre o aluno e corpo de pessoal.
2. Participantes da tela para condições oculares ou neurológicas conhecidas e/ou lesões. Eles devem ser questionados se eles estão tomando medicamentos que são conhecidos por afetar os movimentos oculares (por exemplo , benzodiazepinas).
3. Conduta perto de testes de leitura de visão e um teste de excursão de movimento da tocha ocular para demonstrar que eles têm excursões de movimento completo olho.
4. Participantes da pesquisa sobre sua idade, gênero e frequência de uso do parque.

4. instalação experimental do participante

1. Peça aos participantes que se imaginem precisando de restauração. Use uma sentença que lhes permita imaginar o contexto do vídeo de seguimento do olho usado como: ' imagine que é o meio-dia e você está andando sozinho em Melbourne. Você está mentalmente cansado de concentração intensa no trabalho e está procurando um lugar para ir para uma caminhada, sentar e descansar por um pouco, antes de voltar ao trabalho '.
2. Sente os participantes confortavelmente na frente da tela do computador a uma distância de 60 – 65 cm para ver os filmes.
3. Usando um programa de planilha ordem os filmes aleatoriamente antes de jogar na frente dos participantes.
4. Use alto-falantes para reproduzir o mesmo áudio para todos os filmes.
5. Registre a trajetória do olhar dos participantes usando um sistema de rastreamento de olho de mesa. Monte o dispositivo de seguimento do olho da área de trabalho como por as instruções do fabricante. Isso poderia ser apenas abaixo da tela em uma tabela, ou poderia clipe para a borda da tela, por exemplo, por cima.
6. Use uma unidade Eye-tracking que tenha uma taxa de amostragem de 120 Hz e uma exatidão de 0,50 °, que permita a grande liberdade de movimentos da cabeça permitindo a gravação durante movimentos principais naturais. Um olho-perseguidor mais baixo da freqüência é igualmente aceitável. A 57,3 cm, 1 ° de ângulo visual equivale a ~ 1 cm na tela.
7. Permita que os participantes vejam a filmagem em um monitor em alta definição.
8. Registre os movimentos oculares usando o software de rastreamento de olhos
9. Empregue um filtro da fixação para converter os dados crus da amostra do olho para a análise. No menu principal, clique em ferramentas ≫ configurações. Selecione a guia filtros de fixação . Selecione o filtro de fixação de acordo com as especificações do fabricante sobre o melhor tipo de filtro para agregar os dados brutos de rastreamento de olho em fixações.
10. Se a gravação de dados de rastreamento de olho usando vários filmes, dar pausas entre as sessões de gravação sempre que os participantes solicitá-lo.

5. conectando os parques visualizados a impressões dos vídeos

1. Compare a medida em que as pessoas visualizaram os objetos e suas opiniões dos vídeos, pedindo aos participantes para avaliar cada um dos parques em uma escala de 1 – 10, em primeiro lugar para saber se eles sentiram que seria capaz de descansar e recuperar nesse ambiente (1 , não muito, a 10, muito) e em segundo lugar o quanto eles gostaram do Parque (1, não muito, para 10, muito).
2. Pergunte aos participantes se eles iriam usar o parque para relaxar ou aliviar o stress (s/N) e se eles reconheceram o parque que estavam olhando (s/N) para controlar o impacto potencial de uma associação anterior com o parque.
3. Recorde respostas de resposta curta dos participantes para explicar suas impressões usando um gravador de voz e, em seguida, transgravar estes.

6. análise automática de vídeo para a área de extração de interesse

1. Seleção de AOIs
   1. Escolha os artigos que são do interesse aos desenhadores do parque, aos desenhadores urbanos, aos planeadores ou aos arquitetos, tais como árvores, arbustos, signposts, edifícios, relvado, trajetos, etapas, etc.
   2. Para um desempenho ideal e requisitos mínimos de treinamento (discutidos mais adiante), use elementos que são facilmente visualmente distinguíveis uns dos outros a olho nu, e/ou ocupam consistentemente diferentes regiões de cada quadro de vídeo. Em geral, exemplos de treinamento suficientes que descrevem diferenças visualmente distintas de cada AOI devem ser suficientes para um desempenho robusto.
2. Classificadores de treinamento para extração AOI
   1. Seleção dos quadros de treinamento a serem usados, número e raciocínio
      1. Escolha um número adequado de quadros de treinamento (doravante denominado conjunto de treinamento). Não há nenhum número fixo que é apropriado.
         Observação: os quadros devem fornecer cobertura suficiente do intervalo de aparência visual de cada classe de objeto (ou seja, esses objetos a serem rotulados) em todo o vídeo. Por exemplo, 40 quadros de uma seqüência de vídeo de quadro 15.000 representando uma única cena de parque foram encontrados para alcançar precisão suficiente. Se uma sequência contiver variação significativa em seguida, mais quadros podem ser necessários.
      2. Considere o conteúdo do quadro ao escolher quadros de treinamento. Estes incluem: iluminação, formas com relação ao que está sendo classificado (por exemplo, não apenas um tipo de árvore, mas uma gama de tipos de árvores, sua posição na imagem, a forma como eles são iluminados, etc), textura e cor.
      3. Considere também o número de quadros a serem incluídos. Especificamente, o comprimento e a variação das condições visuais exibidas em todo o vídeo que está sendo analisado, bem como o número de classes de objeto para identificar, e a freqüência de sua aparência.
   2. Rotulagem manual do pixel para frames do treinamento
      Observação: a rotulagem manual dos quadros de treinamento associará pixels a classes de interesse de objeto.
      1. Rotulagem de pixel de quadros de treinamento
         1. Por sua vez, abra cada quadro de treinamento do vídeo no software de edição de imagem.
         2. Para cada quadro de treinamento do vídeo, sobrepor uma camada de imagem transparente na imagem carregada para rotulagem e criar uma paleta de cores, fornecendo uma cor para cada classe de objeto determinado de interesse (ou seja, Aoi).
         3. Assegure-se de que a paleta de cores e o mapeamento de cores para classes de objetos sejam os mesmos em todo o processo de rotulagem.
         4. Selecione a cor para o exemplo AOI.
         5. Regiões de cor da amostra AOIs selecionando, com um clique do mouse e arraste, pixels dentro da área para "cor" usando a escolha de paleta apropriada.
            Nota: é possível colorir objetos grandes imprecisamente. No entanto, para objetos estreitos/pequenos de apenas alguns pixels de largura, tome maior cuidado para garantir que a rotulagem manual Capture com precisão a aparência visual do objeto.
         6. Uma vez que a rotulagem de um quadro esteja completa, exporte a camada sobreposta como um arquivo de imagem separado. Verifique se o nome do arquivo base corresponde ao nome do arquivo base do quadro original, mas com um "c" anexado ao final. Por exemplo, se o nome do arquivo do quadro original era "1234. png", então o nome da camada rotulada deve ser "1234c. png".
         7. Verifique se todas as imagens marcadas são armazenadas em uma única pasta.
      2. Rotulagem de pixel de quadros de validação
         Observação: para validar quantitativamente a precisão do classificador treinado, um conjunto adicional de quadros rotulados deve ser criado.
         1. Selecione os quadros da sequência de vídeo original que ainda não foram escolhidos para serem incluídos no conjunto de treinamento. Para um vídeo de 5 minutos, estes não precisam ser mais de 20 frames, mas devem ser amostrados uniformemente de toda a seqüência de vídeo para garantir a cobertura suficiente.
         2. Identifique os pixels em cada quadro usando o mesmo procedimento descrito para preparar quadros de treinamento (6.2.2). No entanto, desta vez ser tão preciso e tão abrangente quanto possível com a rotulagem, pois isso será usado como uma comparação de verdade em terra.
         3. Quando a rotulagem de um quadro estiver concluída, use a mesma convenção de nomenclatura para treinamento, no entanto, assegure que os arquivos sejam salvos em uma pasta de quadros de validação separada.
   3. Rotulagem automática de pixel da sequência de vídeo
      1. Faça o download da biblioteca de software DARWIN de http://drwn.anu.edu.au.
         Observação: o sistema descrito neste documento foi implementado em um ambiente Linux e, portanto, a versão Linux do DARWIN deve ser baixada e instalada, seguindo as instruções do site.
      2. Inicie a GUI Darwin
      3. Na GUI de Darwin, clique em etiquetas de treinamento de carga.
      4. Usando a caixa de diálogo explorador de arquivos que aparece, selecione a pasta que contém as imagens de treinamento rotuladas para a seqüência de vídeo relevante.
      5. Clique em Load Video frames e siga o mesmo procedimento que 6.2.3.2 para selecionar a pasta que contém todos os quadros originais da sequência de vídeo. Este deve ser um dobrador das imagens, em que cada nome de arquivo do frame é o número desse frame na seqüência Video (por exemplo, o frame 1234 seria nomeado 1234. png)
      6. Clique no botão treinar . O algoritmo examinará agora cada quadro de treinamento rotulado e aprenderá um modelo de aparência para classificar pixels em qualquer uma das classes de objeto especificadas de interesse.
   4. Validando o classificador treinado
      1. Quando o treinamento estiver concluído, clique no botão validar treinamento .
      2. Usando a caixa de diálogo explorador de arquivos, selecione a pasta que contém todas as imagens de validação rotuladas para a sequência de vídeo relevante. O classificador treinado agora será usado para classificar pixels em cada um dos quadros referidos no conjunto de validação. Compare isso com os rótulos de verdade de aterramento fornecidos na pasta de validação.
         Observação: uma vez concluída, a GUI exibirá estatísticas de precisão, incluindo a porcentagem de pixels corretamente rotulados para cada quadro no conjunto de validação, bem como em todo o conjunto de validação.
      3. Para validar visualmente os rótulos gerados, clique no botão Validação Visual . Se clicado, cada imagem rotulada gerada é exibida ao lado do quadro de validação original.
         Observação: isso pode ser instrutivo na identificação de onde mis-classificações estão ocorrendo no objeto. Por exemplo, a inspeção visual pode indicar que os erros estão ocorrendo consistentemente em uma parte específica de uma classe de objeto, sugerindo que a rotulagem aprimorada no conjunto de treinamento seja necessária. Alternativamente, a inspeção pode mostrar que os erros ocorrem somente em um ponto de tempo específico no vídeo, sugerindo que mais exemplos de treinamento são exigidos desse período de tempo no vídeo.
      4. Se a precisão observada na validação quantitativa ou qualitativa estiver abaixo dos níveis aceitáveis, inclua mais exemplos de treinamento. Nesse caso, repita todas as etapas de 6.2.2 para incluir quadros de treinamento adicionais, retreinar o classificador a seguir as etapas em 6.2.3 e revalidar as etapas a seguir em 6.2.4.
   5. Rotulagem de pixel de vídeo
      1. Depois que a fase de treinamento e validação do classificador estiver concluída, clique em quadros de etiquetas na GUI de Darwin para iniciar a rotulagem completa de todos os quadros na sequência de vídeo usando o classificador treinado.
      2. Siga o prompt para selecionar uma pasta de destino para todos os quadros de saída, que serão na forma de imagens rotuladas usando a mesma paleta de cores usada no treinamento.

7. registrando os dados de rastreamento de olho para o conteúdo de vídeo

1. No olho-Tracking Software clique em arquivo ≫ exportar... Exporte o arquivo de rastreamento de olho como um arquivo CSV.
2. Abra o arquivo em um programa de planilha.
3. A partir da sequência de vídeo, identifique o tempo em que a cruz branca na parte superior esquerda da moldura (ver 2,3) desaparece. Use esse tempo para identificar o rastreamento ocular usando a coluna relevante no resultado de rastreamento de olhos. Este é o início da coleta de dados de rastreamento de olhos.
4. Adicione uma coluna aos dados de rastreamento de olhos.
5. Usando esse novo rótulo de coluna, cada linha ou ponto de dados de rastreamento de olho com um número de quadro começando no número 1.

8. exibindo a quantidade de tempo que os participantes examinaram diferentes classes de objetos nos vídeos

Nota: devido ao enorme tamanho dos dados de rastreamento de olho, linguagem de programação Python é melhor usado para as etapas através de 8,4, embora um programa de processamento de dados também pode ser usado.

1. Usando o código Python incluso, calcule a quantidade de sobreposição entre os objetos de interesse e o tempo e a frequência de fixação de rastreamento ocular.
2. Soma esses dados para entender a quantidade de tempo que os participantes gastaram observando objetos diferentes.
3. Empregue um histograma para mostrar a quantidade total de tempo que os objetos ocuparam a tela.
4. Compare isso com a quantidade total de tempo que os participantes olharam para diferentes objetos.
5. Para produzir um heatmap no software de rastreamento de olhos, clique em um dos vídeos de caminhada do Parque usando a caixa de seleção.
6. Clique na guia mapa de calor .
7. Ajuste a cor e outras características do mapa de calor como desejado usando as variáveis de ' count ' (número total de fixações feitas sobre a janela de tempo), ' duração absoluta ' (duração da fixação acumulada), e ' duração relativa ' (a quantidade de tempo gasto olhando para um objeto dividido pela quantidade de tempo gasto olhando para uma cena).
8. Exporte a imagem ou o vídeo que inclui o mapa de calor como um arquivo JPEG ou arquivo de vídeo.

Resultados

Figura 1 e Figura 2 mostram o resultado de tomar todos os dados de rastreamento de olho para todo o vídeo em todos os participantes e produzindo um mapa de calor; Esta é a abordagem padrão disponível em pacotes de software de rastreamento de olho. Comparando a Figura 1 e a Figura 2 é possível identificar que, em média, os participantes escaneados à esquerda e à direita na coordenada ...

Discussão

Geralmente, em pacotes de software padrão para analisar dados de rastreamento de olhos, um vetor AOI é usado. Mesmo para uma única imagem imóvel, o tamanho do vetor não pode ser facilmente medido. Além disso, incluindo todos os AOIs em uma imagem e calculando as quantidades relativas de AOIs é trabalhoso. É quase impossível fazer isso manualmente em um vídeo sem uma técnica de aprendizado de máquina, como a descrita. Esta foi uma declaração relativamente simples que infere uma situação de visualização gratuita. Um cenári...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Lente de 12 mm	Lente Olympus
Panasonic GH4	Câmera de Vídeo	Panasonic
Versão Tobii Studio (2.1.14)	Tobii		Software
Tobii x120 rastreador ocular de mesa	Tobii		Rastreador ocular