Name: Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano (Vídeo) | JoVE Journal
Uploaded: 2019-05-07T12:30:00.000+00:00
Duration: 8 min 25 s
Description: Aprenda a combinar rastreamento ocular com aprendizado de máquina para análise automatizada de vídeos em estudos de neurociência e comportamento visual. Este método permite extração mais rica de dados complexos.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Este trabalho foi apoiado financeiramente pela cidade de Melbourne e parcialmente pela ARC DP 150103135. Gostaríamos de agradecer a Eamonn Fennessy pelo seu aconselhamento e abordagem colaborativa. Com agradecimentos especiais aos assistentes do investigador Isabelle janecki e Ethan Chen quem igualmente ajudou a coletar e analisar estes dados. Todos os erros permanecem os autores.

Aprovação ética para este projeto foi dada pelo Comitê de ética da Universidade católica australiana-número de aprovação #201500036E. Isso garantiu que o consentimento informado foi obtido de todos os participantes e todos os participantes participaram voluntariamente, e que os dados dos participantes permaneceram anônimos e confidenciais. Além disso, a aprovação foi dada devido ao método e equipamentos de reunião normas de segurança australianas.
1. filmagens cenas urbanas que podem ser usados em um olho-Tracking estudo
<ol><li>Use uma câmera de vídeo digital de alta qualidade anexada a um gimbal para criar um vídeo simulado "andando" ou "sentado".</li>
	<li>Grave o filme com movimentos fluidos suaves em resolução 4k a 25 fps e guarde-os em 1920 x 1080 HD.</li>
	<li>Use uma empresa de filmagem profissional para produzir filmes digitais se não estiver familiarizado com este ou falta de acesso ao equipamento.</li>
	<li>Atire filme em um take, a um único comprimento em todos os vídeos com rotas predefinidas precisas e características. Nota: exemplo de detalhes de vídeo: cada filme de caminhada simulado foi de 3 min 50 s de comprimento e cada filme de sessão simulado foi 1 minuto de duração. Para ambos os vídeos neste estudo, os vídeos começaram com uma subida de escada curta, levando a um caminho. O caminho foi seguido por exatamente 1 min 30 s e, em seguida, a câmera parou e garimpou esquerda para 45-60 graus e parou por 15 segundos. A câmera, em seguida, continuou ao longo do caminho de caminhada até a marca de 3 min 25 s, garimpou esquerda 40-70 graus por 15 segundos, continuou ao longo do caminho até a marca de 3 min 50 s, em seguida, desvaneceu-se para preto.</li>
	<li>Assegure-se de que os filmes sejam comparáveis, ou seja não introduzem dados novos do olhar das trajetórias diferentes da caminhada ou do movimento da câmera. Um filme foi tirado de cada caminhada, dois no total.</li>
	<li>Como os movimentos oculares são afetados pelo som, gravar um arquivo de sons de parque urbano genérico de um dos passeios para o mesmo comprimento do vídeo sem interrupções de ruídos bruscos altos fora do Parque (por exemplo, alarmes de carro). Isto pode ser jogado em vez da trilha sonora existente de ambos os vídeos para que o impacto visual do vídeo pode ser isolado. Nota: o movimento excessivo de veículos e outros objetos pode afetar os movimentos oculares e distorcer os resultados. Se alguma desta intrusão ocorre, o filme pode ser jogado para os participantes, mas os quadros podem precisar ser excluído da análise.</li>
	<li>Se estiver interessado em atividades diferentes em uma caminhada, como caminhar e, em seguida, sentado em um banco, salvar ou editar as cenas de sentar e andar como arquivos separados, de modo a testá-los de forma independente.</li>
</ol>2. configuração e calibração de área de trabalho do equipamento de rastreamento de olhos
<ol><li>Mostre as sequências filmadas para indivíduos em uma sala onde a luz natural pode ser excluída para evitar reflexões na tela. Mostrá-lo a eles em uma tela tão grande quanto possível para ocupar tanto do campo visual, evitando assim a distração de fora do campo de visão. Um monitor de PC widescreen (16:9) (22 polegadas) com participantes aproximadamente 60 cm de distância da tela é um padrão aceitável.</li>
	<li>Realize uma calibração na tela para cada participante usando a ferramenta de calibração embutida no software de rastreamento de olhos. Exija que os participantes vejam uma bola vermelha se movendo ao redor da tela como parte disso e parando em 5 pontos de calibração de chave.</li>
	<li>Durante a calibração observar os participantes e garantir que eles não estão movendo a cabeça também. Se eles estão muito perto da tela e a tela é muito grande, isso pode ser um problema. Ajuste a distância do ecrã em conformidade.</li>
	<li>Edite cada filme para ter uma cruz branca situada no canto superior esquerdo dos primeiros quadros do vídeo. Isso pode ser feito usando um software de edição de vídeo. Mostrar esta tela por 3 segundos, em seguida, começar a jogar a pé. Isso é para verificar a calibração de rastreamento de olho e para garantir que os tempos de coleta de dados de rastreamento de olho podem ser combinados com números de quadro individuais.</li>
</ol>3. recrutamento e ética
<ol><li>Use uma empresa de recrutamento profissional de pesquisa para garantir uma propagação de diferentes gêneros, idades e ocupações entre a amostra ou recrutar no local de entre o aluno e corpo de pessoal.</li>
	<li>Participantes da tela para condições oculares ou neurológicas conhecidas e/ou lesões. Eles devem ser questionados se eles estão tomando medicamentos que são conhecidos por afetar os movimentos oculares (por exemplo , benzodiazepinas).</li>
	<li>Conduta perto de testes de leitura de visão e um teste de excursão de movimento da tocha ocular para demonstrar que eles têm excursões de movimento completo olho.</li>
	<li>Participantes da pesquisa sobre sua idade, gênero e frequência de uso do parque.</li>
</ol>4. instalação experimental do participante
<ol><li>Peça aos participantes que se imaginem precisando de restauração. Use uma sentença que lhes permita imaginar o contexto do vídeo de seguimento do olho usado como: ' imagine que é o meio-dia e você está andando sozinho em Melbourne. Você está mentalmente cansado de concentração intensa no trabalho e está procurando um lugar para ir para uma caminhada, sentar e descansar por um pouco, antes de voltar ao trabalho '.</li>
	<li>Sente os participantes confortavelmente na frente da tela do computador a uma distância de 60 – 65 cm para ver os filmes.</li>
	<li>Usando um programa de planilha ordem os filmes aleatoriamente antes de jogar na frente dos participantes.</li>
	<li>Use alto-falantes para reproduzir o mesmo áudio para todos os filmes.</li>
	<li>Registre a trajetória do olhar dos participantes usando um sistema de rastreamento de olho de mesa. Monte o dispositivo de seguimento do olho da área de trabalho como por as instruções do fabricante. Isso poderia ser apenas abaixo da tela em uma tabela, ou poderia clipe para a borda da tela, por exemplo, por cima.</li>
	<li>Use uma unidade Eye-tracking que tenha uma taxa de amostragem de 120 Hz e uma exatidão de 0,50 °, que permita a grande liberdade de movimentos da cabeça permitindo a gravação durante movimentos principais naturais. Um olho-perseguidor mais baixo da freqüência é igualmente aceitável. A 57,3 cm, 1 ° de ângulo visual equivale a ~ 1 cm na tela.</li>
	<li>Permita que os participantes vejam a filmagem em um monitor em alta definição.</li>
	<li>Registre os movimentos oculares usando o software de rastreamento de olhos</li>
	<li>Empregue um filtro da fixação para converter os dados crus da amostra do olho para a análise. No menu principal, clique em ferramentas &Gt; configurações. Selecione a guia filtros de fixação . Selecione o filtro de fixação de acordo com as especificações do fabricante sobre o melhor tipo de filtro para agregar os dados brutos de rastreamento de olho em fixações.</li>
	<li>Se a gravação de dados de rastreamento de olho usando vários filmes, dar pausas entre as sessões de gravação sempre que os participantes solicitá-lo.</li>
</ol>5. conectando os parques visualizados a impressões dos vídeos
<ol><li>Compare a medida em que as pessoas visualizaram os objetos e suas opiniões dos vídeos, pedindo aos participantes para avaliar cada um dos parques em uma escala de 1 – 10, em primeiro lugar para saber se eles sentiram que seria capaz de descansar e recuperar nesse ambiente (1 , não muito, a 10, muito) e em segundo lugar o quanto eles gostaram do Parque (1, não muito, para 10, muito).</li>
	<li>Pergunte aos participantes se eles iriam usar o parque para relaxar ou aliviar o stress (s/N) e se eles reconheceram o parque que estavam olhando (s/N) para controlar o impacto potencial de uma associação anterior com o parque.</li>
	<li>Recorde respostas de resposta curta dos participantes para explicar suas impressões usando um gravador de voz e, em seguida, transgravar estes.</li>
</ol>6. análise automática de vídeo para a área de extração de interesse
<ol><li>Seleção de AOIs
	<ol>
<li>Escolha os artigos que são do interesse aos desenhadores do parque, aos desenhadores urbanos, aos planeadores ou aos arquitetos, tais como árvores, arbustos, signposts, edifícios, relvado, trajetos, etapas, etc.
</li>
		<li>Para um desempenho ideal e requisitos mínimos de treinamento (discutidos mais adiante), use elementos que são facilmente visualmente distinguíveis uns dos outros a olho nu, e/ou ocupam consistentemente diferentes regiões de cada quadro de vídeo. Em geral, exemplos de treinamento suficientes que descrevem diferenças visualmente distintas de cada AOI devem ser suficientes para um desempenho robusto.</li>
	</ol></li>
	<li>Classificadores de treinamento para extração AOI
	<ol><li>Seleção dos quadros de treinamento a serem usados, número e raciocínio
		<ol>
<li>Escolha um número adequado de quadros de treinamento (doravante denominado conjunto de treinamento). Não há nenhum número fixo que é apropriado. Observação: os quadros devem fornecer cobertura suficiente do intervalo de aparência visual de cada classe de objeto (ou seja, esses objetos a serem rotulados) em todo o vídeo. Por exemplo, 40 quadros de uma seqüência de vídeo de quadro 15.000 representando uma única cena de parque foram encontrados para alcançar precisão suficiente. Se uma sequência contiver variação significativa em seguida, mais quadros podem ser necessários.</li>
			<li>Considere o conteúdo do quadro ao escolher quadros de treinamento. Estes incluem: iluminação, formas com relação ao que está sendo classificado (por exemplo, não apenas um tipo de árvore, mas uma gama de tipos de árvores, sua posição na imagem, a forma como eles são iluminados, etc), textura e cor.</li>
			<li>Considere também o número de quadros a serem incluídos. Especificamente, o comprimento e a variação das condições visuais exibidas em todo o vídeo que está sendo analisado, bem como o número de classes de objeto para identificar, e a freqüência de sua aparência.</li>
		</ol></li>
		<li>Rotulagem manual do pixel para frames do treinamento Observação: a rotulagem manual dos quadros de treinamento associará pixels a classes de interesse de objeto.<ol>
<li>Rotulagem de pixel de quadros de treinamento<ol>
<li>Por sua vez, abra cada quadro de treinamento do vídeo no software de edição de imagem.</li>
				<li>Para cada quadro de treinamento do vídeo, sobrepor uma camada de imagem transparente na imagem carregada para rotulagem e criar uma paleta de cores, fornecendo uma cor para cada classe de objeto determinado de interesse (ou seja, Aoi).</li>
				<li>Assegure-se de que a paleta de cores e o mapeamento de cores para classes de objetos sejam os mesmos em todo o processo de rotulagem.</li>
				<li>Selecione a cor para o exemplo AOI.</li>
				<li>Regiões de cor da amostra AOIs selecionando, com um clique do mouse e arraste, pixels dentro da área para "cor" usando a escolha de paleta apropriada. Nota: é possível colorir objetos grandes imprecisamente. No entanto, para objetos estreitos/pequenos de apenas alguns pixels de largura, tome maior cuidado para garantir que a rotulagem manual Capture com precisão a aparência visual do objeto.</li>
				<li>Uma vez que a rotulagem de um quadro esteja completa, exporte a camada sobreposta como um arquivo de imagem separado. Verifique se o nome do arquivo base corresponde ao nome do arquivo base do quadro original, mas com um "c" anexado ao final. Por exemplo, se o nome do arquivo do quadro original era "1234. png", então o nome da camada rotulada deve ser "1234c. png".</li>
				<li>Verifique se todas as imagens marcadas são armazenadas em uma única pasta.</li>
			</ol>
</li>
			<li>
Rotulagem de pixel de quadros de validação Observação: para validar quantitativamente a precisão do classificador treinado, um conjunto adicional de quadros rotulados deve ser criado.<ol>
<li>Selecione os quadros da sequência de vídeo original que ainda não foram escolhidos para serem incluídos no conjunto de treinamento. Para um vídeo de 5 minutos, estes não precisam ser mais de 20 frames, mas devem ser amostrados uniformemente de toda a seqüência de vídeo para garantir a cobertura suficiente.</li>
				<li>Identifique os pixels em cada quadro usando o mesmo procedimento descrito para preparar quadros de treinamento (6.2.2). No entanto, desta vez ser tão preciso e tão abrangente quanto possível com a rotulagem, pois isso será usado como uma comparação de verdade em terra.</li>
				<li>Quando a rotulagem de um quadro estiver concluída, use a mesma convenção de nomenclatura para treinamento, no entanto, assegure que os arquivos sejam salvos em uma pasta de quadros de validação separada.</li>
			</ol>
</li>
		</ol></li>
		<li>Rotulagem automática de pixel da sequência de vídeo
		<ol>
<li>Faça o download da biblioteca de software DARWIN de http://drwn.anu.edu.au. Observação: o sistema descrito neste documento foi implementado em um ambiente Linux e, portanto, a versão Linux do DARWIN deve ser baixada e instalada, seguindo as instruções do site.</li>
			<li>Inicie a GUI Darwin</li>
			<li>Na GUI de Darwin, clique em etiquetas de treinamento de carga.</li>
			<li>Usando a caixa de diálogo explorador de arquivos que aparece, selecione a pasta que contém as imagens de treinamento rotuladas para a seqüência de vídeo relevante.</li>
			<li>Clique em Load Video frames e siga o mesmo procedimento que 6.2.3.2 para selecionar a pasta que contém todos os quadros originais da sequência de vídeo. Este deve ser um dobrador das imagens, em que cada nome de arquivo do frame é o número desse frame na seqüência Video (por exemplo, o frame 1234 seria nomeado 1234. png)</li>
			<li>Clique no botão treinar . O algoritmo examinará agora cada quadro de treinamento rotulado e aprenderá um modelo de aparência para classificar pixels em qualquer uma das classes de objeto especificadas de interesse.</li>
		</ol></li>
		<li>Validando o classificador treinado
		<ol>
<li>Quando o treinamento estiver concluído, clique no botão validar treinamento .</li>
			<li>Usando a caixa de diálogo explorador de arquivos, selecione a pasta que contém todas as imagens de validação rotuladas para a sequência de vídeo relevante. O classificador treinado agora será usado para classificar pixels em cada um dos quadros referidos no conjunto de validação. Compare isso com os rótulos de verdade de aterramento fornecidos na pasta de validação. Observação: uma vez concluída, a GUI exibirá estatísticas de precisão, incluindo a porcentagem de pixels corretamente rotulados para cada quadro no conjunto de validação, bem como em todo o conjunto de validação.</li>
			<li>Para validar visualmente os rótulos gerados, clique no botão Validação Visual . Se clicado, cada imagem rotulada gerada é exibida ao lado do quadro de validação original. Observação: isso pode ser instrutivo na identificação de onde mis-classificações estão ocorrendo no objeto. Por exemplo, a inspeção visual pode indicar que os erros estão ocorrendo consistentemente em uma parte específica de uma classe de objeto, sugerindo que a rotulagem aprimorada no conjunto de treinamento seja necessária. Alternativamente, a inspeção pode mostrar que os erros ocorrem somente em um ponto de tempo específico no vídeo, sugerindo que mais exemplos de treinamento são exigidos desse período de tempo no vídeo.</li>
			<li>Se a precisão observada na validação quantitativa ou qualitativa estiver abaixo dos níveis aceitáveis, inclua mais exemplos de treinamento. Nesse caso, repita todas as etapas de 6.2.2 para incluir quadros de treinamento adicionais, retreinar o classificador a seguir as etapas em 6.2.3 e revalidar as etapas a seguir em 6.2.4.</li>
		</ol></li>
		<li>Rotulagem de pixel de vídeo<ol>
<li>Depois que a fase de treinamento e validação do classificador estiver concluída, clique em quadros de etiquetas na GUI de Darwin para iniciar a rotulagem completa de todos os quadros na sequência de vídeo usando o classificador treinado.</li>
			<li>Siga o prompt para selecionar uma pasta de destino para todos os quadros de saída, que serão na forma de imagens rotuladas usando a mesma paleta de cores usada no treinamento.</li>
		</ol></li>
	</ol></li>
</ol>7. registrando os dados de rastreamento de olho para o conteúdo de vídeo
<ol><li>No olho-Tracking Software clique em arquivo &Gt; exportar... Exporte o arquivo de rastreamento de olho como um arquivo CSV.</li>
	<li>Abra o arquivo em um programa de planilha.</li>
	<li>A partir da sequência de vídeo, identifique o tempo em que a cruz branca na parte superior esquerda da moldura (ver 2,3) desaparece. Use esse tempo para identificar o rastreamento ocular usando a coluna relevante no resultado de rastreamento de olhos. Este é o início da coleta de dados de rastreamento de olhos.</li>
	<li>Adicione uma coluna aos dados de rastreamento de olhos.</li>
	<li>Usando esse novo rótulo de coluna, cada linha ou ponto de dados de rastreamento de olho com um número de quadro começando no número 1.</li>
</ol>8. exibindo a quantidade de tempo que os participantes examinaram diferentes classes de objetos nos vídeos
Nota: devido ao enorme tamanho dos dados de rastreamento de olho, linguagem de programação Python é melhor usado para as etapas através de 8,4, embora um programa de processamento de dados também pode ser usado.
<ol><li>Usando o código Python incluso, calcule a quantidade de sobreposição entre os objetos de interesse e o tempo e a frequência de fixação de rastreamento ocular.</li>
	<li>Soma esses dados para entender a quantidade de tempo que os participantes gastaram observando objetos diferentes.</li>
	<li>Empregue um histograma para mostrar a quantidade total de tempo que os objetos ocuparam a tela.</li>
	<li>Compare isso com a quantidade total de tempo que os participantes olharam para diferentes objetos.</li>
	<li>Para produzir um heatmap no software de rastreamento de olhos, clique em um dos vídeos de caminhada do Parque usando a caixa de seleção.</li>
	<li>Clique na guia mapa de calor .</li>
	<li>Ajuste a cor e outras características do mapa de calor como desejado usando as variáveis de ' count ' (número total de fixações feitas sobre a janela de tempo), ' duração absoluta ' (duração da fixação acumulada), e ' duração relativa ' (a quantidade de tempo gasto olhando para um objeto dividido pela quantidade de tempo gasto olhando para uma cena).</li>
	<li>Exporte a imagem ou o vídeo que inclui o mapa de calor como um arquivo JPEG ou arquivo de vídeo.</li>
</ol>

<ol><li>Patrik, P., Stigsdotter, U. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+relation+between+perceived+sensory+dimensions+of+urban+green+space+and+stress+restoration%5BTitle%5D)+AND+%22Landscape+and+Urban+Planning%22%5BJournal%5D)">The relation between perceived sensory dimensions of urban green space and stress restoration.</a> Landscape and Urban Planning. 94 (3-4), 264-275 (2010).</li>
<li>Bjørn, G., Patil, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Biophilia%3A+does+visual+contact+with+nature+impact+on+health+and+well-being%3F%5BTitle%5D)+AND+%22International+Journal+of+Environmental+Research+and+Public+Health%22%5BJournal%5D)">Biophilia: does visual contact with nature impact on health and well-being?</a> International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).</li>
<li>Velarde, M. aD., Fry, G., Tveit, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Health+effects+of+viewing+landscapes-Landscape+types+in+environmental+psychology%5BTitle%5D)+AND+%22Urban+Forestry+%26+Urban+Greening%22%5BJournal%5D)">Health effects of viewing landscapes-Landscape types in environmental psychology.</a> Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).</li>
<li>Polat, A. T., Ahmet, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relationships+between+the+visual+preferences+of+urban+recreation+area+users+and+various+landscape+design+elements%5BTitle%5D)+AND+%22Urban+Forestry+%26+Urban+Greening%22%5BJournal%5D)">Relationships between the visual preferences of urban recreation area users and various landscape design elements.</a> Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).</li>
<li>Peter, P., Giannopoulos, I., Raubal, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Where+am+I%3F+Investigating+map+matching+during+self-localization+with+mobile+eye+tracking+in+an+urban+environment%5BTitle%5D)+AND+%22Transactions+in+GIS%22%5BJournal%5D)">Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment.</a> Transactions in GIS. 18 (5), 660-686 (2014).</li>
<li>Berto, R., Massaccesi, S., Pasini, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+Eye+Movements+Measured+across+High+and+Low+Fascination+Photographs+Differ%3F+Addressing+Kaplan%27s+Fascination+Hypothesis%5BTitle%5D)+AND+%22Journal+of+Environmental+Psychology%22%5BJournal%5D)">Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan's Fascination Hypothesis.</a> Journal of Environmental Psychology. 28 (2), 185-191 (2008).</li>
<li>Kaplan, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+restorative+benefits+of+nature%3A+Towards+an+integrative+framework%5BTitle%5D)+AND+%22Journal+of+Environmental+Psychology%22%5BJournal%5D)">The restorative benefits of nature: Towards an integrative framework.</a> Journal of Environmental Psychology. 15, 169-182 (1995).</li>
<li>Duchowski, A. T. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+AT+%22Eye+Tracking+Methodology%3A+Theory+and+Practice%22">Eye Tracking Methodology: Theory and Practice</a>. , 3rd ed, Springer International Publishing. London. (2017).</li>
<li>Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+eye-catching+are+natural+features+when+walking+through+a+park%3F+Eye-+tracking+responses+to+videos+of+walks%3F%5BTitle%5D)+AND+%22Urban+Forestry+and+Urban+Greening%22%5BJournal%5D)">How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?</a> Urban Forestry and Urban Greening. 31, 67-78 (2018).</li>
<li>Gould, S. D. A. R. W. I. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Framework+for+Machine+Learning+and+Computer+Vision+Research+and+Development%5BTitle%5D)+AND+%22Journal+of+Machine+Learning+Research%22%5BJournal%5D)">A Framework for Machine Learning and Computer Vision Research and Development.</a> Journal of Machine Learning Research. (Dec), 3533-3537 (2012).</li>
<li>Richardson, D., Matlock, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+integration+of+figurative+language+and+static+depictions%3A+an+eye+movement+study+of+fictive+motion%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The integration of figurative language and static depictions: an eye movement study of fictive motion.</a> Cognition. 102 (1), 129-138 (2007).</li>
<li>Bojko, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBojko%2C+A+%22Eye+Tracking+the+User+Experience%3A+A+Practical+Guide+to+Research%22">Eye Tracking the User Experience: A Practical Guide to Research</a>. , Rosenfeld, New York. (2013).</li>
</ol>

Geralmente, em pacotes de software padrão para analisar dados de rastreamento de olhos, um vetor AOI é usado. Mesmo para uma única imagem imóvel, o tamanho do vetor não pode ser facilmente medido. Além disso, incluindo todos os AOIs em uma imagem e calculando as quantidades relativas de AOIs é trabalhoso. É quase impossível fazer isso manualmente em um vídeo sem uma técnica de aprendizado de máquina, como a descrita. Esta foi uma declaração relativamente simples que infere uma situação de visualização gratuita. Um cenári...

Nossas experiências diárias de vida de ambientes urbanos impactam muito em nossa saúde e bem-estar. Nosso bem-estar pode depender da quantidade de espaços verdes que vemos e experimentamos1,2,3, e essas visões podem ser quantificadas usando equipamentos de rastreamento de olhos para orientar a tomada de decisão sobre o design do parque. No entanto, surge um problema com o volume de dados de rastreamento de olho que é gerado e que faz sentido desses dados. Como o equipamento para gravar dados do olhar em um laboratório ou ambiente natural torna-se mais fácil de usar e mais poderoso, os pesquisadores precisam considerar como podemos coletar e analisar dados validamente para ajudar com questões de tomada de decisão.
Até agora, uma grande quantidade de pesquisa de rastreamento de olho usou fotografias em uma pesquisa ou configuração de laboratório4. Embora esta metodologia permite uma grande quantidade de reprodutibilidade e controle sobre os resultados, é incapaz de tirar proveito dos últimos avanços na tecnologia de rastreamento de olho que incluem o uso de vídeo e wearable Eye-trackers móveis. Além disso, argumentamos que o ato de caminhar e relaxar é necessariamente dinâmico, especialmente quando orientado para uma tarefa como a wayfinding5. Conseqüentemente uma compreensão inteiramente científica destas configurações deve ocorrer fora do laboratório. No entanto, no momento, o rastreamento dos olhos em um cenário naturalista da vida real faz comparando a experiência entre os assuntos muito difícil. Por exemplo, se quiséssemos comparar se um entrevistado Olha para árvores mais do que outro, como poderíamos controlar para o fato de seu ponto de vista seria constantemente mudando em comparação com os outros ou que sua cabeça poderia ter virado. A análise detalhada nestas circunstâncias é quase impossível com técnicas atuais da análise. Nós argumentamos que é importante controlar as áreas de visualização disponíveis para o indivíduo que está sendo estudado e na análise para ser capaz de explicar a cena total que está sendo visto em qualquer um ponto no tempo.
Há um conjunto de teorias que ligam os níveis de estresse e as percepções de segurança às visões da paisagem e medidas bem evoluídas de estresse6,7. Houve também um rápido aumento na sofisticação do equipamento de rastreamento ocular para medir o olhar8. O rastreamento ocular é importante porque os movimentos oculares involuntários podem ser conectados de forma mais confiável à preferência, estresse e outras medidas tradicionais do que pesquisas e testes fisiológicos intrusivos, como níveis de cortisol salivares. O objetivo desta pesquisa é desenvolver ferramentas que permitam uma medição mais precisa dos dados de rastreamento dos olhos aplicados a ambientes mais naturalistas, de modo a fornecer mais evidências para ou refutar teorias de longa data que tenham informado o design do parque para Décadas.
O objetivo deste projeto é desenvolver e testar uma nova técnica de análise que possa gerar dados relevantes de rastreamento de olho para diferentes vídeos de simulações de caminhada no parque. Nosso trabalho relatado aqui e em outros lugares9 representa um ponto de meio caminho entre o cenário naturalista de um sistema de rastreamento de olho totalmente móvel e os estudos de fotografia baseados em laboratório referidos acima. Em particular, nos concentramos em usar vídeos como o material de estímulo, explorando como este material pode ser usado para testar a quantidade de fascínio que diferentes parques geram na cidade de Melbourne. Nosso trabalho é baseado no pressuposto de que a análise detalhada dos vídeos é um passo necessário para romper antes de empreender uma avaliação mais completa, mais naturalista do potencial dos parques para fornecer a restauração do stress.
Neste estudo, empregamos um desktop Eye-Tracker com vídeos de passeios através de parques urbanos e pediu aos participantes para imaginar que eles estavam fazendo um passeio relaxante através de um parque. Descrevemos um método para permitir a quantidade de tempo que os participantes gastaram observando diferentes objetos para serem comparáveis entre os parques. Os estudos do desktop são geralmente mais fáceis de controlar comparados aos estudos móveis do ET e permitem a análise comparativa de cada assunto.
O software de rastreamento de olhos padrão usa uma ferramenta de área de interesse manual na qual um operador pode desenhar manualmente limites em torno de objetos de interesse em cada cena. Isso permite que a quantidade de tempo que os participantes gasto observando objetos diferentes sejam contados automaticamente. Para os dados de vídeo, esse processo é trabalhoso e sujeito a subjetividade e erro do operador. Em versões posteriores do software de análise de rastreamento de olho, AOIs pode rastrear automaticamente objetos entre quadros quando eles são do mesmo tamanho no vídeo. Esta é uma melhoria, entretanto, esta é pretendida somente ser usada para um número pequeno de estímulos em cada imagem e cada imagem deve ser verific e confirmado.
A rotulagem manual de objetos em uma imagem é comum e suportada por software de edição de imagem, como o GNU Image manipulação Program (GIMP). Dado que 1 s produz 30 frames ou imagens, a rotulagem manual dos vídeos é impraticável. Além disso, a rotulagem AOI desenhando polígonos vetoriais em torno da borda de objetos complexos, como as coberturas de árvores, é muito demorado. Finalmente, embora seja concebìvel possível calcular o tamanho dos objetos em um campo de visão usando a rotulagem do vetor, esta característica não está atualmente disponível.
O método que nós relatamos abaixo lida com estas limitações. Este estudo empregou a rotulagem automática de objetos. Isso é possível usando uma técnica de processamento de imagem conhecida como rotulagem semântica, na qual cada pixel em cada quadro do vídeo é atribuído a um rótulo que indica uma classe de objeto. O aprendizado de máquina é usado para derivar classificadores de pixel para cada classe de objeto de interesse. Esses classificadores fornecem um rótulo probabilístico para cada pixel (conhecido como potenciais unários), que são então refinados em um processo de otimização subsequente para alcançar a saída rotulada final. Esses classificadores aprendem limites de decisão estatística entre cada classe de objeto no espaço de recursos extraídos da imagem, incluindo textura, histograma de orientações de borda, valores de cor RGB e as coordenadas de imagem normalizadas. Uma técnica apropriada para isso é implementada na caixa de ferramentas de aprendizado de máquina DARWIN10 e é descrita abaixo.

<table><tbody><tr><td>Lente de 12 mm</td><td>Lente Olympus</td><td></td><td></td></tr><tr><td>Panasonic GH4&nbsp;</td><td>Câmera de Vídeo</td> <td>Panasonic</td><td></td></tr><tr><td>Versão Tobii Studio (2.1.14)&nbsp; &nbsp;</td><td>Tobii</td><td></td><td>Software</td></tr><tr><td>Tobii x120 rastreador ocular de mesa</td><td>Tobii</td><td></td><td>Rastreador ocular</td></tr></tbody></table>

combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment

Como os indivíduos vivem cada vez mais nas cidades, os métodos para estudar seus movimentos diários e os dados que podem ser recolhidos tornam-se importantes e valiosos. Olho-Tracking informática são conhecidos para se conectar a uma gama de sentimentos, condições de saúde, Estados mentais e ações. Mas porque a visão é o resultado de constantes movimentos oculares, provocando o que é importante do que é o ruído é complexo e intensivo de dados. Além disso, um desafio significativo é controlar o que as pessoas olham em comparação com o que lhes é apresentado.
A seguir, apresentamos uma metodologia para combinar e analisar o rastreamento dos olhos em um vídeo de uma cena natural e complexa com uma técnica de aprendizado de máquina para analisar o conteúdo do vídeo. No protocolo, nos concentramos em analisar dados de vídeos filmados, como um vídeo pode ser melhor usado para registrar os dados de rastreamento dos participantes, e importante como o conteúdo do vídeo pode ser analisado e combinado com os dados de rastreamento de olhos. Apresentamos um breve resumo dos resultados e uma discussão sobre o potencial do método para estudos posteriores em ambientes complexos.

Figura 1 e Figura 2 mostram o resultado de tomar todos os dados de rastreamento de olho para todo o vídeo em todos os participantes e produzindo um mapa de calor; Esta é a abordagem padrão disponível em pacotes de software de rastreamento de olho. Comparando a Figura 1 e a Figura 2 é possível identificar que, em média, os participantes escaneados à esquerda e à direita na coordenada ...

O objetivo do protocolo é detalhar como coletar dados de vídeo para uso em laboratório; como gravar dados de rastreamento de olhos dos participantes olhando para os dados e como analisar eficientemente o conteúdo dos vídeos que eles estavam olhando para usar uma técnica de aprendizado de máquina.

Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano

As individuals increasingly live in cities, methods to study their everyday movements and the data that can be collected becomes important and valuable. ...

Muitos estudos de rastreamento ocular dependem de estímulos de vídeo complexos e configurações do mundo real, tornando a análise dos dados altamente complexa. Esta técnica de análise permite uma abordagem muito mais rica e automatizada para analisar dados baseados em vídeo do que os métodos disponíveis atualmente levando à extração mais rica de dados mais complexos. Este método pode ser usado em muitos aplicativos diferentes de rastreamento ocular, particularmente em situações do mundo real ou aqueles que usam o vídeo como estímulo.Estudos paisagísticos têm se apoiado em entender como as pessoas reagem a diferentes estímulos visuais. Esta técnica combinada com o rastreamento ocular poderia ser usada para testar essas suposições. Para este tipo de pesquisa, uma abordagem de equipe é essencial para que existam múltiplos aspectos que requerem entrada e consideração de alto nível.Demonstrando o procedimento comigo será meu estudante de pós-graduação Andrew Treller. As sequências de filme devem ser mostradas em um laboratório de rastreamento de olhos no qual a luz natural está disponível, mas que pode ser controlada para evitar reflexos na tela na tela o maior possível para ocupar o máximo possível do campo visual, evitando assim distrações de fora do campo de visão. Depois de sentar o participante a 60-65 centímetros de distância da tela, peça que imagine estar precisando de restauração usando uma frase que permite ao participante imaginar no contexto do vídeo de rastreamento ocular.Em seguida, reprodue os filmes para o participante em uma ordem aleatória predeterminada usando um dispositivo de rastreamento de olhos de desktop para registrar os movimentos oculares do participante durante cada vídeo. Para projetar uma área de interesse, selecione itens de interesse do estudo, como árvores, arbustos, placas de sinalização, edifícios, caminhos, passos. Para obter um desempenho ideal e requisitos mínimos de treinamento, use elementos facilmente distinguíveis um do outro a olho nu e/ou que ocupam consistentemente diferentes regiões de cada quadro de vídeo.Em geral, incluir exemplos de treinamento suficientes que retratam diferenças visualmente distintas de cada AOI deve ser suficiente para um desempenho robusto. Quando todos os itens tiverem sido modificados, selecione um número apropriado de quadros de treinamento para compor o conjunto de treinamento. Não há nenhum número fixo apropriado.Em seguida, abra cada quadro de treinamento do vídeo no software de edição de imagens e para cada quadro sobreponham uma camada de imagem transparente na imagem carregada para rotulagem e crie uma paleta de cores fornecendo uma cor para cada classe de objeto de interesse. Para selecionar a cor para a área de amostra de interesse, clique e arraste pixels dentro de uma área para colorir em uma região de amostra com a escolha apropriada da paleta. Uma vez que a rotulagem de um quadro esteja completa, exporte a camada sobreposta como um arquivo de imagem separado, tomando cuidado para que o nome do arquivo base corresponda ao nome original do arquivo base do quadro, mas com um C anexado ao final.Para validar quantitativamente a precisão do classificador treinado, selecione quadros da sequência de vídeo original ainda não selecionados para serem incluídos no conjunto de treinamento e rotule os pixels em cada quadro como apenas demonstrados para que os quadros de treinamento sejam o mais precisos e abrangentes possível. Quando a rotulagem de um quadro estiver completa, use a mesma convenção de nomeação que para o treinamento, salvando os arquivos em uma pasta de quadros de validação separada. Para rotulagem automática de pixels da sequência de vídeo, inicie a interface gráfica de usuário de Darwin e clique em etiquetas de treinamento de carga.Para configurar a GUI para treinamento e rotulagem, selecione criar projeto e fornecer ao projeto um nome usando a caixa de diálogo pop-up. Selecione a pasta contendo todos os quadros originais da sequência de vídeo na janela pop-up. Usando a caixa de diálogo do explorador de arquivos pop-up, selecione a pasta contendo as imagens de treinamento rotuladas para a sequência de vídeo relevante.E na caixa de diálogo do explorador de arquivos, selecione a pasta contendo todas as imagens de validação rotuladas para a sequência de vídeo relevante. Siga o prompt para selecionar uma pasta de destino para todos os quadros de saída que estarão na forma de imagens rotuladas usando a mesma paleta de cores usada no treinamento. Utilizando a caixa de diálogo pop-up, sob áreas de interesse, entre nas áreas de interesse para rotular incluindo os valores vermelho/verde/azul usados para marcar cada região nos exemplos de treinamento.O algoritmo examinará cada quadro de treinamento rotulado e aprenderá um modelo de aparência para classificar os pixels em qualquer uma das classes de interesse de objetos especificados. Uma vez que o treinamento esteja completo, clique validar o treinamento. E na caixa de diálogo do explorador de arquivos, selecione a pasta contendo todas as imagens de validação rotuladas para a sequência de vídeo relevante.Para validar visualmente os rótulos gerados, clique em validação visual. Cada imagem rotulada gerada será exibida ao lado do quadro de validação original. Se a precisão observada na validação quantitativa ou qualitativa ficar abaixo dos níveis aceitáveis, inclua e retreine outros exemplos de treinamento.Uma vez que as fases de treinamento e validação do classificador estejam concluídas, clique em executar a inferência para iniciar a rotulagem completa de todos os quadros na sequência de vídeo usando o classificador treinado. Uma vez que a rotulagem esteja completa, o que pode levar várias horas, clique em procurar saída para ver as etiquetas resultantes. A maioria dos softwares de rastreamento de olhos mostrará que, em média, os participantes digitalizaram à esquerda e à direita na x-coordenada do vídeo no primeiro vídeo em comparação com o segundo vídeo para o qual o mapa de calor mostra uma forma de rounder.Usando a técnica de rotulagem de pixels de aprendizado de máquina descrita neste artigo, podemos ver mais detalhes. Esta representação gráfica do tempo de fixação percentual mostra que o caminho é claramente visível durante o curso do vídeo. No entanto, como mostra esse número a partir dos dados de rastreamento ocular, o participante apenas olhou para esse recurso ocasionalmente em pontos-chave.Aqui é mostrado um resumo do tempo de permanência de todos os 39 participantes deste estudo representativo ao olhar para objetos ao longo da duração do vídeo. Neste gráfico, os mesmos dados de tempo de moradia foram divididos pela quantidade de tempo e espaço que diferentes objetos ocuparam no vídeo. Um valor de um indica que o tempo de moradia pode ser contabilizado pela quantidade de objeto no vídeo.Por exemplo, objetos menos pertinentes, como o céu em ambas as imagens, foram vistos comparativamente menos do que outros objetos. Objetos artificiais, como lâmpadas de rua e bancos, foram habitados em maior medida em comparação com outros objetos naturais. Esses tipos de análise podem ter muitos usos abrangentes para olhar questões de atenção e salciência e podem ter muitas aplicações de alcance amplo em diferentes áreas de pesquisa.À medida que o uso de curtas-metragens como estímulos visuais se torna cada vez mais comum, esperamos que essa técnica se torne mais popular.

combining-eye-tracking-data-with-an-analysis-video-content-from-free

Research

JoVE Journal

Environment

Ambiente

Crianças pequenas não passivamente observar o mundo, mas prefiro ativamente explorar e interagir com seu ambiente. Este protocolo fornece princípios orientadores e recomendações práticas para o uso de rastreadores de olho capacetes para gravar dos infantes e crianças ambientes visuais dinâmicos e atenção visual no contexto do comportamento natural.

Olhar em ação: capacetes Eye Tracking da atenção Visual dinâmico de crianças durante o comportamento naturalista

Esta é uma análise de estudo de caso comparativo qualitativo dos dados de acompanhamento de olho sobre os primeiros momentos de cenas de vídeo sociais como visto por três participantes: um com transtorno do espectro do autismo, um com comórbidas transtorno hiperativa de déficit de atenção e um controle de neurotypical.

Comparar dados de olho-de acompanhamento de crianças com ASD de alto funcionamento, comorbidade TDAH e de um controle Social vídeos

Aqui, apresentamos um protocolo para estudar a relação entre os parâmetros do movimento ocular e as funções cognitivas em pacientes com doença de Parkinson não dementada. O experimento utilizou um rastreador ocular para medir a amplitude e a duração da fixação sacádicos em uma tarefa de busca visual. A correlação com o desempenho em tarefas cognitivas de vários domínios foi posteriormente mensurada.

Caracterizando a relação entre os parâmetros do movimento ocular e funções cognitivas em pacientes não-Demented da doença de Parkinson com seguimento do olho

O uso de sensores multimodais é uma maneira promissora de entender o papel das interações sociais em ambientes educacionais. Este artigo descreve uma metodologia para capturar a atenção visual conjunta de dídas colocated usando rastreadores de olho móveis.

Uma metodologia para capturar a atenção visual conjunta usando mobile eye-trackers

O estudo propõe um modelo de ativação compatível para estudar como a solidão é atenuada quando um público solitário assiste a vídeos de barragem de apelos racionais e emocionais. O protocolo utiliza o rastreamento ocular para documentar a duração e fixação, contabilizando o grau de satisfação quando as necessidades emocionais são apaziguadas pelo conteúdo e pela barragem.

Solidão Augenrrada: Acompanhando o Público assistindo vídeos de Barragem

O presente protocolo descreve o rastreamento/avaliação de movimento tridimensional para descrever a alteração do movimento da marcha de ratos após a exposição a um ambiente simulado de desuso.

Compreensão abrangente da alteração da marcha induzida pela inatividade em roedores

O rastreamento ocular é um método não invasivo para investigar o processamento de informações. Este artigo descreve como o rastreamento ocular pode ser usado para estudar o comportamento do olhar durante uma tarefa de emergência de simulação de voo em pilotos de baixo tempo (ou seja, &lt;350 horas de voo).

Rastreamento ocular durante uma tarefa complexa de aviação para obter informações sobre o processamento de informações

A metodologia explorou as contribuições visuais e vestibulares para a estabilização do olhar durante as rotações optocinéticas e de corpo inteiro. As estimulações foram realizadas por meio de ensaios visuais, vestibulares e visuovestibulares. O ganho de movimento torcional dos olhos e as frequências do nistagmo serviram como indicadores para a retransmissão subcortical de informações de movimento sensoriais específicas em direção à resposta reflexiva do tronco encefálico para cada tentativa.

Usando o rastreamento ocular para avaliar a importância relativa da entrada visual e vestibular para o processamento de movimento subcortical no plano de rolagem

Apresentamos um fluxo de trabalho de baixo custo e sem marcadores usando o DeepLabCut para quantificar a marcha espontânea e a locomoção em camundongos em movimento livre. Esse protocolo integra aquisição de vídeo por câmera única, rastreamento sem marcadores de marcos anatômicos e extração de parâmetros locomotores espaço-temporais, fornecendo uma estrutura não invasiva e acessível para análise do comportamento motor, sem equipamentos especializados.

Um fluxo de trabalho de baixo custo e sem marcadores baseado em DeepLabCut para análise espontânea de marcha e locomoção em camundongos em movimento livre

Um método para a determinação do teor de ácidos gordos e composição de microalgas baseado em ruptura mecânica da célula, a extracção de lípidos à base de solvente, a transesterificação, e quantificação e identificação de ácidos gordos por cromatografia em fase gasosa é descrito. Uma norma interna tripentadecanoin é usado para compensar as possíveis perdas durante a extração e transesterificação incompleta.

Análise do conteúdo de ácidos graxos e composição em Microalgas

Aprenda a combinar rastreamento ocular com aprendizado de máquina para análise automatizada de vídeos em estudos de neurociência e comportamento visual. Este método permite extração mais rica de dados complexos.

Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano (Vídeo) | JoVE Journal

Combinando dados de rastreamento de olhos com uma análise de conteúdo de vídeo de livre-visualizando um vídeo de uma caminhada em um ambiente de parque urbano

Explorar mais vídeos