Uma metodologia para capturar a atenção visual conjunta usando mobile eye-trackers

Summary

O uso de sensores multimodais é uma maneira promissora de entender o papel das interações sociais em ambientes educacionais. Este artigo descreve uma metodologia para capturar a atenção visual conjunta de dídas colocated usando rastreadores de olho móveis.

Abstract

Com o advento de novos avanços tecnológicos, é possível estudar as interações sociais em um micronível com precisão sem precedentes. Sensores de alta frequência, como rastreadores oculares, pulseiras de atividade eletrodérmica, bandas de EEG e sensores de movimento fornecem observações no nível de milissegundo. Esse nível de precisão permite que os pesquisadores coletem grandes conjuntos de dados sobre interações sociais. Neste artigo, discuto como vários rastreadores oculares podem capturar uma construção fundamental nas interações sociais, a atenção visual conjunta (JVA). JVA tem sido estudado por psicólogos de desenvolvimento para entender como as crianças adquirem a linguagem, aprendendo cientistas a entender como pequenos grupos de alunos trabalham juntos, e cientistas sociais para entender as interações em pequenas equipes. Este artigo descreve uma metodologia para capturar JVA em configurações colocated usando olho-trackers móveis. Apresenta alguns resultados empíricos e discute implicações da captura de microobservações para entender as interações sociais.

Introduction

JVA tem sido extensivamente estudado ao longo do século passado, especialmente por psicólogos de desenvolvimento que estudam a aquisição da linguagem. Foi rapidamente estabelecido que a atenção conjunta é mais do que apenas uma maneira de aprender palavras, mas sim um precursor das teorias das crianças da mente¹. Assim, desempenha um papel significativo em muitos processos sociais, como a comunicação com os outros, a colaboração e o desenvolvimento da empatia. Crianças autistas, por exemplo, não têm a capacidade de coordenar sua atenção visual com seus cuidadores, o que está associado a deficiências sociais significativas^2. Os seres humanos precisam de atenção conjunta para se tornarem membros funcionais da sociedade, para coordenar suas ações e aprender com os outros. De crianças que adquirem suas primeiras palavras, adolescentes aprendendo com professores, alunos colaborando em projetos e grupos de adultos que trabalham em direção a objetivos comuns, a atenção conjunta é um mecanismo fundamental para estabelecer um terreno comum entre os indivíduos³. Neste artigo, concentro-me no estudo da JVA em pesquisa educacional. Entender como a atenção conjunta se desenrola ao longo do tempo é de importância primordial para o estudo dos processos de aprendizagem colaborativos. Como tal, desempenha um papel predominante em ambientes socioconstrutivistas.

A definição exata de atenção conjunta ainda é debatida⁴. Este artigo está preocupado com uma subconstrução da atenção conjunta (JA), ou seja, JVA. JVA acontece quando dois assuntos estão olhando para o mesmo lugar ao mesmo tempo. Note-se que a JVA não fornece qualquer informação sobre outras construções importantes de interesse no estudo da JA, como o monitoramento de atenção comum, mútua e compartilhada, ou, mais geralmente, a consciência da cognição de outro membro do grupo. Este artigo operacionaliza e simplifica o JVA combinando os dados de rastreamento ocular de dois participantes e analisando a frequência em que eles alinham seus olhares. Para uma discussão mais abrangente, o leitor interessado pode aprender mais sobre o estudo do construto ja em Siposovaet al.⁴.

Na última década, os avanços tecnológicos transformaram radicalmente a pesquisa sobre a JVA. A principal mudança de paradigma foi usar vários rastreadores oculares para obter medidas quantitativas de alinhamentos atencionais, em oposição à análise qualitativa de gravações de vídeo em um ambiente laboratorial ou ecológico. Esse desenvolvimento permitiu que os pesquisadores coletassem informações precisas e detalhadas sobre a coordenação visual das disadas. Além disso, os rastreadores oftalmológicos estão se tornando mais acessíveis: até recentemente, seu uso era reservado a ambientes acadêmicos ou grandes corporações. Agora é possível comprar rastreadores oculares baratos que geram conjuntos de dados confiáveis. Finalmente, a inclusão progressiva de recursos de rastreamento de olhar em dispositivos existentes, como laptops high-end e fones de ouvido de realidade virtual e aumentada, sugere que o rastreamento ocular em breve se tornará onipresente.

Devido à popularização de dispositivos de rastreamento ocular, é importante entender o que eles podem e não podem nos dizer sobre interações sociais. A metodologia apresentada neste artigo marca um primeiro passo nessa direção. Eu abordo dois desafios na captura de JVA de múltiplos rastreadores oculares: sincronizar os dados em 1) a escala temporal e 2) na escala espacial. Mais especificamente, este protocolo faz uso de marcadores fiduciais colocados em ambientes do mundo real para informar algoritmos de visão computacional onde os participantes estão orientando seu olhar. Este novo tipo de metodologia abre o caminho para uma análise rigorosa do comportamento humano em pequenos grupos.

Este protocolo de pesquisa está em conformidade com as diretrizes do comitê de ética em pesquisa humana da Universidade de Harvard.

Protocol

1. Triagem dos participantes

1. Certifique-se de que os participantes com visão normal ou corrigida para normal sejam recrutados. Como os participantes serão solicitados a usar um rastreador de olho móvel, eles podem usar lentes de contato, mas não óculos regulares.

2. Preparação para o experimento

1. Dispositivos de rastreamento ocular
   1. Use qualquer rastreador ocular móvel capaz de capturar o movimento dos olhos em ambientes do mundo real.
      NOTA: Os rastreadores de olho móveis usados aqui foram dois Tobii Pro Glasses 2 (ver Tabela de Materiais). Além de câmeras especializadas que podem rastrear os movimentos dos olhos, os óculos também estão equipados com uma câmera de cena HD e um microfone para que o olhar possa ser visualizado no contexto do campo visual do usuário. Esses óculos capturam dados de olhar 50 vezes por segundo. Outros pesquisadores usaram ASL Mobile Eye^5,SMI⁶, ou Pupil-labs⁷, que fornecem fluxos de vídeo da câmera de cena e coordenadas de rastreamento ocular em diferentes taxas de amostragem (30-120 Hz). O procedimento abaixo pode variar ligeiramente com outros dispositivos de rastreamento ocular.
2. Marcadores fiduciários
   1. Os dois passos abaixo (ou seja, alinhamentos temporais e espaciais) requerem o uso de marcadores fiduciais. Existem várias bibliotecas de visão computacional que fornecem aos pesquisadores esses marcadores e algoritmos para detectá-los em uma transmissão de imagem ou vídeo. O protocolo descrito utiliza a biblioteca Chilitag^8.
3. Alinhamento temporal
   1. Como os dados de rastreamento ocular são registrados em duas unidades separadas, certifique-se de que os dados sejam sincronizados adequadamente(Figura 1). Dois métodos principais podem ser usados. Este manuscrito abrange apenas o primeiro método, porque a sincronização do servidor funciona de forma diferente com cada marca de rastreador de olhos móveis.
      1. Mostra brevemente um marcador fiduciário em uma tela de computador para marcar o início e o fim de uma sessão. Isto é semelhante a um visual "palmas" (Figura 2).
      2. Alternativamente, use um servidor para sincronizar os relógios das duas unidades de coleta de dados. Este método é ligeiramente mais preciso e recomendado se for necessária uma precisão temporal mais elevada.
4. Alinhamento espacial
   1. Para descobrir se dois participantes estão olhando para o mesmo lugar ao mesmo tempo, mapeie seus olhares para um plano comum. Este plano pode ser uma imagem da configuração experimental (veja o lado esquerdo da Figura 3). Projete cuidadosamente esta imagem antes do experimento.
   2. Tamanho dos marcadores fiduciais: O tamanho geral dos marcadores fiduciais depende do algoritmo usado para detectá-los a partir do vídeo de rastreamento ocular. Superfícies próximas aos participantes podem ter marcadores fiduciais menores, enquanto as superfícies mais distantes delas precisam ser maiores, de modo que pareçam semelhantes do ponto de vista dos participantes. Tente tamanhos diferentes de antemão para se certificar de que eles podem ser detectados a partir do vídeo de rastreamento ocular.
   3. Número de marcadores fiduciais: Para tornar bem-sucedido o processo de mapeamento de pontos de olhar em um plano comum, certifique-se de ter vários marcadores fiduciais visíveis do ponto de vista dos participantes a qualquer momento.
   4. Localização dos marcadores fiduciais: Enquadrar áreas relevantes de interesse com tiras de marcadores fiduciais (por exemplo, veja a tela do laptop na Figura 3).
5. Finalmente, executar pilotos para testar o procedimento de sincronização e determinar a localização ideal, tamanho e número de marcadores fiduciais. Os vídeos de rastreamento ocular podem ser processados por meio de um algoritmo de visão computacional para ver se os marcadores fiduciais são detectados de forma confiável.

3. Executando o experimento

1. Instruções
   1. Instrua os participantes a colocar os óculos de rastreamento ocular como fariam com um par normal de óculos. Com base nas características faciais distintas dos participantes, pedaços de nariz de diferentes alturas podem precisar ser usados para preservar a qualidade dos dados.
   2. Depois de ligar o olho-tracker, ter os participantes clipe da unidade de gravação para si mesmos para permitir o movimento do corpo natural.
2. Calibração
   1. Instrua os participantes a olhar para o centro do marcador de calibração fornecido pela Tobii enquanto a função de calibração do software é ativada. Uma vez que a calibração esteja completa, a gravação pode ser iniciada de dentro do software.
   2. Instrua os participantes a não mover os rastreadores de olho móveis após a calibração. Se o fizerem, os dados provavelmente serão imprecisos e o procedimento de calibração precisará ser realizado novamente.
3. Monitoramento de dados
   1. Monitore o processo de coleta de dados durante o estudo e certifique-se de que os dados de rastreamento ocular estejam sendo coletados adequadamente. A maioria dos rastreadores de olho móveis pode fornecer uma transmissão ao vivo em um dispositivo separado (por exemplo, um tablet) para esse fim.
4. Exportação de dados
   1. Depois que a sessão de gravação estiver concluída, instrua o participante a remover os óculos de rastreamento ocular e a unidade de coleta de dados. Desligue a unidade.
   2. Extraia dados usando outro software, o Tobii Pro Lab, removendo o cartão SD da unidade de coleta de dados que importa os dados da sessão. O Tobii Pro Lab pode ser usado para reproduzir o vídeo, criar visualizações e exportar os dados de rastreamento ocular como arquivos separados por comma (.csv) ou separados por guias (.tsv).

4. Pré-processamento dos dados de rastreamento ocular duplo

1. Sanidade verificando dados de rastreamento ocular
   1. Verifique os dados de rastreamento ocular visualmente após a coleta de dados. Não é incomum que alguns participantes tenham dados em falta. Por exemplo, alguma fisiologia ocular em particular pode representar problemas para algoritmos de rastreamento ocular, os óculos podem mudar durante o experimento, o software de coleta de dados pode falhar, etc.
   2. Use estatísticas descritivas para verificar a quantidade de dados perdidos durante cada sessão e excluir sessões que tenham quantidades significativas de dados ausentes ou barulhentos.
2. Alinhamento temporal
   1. Apare os dados de cada rastreador ocular móvel para incluir apenas interações entre os participantes. Isso pode ser alcançado usando o método descrito acima (ou seja, apresentando dois marcadores fiduciais especiais aos participantes no início e no final da sessão). Esses marcadores fiduciais podem ser detectados a partir do vídeo de rastreamento ocular para aparar os conjuntos de dados.
3. Alinhamento espacial
   NOTA: Para detectar se dois participantes estão olhando para o mesmo lugar ao mesmo tempo, é necessário remapear o olhar dos participantes em um plano comum (ou seja, uma imagem do cenário experimental). Um método computacional para alcançar esse objetivo é uma homografia (ou seja, uma transformação de perspectiva de um plano). Do ponto de vista técnico, duas imagens da mesma superfície planar no espaço estão relacionadas por uma matriz de homografia. Com base em um conjunto comum de pontos, essa matriz pode ser usada para inferir a localização de pontos adicionais entre dois aviões. Na Figura 3,por exemplo, se um algoritmo de visão computacional sabe onde os marcadores fiduciais estão na apostila, ele pode remapear o olhar do participante para o plano comum no lado esquerdo. As linhas brancas conectam os dois conjuntos de pontos compartilhados pelo feed de vídeo de cada participante e pela cena, que são então usados para construir a homografia para remapear os pontos verdes e azuis do lado esquerdo.
   1. Use a versão Python do OpenCV, por exemplo, para calcular a matriz de localização dos marcadores fiduciais e, em seguida, remapear os dados de rastreamento ocular para a cena do cenário experimental (ou qualquer outra biblioteca adequada em sua linguagem de escolha). O OpenCV fornece duas funções úteis: encontrarHomography() para obter a matriz de homografia e perspectivaTransform() para transformar o ponto de uma perspectiva para a outra.
   2. Para usar encontrarHomography(), correr com dois argumentos: as coordenadas X,Y dos pontos de origem (ou seja, os marcadores fiduciais detectados a partir do vídeo da cena dos participantes, mostrado à direita na Figura 3) e os pontos de destino correspondentes (ou seja, os mesmos marcadores fiducials detectados na imagem da cena, mostrado à esquerda na Figura 3).
   3. Alimente a matriz de homografia resultante na função perspectiveTransform (), juntamente com um novo ponto que precisa ser mapeado da imagem de origem para a imagem de destino (por exemplo, os dados de rastreamento ocular mostrados como um ponto azul/verde no lado direito da Figura 3). A função perspectiveTransform retorna a nova coordenada do mesmo ponto na imagem da cena (ou seja, os pontos azuis/verdes mostrados no lado esquerdo da Figura 3).
      NOTA: Para mais informações, a documentação oficial do OpenCV fornece código de amostra e exemplos para implementar a homografia: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sanidade verificando a homografia
   1. Complete a seção 4.3 para toda a sessão e realize uma homografia em cada quadro do vídeo móvel de rastreamento ocular para verificar a qualidade da localização. Embora não existam maneiras automatizadas de estimar a precisão dos dados de rastreamento ocular resultantes, vídeos como o mostrado na Figura 4 devem ser usados para verificar manualmente a sanidade a cada sessão.
   2. Se a qualidade for menor do que o esperado, considere parâmetros adicionais para melhorar os resultados da homografia:
      1. Número de marcadores fiduciais detectados: Realize apenas a homografia se marcadores fiduciais suficientes puderem ser detectados a partir do fluxo de vídeo. Esse número pode ser determinado examinando o vídeo produzido acima.
      2. Localização dos marcadores fiduciais: Se diferentes marcadores estiverem em diferentes profundidades e orientações, a qualidade da homografia geralmente aumenta quando os marcadores mais próximos das coordenadas de olhar são selecionados, uma vez que há marcadores suficientes para construir um robusto a moografia.
      3. Orientação dos marcadores fiduciais: A combinação de marcadores fiduciais com diferentes orientações (por exemplo, horizontal e vertical) produzirá homografias imprecisas. Recomenda-se primeiro detectar qual plano ou áreas de interesses (AOIs) o participante está olhando (por exemplo, a tela do computador, a folha de fraude, a tabela, ver a Figura 3) e, em seguida, usar os marcadores fiduciais neste plano para a homografia.
      4. Qualidade do fluxo de vídeo: Movimentos repentinos da cabeça podem borrar quadros de vídeo e tornar os dados inutilizáveis, porque os marcadores fiduciais não podem ser detectados de forma confiável(Figura 4). A metodologia deste artigo não é apropriada para experimentos que envolvem muitos movimentos bruscos da cabeça.

5. Analisando os dados de rastreamento ocular duplo

1. Dados em falta
   1. A fim de garantir que os dados foram devidamente mapeados para a imagem de referência, produzir gráficos de visualização (por exemplo, Figura 5, Figura 6) e estatísticas descritivas para verificar a quantidade de dados que estão faltando.
2. Gráficos de recorrência cruzada
   1. Use gráficos de recorrência cruzada⁹ para representar a sincronização visual entre dois participantes(Figura 6),onde o eixo X representa tempo para o primeiro participante, e o eixo Y representa tempo para o segundo participante. Os quadrados pretos indicam que os participantes estão olhando a mesma área, uma linha diagonal preta descreve dois assuntos que olham exatamente a mesma coisa exatamente ao mesmo tempo, e os quadrados pretos fora da linha diagonal descrevem quando dois assuntos que olham a mesma coisa com uma retardação de tempo. Finalmente, a diferenciação entre a falta de dados (quadrado branco) e os dados existentes sem JVA (quadrados cinza) ajuda a identificar sessões problemáticas. Isso fornece aos pesquisadores uma verificação de sanidade visual.
3. Computação JVA
   1. Após a filtragem de dados em falta, compute uma métrica para JVA contando o número de vezes que os olhares dos participantes estão no mesmo raio na cena (definida abaixo) em uma janela de tempo de -2/+2. Divida esse número pelo número de pontos de dados válidos que podem ser usados para calcular o JVA. O resultado da divisão representa a porcentagem de tempo que dois sujeitos estavam olhando conjuntamente para o mesmo lugar. Este último passo é necessário para evitar inflar os escores de grupos com mais dados após a homografia.
      NOTA: Dois parâmetros precisam ser definidos antes que o JVA possa ser computado, a distância mínima entre dois pontos de olhar e a janela de tempo entre eles(Figura 7):1) Janela de tempo: Um estudo fundamental inicial¹⁰ usou um único rastreador ocular para medir jva entre um ouvinte e um alto-falante. Os pesquisadores pediram a um primeiro conjunto de participantes ("oradores") para falar sobre um programa de televisão cujos personagens foram exibidos na frente deles. Um segundo conjunto de participantes ("ouvintes") assistiu ao mesmo show enquanto ouvia a gravação de áudio dos alto-falantes. Os movimentos oculares dos alto-falantes e ouvintes foram comparados, e verificou-se que os movimentos dos olhos de um ouvinte combinavam de perto com o movimento dos olhos de um alto-falante com um atraso de 2 s. No trabalho^{subsequente, 11} pesquisadores analisaram diálogos ao vivo e descobriram que um atraso de 3 melhores momentos capturados de JVA. Como cada tarefa é única e pode exibir intervalos de tempo diferentes, também é sugerido para explorar como diferentes atrasos de tempo afetam os resultados de um determinado experimento. No geral, é comum procurar jva em uma janela de tempo ± 2/3, dependendo da tarefa experimental e, em seguida, explorar como diferentes atrasos de tempo pode mudar os resultados. 2) Distância entre os olhares: não há distância definida empiricamente entre dois olhares para que eles contam como JVA. Essa distância depende das questões de pesquisa definidas pelos pesquisadores. As questões de pesquisa devem informar o tamanho dos alvos de interesse. No exemplo visto na Figura 7,um raio de 100 pixels na imagem de cena (círculos azul/verde) foi escolhido para a análise porque é suficiente para capturar quando os participantes estão olhando para o robô no labirinto, bem como elementos de interface de usuário semelhantes na tela do computador, que são as duas principais áreas de interesse para esta tarefa experimental.

Representative Results

A metodologia acima apresentada foi utilizada para estudar os alunos que acompanhavam um programa de formação profissional em logística (n = 54)¹². Neste experimento, pares de alunos interagiram com uma Interface de Usuário Tangível (TUI) que simulava um armazém de pequena escala. Os marcadores fiduciais colocados no TUI permitiram que a equipe de pesquisa remapeosse os olhares dos alunos em um plano comum e os níveis de computação da JVA. Os resultados indicaram que os grupos que tinham níveis mais elevados de JVA tendiam a fazer melhor na tarefa que lhes foi dada, aprenderam mais e tinham uma melhor qualidade de colaboração¹³ (Figura 8,lado esquerdo). Conjuntos de dados de rastreamento ocular duplo também nos permitiram capturar dinâmicas de grupo particulares, como o efeito free-rider. Estimamos esse efeito identificando quem provavelmente iniciou cada momento de JVA (ou seja, cujo olhar estava lá primeiro) e quem respondeu a ele (ou seja, cujo olhar estava lá em segundo lugar). Encontramos uma correlação significativa entre os ganhos de aprendizagem e a tendência dos alunos de compartilhar igualmente a responsabilidade de iniciar e responder às ofertas de JVA. Em outras palavras, grupos em que a mesma pessoa sempre iniciou momentos de JVA eram menos propensos a aprender(Figura 8, lado direito) e grupos onde essa responsabilidade foi igualmente compartilhada eram mais propensos a aprender. Essa descoberta mostra que podemos ir além de apenas quantificar o JV e realmente identificar a dinâmica e a produtividade do grupo usando dados de rastreamento ocular duplo.

Figura 1: Cada participante gera dois feeds de vídeo com as coordenadas X,Y de seu olhar em cada quadro de vídeo. Esta metodologia aborda sincronizar os dados temporaleespacialmente entre os participantes. Clique aqui para ver uma versão maior deste número.

Figura 2: Uma metodologia para sincronizar os dois conjuntos de dados. Mostrando brevemente marcador fiduciário exclusivo em uma tela de computador para marcar o início e o fim da atividade. Clique aqui para ver uma versão maior deste número.

Figura 3: Usando marcadores fiduciais divulgados no ambiente para remapear os olhares dos participantes para um plano comum (lado esquerdo). Linhas brancas indicam marcadores fiduciais que foram detectados em ambas as imagens. Clique aqui para ver uma versão maior deste número.

Figura 4: Exemplos de má qualidade dos dados. Esquerda: Um quadro borrado do vídeo de rastreamento ocular causado por um movimento repentino da cabeça. Marcadores fiduciais não puderam ser detectados nessa imagem. Direita: Uma homografia fracassada onde os dados do marcador fidutório não foram sincronizados adequadamente com o feed de vídeo. Clique aqui para ver uma versão maior deste número.

Figura 5: Heatmaps. Esquerda: Um mapa de calor dos dados de rastreamento ocular remapped na cena experimental. Essa visualização foi utilizada como verificação de sanidade para a localização. Direita: Um grupo que tinha muitos dados em falta e teve que ser descartado. Clique aqui para ver uma versão maior deste número.

Figura 6: Gráfico de recorrência cruzada gerado a partir de três disadas para visualizar JVA. P1 representa tempo para o primeiro participante, P2 representa tempo para o segundo participante. Praças pretas mostram JVA; quadrados cinza mostram momentos em que os participantes estão olhando para lugares diferentes; quadrados brancos mostram dados em falta. Praça ao longo da diagonal principal indica momentos em que os participantes olharam para o mesmo lugar ao mesmo tempo. Essa visualização foi usada como verificação de sanidade para medidas de JVA a partir dos dados combinados de rastreamento ocular. Clique aqui para ver uma versão maior deste número.

Figura 7: Um quadro de vídeo onde JVA foi detectado entre dois participantes (pontos vermelhos). Richardson et al.¹¹ recomendam olhar para uma janela de tempo de +/-2 s. ao computar JVA. Além disso, os pesquisadores precisam definir a distância mínima entre dois pontos de olhar para contar como JVA. Um raio de 100 pixels foi escolhido na imagem do meio acima. Clique aqui para ver uma versão maior deste número.

Figura 8: Exemplos de resultados. Dados da Schneider et al.^12, onde o percentual de tempo olhando para o mesmo lugar ao mesmo tempo foi correlacionado com a qualidade dos participantes de colaboração: r(24) = 0,460, P = 0,018 (lado esquerdo) e desequilíbrios no início / resposta às ofertas de JVA foi correlacionado com seus ganhos de aprendizagem: r(24) = −0,47, P = 0,02 (lado direito). Clique aqui para ver uma versão maior deste número.

Discussion

A metodologia descrita neste artigo fornece uma maneira rigorosa de capturar jva em dídaas colocated. Com o surgimento da tecnologia de sensoriamento acessível e algoritmos de visão computacional melhorados, agora é possível estudar interações colaborativas com uma precisão que antes não estava disponível. Essa metodologia utiliza marcadores fiduciais divulgados no ambiente e utiliza homografias como forma de remapear os olhares dos participantes para um plano comum. Isso permite que os pesquisadores estudem rigorosamente o JVA em grupos colocated.

Este método inclui várias verificações de sanidade que precisam ser realizadas em vários pontos do experimento. Como este é um procedimento complexo, os pesquisadores precisam ter certeza de que os conjuntos de dados resultantes são completos e válidos. Finalmente, recomenda-se realizar estudos piloto antes do experimento real e reconstruir as interações dos participantes através de um vídeo após a coleta de dados ser concluída (Figura 3, Figura 4, Figura 5, Figura 6).

Existem várias limitações associadas a este método:

Número de participantes. Embora essa metodologia funcione bem para dois participantes, a análise se torna mais complicada com grupos maiores. Marcadores fiduciais ainda podem ser usados para remapear olhares para uma verdade de solo, mas saber como identificar jva torna-se um processo mais sutil. JVA deve ser definido como os momentos em que todo mundo está olhando para o mesmo lugar, ao mesmo tempo, ou quando dois participantes estão olhando para o mesmo lugar? Além disso, visualizações como o gráfico de recorrência cruzada tornam-se impraticáveis com mais de 2 a 3 pessoas.

As configurações. O método descrito neste artigo é apropriado para pequenas configurações controladas (por exemplo, estudos laboratoriais). Configurações abertas, como espaços ao ar livre ou grandes, geralmente são muito complicadas para instrumento com marcadores fiduciais e, portanto, podem limitar a utilidade dos dados de rastreamento ocular. Além disso, os marcadores fiduciais podem distrair e desordenar o ambiente. No futuro, melhores algoritmos de visão computacional serão capazes de extrair automaticamente características comuns entre duas perspectivas. Já existem algoritmos que existem para esse fim, mas descobrimos que o nível de precisão ainda não era aceitável para o tipo de experimento descrito acima.

Aois. Relacionado ao ponto acima, a homografia computacional e o gráfico de recorrência cruzada funcionam bem com um número estável de áreas de interesse, mas as correções precisam ser feitas ao comparar diferentes tarefas com diferentes números de áreas de interesse.

Uso de equipamentos. Os rastreadores oculares móveis podem ser intrusivos, afetando o comportamento dos participantes ou deixando de trabalhar com fisiologia ocular específica.

Em conclusão, a metodologia descrita neste artigo é uma forma promissora de estudar interações colocated. Ele permite que os pesquisadores capturem uma métrica precisa para o JVA, que é uma construção crítica nas ciências sociais^1. Além disso, é possível detectar mais indicadores refinados de aprendizagem colaborativa através desta metodologia¹² em comparação com as análises qualitativas tradicionais. Em suma, é uma maneira mais eficiente e precisa de estudar as interações sociais.

A aplicação potencial deste método inclui a concepção de intervenções para apoiar a colaboração através de dados de rastreamento ocular em tempo real. Alguns trabalhos pioneiros produziram visualizações de olhar compartilhadas usando rastreadores oculares remotos, que tem se mostrado beneficiados pela aprendizagem colaborativa a partir de uma distância^14. Dyads que podiam ver o olhar de seu parceiro em tempo real exibiu mais JVA, colaborou melhor e alcançou ganhos de ensino superior em comparação com um grupo de controle. Trabalhos futuros examinarão se esse tipo de intervenção pode apoiar processos colaborativos em configurações colocadas (por exemplo, por meio de fones de ouvido de realidade virtual ou aumentada).

Materials

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags