Uma metodologia para capturar a atenção visual conjunta usando mobile eye-trackers

Oi, meu nome é Bertrand Schneider e sou professor assistente na Escola de Pós-Graduação em Harvard. Neste vídeo vou mostrar como podemos usar rastreadores de olhos móveis para capturar uma construção central em ciência social, atenção visual conjunta. A atenção visual conjunta tem sido extensivamente estudada por psicólogos e tem sido encontrada intimamente correlacionada com a qualidade das interações entre os membros do grupo.

Acontece que quando as pessoas constroem um terreno comum e criam uma compreensão compartilhada de uma tarefa, elas tendem a olhar frequentemente para o mesmo lugar ao mesmo tempo. Tradicionalmente, os pesquisadores têm estudado a atenção visual conjunta qualitativamente, codificando manualmente vídeos. Vou mostrar como podemos usar rastreadores oculares móveis para obter uma medida quantitativa desta construção em configurações co-localizadas.

Neste vídeo estaremos usando o Tobii Pro Glasses Dois. Estes óculos são rastreadores de olhos vestíveis que podem capturar o movimento dos olhos em ambientes do mundo real. Além de câmeras especializadas na moldura para rastrear os movimentos dos olhos, o dispositivo também é equipado com uma câmera de cena full-HD e um microfone, para que o comportamento do olhar possa ser visualizado dentro do contexto do campo visual do usuário.

Para estes óculos o olhar é capturado 50 vezes por segundo e uma transmissão de vídeo ao vivo dos óculos pode ser transmitida para um computador sem fio, ou através de um cabo ethernet. Os óculos têm uma limitação, porém, pois não funcionarão sobre óculos regulares. O procedimento para configurar o rastreador de olhos é relativamente simples.

Primeiro, os participantes serão convidados a colocar os óculos de rastreamento, pois seriam um par normal de óculos. Com base nas características faciais distintas dos participantes, peças de nariz com diferentes alturas podem precisar ser usadas para preservar a qualidade dos dados. Depois de ligar o rastreador de olhos, os participantes devem cortar a unidade de coleta de dados para suas pessoas para permitir movimentos corporais desenfreados.

O controlador Tobii Pro Glasses deve ser aberto e os participantes devem ser instruídos a olhar para o centro do marcador de calibração fornecido pelo Tobii, enquanto a função de calibração do software está ativada. Uma vez que a calibração esteja completa, a gravação pode ser iniciada dentro do software. Após a conclusão da sessão de gravação, encerre a gravação do software Tobii antes de instruir o participante a remover os óculos de rastreamento ocular e a unidade de coleta de dados.

E então, desligue a unidade. Os dados podem ser extraídos através de outro software, o Tobii Pro Lab, removendo o cartão SD da unidade de coleta de dados e inserindo o cartão no computador. O Tobii Pro Lab é capaz de importar todas as sessões de gravação armazenadas no cartão SD ao mesmo tempo.

Os arquivos podem então ser processados dentro do Tobii Pro Lab para gerar vídeos, visualizações diferentes ou serem produzidos como valores separados por guias ou arquivos TSV para análise posterior. Aqui você pode ver os dados brutos de rastreamento de olhos de um estudo que realizamos recentemente, onde dois participantes estavam aprendendo a programar um robô. Em cada lado você pode ver a transmissão de vídeo gerada por cada rastreador de olhos com a localização do olhar do participante.

Como você pode ver, é impossível dizer se eles estão olhando para o mesmo lugar ao mesmo tempo, porque o ponto de vista de cada participante é diferente. Além disso, a gravação de dados pode começar em momentos diferentes. Isso significa que os dados precisam ser sincronizados temporalmente e espacialmente.

Vou te mostrar como resolver esses dois problemas neste vídeo. Primeiro, vou descrever um procedimento para sincronizar os dados temporariamente. Para o primeiro participante você tem um certo número de quadros de vídeo.

Alguns deles estão antes ou depois da tarefa experimental real. Como o primeiro quadro, onde o experimentador está calibrando o rastreador ocular. Da mesma forma, para os outros participantes você tem o mesmo tipo de dados.

Não é mostrado aqui, mas cada quadro do vídeo também está associado a uma coordenada x e y que representa o olhar de cada participante. Para sincronizar os dados, mostramos brevemente um marcador fiducial na tela do computador antes e depois da tarefa experimental. Usando um algoritmo de visão computacional, podemos detectar quando este marcador é apresentado a cada participante, o que nos permite aparar e alinhar os dados.

Então, esta é uma maneira de lidar com problemas de sincronização de dados. Nas próximas partes, vamos analisar o segundo problema: Como sincronizar os dados espacialmente. Como mencionado anteriormente, os dados vêm de cada rastreador de olhos na forma de uma transmissão de vídeo associada à localização do olhar de cada participante, aqui em azul e verde.

Embora as coordenadas x e y possam ser as mesmas para ambos os participantes, isso não significa que eles estão olhando para o mesmo lugar porque eles estão olhando para a tela a partir de duas perspectivas diferentes. Uma maneira de resolver esse problema é construir uma imagem da configuração experimental que servirá de referência, e onde vamos remapear a localização do caso de cada participante. Isso nos permite detectar cada quadro do vídeo de rastreamento ocular, se os participantes estiverem olhando para o mesmo lugar ao mesmo tempo.

Mas como remapeamos essas coordenadas na imagem à esquerda? Vamos usar o mesmo algoritmo de visão cooperativa que nos permitiu sincronizar os dados mais cedo. Aplicando-o em cada quadro das gravações de vídeo, agora podemos detectar a localização dos marcadores fiduciários da perspectiva dos participantes.

Isso nos permite conectar os mesmos marcadores na imagem de referência à esquerda. Conhecendo as coordenadas deste conjunto compartilhado de pontos, podemos inferir a localização do olhar de cada pessoa usando uma operação matemática conhecida como homografia. Aplicando este procedimento em cada quadro, podemos gerar um vídeo para garantir que a homografia funcionasse.

No lado direito você pode ver a gravação de vídeo de cada participante com a localização de seu olhar em azul e verde. Os mesmos marcadores fiduciais estão conectados com uma linha branca entre a imagem à esquerda e o ponto de vista do participante no lado direito. Os olhares remapped são mostrados à esquerda e ficam vermelhos quando há alguma atenção visual conjunta.

Gerar este vídeo é um passo importante para garantir que os dados estão limpos e que a homografia foi realizada corretamente. Além disso, existem outras duas visualizações que podem ser produzidas para verificar os dados de sanidade. A primeira visualização é um mapa de calor.

Para cada participante podemos traçar cada ponto de vista sobre a imagem da configuração experimental. Isso garante que a homografia funcionou corretamente e nos permite categorizar esses pontos de caso em diferentes áreas de interesses. Aqui, por exemplo, podemos ver que a maior parte do tempo foi gasto olhando para a tela do computador e muito pouco tempo foi gasto olhando para as folhas de trapaça.

A segunda visualização é chamada de gráfico de recorrência cruzada. Gráficos de recorrência cruzada nos permitem visualizar dados de rastreamento ocular para pares de participantes. O tempo para o primeiro participante é exibido no eixo x, o tempo para o segundo participante é exibido no eixo y.

Quadrados pretos significam que ambos os participantes estão olhando para o mesmo lugar, o quadrado branco representa dados perdidos e o quadrado cinza representa quando os participantes estão olhando para locais diferentes. Quadrados pretos ao longo da diagonal significam que eles estão olhando para o mesmo lugar ao mesmo tempo. Quadrados pretos fora da diagonal significam que os participantes estão olhando para o mesmo lugar, mas em momentos diferentes.

À esquerda, você pode ver um díade com altos níveis de atenção visual articular. No meio, um díade com baixos níveis de atenção visual articular. Do lado direito, um grupo com muitos dados faltando.

Ao realizar essas verificações de sanidade, você pode ter certeza de que você sincronizou corretamente e remacotou seus dados em uma imagem comum da configuração experimental. Essas etapas são críticas e precisam ser realizadas antes que qualquer análise ocorra. Por fim, existem dois parâmetros que precisam ser escolhidos antes de calcular uma medida de atenção visual conjunta.

O primeiro parâmetro é a janela de tempo em que os participantes podem olhar para o mesmo local. Trabalhos anteriores de Richardson e Dale haviam estabelecido que pode levar até dois segundos para os participantes se desvincularem do que estão fazendo para prestar atenção no que seu parceiro está fazendo. Assim, determinamos que há atenção visual conjunta se dois participantes olharam para o mesmo lugar dentro de uma janela de mais e menos dois segundos.

O segundo parâmetro é a distância mínima entre dois pontos de vista para que eles se qualifiquem como atenção visual conjunta. Essa distância é dependente do contexto e precisa ser definida pelos pesquisadores, dependendo da tarefa administrada e de suas questões de pesquisa. Para algumas tarefas, a distância pode ser curta.

Aqui, por exemplo, usamos 100 pixels. Para outras tarefas essa distância pode ser maior. Em seguida, vou apresentar alguns resultados encontrados usando essa metodologia.

Depois de obter uma estimativa para a quantidade de atenção visual conjunta no grupo, você pode correlacionar essa medida com outras variáveis de interesse. Por exemplo, no trabalho, correlacionamos essa medida com o esquema de classificação desenvolvido em ciências de aprendizagem que captura um grupo de qualidade de colaboração. Para cada grupo, atribuímos uma pontuação sobre os noves de dimensões aqui apresentadas.

Por exemplo, quão bem as pessoas sustentavam a compreensão mútua ou quão facilmente chegavam a um consenso. Essas pontuações têm que receber confiabilidade inter aceitável com outra cota. Finalmente, também podemos agregar essas pontuações em uma métrica geral que aproxima a qualidade da colaboração para cada grupo.

Um resultado que tem sido encontrado em nosso trabalho, bem como em outros estudos, é que a atenção visual conjunta está significativamente correlacionada com a qualidade da colaboração, medida pelo esquema de classificação apresentado anteriormente. Grupos que são altamente classificados usando este esquema de codificação tendem a ter mais atenção visual conjunta do que os grupos que receberam pontuações baixas. Isso mostra que as interações produtivas são frequentemente associadas a mais atenção visual conjunta.

No próximo slide eu vou mostrar-lhe outro resultado que se baseia sobre esta descoberta. Então, uma vantagem de ter bons dados de rastreamento visual é que podemos extrair outras medidas de atenção visual conjunta. Por exemplo, podemos calcular quem iniciou e respondeu a uma oferta de atenção visual conjunta.

Em particular, no eixo x deste gráfico, a pontuação de zero significa distribuição igual desses comportamentos e uma pontuação de uma pessoa sempre respondia ou iniciava momentos de atenção visual. Neste estudo encontramos uma correlação inversa com os ganhos de aprendizagem mostrados no eixo y medidos pelo pré e pós-testes. Grupos onde a mesma pessoa estava consistentemente iniciando ou respondendo a momentos de atenção visual conjunta eram menos propensos a aprender e grupos onde essa responsabilidade era igualmente compartilhada eram mais propensos a pontuar mais alto nos pós-testes ao controlar as pontuações no pré-teste.

Neste vídeo, apresentei a metodologia que ajuda os pesquisadores a sincronizar dados móveis de rastreamento ocular tanto temporal quanto espacialmente. Os achados sugerem que dados de rastreamento ocular duplo podem fornecer indicadores de colaboração por meio de medidas computacionais de atenção visual conjunta. Além disso, apresentei resultados mostrando que podemos ir além de simples medidas de atenção conjunta, por exemplo, olhando para quem iniciou ou respondeu a um episódio de atenção visual conjunta.

Constatamos que essa medida estava relacionada a outras medidas de desfecho, como ganhos de aprendizagem. Calcular esse tipo de medida não seria possível sem dados de rastreamento ocular. Em resumo, descobrimos que a metodologia apresentada neste vídeo pode ajudar os pesquisadores a obter novas percepções sobre processos colaborativos.

Muito obrigado por assistir este vídeo e sinta-se livre para se referir ao jornal para mais informações.