Mapeamento tridimensional da rotação de objetos virtuais interativos com dados de rastreamento ocular

Summary

Desenvolvemos um método simples, personalizável e eficiente para registrar dados processuais quantitativos de tarefas espaciais interativas e mapear esses dados de rotação com dados de rastreamento ocular.

Abstract

Apresentamos um método para registro em tempo real da interação humana com objetos virtuais tridimensionais (3D). A abordagem consiste em associar dados de rotação do objeto manipulado a medidas comportamentais, como rastreamento ocular, para fazer melhores inferências sobre os processos cognitivos subjacentes.

A tarefa consiste em exibir dois modelos idênticos do mesmo objeto 3D (uma molécula), apresentados em uma tela de computador: um objeto interativo giratório (iObj) e um objeto alvo estático (tObj). Os participantes devem girar o iObj usando o mouse até que considerem sua orientação idêntica à do tObj. O computador rastreia todos os dados de interação em tempo real. Os dados do olhar do participante também são registrados usando um rastreador ocular. A frequência de medição é de 10 Hz no computador e 60 Hz no rastreador ocular.

Os dados de orientação de iObj em relação a tObj são registrados em quatérnios de rotação. Os dados do olhar são sincronizados com a orientação do iObj e referenciados usando este mesmo sistema. Este método nos permite obter as seguintes visualizações do processo de interação humana com iObj e tObj: (1) disparidade angular sincronizada com outros dados dependentes do tempo; (2) trajetória de rotação 3D dentro do que decidimos chamar de "bola de rotações"; (3) Mapa de calor de fixação 3D. Todas as etapas do protocolo utilizaram software livre, como GNU Octave e Jmol, e todos os scripts estão disponíveis como material suplementar.

Com essa abordagem, podemos realizar estudos quantitativos detalhados do processo de resolução de tarefas envolvendo rotações mentais ou físicas, em vez de apenas o resultado alcançado. É possível medir com precisão a importância de cada parte dos modelos 3D para o participante na resolução de tarefas e, assim, relacionar os modelos a variáveis relevantes, como as características dos objetos, as habilidades cognitivas dos indivíduos e as características da interface homem-máquina.

Introduction

A rotação mental (RM) é uma habilidade cognitiva que permite aos indivíduos manipular e girar objetos mentalmente, facilitando uma melhor compreensão de suas características e relações espaciais. É uma das habilidades visuoespaciais, um grupo cognitivo fundamental que foi estudado já em 1890¹. As habilidades visuoespaciais são um componente importante do repertório cognitivo de um indivíduo que é influenciado por fatores hereditários e ambientais 2,3,4,5. O interesse em habilidades visuoespaciais cresceu ao longo do século XX devido a evidências crescentes de sua importância em assuntos-chave, como envelhecimento⁶ e desenvolvimento⁷, desempenho em ciência, tecnologia, engenharia e matemática (STEM) ^{8 , 9} , criatividade¹⁰ e traços evolutivos¹¹.

A ideia contemporânea de RM deriva do trabalho pioneiro publicado por Shepard e Metzler (SM) em 1971¹². Eles desenvolveram um método cronométrico usando uma série de tarefas "iguais ou diferentes", apresentando duas projeções de objetos 3D abstratos exibidos lado a lado. Os participantes tiveram que girar mentalmente os objetos em algum eixo e decidir se essas projeções retratavam o mesmo objeto, girado de maneira diferente ou objetos distintos. O estudo revelou uma correlação linear positiva entre o tempo de resposta (TR) e a disparidade angular (AD) entre as representações do mesmo objeto. Essa correlação é conhecida como efeito de disparidade angular (ADE). O ADE é considerado uma manifestação comportamental da RM e tornou-se onipresente em vários estudos subsequentes influentes no campo 13,14,15,16,17,18,19,20,21,22,23,24,25. Os objetos 3D empregados no estudo SM foram compostos por 10 cubos contíguos gerados pelo pioneiro dos gráficos de computador Michael Noll no Bell Laboratories²⁶. Eles são chamados de números SM e são amplamente empregados em estudos de RM.

Dois avanços foram de grande importância no trabalho seminal de Shepard e Metzler; primeiro, considerando as contribuições no campo das avaliações de RM. Em 1978, Vanderberg e Kuze²⁷ desenvolveram um teste psicométrico de lápis e papel de 20 itens baseado em figuras SM "iguais ou diferentes" que ficou conhecido como teste de rotação mental (VKMRT). Cada item de teste apresenta um estímulo alvo. Os participantes devem selecionar entre quatro estímulos, quais representam o mesmo objeto representado no estímulo alvo e quais não. O VKMRT tem sido usado para investigar a correlação entre a capacidade de RM e vários outros fatores, como diferenças relacionadas ao sexo 6,21,24,28,29,30, envelhecimento e desenvolvimento ^6,31,32, desempenho acadêmico^8,33, e habilidades em música e esportes³⁴. Em 1995, Peters et al. publicaram um estudo com figuras redesenhadas para o VKMRT^35,36. Da mesma forma, seguindo o design de tarefa "igual ou diferente", uma variedade de outras bibliotecas de estímulos gerados por computador foram empregadas para investigar processos de RM e avaliar as habilidades de RM (versões 3D dos estímulos SM originais 19,22,23,37,38, corpo humano imitando figuras SM 25,39,40, polígonos planos para rotação 2D ^{41, 42}, anatomia e órgãos⁴³, formas orgânicas⁴⁴, moléculas^45,46, entre outros²¹). O Teste de Visualização Espacial de Purdue (PSVT) proposto por Guay em 1976⁴⁷ também é relevante. Envolve uma bateria de testes, incluindo MR (PSVT:R). Empregando estímulos diferentes daqueles do VKMRT, O PSVT:R exige que os participantes identifiquem uma operação de rotação em um estímulo modelo e a apliquem mentalmente a um diferente. PSVT:R também é amplamente utilizado, particularmente em estudos que investigam o papel da RM na realização de STEM 48,49,50.

O segundo avanço de grande importância no trabalho seminal de Shepard e Metzler compreende as contribuições para a compreensão do processo de RM, em particular, com o uso de dispositivos de rastreamento ocular. Em 1976, Just e Carpenter¹⁴ usaram equipamentos de rastreamento ocular baseados em vídeo analógico para conduzir um estudo baseado no experimento ADE de Shepard e Metzler. A partir de seus resultados sobre movimentos oculares sacádicos e RTs, eles propuseram um modelo de processos de RM que consiste em três fases: 1) a fase de busca, na qual partes semelhantes das figuras são reconhecidas; 2) a fase de transformação e comparação, na qual uma das partes identificadas é girada mentalmente; 3) a fase de confirmação, na qual é decidido se os números são os mesmos ou não. As fases são repetidas recursivamente até que uma decisão possa ser tomada. Cada passo corresponde a padrões específicos de movimento ocular sacádico e fixacional em estreita relação com os EAMs observados. Assim, ao correlacionar a atividade ocular aos dados cronométricos, Just e Carpenter forneceram uma assinatura cognitiva para o estudo dos processos de RM. Até o momento, esse modelo, embora com adaptações, foi adotado em vários estudos 15,42,46,51,52,53.

Seguindo essa trilha, vários estudos subsequentes monitoraram o comportamento 18,19,22,23,25,34,40,54,55 e a atividade cerebral 20,22,56,57 durante a rotação de estímulos. Seus achados apontam para um papel cooperativo entre a RM e os processos motores. Além disso, há um interesse crescente em investigar estratégias de resolução de problemas envolvendo RM em relação às diferenças individuais 15,41,46,51,58.

De modo geral, pode-se considerar que o desenho de estudos que visam a compreensão dos processos de RM baseia-se na apresentação de uma tarefa com estímulos visuais que solicitam aos participantes a realização de uma operação de RM que, por sua vez, envolve uma reação motora. Se essa reação permite a rotação dos estímulos, geralmente é chamada de rotação física (PR). Dependendo dos objetivos específicos de cada estudo, diferentes estratégias e dispositivos têm sido empregados para aquisição e análise de dados de RM e RP. Na etapa de apresentação do estímulo da tarefa, é possível alterar os tipos de estímulos (ou seja, exemplos citados anteriormente); a projeção (imagens geradas por computador em monitores tradicionais 22,23,25,29,40,41,59, bem como em estereoscópios¹⁹ e ambientes virtuais⁶⁰ e de realidade mista⁴³); e a interatividade dos estímulos (imagens estáticas 12,27,36, animações⁶¹ e objetos virtuais interativos 19,22,23,43,53,59).

A RM é geralmente inferida a partir de medidas de TRs (ADE), bem como da atividade ocular e cerebral 25,46,62. A atividade ocular é medida usando dados de rastreamento ocular que consistem em movimentos sacádicos e fixações 14,15,42,51,52,54,58,60, bem como pupilometria⁴⁰. Os dados RT geralmente surgem de dados de resposta do motor registrados durante a operação de vários dispositivos, como alavancas¹³, botões e interruptores ^14,53, pedais⁵³, botões giratórios¹⁹, joysticks³⁷, teclado⁶¹ e mouse 29,58,60, rodas motrizes ⁵³, sensores inerciais^22,23, telas sensíveis ao toque^52,59e microfones²². Para medir a RP, além dos TRs, o desenho do estudo também incluirá o registro de rotações manuais de estímulos interativos enquanto os participantes realizam a tarefa de RM 22,23,52,53.

Em 1998, Wohlschläger e Wohlschläger¹⁹ utilizaram tarefas "iguais ou diferentes" com estímulos interativos de SM virtual manipulados com um botão, com rotações limitadas a um eixo por tarefa. Eles mediram o TR e o registro cumulativo das rotações físicas realizadas durante as tarefas. Comparando situações com e sem rotação real dos estímulos interativos, eles concluíram que RM e RP compartilham um processo comum para rotações imaginadas e realmente realizadas.

Em 2014, foram realizados dois estudos empregando o mesmo tipo de tarefas com estímulos interativos virtuais ^22,23. No entanto, os objetos foram manipulados com sensores inerciais que capturaram o movimento no espaço 3D. Em ambos os casos, além dos TRs, foram registradas as trajetórias de rotação - a evolução das diferenças de rotação entre estímulos de referência e interativos durante as tarefas. A partir dessas trajetórias, foi possível extrair informações cumulativas (ou seja, o número total de rotações, em unidades quaterniônicas) e informações detalhadas sobre as estratégias de solução. Adams et ^al.23 estudaram o efeito cooperativo entre RM e RP. Além dos RTs, eles usaram a integral das trajetórias de rotação como parâmetro de precisão e objetividade de resolução. Os perfis das curvas foram interpretados de acordo com um modelo de três etapas⁶³ (planejamento, rotação principal, ajuste fino). Os resultados indicam que a RM e a RP não têm necessariamente um único fator comum. Gardony et ^al.22 coletaram dados sobre TR, acurácia e rotação em tempo real. Além de confirmar a relação entre RM e RP, a análise das trajetórias de rotação revelou que os participantes manipularam os números até que pudessem identificar se eram diferentes ou não. Se fossem iguais, os participantes os girariam até que parecessem iguais.

Continuando essa estratégia, em 2018, Wetzel e Bertel⁵² também usaram figuras SM interativas em tarefas "iguais ou diferentes" usando tablets com tela sensível ao toque como interface. Além disso, eles usaram um dispositivo de rastreamento ocular para obter dados cumulativos sobre o tempo de fixação e a amplitude sacádica como parâmetros da carga cognitiva envolvida na resolução de tarefas de RM. Os autores confirmaram os estudos anteriores discutidos acima sobre as relações entre RM e RP e os processos de resolução de tarefas. No entanto, neste estudo, eles não utilizaram dados de mapeamento de fixação e sacadas para os estímulos.

Abordagens metodológicas para o mapeamento de dados de rastreamento ocular em objetos 3D virtuais têm sido propostas e constantemente aprimoradas, comumente por pesquisadores interessados em estudar os fatores relacionados à atenção visual em ambientes virtuais⁶⁴. Embora acessíveis e usando dispositivos de rastreamento ocular semelhantes, aparentemente, esses métodos não foram efetivamente integrados ao repertório experimental empregado em estudos de rotação mental com objetos 3D interativos, como os mencionados anteriormente. Por outro lado, não encontramos nenhum estudo na literatura relatando mapeamento em tempo real de dados de fixação e movimento sacádico em objetos 3D interativos. Parece não haver um método conveniente para integrar facilmente os dados de atividade ocular com as trajetórias de rotação. Nesta pesquisa, pretendemos contribuir para preencher essa lacuna. O procedimento é apresentado em detalhes, desde a aquisição de dados até a geração de saída gráfica.

Neste artigo, descrevemos em detalhes um método para estudar processos de rotação mental com objetos 3D interativos virtuais. Os seguintes avanços são destacados. Primeiro, ele integra a coleta de dados quantitativos de motor comportamental (rotação de objetos acionados pela mão por meio de uma interface de computador) e ocular (rastreamento ocular) durante sessões de interação com modelos virtuais 3D. Em segundo lugar, requer apenas equipamentos de computador convencionais e dispositivos de rastreamento ocular para design de tarefas visuais, aquisição de dados, gravação e processamento. Em terceiro lugar, ele gera facilmente uma saída gráfica para facilitar a análise de dados - disparidade angular, rotação física, trajetórias de rotação quaterniônica e mapeamento de acertos de dados de rastreamento ocular em objetos virtuais 3D. Finalmente, o método requer apenas software livre. Todos os códigos e scripts desenvolvidos estão disponíveis gratuitamente (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Preparação de ferramentas de coleta de dados

1. Configure a coleta de dados online (opcional).
   NOTA: Esta etapa descreve como configurar um clone personalizável do código do projeto e da página da Web de trabalho (consulte Arquivo Suplementar 1). Esta etapa foi adaptada dos tutoriais disponíveis em https://pages.github.com/ e https://github.com/jamiewilson/form-to-google-sheets. Se os usuários estiverem interessados apenas no método de processamento de dados e não no registro de dados, eles podem usar a página da Web https://rodrigocnstest.github.io/iRT_JoVE.html, juntamente comTabela Suplementar S1 e os arquivos do repositório em https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave e ignore as etapas 1.1, 1.2 e suas subetapas.
   1. Entre no GitHub (https://github.com/).
   2. Crie um clone público do repositório original de páginas do GitHub.
      1. Clique em Importar repositório do https://github.com enquanto estiver conectado à conta.
      2. No campo URL de clone do seu repositório antigo , cole o https://github.com/rodrigocns/rodrigocns_JoVE URL no campo Nome do repositório , digite username.github.io, onde username é o nome de usuário usado na conta, e verifique se a opção Public está habilitada. Em seguida, clique no botão verde Iniciar importação.
         NOTA: O repositório agora contém a maioria dos arquivos necessários para o restante desta configuração, e todas as alterações feitas no repositório serão atualizadas no site após alguns minutos. Por exemplo, o usuário chamado rodrigocnstest acessaria sua própria página no https://rodrigocnstest.github.io e seu repositório GitHub no https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configure uma planilha na nuvem para armazenar os dados do experimento online.
      1. Inscreva-se ou faça login em uma conta do Google.
      2. Enquanto estiver conectado à conta, vá para o arquivo de limpeza de planilhas iRT disponível em https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. Dentro desta planilha, clique em Arquivo | Faça uma cópia. Uma pequena janela de confirmação aparecerá.
      4. Dentro da pequena janela, dê um nome ao arquivo e clique no botão Fazer uma cópia .
   4. Configure um Google Apps Script para automatizar o armazenamento de dados dentro da planilha que você criou.
      1. Enquanto estiver dentro do arquivo da planilha, clique na opção Extensão | Script de aplicativos.
         NOTA: Este script deve ser criado ou acessado de dentro da planilha para que seja associado a ela. Tentar criar um script externamente pode não funcionar.
      2. Clique no botão Executar para executar o script pela primeira vez.
      3. Clique no botão Revisar permissões . Uma nova janela aparecerá. Clique na mesma conta usada ao criar a planilha.
         NOTA: Se esta for a primeira vez que executa esta etapa, um alerta de segurança pode aparecer avisando o usuário sobre o aplicativo solicitando acesso às informações da conta. É seguro, pois o aplicativo está tentando acessar o conteúdo da planilha e pedindo permissão para preenchê-la com dados. Se nenhum aviso aparecer, a etapa 1.1.4.4 pode ser ignorada.
      4. Clique em Avançado | Ir para Do iRT para planilhas (não seguro) | Botão Permitir .
         NOTA: Após a execução, um aviso informando que a execução foi concluída deve aparecer dentro do log de execução.
      5. No painel deslizante esquerdo, clique no botão Gatilhos (o quarto ícone de cima para baixo) | + Adicionar botão Gatilho .
      6. Em Choose which function to run, escolha doPost; em Selecionar origem do evento, selecione Da planilha; em Selecionar tipo de evento, escolha Ao enviar formulário. Em seguida, clique em Salvar. Se algum pop-up de permissão aparecer, siga as etapas 1.1.4.3-1.1.4.4. Se o navegador acabar bloqueando o pop-up, desbloqueie-o.
      7. Clique no botão suspenso Implantar | Nova implantação.
      8. Passe o mouse sobre o ícone de engrenagem e verifique se a opção Aplicativo Web está selecionada.
      9. Escreva uma descrição no campo Nova descrição , como Implantação 1; no campo Quem tem acesso , selecione Qualquer pessoa e clique no botão Implantar .
         NOTA: O objetivo do campo Nova descrição é organizar as implantações de script. Ele pode ser nomeado como o leitor desejar, como Primeira implantação. O campo Executar como já deve aparecer como Eu(email), onde email é o email usado até agora.
      10. Dentro do novo pop-up, copie a URL do aplicativo Web da implantação do script.
          NOTA: Se, por algum motivo, você acabar perdendo o URL do aplicativo Web copiado, recupere-o clicando no menu suspenso Implantar | Gerenciar implantações. A URL do aplicativo Web deve estar lá.
      11. Vá para a página em https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js onde rodrigocnstest é o nome de usuário usado no GitHub. Substitua a URL existente na linha 5 pela URL copiada do aplicativo Web na etapa 1.1.4.10 e clique no botão verde Confirmar alterações....
          NOTA: O valor do URL copiado deve permanecer entre aspas simples ' ' ou duplas " "'. Verifique novamente se a URL copiada é a correta do aplicativo Web.
      12. Por fim, clique no botão Confirmar alterações no meio da tela.
   5. Verifique se o processo foi concluído corretamente e se a página está funcionando.
      1. Vá para o repositório em https://github.com/username/username.github.io/, onde username é o nome de usuário usado no GitHub, e verifique se a implantação foi atualizada após as alterações feitas na etapa 1.4.14.
      2. Navegue até a página da Web em https://username.github.io/iRT_JoVE, altere o nome de usuário para o nome de usuário usado no GitHub e clique em Avançar.
      3. Clique em Ir, faça qualquer interação clicando e arrastando o objeto à direita com o mouse e, em seguida, clique no botão CONCLUÍDO! .
      4. Volte para o arquivo de planilha configurado nas etapas 1.1.3 e 1.1.4 e verifique a presença de uma linha de dados recém-adicionada para cada vez que o botão CONCLUÍDO foi pressionado.
2. Configure a aquisição de dados offline (opcional).
   NOTA: O método destinado a executar e adquirir os dados da tarefa de rotação interativa (iRT) está online por meio dos serviços de nuvem configurados nas etapas descritas acima. Se desejado (já que a conexão com a internet pode ser um problema ou ter uma maneira alternativa de executá-la), também é possível executar o teste localmente com ou sem conexão com a internet no local onde o teste será executado. As etapas a seguir são uma alternativa opcional e descrevem como fazer isso. Caso contrário, pule para a etapa 1.3.
   1. Acesse o repositório GitHub no link: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Clique no botão verde < > Código | Baixe o ZIP e, em seguida, descompacte os arquivos baixados.
      NOTA: As alterações feitas nos arquivos armazenados localmente não alterarão os arquivos no repositório e vice-versa. Quaisquer alterações destinadas a ambas as versões devem ser aplicadas a ambos os locais, copiando manualmente os arquivos atualizados ou por meio do uso do git/GitHub desktop.
   2. Obtenha a versão mais recente do Mozilla Firefox através do link: https://www.mozilla.org/en-US/firefox/new/.
   3. Abra o navegador Mozilla Firefox, digite "about:config" no slot URL, digite "security.fileuri.strict_origin_policy" no campo de pesquisa e altere seu valor para false. NOTA: Agora, o Mozilla Firefox no sistema operacional Windows deve ser capaz de acessar localmente os arquivos da página da web baixados em seu computador. Outros navegadores e sistemas operacionais podem ser configurados para funcionar localmente, cada um com sua configuração descrita no link http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configure a ferramenta de processamento de dados.
   1. Baixe e instale a versão mais recente do GNU Octave em https://octave.org/download.
4. Configure o dispositivo de rastreamento ocular.
   1. Certifique-se de que o software do sistema de gravação esteja instalado no laptop.
   2. Certifique-se de que a sala de pesquisa esteja limpa e bem organizada para evitar distrações.
   3. Use iluminação artificial na sala para manter uma iluminação consistente ao longo do dia.
   4. Instale o computador em uma mesa e certifique-se de que o participante possa mover o mouse confortavelmente.
   5. Forneça uma cadeira confortável para o participante, de preferência uma cadeira fixa, para minimizar o movimento durante o teste.
   6. Conecte um cabo USB para alimentar a iluminação infravermelha e outro cabo USB entre o laptop/computador e o rastreador ocular da câmera.
   7. Coloque o rastreador ocular abaixo da tela.

2. Coleta de dados

1. Inicialize o software de coleta de dados.
   1. Execute o software de rastreamento ocular no computador para receber dados do rastreador ocular.
   2. Selecione a opção Captura de tela na janela principal do software para capturar o olhar durante o experimento (também é possível usar este software para visualização do mapa de calor e dados brutos de exportação).
   3. Clique em Novo projeto para criar um novo projeto e uma pasta de projeto onde os dados devem ser salvos.
   4. Abra a página de teste em https://rodrigocnstest.github.io/iRT_JoVE.html se estiver usando a oferecida como exemplo ou a página criada na etapa 1.1. Como alternativa, abra o arquivo iRT_JoVE.html localmente a partir do navegador configurado anteriormente na etapa 1.2.
   5. Se necessário, preencha os campos de nome e e-mail para ajudar na identificação dos dados e marque a caixa para baixar uma cópia de backup dos dados produzidos.
      NOTA: Se estiver usando o método offline (etapa 1.2), é aconselhável baixar as cópias de backup.
   6. Tente executar o experimento uma vez para garantir que o navegador carregue os elementos corretamente e que não haja problemas com as tarefas apresentadas ou a aquisição de dados.
2. Execute o experimento.
   1. Explique ao participante o objetivo do experimento, a tecnologia utilizada e os critérios de inclusão/exclusão. Certifique-se de que o participante entendeu tudo. Peça ao participante que preencha o formulário de consentimento.
   2. Peça ao participante para se sentar diante do Sistema de Rastreamento Ocular e ficar o mais confortável possível.
   3. Mova a cadeira para garantir uma distância ideal entre o participante e a câmera (o comprimento ideal é de 65 cm do rastreador ocular aos olhos do participante).
   4. Peça ao participante para ficar o mais imóvel possível durante o experimento. Ajuste a altura da câmera para capturar corretamente as pupilas do participante (alguns softwares destacam a pupila para mostrar o reflexo da córnea).
   5. Clique em Ativar ganho automático para otimizar o rastreamento da pupila, alterando o ganho da câmera até que as pupilas sejam encontradas (alguns softwares não têm essa opção).
   6. Peça ao participante para olhar para uma série de pontos na tela e seguir o movimento do ponto sem mover a cabeça.
   7. Clique em Calibrar para iniciar a calibração (isso garantirá que o rastreador ocular possa rastrear para onde o participante está olhando para a tela).
      NOTA: A tela ficará em branco e um marcador de calibração (ponto) se moverá por cinco posições na tela.
   8. Após a calibração, uma estimativa visual do ponto de olhar será desenhada na tela para verificar a precisão da calibração. Peça ao participante para olhar para um ponto específico em exibição para ver se o olhar será exibido corretamente.
   9. Se a calibração não for satisfatória, ajuste a câmera e tente a calibração novamente até que o sistema rastreie o olhar adequadamente.
   10. Clique no botão Coletar dados no lado direito do software de rastreamento ocular (menu principal) para ativar o modo de coleta de dados. A exibição em tempo real da tela capturada será apresentada com os dados de observação mostrados na janela de exibição principal.
   11. Clique no botão Olhar vídeo no menu principal para exibir o rosto do usuário capturado pelo rastreador ocular. Em seguida, clique em Iniciar registro para iniciar o experimento.
       NOTA: Durante o experimento, a pupila do participante é destacada e seu olho é exibido como um ponto se movendo pela tela do laptop. Certifique-se de que o rastreador ocular rastreie a pupila e o olho na tela.
   12. Se o ponto desaparecer ou piscar com frequência, pare o experimento e tente calibrar novamente.
   13. Abra a janela do iRT aberta anteriormente e diga ao participante para clicar em Avançar.
   14. Dê as seguintes instruções ao participante: "Nesta seção, você realizará três tarefas de rotação. Quando você clica no botão GO! , dois objetos aparecerão em lados opostos da tela. Seu objetivo é girar o objeto à direita até que ele corresponda ao objeto à esquerda da melhor maneira possível. Para girar o objeto, clique e arraste o mouse sobre ele. Ao terminar cada uma das três tarefas, clique no botão CONCLUÍDO! botão para concluir."
       NOTA: Para cada tarefa, quaisquer dados iRT além da marca de 5 minutos (327º segundo exatamente) podem ser perdidos. À medida que desenvolvemos o método, esse limite deve ser expandido.
   15. No final do experimento, certifique-se de que o rastreador ocular esteja desligado do cabo de extensão e coloque a tampa da lente de volta na câmera.
3. Extraia os dados.
   1. Assim que a coleta de dados do rastreador ocular for concluída, clique em Analisar dados para acessar os dados coletados.
   2. Exporte um arquivo .csv com todos os dados registrados para o usuário.
      NOTA: A primeira coluna de dados do rastreador ocular deve ser a época UNIX dos dados, pois essa é a única maneira de fazer com que diferentes conjuntos de dados correspondam corretamente no tempo. Se o arquivo não contiver um, ele deverá ser convertido de qualquer outro padrão de tempo usado. O arquivo pode estar no formato ".csv" ou ".xlsx".
   3. Se estiver usando a versão online da página de tarefas de rotação interativa (etapa 1.1), abra o arquivo do Planilhas Google usado para receber os dados online (criado na etapa 1.1.3) e baixe-o clicando em Arquivo | Baixar | Microsoft Excel (.xlsx).
      NOTA: Esses dados são empacotados para facilitar a transferência de dados (cada tarefa corresponde a uma linha preenchida com dados). Para processar os dados internos, cada linha de dados empacotados deve ser "descompactada" primeiro.

3. Tratamento e análise de dados

1. Desempacote, mescle e processe os dados.
   OBSERVAÇÃO: as etapas a seguir descrevem como processar os dados usando os scripts fornecidos (consulte o Arquivo Suplementar 2). Os scripts GNU Octave solicitarão ao usuário entradas sobre seus arquivos. Se as entradas forem enviadas em branco, os valores padrão, referenciando os dados de amostra fornecidos se nenhum dado do usuário os tiver substituído, serão usados. Depois que o script terminar de ser executado, ele poderá ser fechado.
   1. Baixe e descompacte o repositório que está sendo usado (o próprio usuário ou o original em https://github.com/rodrigocns/rodrigocns_JoVE) se ele ainda não tiver sido baixado.
   2. Certifique-se de que os scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotacional trajectory.m e os modelos de pasta estejam dentro do repositório baixado na pasta Octave e mova os arquivos de dados baixados das etapas 2.3.2 e 2.3.3 para esta mesma pasta onde estão os scripts octave.
      NOTA: Todos os arquivos existentes que já estão na pasta com os mesmos nomes dos arquivos recém-gravados podem ser substituídos. Renomeie ou mova os arquivos para outra pasta de acordo.
   3. Abra o script 1.unpacking_sheets.m com o GNU Octave Launcher. Na guia Editor , execute o script clicando no botão verde Salvar arquivo e executar para descompactar os dados em uma estrutura mais legível.
      NOTA: Se algum dos arquivos de dados solicitados estiver aberto localmente, lembre-se de fechá-los antes de executar o script. Todos os arquivos de script .m foram executados usando o GNU Octave Launcher.
   4. Dois prompts aparecerão, um após o outro. Insira o nome do arquivo baixado no primeiro prompt e o nome do arquivo não empacotado no segundo campo. Como alternativa, deixe os dois campos de prompt em branco para usar os nomes padrão destinados aos arquivos de amostra incluídos. Aguarde alguns minutos (dependendo do volume de dados) por um pop-up informando ao usuário que o processo foi concluído e que o novo arquivo foi gravado.
   5. Abra e execute o script 2.data_merge_and_process.m para mesclar os dados do rastreador ocular e do iRT.
      NOTA: Embora esse script seja complexo, abrangendo centenas de linhas de código, ele é dividido em três seções principais: configurações, funções e scripts. Todos eles são comentados e explicados minuciosamente, facilitando futuras modificações, se necessário.
   6. Quatro prompts serão exibidos. Insira o valor sessionID, o valor taskID (ambos da tabela de dados iRT), o nome do arquivo de dados iRT não empacotado (escrito na etapa 3.1.5) e o nome do arquivo de dados do rastreador ocular (exportado na etapa 2.3.2) ou deixe todos eles em branco para usar os valores padrão.
      NOTA: Após alguns minutos, um pop-up de ajuda indicará que o script concluiu o cálculo e os nomes dos arquivos usados e criados. Três gráficos de amostra de disparidade angular aparecerão durante o processo de script: um gráfico simples, um gráfico com dados de olhar colorido e um gráfico com dados de diâmetro da pupila. Os dois arquivos criados são output merge X Y.xlsx e output jmol console X Y.xlsx, onde X é o valor sessionID e Y é o valor taskID , ambos gravados no início da etapa 3.1.6.
2. Renderize imagens de trajetória de rotação 3D.
   1. Abra e execute o script 3.3D trajetória de rotação.m.
   2. Três prompts aparecerão. Insira o valor sessionID, o valor taskID e o nome do arquivo de dados iRT não empacotados ou deixe-os em branco para usar os valores padrão.
      NOTA: Um gráfico 3D aparecerá. O gráfico renderizado é a trajetória de rotação 3D da sessão e tarefa especificadas.
3. Reproduza as animações.
   1. Para reproduzir a interação da tarefa do participante, primeiro, vá para a página da Web da tarefa interativa, inicie o teste (mostrando os dois modelos 3D), mova o ponteiro do mouse no canto superior direito da tela até que o ícone do mouse mude para texto, conforme descrito no Arquivo Suplementar 2 e, em seguida, clique no texto de depuração invisível, habilitando o modo de depuração.
   2. Nos botões que aparecem entre os modelos, clique no botão timerStop para interromper a tarefa e clique no botão do console para abrir o console JSmol do modelo à direita. Se a tarefa da interação de interesse não foi a primeira, clique nos botões numerados dentro da área de depuração superior para alterar a tarefa que está sendo mostrada na tela.
      NOTA: JSmol é o software de modelagem molecular usado na página da web.
   3. Abra o arquivo de saída jmol console.xlsx e copie a página inteira dos comandos Jmol.
      NOTA: Cada página contém comandos para uma cena ou animação diferente.
   4. Dentro do console JSmol, cole a lista de comandos copiados e clique no botão Executar ou pressione Enter no teclado para executá-lo.
   5. Se desejar, gere uma animação .gif. Escreva o comando capture "filename" SCRIPT "output" dentro do console JSmol, onde filename é o nome do arquivo .gif a ser criado e output é toda a lista de comandos copiados no passo 3.3.3, mantendo ambos entre aspas duplas.
      NOTA: Quanto mais complexos forem os comandos, com modelos maiores ou mais mudanças no tempo, e quanto menos potentes forem as especificações do computador utilizado, mais lenta se tornará a animação. A Jmol está focada na visualização de compostos químicos e reações, e o tipo de animação produzida com nossa pesquisa ultrapassa os limites das capacidades de renderização da Jmol. Esses pontos devem ser considerados e contabilizados ao fazer qualquer medida quantitativa com esta animação.

4. Personalização de tarefas

NOTA: Esta seção inteira é opcional e recomendada apenas para quem gosta de experimentar ou entender como codificar. Abaixo, você encontrará algumas das muitas opções personalizáveis disponíveis, e mais opções estarão disponíveis à medida que desenvolvermos os métodos.

1. Configure tarefas novas ou existentes.
   1. Defina quantas tarefas interativas serão executadas pelo participante e nomeie cada uma delas no object_configs.js de arquivo dentro da matriz task_list substituindo os nomes de itens existentes ou adicionando mais. Certifique-se de que cada nome seja exclusivo, pois eles são usados posteriormente como identificadores.
   2. Escolha arquivos de coordenadas 3D compatíveis com JSmol para executar as tarefas interativas (http://wiki.jmol.org/index.php/File_formats). Copie esses arquivos para a pasta de modelos.
      NOTA: Os scripts incluídos neste artigo são otimizados para modelos assimétricos usando o formato de arquivo .xyz. Ao escolher arquivos de coordenadas, evite simetrias de rotação, pois elas têm soluções ambíguas⁶⁵.
   3. Defina as configurações de renderização para objetos 3D dentro da função prepMolecule(num).
      NOTA: Todas as alterações de uma tarefa para a próxima executadas pelo JSmol vão aqui: alterar o padrão de cores, alterar o tamanho ou a forma como os elementos gráficos são renderizados, orientação, tradução, ocultar partes do objeto, carregar novos modelos 3D, etc. (para mais exemplos, consulte https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Cada tarefa nomeada em task_list corresponde a um caso. Cada comando para o JSmol executar segue a estrutura: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); onde jsmol_obj refere-se ao objeto que está sendo alterado (jsmol_ref e jsmol_obj sendo o padrão para o alvo e objetos interativos) seguido por um ou mais comandos separados por um ";".
2. Crie novos modelos.
   1. Use qualquer modelo .xyz baixado online ou criado por editores moleculares como Avogadro (https://avogadro.cc/).

Results

Evolução da disparidade angular e outras variáveis
Conforme descrito na etapa 3.3.1 no Arquivo Suplementar 2, duas telas são apresentadas ao participante na tela do monitor de vídeo, exibindo cópias do mesmo objeto virtual 3D em diferentes orientações. Na tela esquerda, o objeto de destino (tObj) permanece estático e serve como a posição de destino ou posição tObj. Na tela direita, o objeto interativo (iObj) é mostrado em uma posição diferente e permite que o participante o mova ao longo do tempo em torno de um centro de rotação fixo usando um mouse (apenas rotações; as translações estão desativadas). A tarefa em questão envolve ajustar o iObj para corresponder ao tObj com base no julgamento do participante. Os três objetos 3D usados podem ser vistos na Figura 1. O processo de resolução, embora complexo, pode ser meticulosamente registrado para análise posterior. Essa gravação vai além de meras imagens de vídeo, pois cada posição ao longo do tempo é capturada em intervalos fixos de 0,1 s como um quatérnio, formando uma série temporal que permite uma reconstrução completa de todo o processo. Em qualquer posição, existe uma rotação única em torno de um eixo específico, variando de 0° a 180°, que transforma diretamente a posição tObj na posição iObj. Embora essa rotação seja abstrata e não relacionada ao PR do participante durante a tarefa, ela indica com precisão a posição precisa do iObj em relação ao tObj. AD é o ângulo desta rotação e pode ser calculado a partir do respectivo quatérnio. À medida que a posição iObj se aproxima da posição tObj, esse valor se aproxima de zero.

Após a etapa 3.1.6 da seção Processamento e análise de dados, dois arquivos foram criados: output merge X Y.xlsx e output jmol console X Y.xlsx, onde X é o valor sessionID e Y é o valor taskID . Se estiver usando os valores padrão deixando os campos de entrada em branco, os arquivos devem ser nomeados 1682707472090 bolaBastao_c.xlsx de mesclagem de saída e 1682707472090 bolaBastao_c.xlsx de console jmol de saída. Os arquivos de Y.xlsx X de mesclagem de saída contêm os dados do rastreador ocular selecionados mesclados nos dados iRT, alinhados pelo tempo de época do UNIX, semelhante à Figura 2A se tudo tiver ocorrido corretamente ou à Figura 2B se ocorrer algum problema.

Os arquivos de saída do console Jmol X Y.xlsx contêm até cinco guias preenchidas com comandos do console Jmol que, quando colados no console Jmol, reproduzirão os movimentos do participante ao resolver a tarefa: o replay de rotação reproduz as rotações iObj feitas pelo participante; gaze replay int reproduz as rotações iObj com mapa de calor de fixação adicionado no objeto no tempo usando uma escala de transparência/opaca; gaze replay tgt mostra apenas o mapa de calor de fixação 3D de tObj durante a tarefa; gaze frame int e gaze frame tgt mostram o mapeamento geral de fixação de todo o processo para iObj e tObj. Todos eles são ilustrados na Figura 3A-F. Jmol e JSmol são essencialmente idênticos, sendo Jmol o plugin baseado na linguagem de programação Java e JSmol na linguagem de programação JavaScript, ambos com as mesmas funcionalidades e sendo usados de forma intercambiável.

A Figura 4 ilustra a evolução da disparidade angular em função do tempo para seis cenários diferentes envolvendo dois participantes e três objetos. A duração do processo pode variar significativamente dependendo do desempenho do participante com o objeto de tarefa interativa. Em qualquer tarefa concluída corretamente pelo participante, AD tende a zero no final. Se o mesmo gráfico não apresentar esse comportamento, ou o participante não conseguiu concluir a tarefa porque desistiu ou atingiu o limite de tempo por tarefa (aproximadamente 5 min), ou ocorreu um erro no processamento dos dados.

Os resultados combinados dos registros de RP iObj e os dados obtidos das medições de rastreamento ocular são mostrados na Figura 5. A variação na disparidade angular entre o alvo e os objetos inerciais em função do tempo indica três estágios distintos no processo de resolução da tarefa dada: observação inicial dos modelos; rotação balística do modelo interativo; ajuste fino da rotação do modelo interativo. A Figura 5A mostra o olhar alternando entre os modelos na fase inicial e, mais especificamente, na fase de ajuste fino. A Figura 5B mostra que a pupila permanece mais dilatada nas fases inicial e de ajuste fino. Na fase de ajuste fino, o longo período de fixação no modelo interativo (40-47s na Figura 5A) corresponde a um platô no diâmetro da pupila (40-47s, Figura 5B).

Esses resultados sugerem que os dados obtidos com o método aqui proposto são consistentes com o modelo de resolução de problemas de rotação mental proposto com base nos dados de fixação do olhar para modelos estáticos^14,66 e para modelos interativos²³. Tal modelo abrangeria três estágios: pesquisa, transformação e comparação, e confirmação da correspondência ou incompatibilidade entre os modelos. Além disso, a alternância de fixações entre os modelos alvo e interativo nas etapas de comparação observadas na Figura 5A é consistente com os resultados obtidos nos testes do tipo Sheppard e Metzler que utilizam imagens estáticas^42,66. No entanto, no caso de modelos interativos, é provável que esses estágios de busca, transformação, comparação e confirmação ocorram sucessivamente por meio da interação e reposicionamento do modelo interativo.

Trajetórias de rotação 3D
Cada rotação em um espaço 3D de 0° a 180° pode ser transladada para um ponto dentro de uma bola (que é entendido como o volume dentro de uma esfera) com um raio igual a 180°. A Figura 6 demonstra essa correspondência com três exemplos de rotações. A distância do ponto ao centro da bola é a disparidade do ângulo iObj da posição tObj, e o vetor apontando do centro da bola para o ponto é a direção de rotação, a rotação sendo feita no sentido horário visualizando a partir do centro. Essa tradução de rotações em pontos em uma bola permite que alguém visualize diretamente, em um único desenho 3D, toda a trajetória das rotações feitas pelo participante de uma tarefa. Chamamos esse desenho de trajetória de rotação 3D.

Analogamente à medida AD, para quaisquer tarefas corretamente realizadas pelo participante, a trajetória deve se aproximar, ao final, do centro da bola. Se a trajetória atingir o limite da esfera a uma rotação de 180 °, ela envolverá o ponto antípoda na esfera. A Figura 7 ilustra a trajetória de rotação percorrida pelos dois participantes mencionados anteriormente realizando a terceira tarefa (C1 e C2 na Figura 4), vistos tanto em perspectiva quanto em projeções nos três planos de coordenadas. Fica claro pela figura que, apesar do AD inicial relativamente pequeno próximo a 45 °, o participante 1 inicialmente se desviou da posição alvo antes de encontrar um caminho definitivo para a solução, ao contrário do participante 2, que completou a tarefa mais rapidamente.

Mapa de calor de fixação 3D
Durante o processo de resolução de problemas, o participante alterna seu olhar entre tObj e iObj enquanto interage com iObj. Com os dados de rastreamento ocular, podemos extrair a posição do olhar do participante e criar um mapa de calor das regiões da tela que capturaram mais e menos atenção do participante em um determinado intervalo. Indo além, com os dados de rastreamento ocular e quatérnion iRT sincronizados, podemos mapear simultaneamente no espaço 3D e no tempo, quanta atenção cada um dos vértices do objeto está recebendo, mesmo para objetos sendo girados no tempo.

Na Figura 3, a atenção dada ao objeto é representada pelo nível de opacidade de cada vértice. Quanto mais próximo estiver do olhar do participante e quanto mais tempo permanecer próximo, mais atenção receberá, resultando em maior opacidade nessa região do objeto. A diminuição espacial da atenção é modelada usando uma função gaussiana homogênea bivariada para a posição do olhar e uma função gaussiana homogênea simples aplicada para o tempo decorrido. O desvio padrão desses gaussianos foi escolhido assumindo um ângulo visual de 2 graus⁶⁷ e uma memória visual de curto prazo de 10 s⁶⁸. Para evitar quaisquer artefatos visuais com esse método, os dados de proximidade do olhar são definidos como zero enquanto o olhar está fora da tela do objeto (iObj não recebe atenção residual quando o olhar está dentro da tela tObj ou fora de ambos). A Figura 3 mostra um único quadro de cada objeto de uma animação de repetição inteira e os mesmos quadros com o mapa de calor de fixação 3D. Uma possível comparação entre tObj e iObj pelo participante durante o processo de resolução pode ser vista (Figura 3C,D) à medida que a tarefa se aproxima de sua conclusão (tempo = 6,3 s). Todo o processo pode ser visto como um vídeo no Vídeo Suplementar S1. Relatamos os resultados da rotação mediada por computador de modelos 3D apresentados aos participantes como uma tarefa realizada em condições normais.

Figura 1: Objetos de destino usados. Imagem dos modelos 3D usados nas tarefas da página da web. (A) Uma molécula com representação de bola e bastão; (B) A mesma molécula com polígonos preenchidos, sem hidrogênios e representada apenas por bastões; (C) um policubo semelhante a uma das figuras de Shepard e Metzler¹³, derivada da biblioteca de estímulos de Peters e Battista³⁶. Clique aqui para ver uma versão maior desta figura.

Figura 2: Comparação de planilhas. (A,B) As imagens são tiradas do 1682707472090 bolaBastao_c.xlsx de mesclagem de saída da planilha. As colunas A a G contêm valores de dados iRT, enquanto as colunas H a N contêm valores de dados do rastreador ocular. Em (A), tudo está correto, enquanto em (B), nas colunas do rastreador ocular, todos os valores são constantes e não correspondem aos valores de tempo do sistema iRT. Se ocorrer algum problema com o processo de sincronização de dados, esse erro provavelmente acontecerá. Clique aqui para ver uma versão maior desta figura.

Figura 3: Mapa de calor de fixação 3D. Mapa de calor de fixação sobre o objeto 3D usando uma escala de opacidade, onde mais opaco se correlaciona com mais tempo gasto perto do olhar do participante. (A,B) Imagens tObj e iObj da tarefa sendo resolvida pelo participante na marca de 6,3 s. (C, D) Mesmas imagens que (A,B) no mesmo instante com a escala de opacidade adicionada do mapa de calor. (E, F) Imagens do mapa de calor de fixação considerando todo o período durante o qual o participante pôde ver os objetos. Clique aqui para ver uma versão maior desta figura.

Figura 4: grade do AD. Trace a grade de disparidade angular entre dois participantes e três tarefas. As colunas representam os participantes 1 e 2 e as linhas representam as tarefas resolvidas pelos participantes usando os três objetos ilustrados na Figura 3. Observe que, embora o AD varie entre 0° e 180°, o intervalo de tempo não é fixo e varia de acordo com o desempenho do participante e sua própria decisão de interromper o processo. À medida que o participante gira iObj, o AD entre tObj e iObj varia com o passar do tempo e, eventualmente, o participante escolhe a orientação atual do iObj como a mais próxima de tObj. Na^1ª e^2ª tarefas, ambos os participantes pareciam ter progredido de maneira semelhante, mas o participante 1 levou metade do tempo que o participante 2. E na^3ª tarefa, embora o participante 2 tenha levado menos tempo para concluir a tarefa, o participante 1 já havia resolvido a tarefa antes da marca de 20 s e continuou fazendo pequenos ajustes para melhor combinar iObj com tObj. Abreviatura: AD = disparidade angular. Clique aqui para ver uma versão maior desta figura.

Figura 5: AD com dados de rastreamento ocular. Evolução da disparidade angular combinada com dados de rastreadores oculares. (A) Disparidade angular e posição do olhar, a evolução da disparidade angular entre tObj e iObj, juntamente com dados de fixação regional para cada modelo. O gráfico mostra em qual região o olhar do participante está localizado: vermelho quando dentro da tela iObj, azul quando dentro da tela tObj e cinza quando fora de ambos, olhando para outro elemento na tela ou desviando o olhar dele. (B) Disparidade angular e diâmetro da pupila. Disparidade angular, em azul, juntamente com dados de diâmetro da pupila, em laranja. O diâmetro da pupila é o valor médio das pupilas esquerda e direita em cada ponto no tempo. Abreviatura: AD = disparidade angular. Clique aqui para ver uma versão maior desta figura.

Figura 6: Bola de rotações. Esta figura ilustra como cada posição de rotação possível de um objeto a partir de uma posição de referência pode ser representada como um ponto em uma bola de raio de 180°, permitindo uma representação completa da posição de rotação do objeto em todos os três eixos. Aqui, uma bola é entendida como o volume delimitado por uma esfera. (A) O objeto usado como exemplo é uma união assimétrica de sete cubos, representados na parte superior, à esquerda. Três rotações simples numeradas I, II e III são aplicadas a este objeto, conforme mostrado à direita. Eles são, respectivamente, +90° no eixo x, -60° no eixo z e 180° em um eixo entre +x e -y, a 45° de ambos os eixos. (B) A bola de rotação é mostrada com os pontos correspondentes às rotações I, II e III. A distância até o centro da bola é a disparidade do ângulo. Como III atinge o ângulo máximo de rotação (180°), ele também é representado em seu ponto antípoda, pois são essencialmente os mesmos. A rotação II, sendo no sentido anti-horário em relação à direção positiva do eixo z, aparece no lado negativo. Clique aqui para ver uma versão maior desta figura.

Figura 7: Trajetória de rotação 3D. A trajetória de rotação dentro da bola de rotações feita pelos dois participantes na terceira tarefa, vista tanto em perspectiva (A) quanto em projeções nos planos de coordenadas (BD). A espessura da linha diminui com o tempo. Cada coluna corresponde a um participante (v1 e v2). À medida que as trajetórias se aproximam do centro da bola, os participantes estão mais perto de resolver a tarefa. '0' indica a posição inicial da tarefa. Os números subsequentes indicam pontos onde a trajetória atinge a borda da bola e continua através do ponto antípoda no lado oposto (1 a 2, 2 a 3, 3 a 4, etc). Clique aqui para ver uma versão maior desta figura.

Tabela Suplementar S1: Cabeçalhos de planilha. Lista de cabeçalhos no arquivo de planilha clonado. Cada cabeçalho corresponde a um nome de variável e receberá dados dessa variável formando uma coluna de valores utilizados no processamento e análise de nossos dados. Clique aqui para baixar este arquivo.

Arquivo Suplementar 1: Guia da etapa 1 do protocolo. Uma lista de capturas de tela que guiam as etapas do método de protocolo "1. Preparação de ferramentas de coleta de dados". Clique aqui para baixar este arquivo.

Arquivo Suplementar 2: Guia da etapa 3 do protocolo. Uma lista de capturas de tela que guiam as etapas do método de protocolo "3. Processamento e análise de dados". Clique aqui para baixar este arquivo.

Vídeo Suplementar 1: Replay do mapeamento de fixação. Um exemplo de replays animados do mapeamento de atenção temporal em 3D de iObj e tObj simultaneamente. Gravado usando OBS Studios e renderizado usando OpenShot Video Editor. Clique aqui para baixar este arquivo.

Discussion

Como dito anteriormente, este artigo tem como objetivo apresentar um procedimento detalhado de mapeamento em tempo real de dados de fixação e movimento sacádico em objetos 3D interativos, que é facilmente personalizável e utiliza apenas softwares disponíveis gratuitamente, fornecendo instruções passo a passo para que tudo funcione.

Embora essa configuração experimental envolvesse uma tarefa altamente interativa, como mover um objeto 3D para corresponder à orientação de outro objeto com PR em dois dos três eixos possíveis, garantimos a documentação completa de nossos scripts por meio de comentários adequados para facilitar qualquer personalização. Vários outros tipos de experimentos podem ser projetados, com o dispositivo de rastreamento ocular sendo apenas um dos muitos outros dispositivos possíveis usados para aquisição de dados temporais.

Os cabeçalhos no arquivo copiado da etapa 1.1.3.3 definem o conteúdo e o local em que os dados serão coletados online. A Tabela Suplementar S1 lista os nomes de variáveis (todas diferenciam maiúsculas de minúsculas) e seu significado. Essas variáveis espelham aquelas encontradas nos arquivos JavaScript no repositório GitHub. O tipo e a variedade de dados e nomes de variáveis, tanto desta planilha quanto dos arquivos JavaScript, devem ser alterados de acordo com o escopo e os requisitos da pesquisa.

O registro dos dados de rotação em quatérnios permite que o pesquisador reproduza os mesmos movimentos feitos pelos participantes durante as tarefas, facilitando uma análise do processo e utilizando o espaço de armazenamento de forma muito mais eficiente se comparado a uma captura de tela. Uma análise mais detalhada, como a trajetória de rotação 3D, mostrada na Figura 7 usando a bola de rotações, só é possível através dos dados internos de quatérnion dos objetos interativos. Expandindo a partir do gráfico AD ao longo do tempo por Gardony²² e Adams²³, este novo tipo de gráfico fornece informações mais detalhadas, com as coordenadas reais de rotação 3D no tempo.

Outra vantagem vem do uso de uma medida de tempo padrão para sincronizar todas as fontes de dados. Mesclar diferentes camadas de informações dependentes do tempo com isso torna-se muito mais fácil, como sobrepor gráficos com múltiplas fontes de dados, como na Figura 5B com a medida da dilatação da pupila, ou na Figura 5A com faixas verticais coloridas, denotando possíveis padrões no processo de resolução dos participantes, mesmo quando quase não havia rotação acontecendo no iObj. O mapa de calor de fixação 3D mostrado na Figura 3 só é possível a partir de dados de quatérnion e sincronização de dados.

É crucial usar a sincronização por meio de uma medida de tempo padrão para garantir qualquer integração de dados temporais. O padrão de tempo escolhido para o nosso projeto foi o UNIX Epoch, que é usado em JavaScript e na maioria das outras linguagens de programação. Algum tipo de padrão de tempo conhecido deve estar em uso para cada conjunto de dados, mesmo que um padrão diferente, que possa ser convertido posteriormente para UNIX Epoch. Os dados temporais que não usam nenhum padrão certamente serão incapazes de sincronização e perderão sua utilidade.

Outra limitação é a frequência relativamente baixa de 10 Hz utilizada nos testes de iRT em relação à frequência de 60 Hz do rastreador ocular. Isso acontece em parte devido às limitações de processamento e transferência de dados dentro do navegador, pois qualquer frequência mais alta usada reduziria proporcionalmente o limite máximo de tempo de cada tarefa, atualmente em 327 s. Além disso, renderizar suavemente animações complexas em Jmol nessa taxa de quadros já apresentava desafios. O Vídeo Suplementar S1 é uma gravação de vídeo de Jmol renderizando um replay com a mudança de opacidade no tempo, mapeando a quantidade de foco que cada vértice recebeu. Embora a duração do vídeo seja de quase 2 minutos, a tarefa real foi concluída em 63 s. Futuros desenvolvimentos de software voltados especificamente para essas funcionalidades, em vez de adaptar as existentes, podem resolver essas limitações e aprimorar os recursos de coleta e análise de dados.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Qualquer navegador moderno atualizado que seja compatível com WebGL (https://caniuse.com/webgl) e, por sua vez, com Jmol, pode ser usado
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Qualquer computador que possa executar o software do sistema de rastreamento ocular.
Pacote de software	Mangold Mangold		Interface de software usada para o dispositivo de rastreamento ocular. Qualquer software que produza os dados com valores de tempo do sistema pode ser usado.
Mouse			Qualquer mouse capaz de clicar e arrastar com movimentos simples deve ser compatível. Interfaces humanas análogas a um mouse com os mesmos recursos, como uma tela sensível ao toque ou ponteiro, devem ser compatíveis, mas podem se comportar de maneira diferente.
Vt3mini	EyeTech Digital Systems		60 Hz. Qualquer dispositivo de rastreamento ocular em funcionamento deve ser compatível.