Tecnologia de rastreamento de olhos e técnicas de mineração de dados utilizadas para uma análise comportamental de adultos envolvidos em processos de aprendizagem

Summary

Apresentamos um protocolo para uma análise comportamental de adultos (de 18 a 70 anos) engajados em processos de aprendizagem, realizando tarefas projetadas para a Aprendizagem Autorregulada (SRL). Os participantes, professores universitários e estudantes e adultos da Universidade de Experiência foram monitorados com dispositivos de rastreamento ocular e os dados foram analisados com técnicas de mineração de dados.

Abstract

A análise comportamental de adultos engajados em tarefas de aprendizagem é um grande desafio no campo da educação de adultos. Hoje, em um mundo de contínuas mudanças tecnológicas e avanços científicos, há necessidade de aprendizagem e educação ao longo da vida em ambientes educacionais formais e não formais. Em resposta a esse desafio, o uso de tecnologia de rastreamento ocular e técnicas de mineração de dados, respectivamente, para aprendizado supervisionado (principalmente predito) e não supervisionado (especificamente análise de cluster), fornece métodos para a detecção de formas de aprendizagem entre os usuários e/ou a classificação de seus estilos de aprendizagem. Neste estudo, propõe-se um protocolo para o estudo de estilos de aprendizagem entre adultos com e sem conhecimento prévio em diferentes idades (18 a 69 anos) e em diferentes pontos ao longo do processo de aprendizagem (início e fim). Técnicas de análise estatística de variância significam que podem ser detectadas diferenças entre os participantes por tipo de aprendiz e conhecimento prévio da tarefa. Da mesma forma, o uso de técnicas de agrupamento de aprendizagem não supervisionadas lança luz sobre formas semelhantes de aprendizado entre os participantes em diferentes grupos. Todos esses dados facilitarão propostas personalizadas do professor para a apresentação de cada tarefa em diferentes pontos da cadeia de processamento de informações. Da mesma forma, será mais fácil para o professor adaptar os materiais didáticos às necessidades de aprendizagem de cada aluno ou grupo de alunos com características semelhantes.

Introduction

Metodologia de rastreamento de olhos aplicada à análise comportamental na aprendizagem
A metodologia de rastreamento ocular, entre outros usos funcionais, é aplicada ao estudo do comportamento humano, especificamente durante a resolução da tarefa. Essa técnica facilita o monitoramento e a análise durante a conclusão das tarefas de aprendizagem¹. Especificamente, os níveis de atenção dos alunos em diferentes pontos do processo de aprendizagem (início, desenvolvimento e fim) em diferentes disciplinas (História, Matemática, Ciências, etc.) podem ser estudados com o uso da tecnologia de rastreamento ocular. Além disso, se a tarefa incluir o uso de vídeos com uma voz que orienta o processo de aprendizagem, a Aprendizagem Autorregulada (SRL) é facilitada. Portanto, a implementação da tecnologia de rastreamento ocular na análise de tarefas para as quais o SRL (que inclui o uso de vídeos) é proposto como um recurso significativo para entender como a aprendizagem é desenvolvida^2,3,4. Essa combinação também significa que as diferenças entre os métodos instrucionais (com ou sem SRL, etc.) podem ser verificadas com diferentes tipos de alunos (com ou sem conhecimento prévio, etc.) ⁵. Em contrapartida, a apresentação de informações multicanais (apresentação simultânea de informações auditivas e visuais, sejam verbais, escritas ou pictóricas) pode facilitar tanto a gravação quanto a análise de informações relevantes versus não relevantes das^{variáveis acima}mencionadas 6 . Estudantes com conhecimento prévio expostos a canais de aprendizagem multimídia parecem aprender mais efetivamente do que aqueles com pouco ou nenhum conhecimento prévio. Estudantes com altos níveis de conhecimento prévio do assunto integrarão informações textuais e gráficas de forma mais eficaz⁷. Essa funcionalidade tem sido observada no aprendizado dos textos⁸ que incluem imagens⁹. A tecnologia de rastreamento de olhos oferece informações sobre onde a atenção está focada e por quanto tempo. Esses dados fornecem uma visão do desenvolvimento de um processo de aprendizagem de forma mais precisa do que através da simples observação do processo de resolução durante a conclusão de uma tarefa. Além disso, a análise desses indicadores facilita o estudo de se o aluno desenvolve aprendizagem profunda ou superficial. Além disso, a relação entre esses dados e os resultados de aprendizagem facilita a validação das informações obtidas com a tecnologia de rastreamento ocular^4,10. De fato, essa técnica em conjunto com a SRL são cada vez mais utilizadas no Ensino Superior e na Educação de Adultos¹¹ ambientes de aprendizagem, tanto em cursos regulamentados quanto em cursos não regulamentados¹².

A tecnologia de rastreamento de olhos oferece diferentes métricas: distância, velocidade, aceleração, densidade, dispersão, velocidade angular, transições entre Áreas de Interesse (AOI), ordem sequencial da AOI, visitas nas fixações, saccades, caminho de varredura e parâmetros do mapa de calor. No entanto, a interpretação desses dados é complexa e requer o uso de supervisionados (regressão, árvores de decisão, etc.) e não supervisionados (técnicas de cluster k-means, etc.) ^13,14 técnicas de mineração de dados. Essas métricas podem ser aplicadas para monitorar o comportamento do mesmo sujeito ao longo do tempo ou para uma comparação entre vários sujeitos e seu desempenho com a mesma tarefa¹⁵, analisando a diferença entre participantes com conhecimento prévio versus nenhum conhecimento prévio¹⁶. Pesquisas recentes^11,17 revelaram que aprendizes iniciantes se fixam mais nos estímulos (ou seja, há uma maior frequência de fixação enquanto padrões semelhantes de caminho de varredura são registrados). A duração média da fixação foi maior para especialistas do que para novatos. Os especialistas apresentaram seu foco de atenção nos pontos médios das informações (proximal e central), diferenças que também podem ser vistas nos pontos de visualização dentro da AOI nos mapas de calor.

Interpretação de métricas no rastreamento ocular
Estudos recentes¹⁸ indicaram que a aquisição de informações está relacionada ao número de fixações oculares nos estímulos. Outra métrica importante é a saccade, que é definida como o movimento rápido e repentino de uma fixação com um intervalo de [10 ms, 100 ms]. Sharafi et al. (2015)^{18 encontraram} diferenças no número de saccades, dependendo da fase de codificação de informações do aluno. Outro parâmetro relevante é o caminho de varredura, métrica que captura a ordem cronológica das etapas que o participante realiza para a resolução da tarefa de aprendizagem dentro do AOI definido pelo pesquisador¹⁸. Da mesma forma, a tecnologia de rastreamento ocular pode ser usada para prever o nível de compreensão do participante, que parece estar relacionado ao número de fixações. Estudos recentes indicaram que a variabilidade no comportamento do olhar é determinada pelas propriedades da imagem (posição, intensidade, cor e orientação), as instruções para a realização da tarefa e o tipo de processamento de informações (estilo de aprendizagem) do participante. Essas diferenças são detectadas analisando a interação do aluno com o diferente AOI¹⁹. Técnicas quantitativas²⁰ (análise de frequência) e/ou qualitativas ou dinâmicas²¹ (caminho de varredura) podem ser utilizadas para analisar os dados coletados a partir das diferentes métricas. As técnicas anteriores são analisadas com técnicas estatísticas tradicionais (análise de frequência, diferença média, diferença de variância, etc.) e estas últimas são analisadas com técnicas de Machine Learning (distâncias euclidianas com métodos de edição de cordas^21,22e clustering¹⁷). A aplicação dessas técnicas facilita o agrupamento, considerando diferentes características dos sujeitos. Um estudo¹⁷ constatou que quanto mais especialista o aluno, mais eficaz é a estratégia de processamento de informações espaciais e temporais que é implementada. Uma tabela descritiva dos parâmetros de medição utilizados neste estudo pode ser consultada abaixo na Tabela 1.

Tabela 1: Parâmetros mais representativos que podem ser obtidos com a técnica de rastreamento ocular, adaptados de Sáiz, Zaparaín, Marticorena e Velasco (2019). ²⁰   Clique aqui para baixar esta Tabela.

Aplicação da metodologia de rastreamento ocular para o estudo do processo de aprendizagem
O uso dos avanços tecnológicos e das técnicas de análise de dados descritas acima^{de 5} adicionará maior precisão à análise comportamental dos alunos durante a resolução de problemas nas diferentes fases do processamento de informações (iniciação de tarefas, processamento de informações e resolução de tarefas). Tudo isso facilitará a análise comportamental individual, que, por sua vez, permitirá o agrupamento de alunos com características semelhantes²⁴. Da mesma forma, técnicas preditivas (árvores de decisão, técnicas de regressão, etc.) ²⁵ podem ser aplicados à aprendizagem, tanto relacionada ao número de fixações quanto aos resultados de resolução de tarefas de cada aluno. Essa funcionalidade é um avanço muito importante no conhecimento de como cada aluno aprende e na proposta de programas de aprendizagem personalizados dentro de diferentes grupos (pessoas com ou sem dificuldades de aprendizagem²⁶). Portanto, o uso dessa técnica contribuirá para a realização da personalização e otimização da aprendizagem²⁷. A aprendizagem ao longo da vida deve ser entendida como um ciclo de melhoria contínua, uma vez que o conhecimento da sociedade está constantemente avançando e progredindo. A psicologia evolutiva indica que as habilidades de resolução e a eficácia no processamento de informações diminuem com a idade. Especificamente, a frequência saccade, amplitude e velocidade dos movimentos oculares entre os adultos têm sido encontradas para diminuir com a idade. Além disso, na idade avançada, a atenção está voltada para as áreas mais baixas das cenas visuais, que estão relacionadas a déficits na memória de trabalho¹⁴. No entanto, a ativação aumenta nas áreas frontal e pré-frontal em uma idade mais avançada, o que parece compensar esses déficits na resolução de tarefas. Esse aspecto inclui o nível de conhecimento prévio e as estratégias de compensação cognitiva que o sujeito pode aplicar. Os participantes experientes aprendem de forma mais eficiente, pois gerenciam a atenção de forma mais eficaz, devido à aplicação de processos automatizados de supervisão²⁸. Além disso, se as informações a serem aprendidas forem transmitidas através de técnicas de SRL, as deficiências acima mencionadas serão atenuadas¹⁷. O uso de tais técnicas significa que os padrões de rastreamento visual são muito semelhantes, tanto em sujeitos sem conhecimento prévio quanto em sujeitos com conhecimento prévio⁷.

Em resumo, a análise dos dados multimodal-multicanais sobre o SRL obtidos com o uso de tecnologias avançadas de aprendizagem (rastreamento ocular) é fundamental para entender a interação entre processos cognitivos, metacognitivos e motivacionais, e seu impacto na aprendizagem²⁹. Os resultados e o estudo das diferenças na aprendizagem têm implicações para o design de materiais de aprendizagem e sistemas inteligentes de tutoria, ambos possibilitando uma aprendizagem personalizada que provavelmente será mais eficaz e satisfatória para o aluno³⁰.

Nesta pesquisa, foram feitas duas perguntas de investigação: (1) Haverá diferenças significativas nos resultados de aprendizagem e nos parâmetros de fixação ocular entre alunos e professores especialistas versus não especialistas em História da Arte diferenciando alunos com diplomas oficiais versus alunos com diplomas não oficiais (Universidade de Experiência - Educação de Adultos)? e (2) Os agrupamentos de cada participante com resultados de aprendizagem e parâmetros de fixação ocular coincidirão com o tipo de participantes (alunos com diplomas oficiais, estudantes com diplomas não oficiais (Universidade de Experiência - Educação de Adultos) e professores)?

Protocol

Este protocolo foi realizado em conformidade com as normas processuais do Comitê Bioético da Universidade de Burgos (Espanha) nº IR27/2019. Antes de sua participação, os participantes tinham tido plena consciência dos objetivos da pesquisa e todos tinham dado seu consentimento informado. Eles não receberam nenhuma compensação financeira por sua participação.

1. Recrutamento de participantes

1. Recrutar participantes de um grupo de adultos em dois ambientes (estudantes e professores), com uma faixa etária de 18 a 69 anos no ambiente de Ensino Superior (educação formal e não formal).
2. Inclua participantes com visão normal ou corrigida para a audição.
3. Excluem participantes com distúrbios neurológicos, psiquiátricos e do sono, deficiências relacionadas a necessidades especiais educacionais, dificuldades perceptivas (visão e audição prejudicadas) e deficiências cognitivas.
   NOTA: Neste estudo, trabalhamos com uma amostra de 40 participantes, 6 alunos da Universidade de Experiência (um participante foi excluído na categoria de alunos da universidade de experiência por dificuldades visuais), 25 professores universitários nas disciplinas de ciências da saúde, engenharia e história e patrimônio, e 9 alunos de graduação e mestrado que seguem cursos de ciências da saúde, engenharia e história e patrimônio. Os participantes não apresentavam problemas cognitivos, auditivos ou visuais, e todos tinham visão normal ou corrigida ao normal(Tabela 2). Por isso, um dos participantes foi eliminado antes de iniciar o experimento porque o nistagmo havia sido detectado nele e, portanto, a tarefa foi aplicada a uma amostra de 39 participantes. Os participantes não receberam nenhuma compensação financeira nem profissional; é por isso que a motivação dos participantes era alta, pois era apenas baseada em seu interesse em saber como esse método de rastreamento de olhos funciona durante um processo de aprendizagem relacionado ao patrimônio cultural, especificamente a origem dos mosteiros europeus.

Mesa 2. Características da amostra.  Clique aqui para baixar esta Tabela.

2. Procedimento Experimental

1. Sessão 1: Coleta de consentimento informado, dados pessoais e conhecimento de fundo
   1. Obter consentimento informado. Antes da prova, informe cada participante dos objetivos do estudo e da coleta, tratamento e armazenamento de seus dados. O acordo de cada participante é dado mediante a assinatura do termo de consentimento livre e esclarecido.
      NOTA: A participação neste estudo foi voluntária e não houve recompensa financeira. Esse aspecto garantiu que a conclusão das tarefas não tivesse motivação econômica. Antes de iniciar a tarefa, o entrevistador, especialista na área, preenche um questionário com perguntas sobre idade, sexo, ocupação e conhecimento prévio sobre o assunto, neste caso, a origem e o desenvolvimento histórico dos mosteiros na Europa (ver Tabela 3). Este estudo faz parte de um Projeto Europeu (2019-1-ES01-KA204-095615-Coordenador 6) sobre o aprendizado adulto sobre o Patrimônio Cultural da Humanidade ao longo da vida; é por isso que esse tipo de tarefa foi escolhida. Cada investigador escolherá o tema dependendo de seu campo de trabalho.

Mesa 3. Questionário de entrevista.  Clique aqui para baixar esta Tabela.

2. Sessão 2: Calibração
   1. Informe o participante sobre como funciona a tecnologia de rastreamento de olhos e como as informações serão coletadas e gravadas e calibradas: "Usaremos a tecnologia de rastreamento ocular para observar a conclusão da tarefa de aprendizagem sobre a origem e o desenvolvimento dos mosteiros europeus. O rastreamento ocular é uma tecnologia que permite que você siga seu olhar enquanto realiza a atividade e ela não tem efeitos colaterais, nem é invasiva, pois neste estudo apenas o rastreamento ocular é registrado".
   2. Explique ao participante que um teste válido requer um posicionamento adequado. Que o participante deve sentar a uma certa distância [45 a 60 cm] do monitor. A distância dependerá da altura do participante, quanto menor a altura, menor a distância.
   3. Informe ao participante que uma série de pontos aparecerá nos pontos cardeais da tela e que, como cada ponto aparece, o participante deve observá-lo com os olhos. O participante pode passar de um ponto para outro usando o cursor "enter". A fase de calibração tem duração de 10 a 15 minutos.
      NOTA: Um iViewer de rastreamento de olhos XTM, SMI Experimenter Center 3.0 e SMI Be Gaze e um monitor com resolução de 1680×1050 foram usados para o exercício de resolução de tarefas. Este equipamento registra movimentos oculares, suas coordenadas e diâmetros pupilares de cada olho. Neste estudo, foram aplicadas 60 Hz, foram utilizadas métricas de caminho de varredura e métricas dinâmicas de caminho de varredura e as estatísticas aoi.
   4. Verifique a configuração de calibração. O profissional que supervisiona o teste analisa a configuração de calibração na tela de controle.
      1. Execute a calibração através do sistema de calibração que está incluído no iViewer XTM de rastreamento ocular. Antes de iniciar esta tarefa, cada participante realiza um acompanhamento visual de quatro pontos em uma tela para os quatro cantos (para cima direito, para cima, para cima, para baixo, para a direita, para baixo à esquerda). Posteriormente, o software tem um processo de verificação de execução da posição correta desses estímulos e fornece informações sobre o ajuste do parâmetro em graus. Se este ajuste estiver situado entre 0,6º ± 1 no olho direito e esquerdo, considera-se que a calibração está correta, e a execução da tarefa começa. Um exemplo do processo pode ser verificado na Figura 1.
         NOTA: A conclusão correta da tarefa é considerada quando os graus no olho direito e esquerdo são definidos em 0,6º ± 1 desvio padrão. Neste estudo, foram detectadas duas calibrações entre o grupo de professores universitários que excedeu o critério de ajuste de 0,6º ± 1 e, portanto, foram removidas duas calibrações. Os 25 participantes da primeira amostra foram, portanto, reduzidos a 23 participantes.

Figura 1. Processo de calibração de rastreamento ocular Clique aqui para ver uma versão maior desta figura.

3. Sessão 3: Executando a tarefa de aprendizagem
   1. Explique o conteúdo da tarefa ao participante. Um especialista em psicologia instrucional explica ao participante qual será a tarefa e como realizá-la: "O vídeo tem 1:14 segundos de duração e consiste em 5 imagens de voz sobre. Ao final, o participante é convidado a completar um pequeno quebra-cabeça para verificar se as informações apresentadas no vídeo foram entendidas".
   2. Veja o vídeo. O vídeo usado na tarefa pode ser visualizado no seguinte link: https://youtu.be/HlGGgrYDTFs.
      NOTA: A tarefa consiste em assistir a um vídeo que oferece informações sobre as origens dos mosteiros europeus. A informação foi elaborada por um especialista, um professor de História da Arte. A informação é organizada em dois canais, um visual que inclui imagens e informações escritas apresentadas como contornos e outro áudio porque um professor especialista em SRL está falando ao longo do vídeo insistindo nos conteúdos mais significativos usando ênfase verbal.
   3. Executando as palavras cruzadas em uma plataforma virtual baseada em Moodle. Clicar no ícone das palavras cruzadas leva o participante a uma plataforma virtual onde as palavras cruzadas podem ser completadas, para verificar se o conhecimento foi adquirido. As palavras cruzadas são apresentadas na Figura 2.

Figura 2. Palavras cruzadas para verificar o conhecimento adquirido. Clique aqui para ver uma versão maior desta figura.

4. Sessão 4: Análise de dados
   1. Escolha as Áreas de Interesse (AOI). As AOIs são definidas no vídeo e são divididas em AOIs que contêm informações relevantes versus AOIs que incluem informações não relevantes.
      NOTA: A atribuição aoI é realizada pelo experimentador que decide quais são as AOIs relevantes ou irrelevantes em relação às informações apresentadas.
   2. Extrair o banco de dados relativo aos parâmetros para fixações AOI ("Tempo de teste de início de evento", "Tempo de teste de fim de evento" e "Duração do Evento"; "Posição de fixação X", "Posição de fixação Y", "Tamanho médio da pupila de fixação", "Fixação Tamanho médio da pupila Y px", "Diâmetro médio da pupila de fixação", "Dispersão de Fixação X" e "Dispersão de Fixação Y").
   3. Importe o banco de dados em um pacote de software de processamento estatístico e selecione a análise de opção e, em seguida, classifique,seguido pelo cluster de k-meansda opção . Em seguida, selecione a tabela cruzada no pacote de software estatístico, por exemplo SPSS, seguida pela opção 'ANOVA', para analisar as diferenças entre os participantes (tipo de grupos adultos e grau de conhecimento prévio) em relação aos parâmetros de fixação ao AOI³¹.
      NOTA: A análise de cluster ou cluster é uma técnica de aprendizagem de máquina 'não supervisionada', e, dentro de k-significa, é um método de agrupamento, o objetivo é dividir um conjunto de n observações em grupos K, em que cada observação pertence ao grupo com o valor médio mais próximo. Neste experimento, k-significa clustering foi usado para verificar os clusters dos participantes na tarefa de aprendizagem. Essa correspondência é importante, pois oferece ao professor ou terapeuta informações sobre o desenvolvimento funcional homogêneo dos usuários que vai além do diagnóstico, fornecendo informações para propor programas de intervenção semelhantes em algumas áreas de desenvolvimento funcional. Espera-se que essa opção facilite o uso pleno do serviço educacional ou terapêutico e seus recursos pessoais e materiais.
   4. Realize uma análise de visualização dos dados (análise descritiva e de cluster) que são processados, utilizando um software de visualização como o Orange³².
   5. Extrair os dados sobre os parâmetros de Estatísticas Detalhadas: Tempo de Moradia, Duração do Olhar, Duração do Desvio, Contagem de Olhares, Contagem de Fixação, Fixação Média e Duração e, em seguida, importar esse banco de dados em um pacote de software estatístico. Selecione a opção 'ANOVA' no pacote estatístico e, em seguida, realize uma análise de visualização dos dados que foram processados (meios). Use a planilha para gerar um gráfico de aranha e gráficos de barras específicos para os grupos de participantes.
5. Sessão 5: Propostas de aprendizagem personalizadas
   1. Realizar um programa de intervenção para melhorar os resultados de aprendizagem entre os participantes detectados na análise do cluster, devido aos seus escores mais baixos.
      NOTA: Um resumo das fases seguidas no Procedimento experimental é mostrado na Figura 3.

Figura 3. Fases do procedimento experimental. Clique aqui para ver uma versão maior desta figura.

Results

Os 36 participantes recrutados para o presente estudo foram de três grupos de adultos (estudantes da universidade de experiência, professores universitários e estudantes de graduação e mestrado) com idades que variam entre [18 e 69] anos(Tabela 2). O protocolo foi testado ao longo de 20 meses na Universidade de Burgos. Um esboço do desenvolvimento pode ser visto na Tabela 4.

Mesa 4. Esbo...

Discussion

Os resultados da pesquisa indicaram que a duração média de fixação dos estímulos relevantes foi maior entre os participantes com conhecimento prévio. Da mesma forma, o foco da atenção neste grupo está nos pontos médios da informação (proximal e distal)⁷. Os resultados deste estudo revelaram diferenças na forma como os participantes processaram as informações. Além disso, seu processamento nem sempre esteve ligado ao agrupamento inicial (Estudantes da Universidade de Experiência, Professores Univer...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI