Avaliação do Engajamento em Sala de Aula, Expressão Reflexiva e Intenção Prosocial de Estudantes Universitários Utilizando Observação Comportamental e Análise de Aprendizagem

Resumo

Este protocolo integra observação em sala de aula, escrita reflexiva, medição de intenções prosociais e análise de dados de aprendizagem para avaliar o engajamento comportamental, a expressão reflexiva e os resultados de aprendizagem orientados para o social de estudantes universitários ao longo de um período instrucional de 4 semanas. Ele especifica a aprovação ética, o conteúdo dos instrumentos, o fluxo de trabalho de software, o tratamento de dados ausentes, procedimentos de solução de problemas e a interpretação de resultados representativos, incluindo as restrições observadas na implementação.

Resumo

Para atender à necessidade de avaliações multidimensionais do envolvimento dos estudantes para além das métricas tradicionais, este protocolo descreve uma abordagem estruturada para avaliar o engajamento em sala de aula, a expressão reflexiva, a atividade de análise de aprendizagem e a intenção pró-social em cursos de graduação. O protocolo combina observação comportamental baseada em intervalos, escrita reflexiva estruturada semanal, registros anônimos de sistemas de gestão de aprendizagem e um questionário de intenção pró-social aplicado antes e depois. Os procedimentos revisados fornecem um modelo reprodutível de codificação comportamental, uma rubrica de expressão reflexiva com exemplos de pontuação, etapas de gerenciamento de software e dados e orientações explícitas para solução de problemas relacionados a desacordos entre observadores, registros da plataforma ausentes, baixas taxas de envio de reflexões, visibilidade insuficiente da câmera, desistência de participantes e conhecimentos prévios inconsistentes. Este protocolo deve ser utilizado quando os pesquisadores precisarem de uma forma de baixa intrusão e reprodutível de combinar comportamento em sala de aula em tempo real, autorrelato dos estudantes e atividades rotineiras no sistema de gestão de aprendizagem (LMS) durante o ensino de graduação. É menos adequado para cursos totalmente assíncronos sem interação observável, contextos que proíbem observação independente ou vinculação de registros, ou estudos que exijam inferência biométrica ou reconhecimento de emoções. Os resultados representativos são relatados a partir da aplicação empírica implementada após aprovação ética verificada, anonimização dos registros do curso e preparação do repositório.

Introdução

Avaliar a participação do estudante no ensino superior exige uma abordagem abrangente e com múltiplas fontes. Embora o engajamento do estudante seja amplamente conceituado como um constructo multidimensional que abrange comportamento observável, esforço cognitivo e interação com o ambiente, as abordagens analíticas atuais dependem predominantemente de dados superficiais de registro, como frequências de login e ações registradas pelo sistema¹. Essa dependência excessiva representa um desafio significativo para pesquisas práticas baseadas em sala de aula. As formas mais importantes de participação instrucional — interações diretas entre colegas, reflexão cognitiva e contribuições sociais — ocorrem frequentemente totalmente além do escopo limitado de visibilidade da plataforma².

A complexidade da sala de aula universitária moderna intensificou-se com a adoção de modelos pedagógicos híbridos, combinando plataformas digitais com a instrução tradicional presencial. Embora revisões sistemáticas de análises de aprendizagem confirmem que os rastros digitais oferecem informações valiosas sobre a alocação de tempo, padrões de acesso e taxas de retenção a longo prazo, essas métricas isoladamente não conseguem determinar se a atenção do aluno é genuinamente eficiente ou significativa³. Consequentemente, estudos recentes defendem a fundamentação das análises de aprendizagem em estruturas teóricas mais robustas, alinhando rastros digitais a medidas mais ricas e dependentes do contexto de participação, como o comportamento em sala de aula e atividades reflexivas⁴.

A escrita reflexiva confere uma dimensão qualitativa essencial a esta avaliação. Reflexões estruturadas após as aulas e diários registram as interpretações dos alunos sobre as atividades de aprendizagem, esclarecem desafios instrucionais e conectam conteúdos teóricos com ações práticas subsequentes. Evidências empíricas recentes conceituam a expressão reflexiva como um constructo integrado e multifacetado, composto por recordação descritiva, inferência analítica, representação autorreferencial e generalização de significados⁵. Além disso, pesquisas indicam que fornecer orientação reflexiva repetida aos alunos fortalece progressivamente sua capacidade de introspecção; à medida que aumenta a frequência da reflexão estruturada durante o curso, as habilidades exploratórias independentes dos alunos também melhoram simultaneamente⁶.

Uma segunda lacuna importante na pesquisa atual sobre engajamento é a marginalização frequente da socialização em sala de aula. Embora estudos existentes enfatizem fortemente o comportamento ou a cognição individuais, as salas de aula universitárias funcionam como ambientes de aprendizagem inerentemente sociais, nos quais os alunos se influenciam mutuamente por meio da colaboração e de interações recíprocas. Evidências recentes demonstram que o clima da sala de aula e as estruturas de participação estão fortemente correlacionados com comportamentos pró-sociais e uma mentalidade voltada para a contribuição—resultados que permanecem pouco investigados em comparação com métricas tradicionais de desempenho acadêmico ou satisfação do aluno. O comportamento pró-social em contextos acadêmicos não é meramente um subproduto de estados emocionais ou do estresse; ao contrário, está fundamentalmente relacionado à forma como os alunos se posicionam dentro de atividades coletivas de aprendizagem⁷. Portanto, mensurar a intenção pró-social constitui uma lente apropriada para determinar se o engajamento em sala de aula vai além da simples conclusão de tarefas isoladas, promovendo comportamentos cooperativos e encorajadores para além do ambiente instrucional imediato⁸.

Esses avanços conceituais destacam a necessidade de um quadro integrado de coleta de evidências implementado dentro de uma única janela instrucional. Um desenho com múltiplas fontes atenua as limitações do uso de uma única métrica, permitindo a validação cruzada entre diferentes modos de participação e revelando como os estudantes interpretam suas atividades pós-aula para promover a aprendizagem independente⁹. Embora avaliações reflexivas captem o estado cognitivo interno do aluno, ancorar esses relatos autorreferidos com traços comportamentais objetivos aumenta significativamente a interpretabilidade dos dados de aprendizagem. Atualmente, observa-se uma ausência notável de protocolos práticos, prontos para uso em sala de aula, que sintetizem de forma contínua observação comportamental sistemática, relatos reflexivos estruturados e análise de aprendizagem para implementação rotineira em universidades.

Para abordar essas deficiências metodológicas, este artigo apresenta um protocolo de avaliação projetado para medir simultaneamente o engajamento em sala de aula, a expressão reflexiva e a intenção pró-social de estudantes universitários. Desenvolvido especificamente para ambientes de graduação, o protocolo oferece uma metodologia simplificada que exige mínima carga administrativa sem comprometer a reprodutibilidade científica. Ao preencher a lacuna analítica entre comportamentos observáveis, experiências subjetivas articuladas e resultados de aprendizagem orientados socialmente, esta estrutura atende à crescente demanda por maior clareza conceitual nas pesquisas sobre interação humano-tecnologia em ambientes educacionais¹⁰.

Protocolo

Todos os métodos envolvendo participantes humanos foram realizados em conformidade com a Declaração de Helsinque e as diretrizes institucionais pertinentes. Para o estudo implementado, o protocolo foi aprovado pelo Comitê de Ética do Instituto de Tecnologia de Nanchang antes do início da recrutamento (número de aprovação: NITE778291). O consentimento informado por escrito foi obtido de todos os estudantes participantes. Apenas dados agregados e desidentificados de observação em sala de aula, escores de reflexão, análises de aprendizagem e questionários foram utilizados para análise; vídeos identificáveis de sala de aula, nomes, IDs institucionais e textos de reflexão não editados foram excluídos da divulgação pública.

1. Desenho do estudo e seleção dos participantes

1. Implemente o protocolo ao longo de quatro períodos letivos consecutivos para cada turma selecionada. Registre rótulos de curso sem identificação, formato instrucional, tamanho da turma, experiência do instrutor com o curso e se cada turma inclui instrução coletiva, trabalho em grupo ou prática individual. Pretenda uma matrícula inicial de aproximadamente 180 a 210 estudantes universitários com 18 anos ou mais, ou adapte a meta de tamanho da amostra ao contexto do curso.
2. Garanta que todos os participantes tenham uma conta institucional ativa na plataforma do curso, que compareçam às aulas observadas e que tenham recebido as orientações prévias normalmente fornecidas à turma. Quando o conhecimento prévio variar substancialmente, forneça um breve material de apoio, uma lista de recursos pré-aula ou uma revisão conduzida pelo instrutor antes do período de observação, registrando o suporte oferecido como metadados contextuais.
3. Obtenha consentimento informado por escrito de todos os estudantes após fornecer um informativo escrito completo. Declare claramente no formulário de consentimento que o estudo vincula observação do comportamento em sala de aula, escrita reflexiva semanal e registros anônimos da plataforma de aprendizagem.
4. Inclua apenas estudantes que deram consentimento no conjunto de dados da pesquisa. Garanta que a recusa em participar não afete frequência, notas, acesso ao curso ou comunicação com o instrutor.
   1. Explique os usos permitidos e proibidos de ferramentas de inteligência artificial (IA) antes da primeira tarefa reflexiva.
      NOTA: Ferramentas de IA podem ser usadas somente quando permitidas pela política do curso e apenas para apoio geral aos estudos; as submissões reflexivas e as respostas sobre intenções pró-sociais devem descrever a experiência própria do estudante e devem declarar qualquer assistência por IA.
   2. Se o instrutor permitir o uso de IA para suprir conhecimentos prévios, forneça os mesmos prompts ou recursos aprovados a todos os estudantes e registre esse suporte como uma adaptação do protocolo. Não utilize resumos gerados por IA como evidência principal da reflexão do estudante, a menos que o estudo de validação avalie explicitamente respostas assistidas por IA.
5. Exclua estudantes antes da análise se recusarem o consentimento, desistirem do curso durante o período do protocolo ou não tiverem dados correspondentes nas registros de observação, reflexão e análises. Utilize um delineamento com medidas repetidas para coletar dados consistentes das três fontes distintas ao longo de um período de 4 semanas².

2. Aquisição de dados de linha de base e gerenciamento de identidade

1. Designe um único administrador de dados para atribuir um ID de estudo alfanumérico de oito caracteres a cada participante que consentiu, por meio de um processo pseudoaleatório.
2. Crie um arquivo de vinculação entre identidade e ID de estudo contendo nomes dos estudantes, IDs institucionais, turmas e números de estudo. Armazene este arquivo com segurança e separadamente dos arquivos analíticos, garantindo que ele permaneça completamente inacessível a observadores, codificadores de reflexão e pesquisadores.
3. Destrói ou arquive esse arquivo de vinculação após a verificação final dos dados, conforme a política institucional aprovada de retenção de dados, mantendo conformidade com as práticas atuais de análise de aprendizagem no ensino superior relativas à vinculação restrita e desidentificação¹.
4. Colete dados demográficos iniciais sobre idade, gênero, ano acadêmico e área de formação dos participantes durante a semana inicial anterior à primeira aula observada.
5. Utilize o questionário estruturado de intenção pró-social de seis itens no Arquivo Suplementar 1 como instrumento de linha de base antes da primeira aula observada. Aplique-o eletronicamente por meio do sistema de gestão de aprendizagem (LMS) ou em papel, usando apenas o ID de Estudo atribuído. Os estudantes avaliam cada item em uma escala de 5 pontos, variando de 1 = discordo totalmente a 5 = concordo totalmente; calcule a pontuação inicial como a média dos itens respondidos quando pelo menos cinco dos seis itens forem preenchidos.
6. Exporte todos os textos reflexivos coletados posteriormente sem nomes, endereços de e-mail ou outros identificadores pessoais para garantir anonimato completo antes do início do processo de codificação qualitativa.

3. Preparação para observação em sala de aula

1. Agende observações para cada turma uma vez por semana durante 4 semanas consecutivas. Para uma aula padrão de 90 minutos, defina uma janela observada de 70 minutos, excluindo os primeiros 10 minutos e os últimos 10 minutos da codificação⁵.
2. Inicie a codificação no 10^º minuto e encerre no 80^º minuto de uma aula padrão de 90 minutos. Esses períodos de espera não fazem parte da janela de observação de 70 minutos; portanto, uma aula padrão fornece 70 minutos de observação codificada, e não uma sessão de 30 minutos.
3. Exclua qualquer bloco instrucional interrompido da avaliação final se a aula sofrer uma interrupção com duração superior a 5 minutos devido a alarmes, mudanças de sala ou falhas na plataforma.
4. Trate o engajamento em sala de aula como uma composição observável de múltiplos comportamentos, registrando simultaneamente diversos indicadores comportamentais em cada ponto de medição¹¹. Os indicadores incluem atenção na tarefa, participação verbal, colaboração entre colegas, anotações ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e comportamento de busca de ajuda.
5. Organize a disposição dos assentos em sala de aula por grupos antes da primeira observação e mantenha rigorosamente essa configuração durante todo o período de 4 semanas.
6. Posicione dois observadores treinados em locais fixos com visão completa da sala para codificar de forma independente. Se a filmagem institucional for permitida e os participantes consentirem, instale duas câmeras fixas nas áreas traseiras central e lateral e sincronize-as antes da sessão.
7. Utilize as gravações de câmera apenas para treinamento dos observadores, verificação de confiabilidade e resolução de problemas de visibilidade; não use gravações em vídeo como fonte primária de codificação e não realize análises de emoções faciais, emoções vocais, biométricas ou de reconhecimento de identidade.

Codificação comportamental baseada em intervalos

1. Divida a janela de observação de 70 minutos em intervalos consecutivos compostos por uma varredura visual de 20 s seguida por um período de registro de 10 s. Se uma aula em grande auditório, laboratório ou online exigir um comprimento de intervalo diferente, informe a estrutura de intervalo adaptada e justifique-a antes do início da coleta de dados.
   NOTA: Esta estrutura de 20 s/10 s equilibra a observação ecológica em sala de aula com a carga de trabalho do codificador: o período de varredura é longo o suficiente para detectar atenção sustentada, colaboração e comportamento fora da tarefa, enquanto o período de registro reduz a carga de memória e favorece decisões binárias consistentes.
2. Varra continuamente, em ciclo, um grupo claramente definido de até dez alunos por intervalo, com base no arranjo de assentos.
3. Utilize critérios específicos de varredura para evitar inconsistências entre codificadores causadas por definições operacionais vagas⁴. Codifique seis indicadores binários em nível discente durante cada varredura. Eles incluem atenção na tarefa, participação verbal, colaboração entre colegas, anotação de notas ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e comportamento de busca de ajuda.
4. Marque um indicador como "1" se o comportamento designado ocorrer em qualquer momento durante a varredura de 20 s. Caso contrário, marque-o como "0". Codifique o intervalo como ausente se um aluno não estiver visível por pelo menos 10 s da varredura.
5. Registre atenção na tarefa quando um aluno se orientar visualmente para o instrutor, tarefas designadas, informações apresentadas ou colegas envolvidos em discussões sobre a tarefa por pelo menos 5 s consecutivos. Codifique participação verbal para qualquer contribuição audível e relacionada à tarefa.
6. Codifique colaboração entre colegas quando os alunos participarem de trocas visíveis baseadas na tarefa, resolução conjunta de problemas ou explicações mútuas. Registre anotação de notas voltadas para a tarefa ou uso de dispositivos durante escrita ativa, digitação ou interação digital com os materiais do curso.
7. Marque distração fora da tarefa se um aluno se envolver em conversas não relacionadas, uso não acadêmico de dispositivos ou desengajamento sustentado por pelo menos 5 s consecutivos. Registre busca de ajuda quando um aluno solicitar explicitamente esclarecimentos ou assistência ao instrutor ou colegas.
8. Calcule a pontuação comportamental semanal de cada aluno como o número total de julgamentos positivos dividido pelo número de avaliações válidas. Calcule posteriormente as médias de 4 semanas para os seis indicadores.
9. Calcule um Índice Combinado de Engajamento em Sala de Aula Observado (OCEI) para o aluno i na semana w utilizando o modelo matemático previamente especificado: OCEI_iw = [Atenção na tarefa_iw + Participação verbal_iw + Colaboração entre colegas_iw + Anotação de notas/uso de dispositivos voltados para a tarefa_iw + (1 - Distração fora da tarefa_iw)]/5.
10. Mantenha a busca de ajuda como uma variável analítica independente, pois pode representar tanto esclarecimento construtivo quanto dificuldade com o conteúdo instrucional, dependendo do contexto¹². Consulte Figura 1 para o fluxo do estudo e Tabela 1 para os índices de observação e regras de codificação.

5. Treinamento do observador e avaliação da confiabilidade

1. Realize o treinamento do observador utilizando uma sessão de treinamento manual de 60 minutos e execute três rodadas de calibração antes do programa formal.
2. Realize a primeira rodada de calibração por meio da codificação guiada de um vídeo de sala de aula que não pertença ao estudo. Complete as duas rodadas subsequentes como codificações independentes de vídeos diferentes que não pertençam ao estudo, seguidas por comparações estatísticas diretas com o codificador sênior.
3. Inicie a coleta formal de dados somente quando o Kappa de Cohen atingir ou ultrapassar 0,75 e o acordo total entre avaliadores superar 85%.
4. Implemente verificação de deriva duplo-cega em 10% das sessões completas e em um segmento aleatorizado de 10 minutos das sessões restantes ao longo do protocolo de 4 semanas.
5. Recalibre a equipe de codificação em até 72 horas e reverifique as sessões afetadas antes do bloqueio dos dados se o valor de Kappa cair abaixo de 0,70 para qualquer indicador. Forneça continuamente feedback e organize exercícios de calibração para manter a estabilidade da avaliação ao longo do tempo¹³.

6. Coleta e avaliação da expressão reflexiva

1. Instrua os estudantes a submeterem um texto reflexivo estruturado (100–350 palavras) para cada aula observada, gerando 4 entradas por participante ao longo do protocolo de 4 semanas.
2. Libere os estímulos reflexivos por meio do LMS ou de um formulário impresso dentro de 2 h após a aula observada, e encerre o período de submissão 72 h depois. O formulário deve exibir o campo ID do Estudo e os três estímulos a seguir, na mesma ordem, para todos os estudantes:
   1. Identifique os momentos em que se sentiram mais e menos envolvidos durante a aula.
   2. Explique as causas contextuais, incluindo dificuldade da tarefa, conhecimentos prévios, interação em grupo, explicação do instrutor ou uso da plataforma.
   3. Descreva como sua participação influenciou o clima em sala de aula e quais ações futuras pretendem adotar.
      NOTA: Mantenha entradas com menos de 100 palavras, mas marque-as no banco de dados como de baixa informação. Também marque entradas que omitam o estímulo sobre envolvimento, causa contextual ou ação futura/impacto social, pois essas omissões afetam a pontuação da qualidade reflexiva e o relato de viabilidade.
3. Atribua dois codificadores cegos para avaliar as submissões quanto à especificidade descritiva, profundidade analítica, orientação autorregulatória e significado social pró-social.
   1. Avalie cada dimensão usando uma escala de 4 pontos, em que 0 indica ausência, 1 indica evidência fraca ou vaga, 2 indica evidência clara, mas limitada, e 3 indica evidência forte e bem desenvolvida. Por exemplo, a profundidade analítica é pontuada como 0 quando nenhuma razão é fornecida, 1 quando o estudante afirma apenas que a atividade foi difícil, 2 quando o estudante relaciona a dificuldade a um conceito específico ou condição em sala de aula, e 3 quando o estudante explica a interação entre conhecimento prévio, discussão entre pares, feedback do instrutor e uma estratégia de aprendizagem planejada. Tabela 2 e Arquivo Suplementar 1 fornecem exemplos de níveis de pontuação para as quatro dimensões reflexivas.
4. Inicie a avaliação formal somente após alcançar um coeficiente de correlação intraclasse de 0,80 ou superior para cada dimensão nos textos piloto¹⁴.
5. Realize a pontuação dupla aleatória de 15% das reflexões do estudo durante o protocolo para controlar desvios dos avaliadores. Avalie os escritos reflexivos com base nessas métricas qualitativas multidimensionais, em vez de depender exclusivamente do comprimento do texto ou da frequência de palavras.
6. Elabore ou adapte a matriz de avaliação da expressão reflexiva mediante revisão por especialistas, com pelo menos dois pesquisadores em educação e um instrutor do curso. Aplique a matriz em 20 a 30 reflexões não pertencentes ao estudo, revise descritores ambíguos e documente a versão final da matriz antes do início da codificação formal.
7. Aplicar o questionário de intenção pró-social apresentado no Arquivo Suplementar 1. Peça aos estudantes que avaliem sua disposição para ajudar colegas com dificuldades, compartilhar recursos de aprendizagem, contribuir construtivamente nas discussões, encorajar colegas, agir com justiça em tarefas em grupo e melhorar o clima de aprendizagem em sala de aula. Utilize uma escala de 5 pontos variando de 1 (discordo totalmente) a 5 (concordo totalmente). Calcule a pontuação média quando pelo menos cinco dos seis itens forem respondidos e informe o alfa de Cronbach nas aplicações basal e pós-protocolo.

7. Extração de análises de aprendizagem

1. Designe um administrador externo para extrair os dados de análise de aprendizagem após a Semana 4 para evitar qualquer contaminação dos processos de observação e reflexão.
2. Defina a janela de extração das 00:00 do dia da primeira aula observada até as 23:59 do dia final da janela de reflexão.
3. Extraia apenas as variáveis previamente especificadas necessárias para o protocolo. Registre o número de dias ativos na plataforma, visualizações distintas de recursos, a proporção de recursos atribuídos abertos, a quantidade de respostas postadas nos fóruns de discussão, a taxa média de conclusão de vídeos e a pontualidade nas entregas de tarefas.
4. Limpe as exportações brutas removendo contas pertencentes a instrutores e monitores, registros duplicados, eventos de teste e pontos de dados fora do período designado.
5. Considere um dia ativo como qualquer data do calendário que contenha pelo menos um acesso autenticado ao curso seguido por uma interação significativa, como abrir arquivos, assistir a vídeos ou postar respostas.
6. Conte aberturas únicas de recursos ignorando eventos duplicados de atualização ocorridos dentro de um intervalo de 60 s. Determine a taxa de conclusão de vídeo truncando a fração assistida em relação ao tempo programado às 01:00, depois calcule a média entre todos os itens de mídia atribuídos.
7. Calcule a pontualidade nas entregas com base na proporção de tarefas submetidas antes dos prazos estabelecidos. Calcule a proporção de acessos noturnos como a razão entre eventos significativos ocorridos entre 00:00 e 06:00 e o total de atividades significativas dentro do período de observação. Baseie-se nessas métricas vinculadas ao tempo e à contribuição para fornecer informações mais ricas do que a simples acumulação de registros¹⁵.
8. Utilize um fluxo de trabalho pré-especificado de gerenciamento de dados para a exportação bruta do sistema de gestão de aprendizagem. Salve a exportação original como um arquivo somente leitura, crie uma cópia de trabalho sem identificação, remova as contas de instrutores e monitores, elimine eventos duplicados ou de teste e mantenha um registro de processamento com contagem de linhas após cada etapa de limpeza.
9. Realize a limpeza dos dados em uma planilha ou posteriormente e a análise estatística no R versão 4.4.0 ou posterior, ou software equivalente.
   1. Em uma planilha, siga os passos descritos em 7.9.1.1–7.9.1.2.
      1. Importe os arquivos CSV sem identificação usando Dados > Obter Dados > De Texto/CSV e use Dados > Remover Duplicatas para eliminar linhas duplicadas de ID do Estudo/data-hora/evento.
      2. Aplicar Filtro para excluir contas de instrutores ou monitores e registros fora da janela, e salve um registro de processamento com contagem de linhas após cada etapa.
   2. No R, siga os passos descritos em 7.9.2.1–7.9.2.3.
      1. Importe arquivos com readr::read_csv(), reestruture registros semanais com dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() e tidyr::pivot_wider().
      2. Calcule o kappa de Cohen com irr::kappa2(), os ICCs com psych::ICC() e o alfa de Cronbach com psych::alpha().
      3. Ajuste modelos lineares com ajuste por turma usando stats::lm(); use lme4::lmer() quando for necessário um intercepto aleatório pré-especificado por turma e use lme4::glmer(family = binomial) apenas para resultados binários. Arquive o script exato e as versões dos pacotes junto com os materiais de submissão.
10. Utilize a seguinte sequência de análise reprodutível.
    1. Calcule as proporções de observação por aluno-semana, compute o OCEI usando a fórmula no passo 4.9 e una as pontuações de reflexão semanais por ID do Estudo e semana.
    2. Agregue as variáveis de análise de aprendizagem ao longo da mesma janela de 4 semanas, inspecione a ausência de dados por fonte, calcule estatísticas descritivas e estimativas de confiabilidade e ajuste os modelos de associação pré-especificados.
    3. Não adicione preditores não planejados após a inspeção dos resultados, a menos que sejam rotulados como exploratórios.
11. (Opcional) Para transparência, deposite um script de análise sem identificação, livro de códigos, formulários de codificação em branco, estímulos para reflexão, rubrica de reflexão e questionário pró-social em um repositório público ou materiais suplementares. Não deposite vídeos brutos identificáveis da sala de aula, nomes, IDs institucionais ou textos de reflexão não editados.

8. Medição pós-protocolo e integração do conjunto de dados

1. Administre o instrumento de intenção pró-social uma segunda vez imediatamente após a conclusão da janela final de reflexão.
2. Solicite aos estudantes que avaliem sua disposição para ajudar colegas, compartilhar recursos, contribuir de forma construtiva para discussões, encorajar pares, agir com justiça e melhorar o clima de aprendizagem em uma escala que varia de 1 (discordo totalmente) a 5 (concordo totalmente). Calcule a pontuação total pós-protocolo de cada indivíduo fazendo a média das respostas, desde que tenham respondido pelo menos cinco dos seis itens.
3. Combine os arquivos de observação, as pontuações de reflexão e os registros de análise de aprendizagem usando o ID do Estudo anonimizado. Construa dois conjuntos finais de dados a partir dessa combinação para criar um arquivo mestre por participante e um arquivo no formato longo por semana.
4. Não impute intervalos de observação ausentes causados pela invisibilidade do estudante, nem reflexões semanais ausentes devido à não entrega. Marque reflexões parcialmente concluídas, variáveis de análise de aprendizagem incompletas, reflexões com baixo conteúdo informativo e IDs do Estudo não correspondentes antes da análise.
5. Utilize análise de casos completos para modelos de associação pré-especificados, informe o número de casos excluídos para cada modelo e realize uma verificação de sensibilidade comparando estudantes incluídos e excluídos nas variáveis basais disponíveis.
6. Mantenha a intenção pró-social como medida primária de desfecho para refletir as atitudes solidárias e colaborativas que sustentam as mudanças estruturais na participação de estudantes universitários.

9. Solução de problemas e adaptações do protocolo

1. Se dois observadores discordarem em mais de um padrão de categoria binária ao longo do mesmo agrupamento de alunos ou se o kappa de Cohen for inferior a 0,70 para qualquer indicador, suspenda a pontuação formal para a sessão afetada, revise as definições operacionais, realize um segmento de recodificação de 10 minutos e recodifique o intervalo afetado antes do bloqueio dos dados.
2. Se as exportações da plataforma estiverem incompletas, documente o campo ausente, solicite uma segunda exportação ao administrador externo e mantenha o aluno nos resumos de observação/reflexão, excluindo a variável analítica indisponível dos modelos que exigem esse campo.
3. Se menos de 80% das reflexões esperadas forem enviadas dentro de 48 horas após a abertura da tarefa, envie um lembrete neutro para toda a turma, estenda o suporte técnico para problemas de acesso e informe separadamente as contagens finais de envios no prazo, atrasados e ausentes.
4. Se mais de 10% dos alunos em um agrupamento não estiverem visíveis por pelo menos metade do período de observação, codifique os intervalos afetados como ausentes e baseie-se nos registros do observador presencial em vez de tentar inferir comportamentos a partir de vídeos obstruídos.
5. Se um aluno desistir, recusar participação adicional ou não tiver dados vinculáveis entre as fontes, remova esse aluno dos modelos de associação vinculada, mas mantenha as contagens agregadas de viabilidade do protocolo quando permitido pela aprovação ética.
6. Se vários alunos indicarem que uma seção é difícil de compreender, o instrutor deve fornecer a resposta pedagógica habitual, como uma breve reexplicação, exemplo resolvido, discussão entre pares ou recurso complementar. Registre isso como um evento contextual, pois pode influenciar a busca de ajuda, a profundidade da reflexão e a atividade na plataforma.
7. Adapte o tamanho do agrupamento de alunos, a duração do intervalo, os estímulos para reflexão e as variáveis analíticas ao formato instrucional, mas mantenha a mesma lógica de indicadores comportamentais pré-definidos, registros sem identificação, codificação independente e regras transparentes para dados ausentes.
8. Considere baixa confiabilidade, alta taxa de dados ausentes, profundidade limitada de reflexão, mudanças prosociais fracas e fraca concordância entre as fontes de dados como resultados informativos da implementação, e não como falhas do protocolo. Relate esses resultados e explique se eles refletem o contexto da sala de aula, limitações do instrumento ou problemas na coleta de dados.

Resultados

Inclusão dos participantes, integridade dos dados e confiabilidade dos escores
Um grupo inicial de 204 estudantes de todas as turmas foi convidado a participar, resultando em 198 indivíduos que consentiram. Quatorze casos foram posteriormente excluídos devido à desistência do curso durante o período do protocolo ou à falta de vinculação completa dos dados entre os registros de observação, reflexão e plataforma. Consequentemente, a amostra analítica final compreendeu 184 estudantes. As características...

Discussão

Este estudo propõe um protocolo prático que integra observação comportamental, escrita reflexiva e análise de dados de aprendizagem para investigar de forma abrangente a participação, a autoexpressão e a consciência pró-social de estudantes universitários dentro de uma única janela instrucional. Ao capturar diferentes dimensões do engajamento, essa abordagem tri-modal responde a críticas recentes na pesquisa do ensino superior, que argumentam que métricas de tempo de uso e monitoramento baseado em sensores são insuficien...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Folha de codificação para observação em sala de aula	Desenvolvido internamente	Seis indicadores comportamentais binários	Codificação baseada em intervalos de atenção na tarefa, participação verbal, colaboração entre colegas, anotações ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e busca de ajuda.
GraphPad Prism	Graphpad	Versão 10.2.3	Geração de diagramas de fluxo de trabalho, gráficos de tendências semanais, gráficos de distribuição e figuras de associação.
Sistema institucional de gestão de aprendizagem / plataforma do curso	Universidade anfitriã	Sistema de contas existente do LMS institucional	Coleta de analíticos de aprendizagem com identificação removida.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Geração de diagramas de fluxo de trabalho, gráficos de tendências semanais, gráficos de distribuição e figuras de associação.
R	Fundação R		ggplot2 3.5.1
Software de planilha eletrônica	Microsoft Corporation	Microsoft Excel 365 v2402	Entrada de dados, limpeza, verificações de desidentificação e combinação de conjuntos de dados de observação/reflexão/analíticos.
SPSS Statistics	IBM Corp	Versão 26.0	Software de análise estatística; estatísticas descritivas, comparações com medidas repetidas, kappa de Cohen, ICC, alfa de Cronbach, correlações e modelos de regressão.