Um Fluxo de Trabalho Reproduzível de Pontuação de Pesquisas e Árvore de Decisão C5.0 para Classificar o Pensamento de Ordem Superior Auto-Relatado em Aprendizagem Suportada por IA Generativa

Resumo

Esse protocolo apresenta um fluxo de trabalho reproduzível para coletar dados de pesquisas de auto-relato, pontuar variáveis relacionadas ao aprendiz, dicotomizar pontuações de pensamento de ordem superior e aplicar uma árvore de decisão C5.0 para demonstrar a classificação interpretável do aprendiz em aprendizagem acadêmica suportada por inteligência artificial generativa.

Resumo

A inteligência artificial generativa é cada vez mais usada no ensino superior, mas os pesquisadores ainda precisam de procedimentos transparentes para coletar, pontuar e organizar dados de pesquisas em nível de aluno nesse contexto em rápida mudança. Este artigo apresenta um fluxo de trabalho reprodutível de pontuação de pesquisa e árvore de decisão C5.0 para classificar pensamentos de ordem superior autorrelatados entre estudantes universitários que utilizaram ferramentas de inteligência artificial generativa para aprendizagem acadêmica. O protocolo abrange recrutamento de participantes, administração de questionários, triagem de qualidade de resposta, cálculo de pontuação composta, codificação binária, particionamento de testes de treinamento, construção de árvores C5.0, poda, exportação de resultados do modelo e interpretação de caminhos de classificação baseados em nós. O fluxo de trabalho é demonstrado usando um conjunto de dados de pesquisa de uma única universidade com 776 estudantes de graduação coletados na China entre 7 e 15 de março de 2023. O pensamento de ordem superior é operacionalizado como uma pontuação de questionário autorrelatada, em vez de apenas como desempenho cognitivo diretamente observado. No conjunto de dados de demonstração, a árvore podada manteve oito variáveis relacionadas ao aprendiz: ansiedade em inteligência artificial generativa, confiança em inteligência artificial generativa, uso problemático de smartphones, procrastinação acadêmica, desempenho acadêmico, criação dos pais, emoções negativas e atitudes em relação à inteligência artificial generativa. O modelo retido alcançou 89,52% de precisão no subconjunto de treinamento e 86,21% no subconjunto de teste. No entanto, a avaliação específica da classe mostrou desempenho desigual, com recall substancialmente mais fraco para a classe Low-HOT do que para a classe High-HOT. Portanto, a árvore deve ser interpretada como uma demonstração auxiliar e interpretável do fluxo de trabalho, em vez de uma ferramenta de triagem validada. Este protocolo pode apoiar pesquisadores que necessitem de um procedimento documentado e repetível para perfilamento de aprendizes baseado em pesquisa em ambientes de aprendizagem suportados por inteligência artificial generativa.

Introdução

O pensamento de ordem superior é uma preocupação central no ensino superior porque espera-se que o aprendizado universitário vá além da recordação de conhecimento factual, rumo à análise, avaliação, reflexão, resolução de problemas e criação^{de conhecimento.} Revisões posteriores da taxonomia de Bloom esclareceram ainda mais que o aprendizado avançado envolve não apenas lembrar e compreender, mas também aplicar, analisar, avaliar e criar conhecimento em contextos cada vez mais^{complexos 2}. Essa distinção é importante para o protocolo atual porque o pensamento de ordem superior não é tratado como uma simples pontuação de desempenho, mas como um construto de nível de aprendiz que requer uma operacionalização cuidadosa antes de poder ser analisado. Na pesquisa educacional, o pensamento de ordem superior também tem sido associado ao raciocínio crítico, monitoramento metacognitivo e à transferência de aprendizagem entre contextos de problemas³. Para a aprendizagem apoiada por tecnologia, essa questão se torna especialmente importante porque os alunos frequentemente precisam conectar conceitos, avaliar informações geradas e tomar decisões durante atividades de resolução de problemas, em vez de simplesmente receber conteúdo^{instrucional 4}.

A rápida disseminação da inteligência artificial generativa tornou a medição do pensamento de ordem superior mais complicada. Ferramentas de inteligência artificial generativa podem produzir texto, código, imagens, explicações, resumos e outras formas de suporte acadêmico a partir de padrões aprendidos em grandes conjuntos^{de dados 5}. Grandes modelos de linguagem, incluindo o ChatGPT, tornaram-se especialmente visíveis no ensino superior durante o período inicial de adoção pública no final de 2022 e início de 2023⁶. Em ambientes acadêmicos, os estudantes podem usar essas ferramentas para busca de informações, explicação de conceitos, desenvolvimento de esboços, geração de ideias, revisão de tarefas, suporte à tradução e outras atividades relacionadas ao curso. Esses usos podem reduzir a carga de trabalho rotineira, mas também podem mudar a forma como os alunos alocam a atenção, avaliam a qualidade da informação e regulam seu próprio esforço cognitivo. Por essa razão, pesquisas sobre aprendizagem suportada por inteligência artificial generativa exigem procedimentos que documentem claramente como variáveis em nível de aprendiz são coletadas, pontuadas, codificadas e interpretadas.

Trabalhos anteriores sobre aprendizagem digital e híbrida mostraram que a tecnologia pode apoiar o pensamento de ordem superior quando os alunos permanecem ativamente engajados com tarefas de aprendizagem, em vez de usar o ambiente de forma^{passiva 7}. Estudos de aprendizagem móvel e aprimorada por tecnologia também sugeriram que a interação entre pares, a percepção da aprendizagem e o engajamento ativo são relevantes para as tendências de pensamento de ordem superior dos^{alunos 8}. Abordagens de mineração de dados também foram usadas para explorar como os comportamentos de aprendizagem online estão associados a habilidades de pensamento de ordem superior, mostrando o valor de organizar dados educacionais em padrões interpretáveis para o^{aprendiz 9}. Uma parte substancial da pesquisa sobre uso de tecnologia foi informada pelo Modelo de Aceitação da Tecnologia, que explica o comportamento de uso por meio da utilidade percebida e da facilidade de uso^{percebida 10}. No entanto, a aprendizagem suportada por inteligência artificial generativa difere dos contextos digitais anteriores porque os alunos interagem com sistemas que geram respostas abertas, moldam confiança e podem estimular ou reduzir o engajamento crítico. Portanto, um protocolo para esse tema deve não apenas registrar se os alunos aceitam a tecnologia, mas também documentar como indicadores emocionais, comportamentais, acadêmicos e contextuais são preparados para análise.

Várias variáveis relacionadas ao aprendiz são especialmente relevantes nesse contexto. A confiança na inteligência artificial pode influenciar se os alunos dependem dos resultados gerados, questionam-nos ou os integram ao trabalho acadêmico com cautela¹¹. A ansiedade em relação à tecnologia ou inteligência artificial também pode ser relevante, embora não deva ser interpretada em uma única direção sem cautela empírica¹². O uso problemático de smartphones é outro indicador comportamental relevante porque a atenção fragmentada e a distração relacionada ao dispositivo podem interferir no engajamento cognitivo sustentado durante o^{estudo 13}. Pesquisas de aprendizagem mais gerais sugerem ainda que estratégias de aprendizagem autorreguladas estão associadas ao desempenho acadêmico em ambientes online e apoiados por tecnologia¹⁴. Pesquisas baseadas em investigação e aprendizagem cooperativa também indicam que a aprendizagem significativa depende de como os alunos participam das tarefas de aprendizagem, organizam evidências e constroem^{explicações 15}. Essas considerações apoiam o uso de um fluxo de trabalho de pesquisa multivariável, em vez de uma medida restrita de exposição à inteligência artificial generativa sozinha.

A Teoria da Carga Cognitiva oferece uma justificativa adicional para documentar indicadores emocionais e comportamentais no mesmo fluxo de trabalho. Como a memória de trabalho é limitada, informações excessivas ou mal organizadas podem interferir na aprendizagem e na resolução^{de problemas 16}. Na aprendizagem suportada por inteligência artificial generativa, esse problema se torna visível quando os alunos encontram uma produção gerada abundante, explicações inconsistentes, sugestões irrelevantes ou fontes de informação concorrentes. A atividade emocional também demonstrou estar relacionada à carga cognitiva durante o aprendizado multimídia, sugerindo que estados afetivos podem moldar como os aprendizes processam informações em ambientes ricos em tecnologia¹⁷. Ao mesmo tempo, discussões atuais sobre inteligência artificial geral e educação futura enfatizaram que a inteligência artificial pode remodelar as práticas de aprendizagem mais rapidamente do que os sistemas instrucionais tradicionais conseguem se^adaptar. Essas condições tornam necessário usar um método que registre não apenas atitudes tecnológicas, mas também condições emocionais, autorregulação, formação acadêmica e variáveis contextuais. No fluxo de trabalho atual, essas variáveis são tratadas como indicadores de pesquisa de autorrelato, não como traços comportamentais ou mecanismos causais diretamente observados.

Uma dificuldade metodológica é que os perfis dos aprendizes raramente são formados por uma única variável. Os dados de pesquisas educacionais frequentemente contêm combinações em camadas de indicadores emocionais, comportamentais, acadêmicos, contextuais e relacionados à tecnologia. Modelos convencionais de regressão são úteis para estimar associações líquidas, mas são menos intuitivos quando o objetivo é exibir ramificação condicional, diferenciação de subgrupos e classificação baseada em regras. A análise de árvore de decisão oferece uma abordagem complementar porque divide recursivamente os casos em ramos interpretáveis e torna a sequência de classificação visível por meio de estruturas de nós¹⁹. Comparado a modelos de aprendizado de máquina mais complexos, uma única árvore de decisão é mais fácil de inspecionar, explicar e exportar como parte de um fluxo de trabalho reproduzível. Comparado à modelagem linear padrão, ela pode mostrar como combinações de indicadores do aprendiz formam caminhos práticos de classificação em dados^{educacionais 20}. No entanto, uma única árvore também é sensível ao desequilíbrio de classes, decisões de particionamento, configurações de poda e características da amostra. Por essa razão, a árvore de decisão neste protocolo é usada como uma etapa auxiliar de classificação interpretável, não como um motor universal de previsão ou um modelo^{causal 21}.

Este artigo apresenta um fluxo de trabalho reprodutível de pontuação de pesquisas e árvore de decisão C5.0 para classificar o pensamento de ordem superior autorrelatado em aprendizagem acadêmica suportada por inteligência artificial generativa. O fluxo de trabalho é demonstrado com um único conjunto de dados de pesquisa universitária com 776 estudantes de graduação coletados na China entre 7 e 15 de março de 2023. O resultado é uma pontuação de questionário de pensamento de ordem superior auto-relatada, que é dicotomizada para classificação auxiliar; Não é uma medida direta do desempenho cognitivo demonstrado. A exposição à inteligência artificial generativa nesta demonstração refere-se ao uso auto-relatado pelos alunos de ferramentas de inteligência artificial generativa para atividades acadêmicas relacionadas ao curso durante as quatro semanas anteriores, incluindo busca de informações, explicação de conceitos, geração de ideias, elaboração de esboços e revisão de tarefas. O uso da ferramenta não foi verificado por meio de logs de plataforma, históricos de prompts ou rastreamentos de atividade em tempo real.

O objetivo do protocolo não é afirmar que a árvore retida se generaliza para todas as instituições, coortes ou ambientes atuais de inteligência artificial generativa. Essa cautela é necessária porque os dados demonstrativos foram coletados em uma universidade durante uma janela curta no início de 2023, quando a exposição dos estudantes à inteligência artificial generativa ainda estava se desenvolvendo rapidamente. Em vez disso, a contribuição do artigo está em tornar o procedimento completo repetível: definir o contexto da pesquisa, administrar o questionário, triagem das respostas, pontuação de construtos, documentar confiabilidade, aplicar uma regra fixa de codificação, particionar o conjunto de dados, treinar e podar uma árvore C5.0, exportar resultados de modelos e interpretar caminhos de classificação baseados em nós com atenção ao desempenho específico da classe. Esse fluxo de trabalho focado em métodos pode ajudar pesquisadores educacionais, pesquisadores orientados para a sala de aula e analistas instrucionais a reproduzir ou adaptar uma abordagem transparente para o perfil de aprendizes baseado em pesquisa em aprendizagem suportada por inteligência artificial generativa.

Protocolo

Este estudo envolvendo participantes humanos foi revisado e aprovado pelo Comitê de Ética da Escola de Ciências da Educação da Universidade Normal de Yili (Referência nº LZEDU2023003). O estudo foi realizado de 7 a 15 de março de 2023. O comitê determinou que o estudo se qualificava para isenção ética porque envolvia apenas procedimentos anônimos e voluntários de questionário, sem qualquer dano físico, psicológico ou social aos participantes. Todos os participantes forneceram consentimento eletrônico e informado antes de preencher o questionário.

Antes da análise, substitua os registros dos respondentes por números de caso não reversíveis e remova todos os identificadores diretos. Não retenha nomes, números de identificação de alunos, números de telefone, nomes de conta, identificadores de turma, endereços de Protocolo de Internet, identificadores de dispositivos ou marcadores brutos de conta da plataforma no arquivo analítico. Use informações duplicadas de controle apenas para triagem de resposta, depois remova-as antes de travar o conjunto de dados analítico.

1. Estabelecer o contexto da pesquisa e o procedimento de amostragem

1. Defina o ambiente de estudo e os critérios de elegibilidade
   1. Realize a pesquisa na Universidade Politécnica de Liuzhou, Região Autônoma Zhuang de Guangxi, China, de 7 a 15 de março de 2023.
   2. Defina a população-alvo como os estudantes de graduação atualmente matriculados na universidade participante.
   3. Inclua estudantes que relatem usar pelo menos uma ferramenta de inteligência artificial generativa para aprendizagem acadêmica relacionada a cursos nas 4 semanas anteriores.
   4. Defina uso acadêmico elegível como busca de informações, explicação de conceitos, geração de ideias, elaboração de esboços, revisão de tarefas, suporte à tradução, assistência relacionada a código ou outras tarefas relacionadas ao curso.
   5. Exclua estudantes que relatem apenas uso de entretenimento, conversas casuais, experimentação não relacionada ao estudo ou outro uso não relacionado ao curso.
   6. Exclua os respondentes que não sejam estudantes atuais, não relate o uso acadêmico de inteligência artificial generativa, recuse consentimento eletrônico informado ou envie questionários inválidos conforme as regras de triagem abaixo.
   7. Registrar a exposição à inteligência artificial generativa por meio de itens de autorrelato que abrangam a categoria ou nome da ferramenta, frequência aproximada de uso durante as 4 semanas anteriores e tarefas acadêmicas suportadas pela ferramenta. Não trate esses dados de exposição como registros verificados de uso da plataforma.
2. Construa o quadro de amostragem e recrute participantes
   1. Obtenha o quadro de amostragem institucional de graduação da universidade participante. A moldura abrange mais de 15.000 estudantes distribuídos por 46 cursos.
   2. Aplique amostragem aleatória estratificada por categoria de curso e nível de ano para sortear a lista de convites, de modo que estudantes de diferentes áreas disciplinares e estágios de estudo estejam representados na amostra convidada.
   3. Aplique amostragem aleatória estratificada por categoria principal e nível de ano para sortear a lista de convites.
   4. Convide 800 estudantes selecionados usando um aviso padronizado de recrutamento.
   5. Distribua o código de resposta rápida do questionário da plataforma online apenas para estudantes convidados durante períodos não instrutivos, como intervalos de aula ou sessões de orientação para alunos.
   6. Registre todo o processo de recrutamento e triagem. Nesse fluxo de trabalho, 800 estudantes foram convidados e 792 questionários foram devolvidos. Dezesseis questionários foram excluídos: 4 para uso inelegível de inteligência artificial generativa, 3 para submissão duplicada, 5 para tempo de conclusão abaixo do limite mínimo e 4 para padrões de resposta lineares inválidos. A amostra analítica final continha 776 questionários válidos.

2. Configurar procedimentos de administração de questionários e privacidade de dados

1. Configure o questionário online
   1. Construa e distribua o questionário usando a plataforma online de questionários, também conhecida como Questionnaire Star.
   2. Permitir distribuição rápida de códigos de resposta, respostas obrigatórias por item em escala de itens, exportação em tempo de envio, verificação de controle duplicado e exportação de planilhas.
   3. Bloqueie o questionário voltado para o entrevistado antes de coletar a primeira resposta válida. Mantenha a redação dos itens, ordem dos itens, âncoras de resposta, instruções, rótulos de escala, redação de consentimento e rota de acesso inalterados durante todo o período da pesquisa.
   4. Defina todos os itens da escala como itens necessários. Não use imputação post hoc para respostas em escala.
   5. Ative o controle de uma única submissão pela opção de plataforma menos identificável disponível. Use marcadores gerados apenas em nível de conta, dispositivo ou plataforma para triagem duplicada.
2. Padronizar condições de completude
   1. Peça aos respondentes que preencham o questionário individualmente, de uma só vez, e sem discussão entre pares.
   2. Instrua os respondentes a responderem de acordo com o uso acadêmico real da inteligência artificial generativa durante as 4 semanas anteriores.
   3. Peça aos respondentes que preencham o questionário em um ambiente silencioso e evitem trocas de dispositivo, pausas prolongadas ou acessos repetidos após a submissão.
   4. Defina a janela de tempo de conclusão esperada em 530 min. Use o tempo de conclusão apenas como indicador de qualidade da resposta.

3. Selecionar respostas e bloquear o conjunto de dados analítico

1. Exporte o arquivo de resposta bruta
   1. Exporte o arquivo bruto do questionário da plataforma online após o encerramento da janela da pesquisa.
   2. Preserve a exportação bruta antes da exclusão, pontuação, codificação ou construção do modelo.
   3. Atribua números de caso não identificáveis a todos os registros devolvidos antes da triagem. Nesse fluxo de trabalho, atribua números de caso aos 792 questionários devolvidos.
2. Aplique regras de exclusão da qualidade da resposta
   1. Exclua registros sem consentimento eletrônico e informado.
   2. Exclua registros que não atendam ao status atual de estudante ou à elegibilidade acadêmica.
   3. Exclua registros com respostas não demográficas na escala após exportação. Nesse fluxo de trabalho, as configurações obrigatórias de resposta evitaram a falta de respostas na escala.
   4. Use um limite médio de tempo de conclusão de 2 s por item fechado para identificar registros que provavelmente não refletirão leitura e processamento de resposta em nível de item. Exclua registros abaixo desse limite.
   5. Inspecionar registros concluídos em menos de 5 minutos ou mais de 30 minutos como possíveis respostas de baixa qualidade ou interrompidas. Manter registros fora desse período somente quando verificação duplicada e inspeção do padrão de resposta não indicarem conclusão inválida.
   6. Use a resposta em linha reta como um indicador adicional de qualidade da resposta. Exclua registros em que a mesma opção de resposta está selecionada para pelo menos 90% dos itens em escala Likert, pois esse padrão sugere um engajamento limitado com o conteúdo do item.
   7. Exclua submissões duplicadas com base nos marcadores de duplicação da plataforma e mantenha o registro válido completo mais antigo.
   8. Mantenha o questionário voltado para o entrevistado como Arquivo Suplementar 1.
   9. Preserve o registro de triagem como Arquivo Suplementar 2. O registro de triagem deve reportar estudantes convidados, questionários devolvidos, questionários excluídos, motivos de exclusão e casos finais retidos.
3. Crie o conjunto de dados analítico bloqueado
   1. Mantenha os 776 questionários válidos após a triagem. Bloqueie o questionário voltado para o respondente e o conjunto de dados analítico antes de pontuar para garantir que a redação dos itens, critérios de elegibilidade, decisões de exclusão e definições de variáveis não sejam alterados após a coleta dos dados.
   2. Remova identificadores diretos, carimbos de tempo brutos, marcadores em nível de conta, rastreamentos em nível de dispositivo e marcadores de controle duplicados antes da análise. Use essa etapa de desidentificação para proteger o anonimato dos participantes e evitar que o conjunto de dados analítico seja vinculado a estudantes individuais.
   3. Salve o conjunto de dados de casos 776 desidentificado como o conjunto de dados analítico bloqueado.
   4. Use o conjunto de dados analítico bloqueado como única fonte para pontuação, codificação e classificação.

4. Medir variáveis relacionadas ao aprendiz

1. Organize o questionário
   1. Divida o questionário em quatro seções: consentimento informado, formação demográfica e acadêmica, exposição à inteligência artificial generativa e escalas relacionadas ao aprendiz.
   2. Registre gênero, idade, curso, ano e desempenho acadêmico autodeclarado.
   3. Registrar a exposição à inteligência artificial generativa por categoria de ferramenta, frequência aproximada de uso e tarefas acadêmicas apoiadas.
   4. Meça pensamento de ordem superior autorrelatado, ansiedade em inteligência artificial generativa, confiança em inteligência artificial generativa, emoções negativas, atitudes em relação à inteligência artificial generativa, uso problemático de smartphones, procrastinação acadêmica e criação dos pais.
   5. Trate todas as variáveis baseadas em escalas como indicadores de pesquisa de autorrelato, não como observações comportamentais diretas ou desempenho cognitivo observado diretamente.
2. Defina medidas retidas
   1. Meça o pensamento de ordem superior autorrelatado com um instrumento retido de 23 itens que abrange resolução de problemas, pensamento crítico, trabalho em equipe, comunicação e^{inovação 22}.
   2. Meça a ansiedade da inteligência artificial generativa com uma escala de ansiedade tecnológica adaptada de 11^{itens 23}.
   3. Meça a confiança na inteligência artificial generativa com uma escala²⁴ de confiança adaptada em automação de 12 itens.
   4. Meça emoções negativas com um conjunto adaptado de Escalas de Depressão, Ansiedade e Estresse de 21 itens usado como indicador geral^{de emoções negativas 25}. Não interprete essa pontuação como um diagnóstico clínico.
   5. Meça atitudes em relação à inteligência artificial generativa com uma escala de atitude adaptada de 18^{itens de 18 itens, 26}.
   6. Meça o uso problemático de smartphones com a Escala de Dependência de Smartphones Versão Curta adaptada para o contexto da pesquisa^{estudantil 27}.
   7. Meça a procrastinação acadêmica com uma escala de procrastinação acadêmica^{de 16 itens 28}.
   8. Meça o desempenho acadêmico com um item de autoavaliação de 5 pontos: 1 = muito abaixo da média, 2 = abaixo da média, 3 = média, 4 = acima da média e 5 = excelente.
   9. Meça a criação dos pais com um item contextual de autorrelato de 5 pontos: 1 = muito pouco apoiador, 2 = pouco apoiador, 3 = neutro ou misto, 4 = apoiador e 5 = altamente apoiador.
3. Especifique âncoras de resposta e procedimentos de adaptação
   1. Use um formato de resposta do tipo Likert de 1 a 5 para variáveis de escala retidas.
   2. Use as âncoras gerais: 1 = discordar fortemente, 2 = discordar, 3 = neutro ou incerto, 4 = concordar e 5 = concordar fortemente.
   3. Administrar o questionário em chinês para garantir que os respondentes preencham todos os itens da escala no contexto instrucional e linguístico utilizado na universidade participante.
   4. Adapte os itens de origem por meio de tradução antecipada, revisão de especialistas, ajuste de redação para aprendizagem suportada por inteligência artificial generativa e checagem piloto de legibilidade para preservar o significado pretendido do construto, ao mesmo tempo em que melhora a clareza contextual para os respondentes chineses de graduação.
   5. Use a revisão de especialistas para verificar se os itens adaptados permanecem consistentes com os construtos originais, âncoras de resposta, direção de pontuação e contexto de estudo. Revise apenas a redação que possa causar ambiguidade, descompasso de contexto ou mal-entendidos no ambiente de aprendizagem suportado por inteligência artificial generativa.
   6. Inclua redação dos itens, âncoras de resposta, ordem dos itens, direção de pontuação e rótulos finais das variáveis no Arquivo Suplementar 1.

5. Pontuar medidas e verificar a qualidade da medição

1. Prepare o arquivo de trabalho pontuado
   1. Abra o conjunto de dados analítico bloqueado no IBM SPSS Statistics 26.0.
   2. Preserve um respondente por linha e um item ou variável por coluna.
   3. Verifique valores faltantes, intervalos de resposta, etiquetas de itens e nomes de variáveis.
   4. Salve um conjunto de dados em nível de item filtrado antes de calcular as pontuações compostas.
2. Calcule as pontuações compostas
   1. Calcule uma média composta em nível de respondente para cada construto multiitem.
   2. Reverta a pontuação apenas itens identificados como digitados ao contrário na chave de pontuação antes do cálculo da pontuação composta.
   3. Não faça pontuação reversa dos itens negativos derivados do DASS21 nesse fluxo de trabalho, pois todos os itens retidos são pontuados na mesma direção, com valores mais altos indicando uma experiência emocional negativa mais forte.
   4. Não calcule pontuações compostas a partir de escalas parcialmente transformadas.
   5. Salve um arquivo de trabalho contínuo após o cálculo da pontuação composta.
3. Verificar a qualidade da medição interna
   1. Calcule o alfa de Cronbach para cada escala multiitem retida no IBM SPSS Statistics 26.0. Use o alfa de Cronbach como um índice de consistência interna que indica se itens dentro da mesma escala apresentam coerência suficiente para o cálculo da pontuação composta.
   2. Inspecionar correlações corrigidas entre itens totais e valores alfa-se-item-excluídos para cada escala retida. Use correlações de item total corrigidas para verificar se cada item está suficientemente alinhado com a pontuação total de sua própria escala após excluir esse item do cálculo total.
   3. Use valores alfa-if-item-deleteado para identificar itens que podem reduzir a consistência interna se mantidos. Não remova itens automaticamente apenas por motivos estatísticos; Manter ou remover um item somente após verificar seu significado de construção, direção de pontuação e consistência com o questionário adaptado.
   4. Realize as verificações de teste de Kaiser-Meyer-Olkin e Bartlett para o conjunto de escalas adaptado.
   5. Reporte os valores alfa da chave de Cronbach no texto principal.
   6. Forneça o registro completo de pontuação e medição como Tabela Suplementar 1. Inclua contagem de itens, intervalo de resposta, âncoras de resposta, direção de pontuação, itens com chave inversa, regra de pontuação composta, alfa de Cronbach, resultado corrigido da verificação de correlação entre item e item, resultado de verificação alfa-se-item excluído e rótulo final da variável.

6. Converter escores contínuos em entradas auxiliares de classificação

1. Aplicar codificação binária
   1. Use o arquivo de trabalho de pontuação contínua como arquivo fonte.
   2. Recode o pensamento de ordem superior autorrelatado como a variável alvo binária.
   3. Pontuações por código ≤3 como 0 e pontuações >3 como 1.
   4. Aplique o mesmo limiar a todos os preditores retidos após o cálculo da pontuação composta.
   5. Use o limiar de 3 como ponto médio da escala de resposta de 1 a 5 para criar uma regra de codificação transparente e reproduzível.
   6. Realize dicotomia apenas para criar entradas binárias para a demonstração da árvore de decisão C5.0.
   7. Verifique a contagem de turmas após a dicotomiação.
   8. Mantenha o arquivo de pontuação contínua.
2. Crie o arquivo de análise codificada
   1. Gerar um novo arquivo de análise codificado em binário.
   2. Recode ansiedade em inteligência artificial generativa, confiança em inteligência artificial generativa, uso problemático de smartphones, procrastinação acadêmica, desempenho acadêmico, criação dos pais, emoções negativas e atitudes em relação à inteligência artificial generativa usando o mesmo limiar.
   3. Verifique a contagem de classes para cada variável binária.
   4. Informe a regra de codificação e a contagem de classes na Tabela 1.
   5. Preserve o arquivo de análise codificado em binário.
   6. Forneça a estrutura do arquivo de análise codificada como Arquivo Suplementar 3.

7. Construir o classificador auxiliar da árvore de decisão C5.0

1. Configurar o ambiente de modelagem
   1. Abra o IBM SPSS Modeler 18.4 em um sistema operacional Windows 10 de 64 bits.
   2. Importe o arquivo de análise codificado em binário.
   3. Atribua o pensamento binário auto-relatado de ordem superior como campo alvo.
   4. Atribua todas as outras variáveis binárias retidas como campos de entrada.
   5. Verifique nomes de campos, etiquetas de valor e papéis de destino/entrada.
   6. Registre o nome do software, versão, sistema operacional, implementação do C5.0, nome do arquivo do projeto e data de análise na Tabela Suplementar 2.
2. Particione o conjunto de dados
   1. Dividir os 776 casos em uma divisão de 70:30 entre treinamentos e testes.
   2. Use a semente aleatória fixa 20230307.
   3. Aplique particionamento estratificado pelo alvo de pensamento binário de ordem superior.
   4. Atribua 544 casos ao subconjunto de treinamento e 232 casos ao subconjunto de testes.
   5. Verifique contagens de HOT baixo e alto HOT no conjunto de dados completo, subconjunto de treinamento e subconjunto de teste.
   6. Preserve o registro de partição na Tabela Suplementar 2.
3. Treine e pode a árvore C5.0
   1. Treine um classificador C5.0 no subconjunto de treinamento.
   2. Use a razão de ganho como a regra^{de seleção dividida 29}.
   3. Defina entropia como:
      Entropia(D) = −Σp_ilog₂(p_i)
      onde p_i é a proporção de casos na classe i dentro do conjunto de dados D.
   4. Defina razão de ganho como:
      Razão de ganho (D, C) = [Entropia(D) − Entropia(D|C)]/SplitInfo (D, C)
      onde C é a variável de divisão candidata.
   5. Permitir a poda para reduzir galhos excessivamente específicos que possam se encaixar no ruído do subconjunto de treinamento.
   6. Use as seguintes configurações C5.0: poda = ativada; propulsão = desativado; número de ensaios = 1; custos de classificação incorreta = não aplicado; Pesos de classe = não aplicado; registros mínimos por ramo filho = 2; poda global = habilitado; elevação de subárvore = habilitado; fator de confiança = 0,25; regras de parada = configurações padrão IBM SPSS Modeler C5.0, a menos que indicue o contrário.
   7. Não aplique amostragem sintética, ponderação de classes ou aprendizado sensível a custos no fluxo de trabalho principal.
   8. Exporte a árvore inicial e a árvore podada retida.
   9. Salve a estrutura final do nó, resumos dos nós terminais, saída de importância das variáveis, regras de classificação e configurações do modelo.
4. Desequilíbrio de classe de documentos
   1. Calcule a distribuição de baixo HOT e alto HOT antes do treinamento do modelo.
   2. Registre a taxa de ausência de informação como a proporção majoritária da classe no conjunto completo de dados e no subconjunto de testes.
   3. Interprete a árvore como uma saída auxiliar de classificação interpretável, em vez de um modelo de triagem otimizado.
   4. Para futuras aplicações orientadas à triagem, considere pesos de classes, aprendizado sensível a custos, reamostragem, partições repetidas de testes de tren, validação cruzada k-fold ou ajuste de limiar.

8. Avaliar e preservar a produção da classificação

1. Resultados de desempenho de exportação
   1. Aplique a árvore podada mantida ao subconjunto de treinamento.
   2. Exporte a matriz de confusão de treinamento, precisão, recall específico da classe, precisão específica da classe e saída do terminal do nó.
   3. Aplique a mesma árvore ao subconjunto de testes.
   4. Exporte a matriz de confusão de teste, precisão, recordação específica de classe, precisão específica de classe e saída do nó terminal.
   5. Calcule o recall como TP/(TP + FN).
   6. Calcule a precisão como TP/(TP + FP).
   7. Calcule a precisão geral como casos corretamente classificados dividido pelo total de casos.
   8. Calcule a taxa de não informação e compare a precisão dos testes com a linha de base da classe majoritária.
   9. Reporte métricas específicas de cada classe junto com a precisão geral.
2. Exportação de saídas de interpretabilidade
   1. Exporte a tabela de importância variável com valores numéricos.
   2. Exporte o diagrama final em árvore com tamanho da amostra do nó, classe prevista, distribuição de classes e probabilidade de classe.
   3. Se o diagrama completo da árvore estiver visualmente saturado, forneça uma figura principal simplificada e coloque a tabela completa de nós no Arquivo Suplementar 4.
   4. Resumos de terminal de exportação incluindo caminho de regra, tamanho da amostra do nó, classe prevista, baixa contagem de HOT, alta contagem de HOT e confiança na classificação.
   5. Descreva uma ou duas rotas de classificação representativa nos Resultados Representativos.
3. Preserve o pacote de reprodutibilidade
   1. Preserve o arquivo de resposta bruta, registro de desidentificação, registro de triagem, conjunto de dados em nível de item filtrado, arquivo de trabalho de pontuação contínua, arquivo de análise codificada binária, tabela de fluxo de amostragem, chave de pontuação, tabela de confiabilidade, arquivo de projeto C5.0, arquivo de árvore inicial, arquivo de árvore podada, saída de importância das variáveis, tabela de nós de terminais, matrizes de confusão e resumos de modelos exportados.
   2. Forneça a Tabela Suplementar 1 como registro de pontuação e medição.
   3. Forneça a Tabela Suplementar 2 como configuração do modelo e registro de saída.
   4. Forneça o Arquivo Suplementar 1 como questionário voltado para o respondente.
   5. Forneça o Arquivo Suplementar 2 como registro de triagem de exemplo.
   6. Forneça o Arquivo Suplementar 3 como estrutura codificada do arquivo de análise.
   7. Forneça o Arquivo Suplementar 4 como o nó terminal e a saída de importância variável.
   8. Preserve o caminho do fluxo de trabalho como: exportação bruta do questionário, > registro de desidentificação e triagem, > conjunto de dados em nível de item filtrado, > arquivo de trabalho contínuo de pontuação > arquivo de análise codificada binária, > partição de treinamento/teste > árvore inicial C5.0 > árvore C5.0 podada > exportação de resultados de classificação > pacote suplementar de reprodutibilidade.

Resultados

Estatísticas descritivas das variáveis retidas

A Tabela 2 apresenta as estatísticas descritivas das variáveis de pesquisa de auto-relato retidas no conjunto de dados de pontuação contínua antes da recodificação binária. A pontuação média de pensamento de ordem superior auto-relatada foi 3,71 (DS = 0,68), acima do limiar fixo de 3 na escala de resposta de 1–5. A confiança na inteligência artificial generativa também ultrapassou...

Discussão

Este protocolo apresenta um fluxo de trabalho reprodutível de pontuação por pesquisa e árvore de decisão C5.0 para organizar dados de alunos autorrelatados em aprendizagem acadêmica suportada por inteligência artificial generativa. Sua principal contribuição é metodológica, e não preditiva. O fluxo de trabalho especifica como definir o contexto da pesquisa, filtrar respostas, pontuar construtos multi-item, aplicar uma regra fixa de codificação no ponto médio, particionar o conjunto de da...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
IBM SPSS Modeler	IBM Corp.	Versão 18.4	Usado para particionamento de dados estratificados 70:30, construção de árvores de decisão C5.0, poda, avaliação de classificação e exportação de saída em árvore.
Estatísticas IBM SPSS	IBM Corp.	Versão 26.0	Utilizado para verificação de dados, cálculo de pontuação composta, análise de confiabilidade, verificação de frequência e recodificação binária.
Dispositivo conectado à internet	Dispositivo de propriedade do réu	Smartphone, tablet ou laptop com acesso ao navegador	Usado pelos respondentes para preencher o questionário online. Nenhum dispositivo específico para o estudo foi fornecido.
Microsoft Excel	Microsoft Corp.	Microsoft 365 ou Excel 2019 ou versões posteriores	Usado para revisão de logs de triagem, verificação de codificação, formatação de tabelas e verificação de saída exportada.
Função de distribuição de código QR	Wenjuanxing / Estrela do Questionário	Função QR-code de link de questionário embutida	Usado para fornecer acesso padronizado por questionários aos estudantes convidados durante a janela da pesquisa.
Configuração silenciosa de conclusão de levantamento	Universidade participante	Intervalo de sala de aula não instrucional ou ambiente de orientação ao estudante	Usado para reduzir a variação resposta-contexto durante a conclusão de questionários em uma única sessão.
Diretório seguro de armazenamento de dados	Autores / instituição participante	Armazenamento institucional controlado por acesso	Usado para preservar exportação bruta, conjunto de dados filtrados, conjunto de dados pontuados, conjunto codificado, arquivos de modelo, logs e saídas exportadas com controle de versões.
Wenjuanxing / Questionnaire Star plataforma online de pesquisas	Changsha Ranxing Information Technology Co., Ltd.	Plataforma baseada na web; acesso pelo site oficial da Wenjuanxing	Usado para construção de questionários, distribuição de códigos QR, configurações de resposta obrigatória, verificação de controle duplicado, exportação de carimbo de data e exportação de planilhas.
Sistema operacional Windows	Microsoft Corp.	Windows 10, 64 bits	Ambiente operacional para IBM SPSS Statistics 26.0 e IBM SPSS Modeler 18.4.