Summary
Este protocolo orienta pesquisadores e educadores através da implementação da abordagem de Resolução de Problemas antes da Instrução (PS-I) em uma aula de estatística de graduação. Descreve também uma avaliação experimental incorporada dessa implementação, onde a eficácia do PS-I é medida em termos de aprendizado e motivação em alunos com diferentes predisposições cognitivas e afetivas.
Abstract
Hoje em dia, como incentivar o pensamento reflexivo dos alunos é uma das principais preocupações dos professores de diversos níveis educacionais. Muitos alunos têm dificuldades ao enfrentar tarefas que envolvem altos níveis de reflexão, como nos cursos de STEM (Ciência, Tecnologia, Engenharia e Matemática). Muitos também têm profunda ansiedade e desmotivação em relação a tais cursos. Para superar esses desafios cognitivos e afetivos, os pesquisadores sugeriram o uso de abordagens "Resolução de Problemas antes da Instrução" (PS-I). O PS-I consiste em dar aos alunos a oportunidade de gerar soluções individuais para problemas que mais tarde são resolvidos em sala de aula. Essas soluções são comparadas com a solução canônica na fase seguinte da instrução, juntamente com a apresentação do conteúdo da aula. Tem sido sugerido que com essa abordagem os alunos podem aumentar sua compreensão conceitual, transferir seu aprendizado para diferentes tarefas e contextos, tornar-se mais conscientes das lacunas em seus conhecimentos e gerar uma construção pessoal de conhecimentos anteriores que possam ajudar a manter sua motivação. Apesar das vantagens, essa abordagem tem sido criticada, pois os alunos podem gastar muito tempo em tentativa sem rumo e erro durante a fase inicial de geração de soluções ou podem até se sentir frustrados nesse processo, o que pode ser prejudicial para o aprendizado futuro. Mais importante, há pouca pesquisa sobre como as características pré-existentes dos alunos podem ajudá-los a se beneficiar (ou não) dessa abordagem. O objetivo do presente estudo é apresentar a concepção e implementação da abordagem PS-I aplicada à aprendizagem estatística em estudantes de graduação, bem como uma abordagem metodológica utilizada para avaliar sua eficácia considerando as diferenças pré-existentes dos alunos.
Introduction
Uma das questões que os professores mais se preocupam atualmente é como estimular a reflexão dos alunos. Essa preocupação é comum em cursos de natureza matemática, como cursos STEM (Ciência, Tecnologia, Engenharia e Matemática), nos quais a abstração de muitos conceitos requer um alto grau de reflexão, mas muitos alunos relatam abordar esses cursos puramente através de métodos baseados na memória1. Além disso, os alunos costumam mostrar aprendizado superficial dos conceitos1,2,3. As dificuldades que os alunos enfrentam na aplicação de processos de reflexão e aprendizagem profunda, no entanto, não são apenas cognitivas. Muitos alunos sentem ansiedade e desmotivação diante desses cursos4,5. De fato, essas dificuldades tendem a persistir ao longo da educação dos alunos6. Por isso, é importante explorar estratégias educacionais que preparem motivacional e cognitivamente os alunos para o aprendizado profundo, independentemente de suas diferentes predisposições.
É particularmente útil encontrar estratégias que complementem abordagens instrucionais típicas. Uma das mais típicas é a instrução direta. A instrução direta significa orientar totalmente os alunos desde a introdução de novos conceitos com informações explícitas sobre esses conceitos, seguindo-o com estratégias de consolidação, como atividades de resolução de problemas, feedback, discussões ou explicações adicionais7,8. Instruções diretas podem ser eficazes para transmitir facilmente o conteúdo8,9,10. No entanto, muitas vezes os alunos não refletem sobre aspectos importantes, como como o conteúdo se relaciona com seus conhecimentos pessoais, ou procedimentos potenciais que poderiam funcionar e não11. Por isso, é importante introduzir estratégias complementares para fazer os alunos pensarem criticamente.
Uma dessas estratégias é a abordagem de Resolução de Problemas antes da Instrução (PS-I)12, também referida como a abordagem invenção11 ou a abordagem de Falha Produtiva13. O PS-I é diferente da instrução direta no sentido de que os alunos não são diretamente introduzidos aos conceitos, em vez disso, há uma fase de resolução de problemas antes das atividades típicas de instrução direta em que os alunos buscam soluções individuais para os problemas antes de obter qualquer explicação sobre os procedimentos para resolvê-los.
Neste problema inicial, não se espera que os alunos descubram totalmente os conceitos-alvo13. Os alunos também podem sentir sobrecarga cognitiva14,15,16 e até mesmo negativos afetar17 com a incerteza e os muitos aspectos a considerar. No entanto, essa experiência pode ser produtiva a longo prazo, pois pode facilitar o pensamento crítico sobre características importantes. Especificamente, o problema inicial pode ajudar os alunos a se conscientizarem mais das lacunas em seus conhecimentos18, ativar conhecimentos prévios relacionados ao conteúdo para cobrir13, e aumentar a motivação por causa da oportunidade de basear seu aprendizado em conhecimentos pessoais7,17,19.
Em termos de aprendizagem, os efeitos do PS-I são geralmente vistos quando os resultados são avaliados com indicadores de aprendizagem profunda20,21. Em geral, não foram encontradas diferenças entre os alunos que aprenderam através do PS-I e aqueles que aprenderam por meio da instrução direta em termos de conhecimento processual20,22, que se refere à capacidade de reproduzir procedimentos aprendidos. No entanto, os alunos que passam pelo PS-I geralmente exibem maior aprendizagem em conhecimento conceitual7,19,23, que se refere à compreensão do conteúdo abrangido, e transfer7,15,19,24, que se refere à capacidade de aplicar esse entendimento a situações novas. Por exemplo, um estudo recente em uma aula sobre variabilidade estatística mostrou que os alunos que tiveram a oportunidade de inventar suas próprias soluções para medir a variabilidade estatística antes de receber explicações sobre os conceitos e procedimentos gerais neste tópico desmetoram melhor compreensão no final da aula do que aqueles que foram capazes de estudar diretamente os conceitos e procedimentos relevantes antes de se envolverem em qualquer atividade de resolução de problemas23. No entanto, alguns estudos não mostraram diferenças na aprendizagem16,25,26 ou motivação19,26 entre PS-I e alternativas de instrução direta, ou ainda melhor aprendizado em alternativas de instrução direta14,26, e é importante considerar possíveis fontes de variabilidade.
Os recursos de design subjacentes à implementação do PS-I são um recurso importante20. Uma revisão sistemática20 constatou que era mais provável que houvesse uma vantagem de aprendizado para o PS-I sobre alternativas de instrução direta quando as intervenções do PS-I foram implementadas com pelo menos uma das duas estratégias, seja formulando o problema inicial com casos contrastantes, ou construindo a instrução subsequente com feedback detalhado sobre as soluções dos alunos. Os casos contrastantes consistem em exemplos simplificados que diferem em algumas características importantes11 (ver Figura 1, por exemplo), e podem ajudar os alunos a identificar características relevantes e avaliar suas próprias soluções durante o problema inicial11,20. A segunda estratégia, que fornece explicações que se baseiam nas soluções13dos alunos, consiste em explicar o conceito canônico ao mesmo tempo em que dá feedback sobre os recursos e limitações das soluções geradas pelos alunos, que também podem ajudar os alunos a focar em características relevantes e avaliar as lacunas em seus próprios conhecimentos20, mas após a fase inicial de resolução de problemas é concluída (ver Figura 3 como exemplo do andaime das soluções típicas dos alunos).
Dado o apoio na literatura para essas duas estratégias, casos contrastantes e ensino predial sobre as soluções dos alunos, é importante considerá-los ao promover a inclusão do PS-I na prática educacional real. Este é o primeiro objetivo do nosso protocolo. O protocolo fornece materiais para uma intervenção PS-I que incorpore esses dois princípios. É um protocolo que, embora adaptável, é contextualizado para uma aula sobre variabilidade estatística, uma lição muito comum para estudantes universitários e do ensino médio, que geralmente são as populações-alvo na literatura sobre PS-I29. A fase inicial de resolução de problemas consiste em inventar medidas de variabilidade para distribuição de renda nos países, que é um tema controverso30 que pode ser familiar para estudantes em muitas áreas de aprendizagem. Em seguida, são fornecidos materiais para que os alunos estudem soluções para esse problema em um exemplo trabalhado, e para uma palestra que incorpore a discussão de soluções comuns produzidas pelos alunos, juntamente com problemas de prática embarcada.
O segundo objetivo do nosso protocolo é tornar a avaliação experimental do PS-I acessível a educadores e pesquisadores, o que pode facilitar a investigação do PS-I a partir de uma maior variedade de perspectivas, mantendo algumas condições constantes em toda a literatura. No entanto, as condições desta avaliação experimental são flexíveis às modificações. A avaliação experimental descrita no protocolo pode ser aplicada em aulas ordinárias, uma vez que os alunos de uma única turma podem ser atribuídos os materiais para a condição PS-I ou os materiais para uma condição de instrução direta ao mesmo tempo(Figura 4). Essa condição de instrução direta também é adaptável às necessidades de pesquisa e educação, mas como originalmente descrito no protocolo os alunos começam recebendo as explicações iniciais sobre o conceito-alvo com o exemplo trabalhado, e depois consolidam esse conhecimento com um problema de prática (apresentado apenas nessa condição para compensar o tempo que os alunos do PS-I passam com o problema inicial), e com a palestra23. As adaptações potenciais incluem começar com a palestra e, em seguida, ter alunos para fazer a atividade de resolução de problemas, que é uma condição de controle típica para comparar O PS-I que muitas vezes levou a um melhor aprendizado para a condição PS-I7,13,19,26. Alternativamente, a condição de controle pode ser reduzida à exploração de um exemplo trabalhado seguido da fase de palestras, que, embora uma versão mais simplificada de abordagens de instrução direta do que originalmente proposto, é mais comum na literatura e tem levado a resultados variados, com alguns estudos indicando melhor aprendizado no PS-I15,24, e outros indicando melhor aprendizado a partir desse tipo de instrução diretacondição 14,26.
Finalmente, um terceiro objetivo do protocolo é fornecer recursos para avaliar como alunos com diferentes predisposições e habilidades cognitivas podem se beneficiar do PS-I15. A avaliação dessas predisposições é especialmente importante se considerarmos as predisposições negativas que alguns alunos costumam ter com cursos STEM, e o fato de que o PS-I ainda pode produzir reações negativas em alguns casos14. Há, no entanto, pouca pesquisa sobre isso.
Por um lado, uma vez que o PS-I facilita a associação da aprendizagem com ideias individuais, em vez de apenas conhecimento formal, o PS-I pode ser hipótesedo como capaz de ajudar a motivar alunos de baixo nível acadêmico, aqueles que têm baixos sentimentos de competência ou baixa motivação sobre o assunto13,27. Um estudo mostrou que alunos com baixa orientação de domínio, ou seja, menos metas relacionadas à aprendizagem pessoal, se beneficiaram mais do PS-I do que aqueles com maior motivação para aprender27. Por outro lado, alunos com outros perfis podem encontrar dificuldades quando envolvidos no PS-I. Mais especificamente, a metacognição desempenha um papel importante no PS-I31, e alunos com baixa capacidade de metacognição podem não se beneficiar do PS-I devido a dificuldades em estar ciente de suas lacunas de conhecimento ou discernir conteúdo relevante15. Além disso, como a fase inicial do PS-I é baseada na produção de soluções individuais, alunos com baixas habilidades divergentes, dificuldades para gerar uma variedade de respostas em uma determinada situação, podem se beneficiar menos do PS-I do que de outros alunos. O protocolo apresenta instrumentos confiáveis para avaliar essas predisposições (Tabela 1),embora outros possam ser considerados.
Em resumo, este protocolo visa tornar a implementação de uma intervenção PS-I que siga os princípios aceitos na literatura PS-I acessíveis a educadores e pesquisadores. Além disso, os protocolos proporcionam uma avaliação experimental dessa intervenção, facilitando a avaliação das predisposições cognitivas e motivacionais dos alunos. É um protocolo que não requer acesso a novas tecnologias ou recursos específicos, e que pode ser modificado com base em pesquisas e necessidades educacionais.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Este protocolo segue a Declaração de Princípios Éticos para a Pesquisa com Humanos de Helsinque, mas aplica esses princípios às dificuldades adicionais de integração da pesquisa em ambientes da vida real na educação32. Especificamente, nem a atribuição de condições de aprendizagem nem a decisão de participar podem ter consequências para as oportunidades de aprendizagem dos alunos. Além disso, o sigilo e o anonimato dos alunos são mantidos mesmo quando são os professores que estão no comando da avaliação. Os objetivos, escopo e procedimentos do protocolo foram aprovados pelo Comitê de Ética em Pesquisa do Principado das Astúrias (Espanha) (Referência: 242/19).
Observe que se o usuário estiver interessado apenas em implementar a abordagem PS-I, apenas a Etapa 6 (sem atribuir os participantes à condição de controle) e a Etapa 7 são relevantes. Apesar disso, as etapas 5 e 9 podem ser adicionadas como exercícios práticos para os alunos. Se o usuário também estiver interessado na avaliação experimental, é importante que os alunos trabalhem individualmente durante as Etapas 4, 5, 6 e 9. Por isso, recomenda-se que durante essas etapas, os assentos dos alunos sejam organizados para que haja um espaço vazio ao lado de cada aluno.
Dependendo da conveniência, as etapas podem ser implementadas continuamente dentro de uma única sessão de classe ou com etapas subsequentes em uma sessão de classe diferente.
1. Informações para os alunos sobre a finalidade e procedimentos do estudo
- Tire 10 minutos de um período de aula para informar os alunos sobre o estudo.
- Explicar explicitamente aos alunos o propósito geral do estudo, sua liberdade de consentir em participar, o fato de que eles podem se retirar livremente e a garantia de anonimato e confidencialidade no processamento de dados.
- Diga-lhes que o objetivo geral do estudo é explorar a eficácia de diferentes abordagens educacionais, bem como avaliar a influência das disposições cognitivas e afetivas dos alunos sobre a eficácia dessas abordagens.
- Diga-lhes que, embora eles serão atribuídos a uma das duas abordagens, o conteúdo coberto nas duas condições será o mesmo. Informe que as atividades utilizadas em ambas as condições estarão disponíveis para todos os alunos ao final do estudo.
- Que saibam que são livres para participar do estudo e que podem deixar o estudo a qualquer momento sem afetar suas oportunidades de aprendizagem ou suas notas. Se não quiserem participar do estudo, podem fazer as atividades de aprendizagem sem entregá-las. Além disso, durante o curto espaço de tempo que os participantes estão preenchendo questionários, os não participantes podem estudar outros materiais.
- Informe-os que sua participação será anônima e que a confidencialidade será mantida em todos os momentos, um número de identificação arbitrária será usado para combinar os dados em diferentes sessões e atividades.
- Fornecer aos alunos duas cópias do formulário de consentimento informado (Apêndice A)que também contém as informações de contato do pesquisador. Peça para assinarem uma cópia para você, e para manter a outra cópia para eles mesmos.
NOTA: Este protocolo é voltado para estudantes universitários, onde não é necessária permissão dos pais. Poderia ser generalizado para níveis educacionais mais baixos, embora para estudantes legalmente menores de idade, o consentimento informado pelos pais também seria necessário. - Se os alunos forem adicionados ao estudo em fases posteriores do protocolo, peça-lhes que completem o consentimento informado conforme descrito nesta seção antes de ingressarem no estudo.
2. Fornecer aos alunos um número de identificação desassociado de outros registros
- Para manter o anonimato das respostas dos alunos, atribua aleatoriamente a cada aluno um número de identificação (por exemplo, prepare uma bolsa com números aleatórios e peça a cada aluno para escolher um, envie um número aleatório para cada aluno através de um aplicativo web). Peça-lhes para observar o número em um local onde ele estará acessível nas avaliações subsequentes no protocolo.
NOTA: Se o estudo for feito por meio de um aplicativo online que permita que as respostas dos alunos sejam rastreadas anonimamente, isso não é necessário.
3. Preenchimento de questionários sobre predisposições cognitivas e afetivas e dados demográficos básicos
- Reserve 10 minutos em um período de aula para administrar os questionários a todos os alunos da classe.
- Dê aos alunos que decidem não participar do experimento outras opções de aprendizado, como trabalhar individualmente em outros conteúdos.
- Peça aos alunos que preencham os questionários sobre suas predisposições, isso pode ser feito usando os questionários no Apêndice B. Peça para trabalharem individualmente.
NOTA: O conjunto de questionários no Apêndice B inclui a Escala de Competência Cognitiva na Pesquisa de Atitudes para Estatísticas (SATS-28) 33, a Escala de Abordagem de Maestria no Questionário de Metas de Realização Revisado34, a Regulação da Escala de Cognição do Inventário de Consciência Metacognitiva35e questões demográficas.- Para controlar os potenciais efeitos contaminantes relacionados à ordem em que os alunos completam os questionários, entregue aleatoriamente diferentes versões das folhas do questionário que variam na ordem em que os questionários são apresentados. No Apêndice B-1 existem diferentes versões impressas dos questionários propostos com diferentes pedidos.
NOTA: Se os questionários forem preenchidos digitalmente, crie links com as diferentes ordens e distribua aleatoriamente os quatro links entre os alunos da classe (por exemplo, entre grupos criados por ordem alfabética).
- Para controlar os potenciais efeitos contaminantes relacionados à ordem em que os alunos completam os questionários, entregue aleatoriamente diferentes versões das folhas do questionário que variam na ordem em que os questionários são apresentados. No Apêndice B-1 existem diferentes versões impressas dos questionários propostos com diferentes pedidos.
- Dê aos alunos 7 minutos para preencher os questionários. As instruções estão incluídas nos questionários e não são necessárias instruções adicionais.
4. Administração do teste de pensamento divergente
- Caso este teste seja de interesse, leve 10 minutos em um período de aula para administrar a Tarefa de Usos Alternativos36,37 que mede a fluência do pensamento divergente para todos os alunos da classe.
- Forneça a cada aluno papel em branco e peça que escreva seu número de identificação.
- Explique as instruções do teste.
- Diga-lhes que eles serão fornecidos com um objeto que tem um uso comum, mas eles devem chegar com o máximo de outros usos que puderem.
- Dê-lhes um exemplo (por exemplo, por exemplo, se eu lhe presentear com um jornal, que é comumente usado para ler, você tem que escrever usos alternativos, como usá-lo como um chapéu temporário para protegê-lo do sol, ou para forrar o fundo de uma bolsa de viagem)38.
- Leia o primeiro item do teste em voz alta e escreva-o no quadro-negro: "Escreva quantos usos você puder pensar para um tijolo". Dê aos alunos dois minutos para escrever suas respostas. Uma vez que os dois minutos passaram, peça aos alunos para virar o papel para o outro lado.
- Leia o segundo item do teste em voz alta e escreva-o no quadro-negro: "Escreva quantos usos você puder pensar para um clipe de papel". Dê aos alunos dois minutos para escrever suas respostas.
- Assim que os dois minutos acabarem, peça aos alunos para pararem de escrever e recolham seus trabalhos.
5. Conclusão do pré-teste de conhecimentos acadêmicos anteriores
- Reserve 15 minutos em um período de aula para administrar o pré-teste de conhecimento acadêmico anterior no Apêndice C.
NOTA: O pré-teste é sobre tendência central, que é relevante para assimilar o conteúdo sobre variabilidade a ser aprendida nas condições de aprendizagem subsequentes na Etapa 67. Nenhum conteúdo de classe sobre a tendência central deve ser dado aos alunos entre a administração deste pré-teste e o Passo 6. Também não recomendamos substituir este pré-teste por uma variabilidade de cobertura pré-teste diferente, pois isso pode criar um efeito PS-I que pode contaminar os resultados do experimento26. - Distribua o pré-teste para os alunos. A partir deste ponto, peça-lhes para trabalhar individualmente.
- Dê aos alunos 10 minutos para completar o pré-teste. As instruções estão incluídas no teste e não são necessárias mais especificações. Uma vez que o tempo acaba, peça aos alunos para virar o papel e entregá-lo a você.
6. Atribuição e administração das duas condições de aprendizagem
- Tire 35 minutos de um período de aula para administrar as duas condições de aprendizagem dentro da mesma sala de aula.
NOTA: Para evitar erros de confiabilidade devido ao tempo, recomendamos não mais do que uma semana entre o preenchimento dos questionários e testes nas Etapas 2 e 3 e esta etapa. - Certifique-se de que os livros de tarefas estão devidamente preparados, contendo os materiais para as duas condições.
NOTA: O PIB per capita foi escolhido para contextualizar esses materiais de aprendizagem por várias razões: em primeiro lugar, é um tema controverso30 que pode ser familiar para estudantes de muitas áreas de aprendizagem, e em segundo lugar é uma variável de razão que permite o uso de diferentes medidas de variância que são discutidas durante a aula (intervalo, faixa interquartil, desvio padrão, variância e coeficiente de variação).- Para a condição PS-I, imprima o livro de tarefas correspondente no Apêndice D-1 que contém: a atividade do Problema de Invenção, na qual os alunos são convidados a inventar um índice de desigualdade; a atividade Exemplo trabalhado, na qual os alunos podem estudar as soluções para este problema.
- Para a condição de instrução direta, imprima o livro de tarefas correspondente no Apêndice D-1 que contém: a atividade Exemplo trabalhado (o mesmo Exemplo trabalhado dado à condição PS-I); o Problema de Prática emparelhado com este Exemplo trabalhado.
NOTA: É importante que o problema de prática incluído nos materiais para esta condição não esteja presente na condição PS-I. Está incluído para compensar experimentalmente o tempo extra gasto pelos alunos do PS-I no problema da invenção. Uma limitação intrínseca dos projetos PS-I é a dificuldade de controlar a equivalência em termos de tempo e materiais. Mesmo em projetos em que a condição do PS-I e a condição de controle só diferem na ordem em que os materiais de aprendizagem são apresentados (ou seja, apresentar um problema antes de uma fase de instrução explícita, ou apresentar exatamente o mesmo problema após a mesma fase de instrução explícita), a equivalência não é alcançada, pois um problema que é resolvido antes da instrução deverá levar mais tempo do que após a instrução. Este protocolo trata desse problema da mesma forma que outros estudos24, incluindo materiais extras na condição de instrução direta. - Separe as duas atividades em cada livro de tarefas vinculando os trabalhos correspondentes à segunda atividade (por exemplo, com um clipe ou uma nota pegajosa) para que os alunos não possam ver o conteúdo da segunda atividade enquanto estiverem fazendo a primeira atividade.
- Informe os alunos sobre o procedimento a seguir nesta etapa específica.
- Diga-lhes que, dependendo do livro de tarefas que eles são atribuídos, eles terão dois pares diferentes de atividades, mas todos os alunos verão o mesmo conteúdo, e no final da aula todos eles terão acesso a todas as atividades.
- Que saibam que serão informados quando iniciar a primeira atividade e quando devem passar para a segunda atividade. Diga-lhes também que os papéis da segunda atividade foram obrigados a impedi-los de olhar antes do momento apropriado.
- Para reduzir a frustração potencial relacionada ao medo de falhar, diga-lhes que, embora possam encontrar algumas atividades difíceis, eles devem tentar ver essas dificuldades como oportunidades de aprendizagem39.
- Atribua aleatoriamente os dois livros de tarefas aos alunos da classe
NOTA: Para evitar fatores contaminantes relacionados à forma como os alunos estão sentados, distribua os livros de tarefas de forma homogênea nas diferentes partes da classe. Por exemplo, enquanto você anda pela classe, dê o livro de tarefas PS-I a um aluno, depois o livro de tarefas de instrução direta para o próximo aluno. - Depois de distribuir os livros de tarefas para todos os alunos da classe, peça para que comecem a trabalhar individualmente na primeira atividade.
- Diga aos alunos que eles têm 15 minutos para a primeira atividade. As instruções estão incluídas nas folhas de papel e não são necessárias mais instruções gerais.
- Diga-lhes que você está disponível para quaisquer perguntas, mas evite dar aos alunos qualquer conteúdo extra que não o que eles têm nos livros de tarefas.
NOTA: Particularmente para os alunos que resolvem o problema da invenção, evite guiá-los para soluções convencionais, pois pode atalhor o desenvolvimento de seus próprios conhecimentos11. Em vez disso, sugerimos três respostas possíveis às perguntas dos alunos11: a) ajudá-los a esclarecer seus próprios processos, pedindo-lhes que expliquem o que estão fazendo; b) ajudá-los a orientar-se com sua intuição, perguntando-lhes qual país eles acham que tem mais desigualdade do que outros países; c) ajudá-los a entender o objetivo da atividade, pedindo-lhes que produzam índices gerais que explicariam as diferenças que vêem, você pode fornecer exemplos de outros índices quantitativos (por exemplo, "a média é um índice para calcular o valor central em uma distribuição").
- Uma vez que os 15 minutos para a primeira atividade tenham acabado, peça aos alunos que avancem para sua segunda atividade correspondente, para a qual eles têm que remover o clipe ou nota pegajosa.
- Diga-lhes que eles têm 15 minutos para a segunda atividade. As instruções estão incluídas nas folhas de papel e não são necessárias instruções gerais adicionais. Diga a eles que você está disponível para quaisquer perguntas.
NOTA: Os alunos têm acesso ao conteúdo da atividade anterior.
- Diga-lhes que eles têm 15 minutos para a segunda atividade. As instruções estão incluídas nas folhas de papel e não são necessárias instruções gerais adicionais. Diga a eles que você está disponível para quaisquer perguntas.
- Uma vez que os 15 minutos terminarem, peça-lhes para entregar o material completo para você.
7. Administração do conteúdo da palestra
- Reserve 40 minutos dentro de um ou vários períodos de aula para dar a palestra sobre variabilidade estatística a todos os alunos da classe.
NOTA: O protocolo pode ser interrompido a qualquer momento durante a palestra e pode continuar na sessão de aula subsequente. - Para dar a palestra, siga os slides, que podem ser encontrados no seguinte link: https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0.
NOTA: O arquivo inclui animações para escalonar o conteúdo, comentários com explicações propostas para dar aos alunos e indicações sobre o tempo aproximado alocado para cada explicação. Os conteúdos e atividades incluídas são sobre a definição de variabilidade, o uso de diferentes medidas de variabilidade (faixa, alcance interquartil, variância, desvio padrão e coeficiente de variação), as propriedades dessas medidas, e suas vantagens e desvantagens em relação entre si e a outras soluções subótimas13. Uma outra descrição desta palestra proposta pode ser encontrada no Apêndice E. O usuário pode adaptar esses materiais dependendo de diferentes fatores, como conteúdo específico para cobrir em sala de aula, princípios de instrução preferidos ou diferentes expressões culturais.
8. Conclusão do questionário de curiosidade
- Ao final da palestra, dê aos alunos a Escala de Curiosidade do Questionário de Emoções Relacionadas Epistêmicas40 (Apêndice F) e dê-lhes 2 minutos para completá-lo. Lembre os alunos a escrever seu número de identificação no questionário antes de entregá-lo de volta.
NOTA: Na literatura, a curiosidade é frequentemente medida logo após a atividade de invenção e as atividades de controle correspondentes14,17. O protocolo é flexível a essa e outras possíveis adaptações nesse sentido. Para simplificar, incluímos apenas a medição da curiosidade no final da aula, pois é relevante examinar os efeitos a longo prazo do PS-I sobre a curiosidade, e porque o aumento da curiosidade logo após a atividade de invenção pode ser parcialmente explicado pelo fato de que durante a atividade de invenção os alunos recebem menos informações do que durante atividades alternativas utilizadas como controles.
9. Administração do pós-teste de aprendizagem
- De acordo com o professor de cada turma, leve 30 minutos em um período de aula para administrar o pós-teste.
- Distribua o pós-teste no Apêndice G para os alunos. Peça-lhes para trabalhar nisso individualmente.
- Dê aos alunos 25 minutos para fazer o pós-teste. As instruções estão incluídas no pós-teste e não são necessárias instruções gerais adicionais.
- Uma vez que os 25 minutos aumentou, peça-lhes para devolver o pós-teste para você.
10. Fornecer aos alunos feedback e todos os materiais de aprendizagem
- Disponibilize os materiais utilizados para esta aula aos alunos. Os slides de power-point, os materiais para as duas condições de aprendizagem e as soluções para o pré-teste e pós-teste estão disponíveis no Apêndice H.
11. Codificação dos dados
- Calcule os escores das diferentes escalas nos questionários adicionando todos os escores de itens em cada escala de questionário (consulte o apêndice B para um resumo dos itens do questionário nos questionários propostos).
- Calcule a pontuação para fluência de pensamento divergente contando todas as respostas apropriadas dadas por cada aluno em ambos os itens da Tarefa de Usos Alternativos37.
NOTA: Outras medidas muitas vezes codificadas a partir da Tarefa de Usos Alternativos, como flexibilidade, originalidade e elaboração, também podem ser consideradas36,37. - Calcule a pontuação do pré-teste de conhecimento anterior, classificando-se primeiro cada item usando a tecla de resposta no Apêndice I-1 e, em seguida, somando as pontuações de todos os itens.
- Calcule as diferentes medidas de aprendizagem classificando cada item no pós-teste usando a chave de resposta no Apêndice I-2 e, em seguida, somando as pontuações para cada medida de aprendizagem: pontuações nos itens 1 a 3 para a medida de aprendizagem processual, pontuações nos itens 4-8 para a medida de aprendizagem conceitual e pontuações em itens 9-11 para a transferência da medida de aprendizagem.
NOTA: Outras medidas sobre o processo de aprendizagem, como o número de soluções produzidas pelos alunos durante o problema de invenção ou a correção das soluções em todas as atividades de resolução de problemas podem ser consideradas, mas não serão explicadas neste protocolo.
12. Análise dos dados
Observe que as referências nesta seção referem-se a manuais práticos sobre como realizar as análises com software SPSS e PROCESS, mas outros programas também podem ser usados.
- Para avaliar a eficácia geral do PS-I, compare a curiosidade e os escores de aprendizagem da condição PS-I versus a curiosidade e os escores de aprendizagem da condição de controle.
NOTA: Enquanto as suposições forem cumpridas, recomendamos principalmente a ANCOVA para controlar a predisposição de covariáveis. Como segunda opção recomendamos testes t para grupos independentes e como terceira opção recomendamos testes U Mann-Whitney41. Não é necessário tamanho amostral mínimo para essas análises, mas considerando os tamanhos de efeito na literatura anterior (d = 0,43)21, recomenda-se uma amostra mínima de 118 alunos por grupo para facilitar a identificação dos efeitos como significativos (análises de energia de duas caudas para diferenças entre meios independentes, α = 0,05, β = 0,95,). Amostras maiores que 30 alunos por grupo facilitariam o cumprimento das premissas de normalidade para ANCOVA ou t-tests41. - Explorar intuitivamente os efeitos da mediação (por exemplo, a mediação da curiosidade sobre a aprendizagem) e/ou a influência moderada das predisposições, realizar análises correlacionais entre a variável mediadora (por exemplo, curiosidade) e a variável de aprendizagem (por exemplo, conhecimento conceitual) nas duas condições de aprendizagem.
NOTA: Enquanto as suposições forem cumpridas, recomendamos principalmente o uso de correlações de Pearson e, como segunda opção, recomendamos correlações de Spearman42. Não é necessário tamanho amostral mínimo para essas análises, mas amostras grandes (por exemplo, mais de 30 alunos por grupo) facilitariam o cumprimento das premissas de normalidade necessárias para as correlações de Pearson. Possíveis efeitos de moderação seriam indicados por variáveis de predisposição que têm valores de correlação diferentes em uma condição de aprendizagem versus outra. Um possível efeito de mediação (por exemplo, a mediação da curiosidade sobre a aprendizagem) seria indicado se a variável mediador estiver correlacionada com os desfechos de aprendizagem em pelo menos uma condição, e se os níveis dessa variável forem diferentes em uma condição de aprendizagem em relação à outra (ver resultados na Etapa 12.1). - Continuar avaliando um efeito de mediação sobre a aprendizagem e/ou a influência moderada das predisposições dos alunos, realizar análise de mediação, análise de moderação ou análise de processo condicional (que combina mediação e análise de moderação) dependendo do modelo conceitual para o teste43, que variaria dependendo das hipóteses escolhidas e/ou da análise preliminar na Etapa 12.2.
NOTA: Uma vez que essas análises são baseadas em múltiplas regressões e, portanto, baseiam-se em uma abordagem estatística de efeito fixo, a fim de tornar os resultados o mais generalizáveis possível, recomendamos um tamanho amostral mínimo de 15 alunos por variável de mediação incluído no modelo conceitual, mais 30 alunos por variável de moderação incluída no modelo. Alguns programas como o PROCESS só permitem a inclusão de no máximo duas variáveis moderadoraes ao mesmo tempo. Para incorporar variáveis mais moderadas, várias análises precisariam ser executadas alterando os moderadores incluídos.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Este protocolo foi satisfatoriamente implementado em um estudo anterior23, com exceção das medidas de predisposições dos alunos em termos de seu senso de competência, metas de abordagem de domínio, metacognição e pensamento divergente.
Para lidar com essas predisposições, este protocolo inclui medidas que foram previamente validadas e que mostraram altos níveis de confiabilidade(Tabela 1).
Soluções típicas geradas pelos alunos no problema de invenção da condição PS-I podem ser vistas na Figura 3A-D. Os alunos não costumam produzir a solução canônica do desvio padrão. No entanto, as soluções sub-ideais que produzem revelam reflexão sobre aspectos relevantes do desvio padrão (por exemplo, alcance, desvios somadores ou desvios médios). Pesquisas anteriores mostraram que a variedade de soluções no problema inicial do PS-I estava associada ao ensino superior, independentemente da correção da resposta44. No entanto, é importante notar que a ausência de resposta neste problema não é um indicador de que os alunos não se beneficiam dele, uma vez que os alunos podem refletir criticamente sobre o problema sem produzir um resultado visível.
Uma solução típica produzida pelos alunos no problema de prática utilizado na condição de controle (Figura 2) é mostrada na Figura 3 E. Essas soluções são mais homogêneas e em consonância com o conceito canônico de desvio padrão, pois é um problema que foi apresentado após terem estudado os conceitos e procedimentos no Exemplo Trabalhado (Apêndice D-2).
A Figura 5 reproduz um exemplo para relatar as diferenças gerais entre PS-I e instrução direta na avaliação experimental. Baseia-se nos resultados de um estudo anterior que seguiu esse protocolo23 em que os alunos da condição PS-I não diferiam no conhecimento processual, transferência de conhecimento, curiosidade ou conhecimento prévio, mas diferiam no conhecimento conceitual.
A Figura 6 mostra um exemplo para relatar o efeito moderador de uma das predisposições estudantis propostas, habilidades metacognitivas. Neste exemplo hipotético, os alunos com menor habilidade metacognitiva aprenderam mais com a instrução direta do que com o PS-I, enquanto aqueles com maiores habilidades metacognitivas se beneficiaram mais do PS-I do que da instrução direta.
Figura 1:Problema de invenção na Condição PS-I. Nesteproblema, 23 estudantes da condição PS-I são convidados a inventar índices quantitativos para medir a desigualdade entre os quatro países. É formulado com a técnica de Casos Contrastantes11: os países apresentam consistências e variações em relação às características relevantes, e essas variações são fáceis de calcular. Por exemplo, Pinpanpun e Toveo têm a mesma média (5), mesmo número de casos (7), mesma faixa (10), mas distribuição diferente. Clique aqui para ver uma versão maior desta figura.
Figura 2: Problema de prática na Condição de Instrução Direta. Nesteproblema, 23 alunos em condição de instrução direta são solicitados a aplicar os conceitos e procedimentos aprendidos no Exemplo trabalhado. Clique aqui para ver uma versão maior desta figura.
Figura 3: Soluções Comuns no Problema da Invenção e no Problema da Prática. Imagens A-D mostram soluções comuns no Problema de Invenção, que podem ser usadas na fase posterior de instrução direta para conteúdos de andaimes: (A) O intervalo - fácil de calcular, mas não contabiliza diferenças entre todos os habitantes -; (B) Medida baseada em faixa - considera mais habitantes do que a faixa à medida que se torna amplificada quando os valores máximos são repetidos, mas não considera todos os valores-; (C) Média de desvios - explica diferenças entre todos os habitantes, mas é confusa porque desvios negativos subtraem de desvios positivos-; (D) Média dos desvios absolutos - uma solução conceitualmente completa semelhante à solução canônica do desvio padrão-; (E) Uma solução típica para o problema de prática da condição de controle. Os alunos nessa condição já estudaram o Exemplo trabalhado e, portanto, a maioria deles é capaz de reproduzir e interpretar corretamente as soluções canônicas do desvio padrão. Clique aqui para ver uma versão maior desta figura.
Figura 4: Projeto de Avaliação Experimental. Após o preenchimento dos questionários e testes para medir as predisposições dos alunos, os alunos são aleatoriamente designados para as atividades das duas condições de aprendizagem (todos os alunos permanecem na mesma turma). Uma vez que os alunos completem essas atividades, todos eles recebem a mesma palestra sobre variabilidade estatística. A curiosidade e o aprendizado são medidos no final do processo de aprendizagem. Clique aqui para ver uma versão maior desta figura.
Figura 5: Resultados sobre a eficácia do PS-I versus Instrução Direta. Os gráficos apresentam um resultado típico da comparação entre a condição PS-I e a condição de instrução direta dentro de cada variável dependente, utilizando dados de um estudo anterior que utilizou este protocolo23. As duas barras em cada gráfico representam os meios para as duas condições, enquanto suas barras de erro correspondentes representam +/- 1 erros padrão desses meios. * indica resultados significativos no nível de significância de 0,05. Clique aqui para ver uma versão maior desta figura.
Figura 6: Resultados Hipotéticos sobre os Efeitos Moderados das Predisposições dos Alunos. Os gráficos apresentam um resultado hipotético sobre o efeito moderador das habilidades metacognitivas sobre a eficácia relativa do PS-I para promover a aprendizagem, na qual o PS-I é mais eficaz do que a instrução direta apenas para estudantes que relatam habilidades médias e altas metacognitivas. Seguindo recomendações em43,16, 50e86percentis têm sido usados para representar respectivamente estudantes com baixas, médias e altas habilidades metacogntivas. Clique aqui para ver uma versão maior desta figura.
| Construir | Medida e Descrição | ||
| Senso de Competência | A Escala de Competência Cognitiva na Pesquisa de Atitudes para Estatísticas (SATS-28)33 pode ser utilizada (Apêndice B2). É composto por 6 itens que perguntam aos alunos o quanto concordam com as afirmações sobre seu senso de habilidade de aprender estatísticas (por exemplo, "Eu posso aprender estatísticas"). Mostrou validade interna, convergente e preditiva e alta confiabilidade (α = 0,71 - 0,93)45. | ||
| Metas de abordagem de domínio | A escala de abordagem de domínio no Questionário de Metas de Realização revisado 34 pode ser utilizada (apêndice B3). É composto por 3 itens que perguntam aos alunos o quanto concordam com declarações sobre ter objetivos de aprendizagem que se concentram na aprendizagem pessoal (por exemplo, "Estou me esforçando para entender o conteúdo deste curso da forma mais completa possível"). Mostrou validade interna, convergente e preditiva e alta confiabilidade interna (α =.84)34. | ||
| Regulação Metacognitiva | O Regulamento da Escala de Cognição do Inventário de Consciência Metacognitiva46 pode ser utilizado (Apêndice B4). Consiste em 35 itens que perguntam aos alunos o quão típico é para eles usar diferentes estratégias metacognitivas (por exemplo, "Eu reavaliei minhas suposições quando fico confuso"). Mostrou validade interna e preditiva e alta confiabilidade (α = 0,88)46. | ||
| Pensamento Divergente | A pontuação fluência da Tarefa de Usos Alternativos36 pode ser usada. Consiste em apresentar aos alunos vários objetos (por exemplo, um clipe de papel), e pedir-lhes que forneçam tantos usos incomuns para cada objeto dentro de um determinado tempo. É uma pontuação confiável (H = .631) que foi validada internamente 47 e tem mostrado validade preditiva em versões com diferentes extensões, variando entre 1 a 20 objetos apresentados, e entre 1 a 3 minutos dados para cada objeto37,48,49. Para restrições de tempo dentro de configurações educacionais, uma versão curta de dois objetos e dois minutos por objeto37 é proposta neste protocolo. | ||
| Conhecimento acadêmico anterior | Para se adaptar aos conteúdos específicos abordados neste protocolo, um pré-teste de aprendizagem foi adaptado (Apêndice C) a partir de um pré-teste confiável (α =.75) utilizado em um estudo anterior 7. Consiste em 5 itens que perguntam aos alunos sobre medidas de tendência central que são relevantes para a assimilação de conteúdos de variabilidade. | ||
Tabela 1: Proposta de Construções e Medidas para Avaliar as Predisposições dos Alunos. Cinco construções sobre predisposições dos alunos são propostas para serem avaliadas como moderadores na eficácia do PS-I. Uma medida proposta para cada construção é descrita quanto ao número de itens, descrição dos itens e evidências sobre validade e confiabilidade.
| Construir | Medida e Descrição | ||
| Curiosidade | A Escala de Curiosidade no Questionário de Emoções Epistemicamente40 pode ser utilizada (Apêndice F). Consiste em três itens que pedem aos alunos que classifiquem a intensidade que se sentiram curiosos, interessados e curiosos. Mostrou validade interna e preditiva e alta confiabilidade (α = 0,88)40. | ||
| Aprendizagem (processual, conceitual e transferência) | Para avaliar o aprendizado sobre os conteúdos específicos de variabilidade abordados neste protocolo, um pós-teste de aprendizagem foi adaptado (Apêndice G) a partir de um pós-teste confiável (α =.84) utilizado em um estudo anterior7. São 12 itens: três itens referentes à aprendizagem processual (por exemplo, item 1 onde os alunos têm que calcular o desvio padrão), seis itens referentes à aprendizagem conceitual (por exemplo, item 4, onde os alunos devem argumentar sobre componentes da fórmula de desvio padrão) e três itens encaminhados à transferência (por exemplo, item 10, onde os alunos têm que inferir um procedimento para comparar pontuações com diferentes medições). | ||
Tabela 2: Construções e Medidas Propostas para Avaliar a eficácia do PS-I. Os instrumentos propostos para medir a curiosidade e três tipos de aprendizagem (processual, conceitual e transferência) são descritos, incluindo informações sobre número de itens, descrição dos itens e evidências sobre validade e confiabilidade.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
O objetivo deste protocolo é orientar pesquisadores e educadores na implementação e avaliação da abordagem PS-I em contextos reais em sala de aula. De acordo com algumas experiências anteriores, o PS-I pode ajudar a promover o deep learning e a motivação em alunos19,21,24, mas há necessidade de mais pesquisas sobre sua eficácia em alunos com diferentes habilidades e predisposições motivacionais14,27. Mais especificamente, utilizando este documento, os educadores podem seguir um protocolo de implementação PS-I para uma classe estatística projetada de acordo com os princípios mais amplamente aceitos na literatura PS-I11,13,20,50 (Etapas 6-7). Além disso, educadores e pesquisadores podem acompanhar uma avaliação experimental incorporada sobre a eficácia dessa implementação em alunos com diferentes predisposições motivacionais e/ou cognitivas (todas as Etapas). Essa experimentação não conflita com os princípios educacionais de igualdade de oportunidades, livre consentimento para participar ou respeito à confidencialidade do aluno, nem é necessário usar novas tecnologias.
O protocolo é flexível e pode ser modificado ou aplicado de acordo com novas pesquisas ou necessidades educacionais. No entanto, conforme descrito neste documento, o protocolo permite a avaliação da eficácia do PS-I em termos de curiosidade e diferentes tipos de aprendizagem, incluindo medidas de aprendizagem que requerem deep learning, como conhecimento conceitual e transferência de conhecimento, além de medidas de aprendizagem que não necessariamente requerem aprendizagem profunda, como o conhecimento processual. Tanto a motivação quanto o aprendizado profundo são preocupações significativas para todos os instrutores. Os designers de cursos STEM estão especialmente preocupados com esses temas, pois grande parte dos alunos tem dificuldades em entender esses cursos1,2,3 e vivenciar várias questões motivacionais4,5. O protocolo também fornece orientações para a avaliação da eficácia do PS-I nos alunos em termos de algumas predisposições cognitivas e/ou motivacionais, que também são uma preocupação na educação stem, e na eficácia relativa do PS-I. As predisposições propostas no protocolo incluem conhecimento acadêmico prévio, metas de abordagem de domínio, senso de competência para aprender o assunto, metacognição e pensamento divergente.
Exemplos de modificação no protocolo baseados em ideias propostas na literatura incluem o aumento do número de problemas nas condições15, dando aos alunos mais tempo para exploração de problemas44, e incluindo diferentes variáveis para contabilizar os processos de aprendizagem mediacional14,15,24. O protocolo também é flexível sobre a aplicação das diferentes etapas em diferentes sessões de classe. Cada etapa pode ser realizada no mesmo período de aula da etapa anterior, e pesquisadores e educadores podem decidir como organizar os passos para sua própria conveniência.
No entanto, um fator crítico para a avaliação é que os alunos colaboram no respeito às regras de avaliação. Por exemplo, em algumas etapas eles devem trabalhar individualmente para que possíveis interações entre eles não contaminem os resultados. Para isso, é importante que os alunos sejam informados sobre os procedimentos e que estejam igualmente envolvidos nas atividades de aprendizagem, independentemente de quererem participar da avaliação experimental ou não32,conforme descrito na Etapa 1 do protocolo. Para as atividades que requerem trabalho individual, também recomendamos garantir que haja espaços entre os alunos.
Em resumo, este protocolo pode ser útil para tornar o PS-I e sua avaliação experimental mais acessíveis a educadores e pesquisadores, fornecendo-lhes materiais e orientações, dando-lhes flexibilidade para aplicá-lo de acordo com suas necessidades de pesquisa e educação, e propondo opções de análise que se adaptem a diferentes tamanhos amostrais. No entanto, uma possível limitação aqui pode ser o tempo necessário para o preenchimento dos questionários e testes sobre predisposições estudantis. Quando o usuário está interessado em avaliar essas predisposições, mas não há tempo disponível para fazê-lo durante a aula, esses questionários podem ser preenchidos como uma atribuição fora da aula. Uma segunda limitação é o erro de medição potencial de algumas das medidas de predisposição propostas que não são especificamente contextualizadas no aprendizado de medidas de variabilidade, mas sim na aprendizagem geral (metacognição e pensamento divergente) ou na aprendizagem estatística geral (objetivos de abordagem de domínio e senso de competência). Esse erro deve ser considerado como uma limitação potencial de quaisquer estudos realizados com este protocolo. Uma limitação final é que o pré-teste de conhecimento prévio e o pós-teste de aprendizagem não são medidas validadas na literatura anterior até agora, uma vez que o conteúdo da implementação é muito específico e as medidas validadas para eles não estão disponíveis. No entanto, espera-se que a futura implementação deste protocolo avance em sua validação.
Em linhas semelhantes, a aplicação futura do protocolo também definirá novas necessidades de pesquisa e novas variações a serem aplicadas. Ter o protocolo como fonte comum pode contribuir para fornecer uma certa estrutura sistemática em diferentes estudos. Além disso, desde que os educadores achem a avaliação experimental desse protocolo compatível com sua prática educacional, esse protocolo pode incentivar o envolvimento dos educadores com a pesquisa PS-I, o que significaria uma perspectiva profissional mais ampla no processo de pesquisa e melhor acesso às amostras32.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Os autores não têm nada a revelar.
Acknowledgments
Este trabalho foi apoiado por um projeto do Principado das Astúrias (FC-GRUPIN-IDI/2018/000199) e uma bolsa de pré-doutorado do Ministério da Educação, Cultura e Esportes da Espanha (FPU16/05802). Gostaríamos de agradecer a Stephanie Jun por sua ajuda na edição do inglês nos materiais de aprendizagem.
Materials
| Name | Company | Catalog Number | Comments |
| SPSS Program | International Business Machines Corporation (IBM) | Other programs for general data analysis might be used instead | |
| PROCESS program | Andrew F. Hayes (Ohio State University) | Freely accesible at: http://www.processmacro.org. Other programs for mediation, moderation, or conditional process analyses might be used instead | |
| Cognitive Competence Scale in the Survey of Attitudes towards Statistics (SATS-28) | Candace Schau (Arizona State University) | In case it is used, request should be requested from the author, who holds the copyright | |
| Mastery Approach Scale in the Achievement Goal Questionnaire-Revised | Andrew J. Elliot (University of Rochester) | In case it is used, request should be requested from the author | |
| Regulation of Cognition Scale of the Metacognitive Awareness Inventory | Gregory Schraw (University of Nevada Las Vegas) | In case it is used, request should be requested from the creator |
References
- Silver, E. A., Kenney, P. A. Results from the seventh mathematics assessment of the National Assessment of Educational Progress. Council of Teachers of Mathematics. , (2000).
- OECD. Results (Volume I): Excellence and Equity in Education. PISA, OECD. , OECD publishing. Paris, France. (2016).
- Mallart Solaz, A. La resolución de problemas en la prueba de Matemáticas de acceso a la universidad: procesos y errores. , (2014).
- García, T., Rodríguez, C., Betts, L., Areces, D., González-Castro, P. How affective-motivational variables and approaches to learning predict mathematics achievement in upper elementary levels. Learning and Individual Differences. 49, 25-31 (2016).
- Lai, Y., Zhu, X., Chen, Y., Li, Y. Effects of mathematics anxiety and mathematical metacognition on word problem solving in children with and without mathematical learning difficulties. PloS one. 10 (6), 0130570 (2015).
- Ma, X., Xu, J. The causal ordering of mathematics anxiety and mathematics achievement: a longitudinal panel analysis. Journal of Adolescence. 27 (2), 165-179 (2004).
- Kapur, M.
- Kirschner, P. A., Sweller, J., Clark, R. E. Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist. 41 (2), 75-86 (2006).
- Stockard, J., Wood, T. W., Coughlin, C., Khoury, C. R. The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of educational research. 88 (4), 479-507 (2018).
- Clark, R., Kirschner, P. A., Sweller, J. Putting students on the path to learning: The case for fully guided instruction. American Educator. , (2012).
- Schwartz, D. L., Martin, T. Inventing to prepare for future learning: The hidden efficiency of encouraging original student production in statistics instruction. Cognition and instruction. 22 (2), 129-184 (2004).
- Loibl, K., Rummel, N. The impact of guidance during problem-solving prior to instruction on students' inventions and learning outcomes. Instructional Science. 42 (3), 305-326 (2014).
- Kapur, M., Bielaczyc, K.
- Glogger-Frey, I., Fleischer, C., Grueny, L., Kappich, J., Renkl, A. Inventing a solution and studying a worked solution prepare differently for learning from direct instruction. Learning and Instruction. 39, 72-87 (2015).
- Glogger-Frey, I., Gaus, K., Renkl, A. Learning from direct instruction: Best prepared by several self-regulated or guided invention activities. Learning and Instruction. 51, 26-35 (2017).
- Likourezos, V., Kalyuga, S. Instruction-first and problem-solving-first approaches: alternative pathways to learning complex tasks. Instructional Science. 45 (2), 195-219 (2017).
- Lamnina, M., Chase, C. C. Developing a thirst for knowledge: How uncertainty in the classroom influences curiosity, affect, learning, and transfer. Contemporary educational psychology. 59, 101785 (2019).
- Loibl, K., Rummel, N. Knowing what you don't know makes failure productive. Learning and Instruction. 34, 74-85 (2014).
- Weaver, J. P., Chastain, R. J., DeCaro, D. A., DeCaro, M. S. Reverse the routine: Problem solving before instruction improves conceptual knowledge in undergraduate physics. Contemporary educational psychology. 52, 36-47 (2018).
- Loibl, K., Roll, I., Rummel, N. Towards a Theory of When and How Problem Solving Followed by Instruction Supports Learning. Educational psychology review. 29 (4), 693-715 (2017).
- Darabi, A., Arrington, T. L., Sayilir, E. Learning from failure: a meta-analysis of the empirical studies. Etr&D-Educational Technology Research and Development. 66 (5), 1101-1118 (2018).
- Chen, O. H., Kalyuga, S. Exploring factors influencing the effectiveness of explicit instruction first and problem-solving first approaches. European Journal of Psychology of Education. , (2019).
- González-Cabañes, E., García, T., Rodríguez, C., Cuesta, M., Núñez, J. C. Learning and Emotional Outcomes after the Application of Invention Activities in a Sample of University Students. Sustainability. 12 (18), 7306 (2020).
- Schwartz, D. L., Chase, C. C., Oppezzo, M. A., Chin, D. B. Practicing Versus Inventing With Contrasting Cases: The Effects of Telling First on Learning and Transfer. Journal of educational psychology. 103 (4), 759-775 (2011).
- Chase, C. C., Klahr, D. Invention Versus Direct Instruction: For Some Content, It's a Tie. Journal of Science Education and Technology. 26 (6), 582-596 (2017).
- Newman, P. M., DeCaro, M. S. Learning by exploring: How much guidance is optimal. Learning and Instruction. 62, 49-63 (2019).
- Belenky, D. M., Nokes-Malach, T. J. Motivation and Transfer: The Role of Mastery-Approach Goals in Preparation for Future Learning. Journal of the Learning Sciences. 21 (3), 399-432 (2012).
- Bergold, S., Steinmayr, R. The relation over time between achievement motivation and intelligence in young elementary school children: A latent cross-lagged analysis. Contemporary educational psychology. 46, 228-240 (2016).
- Mazziotti, C., Rummel, N., Deiglmayr, A., Loibl, K. Probing boundary conditions of Productive Failure and analyzing the role of young students' collaboration. NPJ science of learning. 4, 2 (2019).
- Stiglitz, J. E.
- Holmes, N. G., Day, J., Park, A. H., Bonn, D., Roll, I. Making the failure more productive: scaffolding the invention process to improve inquiry behaviors and outcomes in invention activities. Instructional Science. 42 (4), 523-538 (2014).
- Herreras, E. B. La docencia a través de la investigación-acción. Revista Iberoamericana de Educación. 35 (1), 1-9 (2004).
- Schau, C., Stevens, J., Dauphinee, T. L., Delvecchio, A. The development and validation of the survey of attitudes toward statistics. Educational and Psychological Measurement. 55 (5), 868-875 (1995).
- Elliot, A. J., Murayama, K. On the measurement of achievement goals: Critique, illustration, and application. Journal of educational psychology. 100 (3), 613-628 (2008).
- Schraw, G., Dennison, R. S.
- Guilford, J. P. The nature of human intelligence. , (1967).
- Zmigrod, L., Rentfrow, P. J., Zmigrod, S., Robbins, T. W. Cognitive flexibility and religious disbelief. Psychological Research-Psychologische Forschung. 83 (8), 1749-1759 (2019).
- Wilson, S. Divergent thinking in the grasslands: thinking about object function in the context of a grassland survival scenario elicits more alternate uses than control scenarios. Journal of Cognitive Psychology. 28 (5), 618-630 (2016).
- Autin, F., Croizet, J. -C. Improving working memory efficiency by reframing metacognitive interpretation of task difficulty. Journal of experimental psychology: General. 141 (4), 610 (2012).
- Pekrun, R., Vogl, E., Muis, K. R., Sinatra, G. M. Measuring emotions during epistemic activities: the Epistemically-Related Emotion Scales. Cognition and Emotion. 31 (6), 1268-1276 (2017).
- Pallant, J. Statistical techniques to compare groups. SPSS survival manual. , McGraw-Hill Education. UK. 211 (2013).
- Pallant, J. Statistical techniques to explore relationships among variables. SPSS survival manual. , McGraw-Hill Education. UK. 125-149 (2013).
- Hayes, A. F. Introduction to mediation, moderation, and conditional process analysis: A regression-based approach. , Guilford publications. New York, NY. (2017).
- Kapur, M. Productive failure in learning the concept of variance. Instructional Science. 40 (4), 651-672 (2012).
- Nolan, M. M., Beran, T., Hecker, K. G. Surveys Assessing Students' Attitudes Toward Statistics: A Systematic Review of Validity and Reliability. Statistics Education Research Journal. 11 (2), (2012).
- Schraw, G., Dennison, R. S.
- Dumas, D., Dunbar, K. N. Understanding Fluency and Originality: A latent variable perspective. Thinking Skills and Creativity. 14, 56-67 (2014).
- Roberts, R., et al. An fMRI investigation of the relationship between future imagination and cognitive flexibility. Neuropsychologia. 95, 156-172 (2017).
- Chamorro-Premuzic, T. Creativity versus conscientiousness: Which is a better predictor of student performance. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition. 20 (4), 521-531 (2006).
- Kapur, M. Examining productive failure, productive success, unproductive failure, and unproductive success in learning. Educational Psychologist. 51 (2), 289-299 (2016).
