Summary
该协议指导研究人员和教育工作者在本科统计课上实施"在教学前解决问题"方法 （PS-I）。它还描述了对这一实施的嵌入式实验评估，其中PS-I的功效是根据不同认知和情感倾向的学生的学习和动机来衡量的。
Abstract
当前，如何鼓励学生的反思思维是各级教师最关心的问题之一。许多学生在面对涉及高水平反思的任务时遇到困难，例如在 STEM（科学、技术、工程和数学）课程中。许多人对这类课程也有着根深蒂固的焦虑和沮丧。为了克服这些认知和情感挑战，研究人员建议使用"在教学前解决问题"（PS-I）方法。PS-I 包括让学生有机会为以后在课堂上解决的问题生成单独的解决方案。这些解决方案与指导下一阶段的规范解决方案以及课程内容的演示进行了比较。有人建议，通过这种方法，学生可以增加他们的概念理解，将他们的学习转移到不同的任务和背景，更加意识到他们的知识差距，并产生个人结构以前的知识，可以帮助保持他们的动机。尽管方法有其优点，但还是受到了批评，因为学生可能会在解决方案生成的初始阶段花费大量时间进行漫无目的的试验和错误，或者他们甚至可能在这个过程中感到沮丧，这可能不利于未来的学习。更重要的是，对于预先存在的学生特征如何帮助他们从这种方法中受益（或不受益），几乎没有研究。本研究的目的是介绍适用于本科生统计学的PS-I方法的设计和实施，以及一种用于评估其有效性的方法，以考虑到学生先前存在的差异。
Introduction
教师目前最关心的问题之一是如何激发学生的反思。这种关注在数学性质的课程中很常见，例如STEM课程（科学、技术、工程和数学），其中许多概念的抽象需要高度的反思，然而许多学生报告说，纯粹通过基于记忆的方法接近这些课程1。此外，学生经常表现出肤浅的学习概念1，2，3。然而，学生在应用反思和深度学习过程中遇到的困难不仅仅是认知问题。许多学生感到焦虑和沮丧，面对这些课程4，5。事实上，这些困难往往贯穿于学生的教育过程中。因此，重要的是要探索教育策略，激励和认知准备学生深入学习，无论他们不同的倾向。
找到补充典型教学方法的战略尤其有用。最典型的直接指导之一。直接教学是指全面指导学生从引入新概念，明确信息这些概念，然后与巩固策略，如解决问题的活动，反馈，讨论，或进一步解释7，8。直接教学可以有效地传输内容8，9，10。然而，学生往往不考虑重要的方面，如内容如何与他们的个人知识，或潜在的程序，可以工作，而不是11。因此，引入互补策略，让学生批判性地思考，就很重要。
其中一种策略是指令前解决问题的方法（PS-I）方法12，也称为发明方法11 或生产失败方法13。PS-I 不同于直接教学，因为学生没有直接了解这些概念，而是在典型的直接教学活动之前有一个解决问题的阶段，即学生在获得有关解决问题程序的任何解释之前寻求解决问题的单独解决方案。
在这个初始问题中，学生预计不会完全发现目标概念13。学生也可能感到认知超负荷14，15，16，甚至负面影响17与不确定性和许多方面要考虑。然而，从长远来看，这种体验是富有成效的，因为它可以促进对重要特征的批判性思考。具体来说，最初的问题可以帮助学生更加意识到他们的知识差距18，激活与内容相关的知识，涵盖13，并增加动机，因为他们有机会建立在个人知识的基础上，7，17，19。
在学习方面，当用深度学习指标20、21来评价结果时，一般会看到PS-I的影响。一般来说，通过PS-I学习的学生和通过直接教学学习的学生之间没有发现程序知识20、22之间的差异，这指的是复制所学程序的能力。然而，通过PS-I的学生一般表现出更高的概念知识7，19，23，其中提到理解所涵盖的内容，并转移7，15，19，24，这指的是能力，将这种理解应用到新的情况。例如，最近一个班级关于统计变异性的研究表明，在收到关于本课程一般概念和程序的解释之前，有机会发明自己的方法来测量统计变异性的学生，在课程结束时比那些在参与任何解决问题活动之前能够直接研究相关概念和程序的学生更能加深理解。然而，一些研究表明，在学习16，25，26或动机19，26之间的PS-I和直接教学替代，甚至更好的学习直接教学替代14，26，重要的是要考虑潜在的来源的变异性。
PS-I 实施背后的设计特征是20的一个重要特征。系统回顾20发现，当 PS-I 干预至少采用两种策略之一实施时，PS-I 比直接教学替代方案更有可能具有学习优势，要么制定与对比案例对比的初始问题，要么构建后续教学，对学生的解决方案进行详细反馈。对比案例包括一些重要特征11中不同的简单示例（例如，请参阅图 1），可以帮助学生识别相关功能并在初始问题11、20期间评估自己的解决方案。第二种策略，提供基于学生解决方案13的解释，包括解释规范的概念，同时反馈学生产生的解决方案的提供和局限性，这也可以帮助学生专注于相关功能，并评估自己的知识差距20，但在初始问题解决阶段完成后（见图3，从学生的典型解决方案脚手架的例子）。
鉴于文献中对这两种策略的支持，对比案例和建立学生解决方案的教学，在促进将PS-I纳入实际教育实践时，必须考虑它们。这是我们协议的第一个目标。该协议为纳入这两项原则的PS-I干预提供了材料。这是一个协议，虽然适应性强，但它是上下文的统计变化的一课，一个非常常见的教训，大学和高中生，他们通常是PS-I29文献中的目标人群。最初解决问题的阶段包括发明各国收入分配的可变性措施，这是一个有争议的话题30， 许多学习领域的学生可能熟悉。然后，为学生提供材料，以工作实例研究解决这个问题的办法，并提供讲座，将讨论学生提出的共同解决方案以及嵌入式实践问题纳入其中。
我们协议的第二个目标是让教育工作者和研究人员能够获得PS-I的实验评估，从而从更多角度促进PS-I的调查，同时保持文献中某些条件不变。然而，这种实验性评估的条件对修改是灵活的。协议中描述的实验评估可以应用于普通课程，因为单个班级的学生可以同时获得PS-I条件的材料或直接教学条件的材料（图4）。这种直接教学条件也适应研究和教育的需要，但正如协议中最初描述的学生开始得到关于目标概念的初步解释与工作的例子，然后巩固这一知识与实践问题（只提出在这种情况下，以弥补PS-I学生花费在初始问题的时间），并与讲座23。潜在的适应包括从讲座开始，然后让学生做解决问题的活动，这是比较PS-I的典型控制条件，这往往导致更好的学习PS-I条件7，13，19，26。或者，控制条件可以简化为探索一个工作的例子，然后是讲座阶段，虽然直接教学方法比最初建议的更简化版本，但在文献中更为常见，并导致不同的结果，一些研究表明，在PS-I15，24更好的学习，其他表明更好地学习这种类型的直接教学条件14，26。
最后，协议的第三个目标是提供资源，以评估具有不同倾向和认知能力的学生如何从PS-I15中受益。如果我们考虑一些学生在STEM课程中经常出现的负面倾向，以及PS-I在某些情况下仍能产生负面反应，那么评估这些倾向就显得尤为重要。然而，对此的研究很少。
一方面，由于PS-I促进学习与个人想法的关联，而不仅仅是正式知识，PS-I可以假设能够帮助激励学生从低学术水平，那些谁的能力低，或低动机的科目13，27。一项研究表明，掌握程度低的学生，即与个人学习相关的目标较少，从PS-I中受益比那些学习动机较高的学生多。另一方面，具有其他个人资料的学生在参与PS-I时可能会遇到困难。更具体地说，元认知在PS-I31中起着重要作用，元认知能力低的学生可能因为难以意识到自己的知识差距或辨别相关内容而无法从PS-I中受益。此外，由于 PS-I 的初始阶段基于单个解决方案的生成，因此，能力差异低、在给定情况下产生各种响应困难的学生可能比其他学生从 PS-I 中获益更少。该协议提供了可靠的工具来评估这些倾向（表1），虽然其他可能考虑。
总之，本议定书旨在使教育工作者和研究人员能够利用PS-I文献中公认的原则实施PS-I干预。此外，协议还对这种干预进行了实验性评估，并有助于评估学生的认知和动机倾向。这是一项不需要获得新技术或特定资源的协议，并且可以根据研究和教育需要进行修改。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
本议定书遵循《赫尔辛基人类研究伦理原则宣言》，但将这些原则应用于将研究纳入教育现实环境中的额外困难。具体来说，无论是学习条件的分配，还是参与的决定，都不会对学生的学习机会产生影响。此外，即使负责评估的是教师，也要保持学生的保密性和匿名性。议定书的目的、范围和程序已得到阿斯图里亚斯公国（西班牙）研究伦理委员会的批准（参考：242/19）。
请注意，如果用户只对实施 PS-I 方法感兴趣，则只有第 6 步（不将参与者分配给控制条件）和第 7 步相关。尽管如此，第5步和第9步可以添加为学生的练习练习。如果用户也对实验评估感兴趣，则学生必须在第 4 步、第 5 步、第 6 步和第 9 步期间单独工作。因此，建议在这些步骤中安排学生座位，以便每个学生旁边有一个空位。
根据方便性，这些步骤可以在单个类会话中连续实施，也可以在不同的类会话中执行后续步骤。
1. 向学生提供有关学习目的和程序的信息
- 上课时间花10分钟让学生了解学习情况。
- 明确向学生解释学习的总体目的、学生同意参与的自由、可以自由退出的事实以及数据处理中匿名和保密的保证。
- 告诉他们，这项研究的一般目的是探索不同教育方法的功效，并评估学生的认知和情感倾向对这些方法的有效性的影响。
- 告诉他们，虽然它们将被分配到两种方法之一，但两种条件所涵盖的内容将是相同的。通知他们，在学习结束时，所有学生都可以在这两种条件下使用的活动。
- 让他们知道他们可以自由地参加学习，他们可以随时离开学习，而不会影响他们的学习机会或成绩。如果他们不想参加学习，他们可以做学习活动，而无需交由他们。此外，在参与者完成问卷的短时间内，非参与者可以学习其他材料。
- 通知他们，他们的参与将是匿名的，并且将始终保持保密性，将使用任意识别号码将不同会话和活动的数据组合在一起。
- 向学生提供两份知情同意书（附录A），其中也包含研究人员的联系信息。请他们为您签名一份副本，并保留另一份副本。
注：此协议针对的是不需要父母许可的大学生。虽然对于合法未成年的学生来说，还需要父母的知情同意，但这种建议可以推广到较低的教育水平。 - 如果学生在协议的后期阶段被添加到研究中，请他们在加入研究之前完成本节中描述的知情同意。
2. 向学生提供与其他记录分离的识别号码
- 为了保持学生回答的匿名性，随机给每个学生分配一个识别号码（例如，准备一个随机号码的袋子，并要求每个学生挑选一个，通过网络应用程序给每个学生发电子邮件，一个随机号码）。请他们注意在协议中随后的评估中可以访问的数字。
注意：如果研究是通过允许匿名跟踪学生反应的在线应用程序完成的，则没有必要这样做。
3. 完成关于认知和情感倾向和基本人口统计数据的调查问卷
- 在上课时间保留 10 分钟，以便向全班所有学生管理问卷。
- 给那些决定不参加实验的学生其他学习选择，比如单独研究其他内容。
- 要求学生填写有关其倾向的问卷，这可以使用 附录B中的问卷完成。请他们单独工作。
注：附录B中的一组问卷包括统计态度调查中的认知能力尺度（SATS-28）33、成就目标问卷修订34中的掌握方法量表、元认知意识清单35的认知尺度调节以及人口问题。- 为了控制与学生填写问卷的顺序相关的潜在污染物影响，随机递送不同版本的问卷，这些表格的提交顺序各不相同。在 附录 B-1 中，建议的问卷有不同的打印版本，具有不同的顺序。
注：如果问卷以数字方式完成，则创建与不同订单的链接，并在班级学生中随机分配四个链接（例如，通过字母顺序创建的组）。
- 为了控制与学生填写问卷的顺序相关的潜在污染物影响，随机递送不同版本的问卷，这些表格的提交顺序各不相同。在 附录 B-1 中，建议的问卷有不同的打印版本，具有不同的顺序。
- 给学生7分钟时间完成问卷。调查表中包含说明，无需其他说明。
4. 管理不同的思维测试
- 如果这个测试是有兴趣的，在上课期间花10分钟来管理替代用途任务36，37，测量全班所有学生的发散思维的流畅性。
- 向每个学生提供一张白纸，并要求他们写上自己的身份证号码。
- 解释测试说明。
- 告诉他们，他们将被提供一个具有共同用途的对象，但他们应该想出尽可能多的其他用途，他们可以。
- 给他们举一个例子（例如，如果我给你一份报纸，这是常用的阅读，你必须写替代用途，如用它作为临时帽子，以保护你免受阳光，或线的底部旅行袋）38。
- 大声阅读测试中的第一个项目，并在黑板上写上："为砖块写尽可能多的用途"。给学生两分钟时间写他们的回答。两分钟后，请学生将论文翻转到另一边。
- 大声阅读测试中的第二个项目，并将其写在黑板上："为回形针写尽可能多的用途"。给学生两分钟时间写他们的回答。
- 两分钟后，请学生停止写作，并收集论文。
5. 完成以往学术知识的预考
- 在上课期间保留15分钟，以管理 附录C中的先前学术知识预考。
注：预测试是关于中心趋势的，这是相关的，以便吸收在第6步第7步的后续学习条件下要学习的变异性内容。在预科和第6步之间，不应向学生提供有关中心倾向的课堂内容。我们也不建议用不同的预测试覆盖变异性来代替这个预测试，因为这可能会产生PS-I效应，可能会污染实验结果26。 - 将预科考试分发给学生。从这一点出发，请他们单独工作。
- 给学生10分钟时间完成预测试。测试中包含说明，无需再使用规范。一旦时间到了，请学生把纸翻过来交给你。
6. 分配和管理两个学习条件
- 上课时间为 35 分钟，以管理同一教室内的两个学习条件。
注：为了防止由于时间原因导致的可靠性错误，我们建议在完成调查问卷和步骤 2 和 3 以及此步骤的测试之间不超过一周的时间。 - 确保任务书准备得当，包含两种条件的材料。
注：选择人均GDP作为这些学习材料的背景：首先，这是一个有争议的话题30， 可能是来自许多学习领域的学生所熟悉的：第二，它是一个比率变量，允许使用不同的变异性措施，在课程讨论期间（范围，四分位范围，标准偏差，方差，变异系数）。- 对于 PS-I 条件，请在 附录 D-1 中打印相应的任务书，其中包含：发明问题活动，要求学生发明不平等指数：工作示例活动，学生可以在此中学习解决这个问题的解决方案。
- 对于直接指示条件，在 附录 D-1 中打印相应的任务书，其中包含：工作示例活动（PS-I 条件给出的相同工作示例）：实践问题与此工作示例配对。
注：此条件材料中包含的实践问题在 PS-I 状态中不存在，这一点非常重要。它包括在实验上补偿PS-I学生在发明问题上花费的额外时间。PS-I 设计的内在局限性在于难以控制时间和材料的等价性。即使在 PS-I 条件和控制条件仅按学习材料呈现顺序不同（即在明确指示阶段 之前 提出问题，或在完全相同的明确指示阶段 后 提出完全相同的问题）的设计中，也未实现等效性，因为在教学前解决的问题预计比在教学后需要更多时间。本协议以与其他研究24相同的方式处理此问题，方法是在直接教学条件下包含额外的材料。 - 将每个任务书中的两个活动分开，将与第二个活动对应的论文（例如，用夹子或便条）绑定在一起，这样学生在进行第一个活动时就看不到第二个活动的内容。
- 通知学生在此特定步骤中遵循的程序。
- 告诉他们，根据他们被分配的任务书，他们将有两个不同的对活动，但所有学生将看到相同的内容，并在课程结束时，他们都可以访问所有活动。
- 让他们知道，他们将被告知何时开始第一个活动，何时应移动到第二个活动。还要告诉他们，第二次活动的文件势必妨碍他们在适当时间之前查看。
- 为了减少与害怕失败有关的潜在挫折感，告诉他们，虽然他们可能会发现一些活动困难，但他们应该尽量将这些困难视为学习机会。
- 随机将两本任务书分配给班上的学生
注意：为了防止与学生就座地点相关的污染因素，任务书在班级的不同部分均匀地分发。例如，当您在课堂上走动时，将 PS-I 任务书交给一个学生，然后将直接教学任务书交给下一个学生。 - 一旦您向班上的所有学生分发了任务书，请他们开始单独参加第一项活动。
- 告诉学生，他们有15分钟的第一次活动。说明包含在纸张中，不再需要一般说明。
- 告诉他们，你可以回答任何问题，但避免给学生任何额外的内容，除了他们在任务书。
注：特别是对于解决发明问题的学生，避免引导他们走向常规的解决方案，因为它可以缩短自己知识的发展。相反，我们建议对学生问题11作出三种可能的回答：a） 帮助他们澄清自己的过程，要求他们解释他们在做什么：b） 帮助他们凭直觉指导自己，询问他们认为哪个国家比其他国家更不平等：c） 帮助他们理解活动的目标，要求他们生成一般索引，以解释他们所看到的差异，您可以提供其他定量索引示例（例如，"平均值是计算分布中中心值的指数"）。
- 第一次活动的 15 分钟结束后，请学生提前进行相应的第二次活动，为此他们必须删除剪辑或粘性注释。
- 告诉他们，他们有15分钟的第二次活动。说明包含在纸张中，无需额外的一般说明。告诉他们，你可以回答任何问题。
注：学生可以访问前一项活动的内容。
- 告诉他们，他们有15分钟的第二次活动。说明包含在纸张中，无需额外的一般说明。告诉他们，你可以回答任何问题。
- 15 分钟后，请他们把完成的材料交给您。
7. 讲座内容管理
- 在一个或几个上课时间内保留 40 分钟，为全班所有学生讲授统计变异性。
注：协议可以在讲座期间的任何时候中断，并可以在随后的课堂课程中继续。 - 要讲课，请按照幻灯片进行，该幻灯片可在以下链接找到：https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0。
注：该文件包括错开内容的动画、向学生提供建议解释的评论，以及关于每个解释分配的大致时间的指示。所包括的内容和活动包括变异性的定义、不同变异度量度的使用（范围、四分位范围、方差、标准偏差和变异系数）、这些措施的属性及其相对于彼此的优缺点以及其他次优解决方案13。本建议讲座的进一步描述可在 附录 E中找到。用户可以根据不同的因素（如特定内容）对这些材料进行调整，以涵盖课堂、首选教学原则或不同的文化表达方式。
8. 完成好奇心问卷
- 讲座结束时，给学生从认识相关情绪问卷40（附录F）的好奇度量表，并给他们2分钟的时间完成它。提醒学生在将识别号写在问卷上后再交还。
注：在文献中，好奇心通常是在发明活动和相应的控制活动14、17之后测量的。该协议在这方面对此和其他可能的适应是灵活的。简单来说，我们只在课程结束时包括好奇心的测量，因为它与检查PS-I对好奇心的长期影响有关，而且由于发明活动之后好奇心的增加可以部分地解释为，在发明活动期间，学生收到的信息比作为对照的替代活动少。
9. 考试后学习管理
- 按照每个班的老师，在上课时间内花30分钟来管理考试后。
- 将 附录 G 中的测试后分发给学生。请他们单独处理它。
- 给学生25分钟做测试后。测试后包含说明，无需额外的一般说明。
- 25 分钟后，请他们把测试后交给您。
10. 向学生提供反馈和所有学习材料
- 向学生提供本课使用的材料。电源点幻灯片、两种学习条件的材料以及测试前和测试后的解决方案均可在 附录 H中找到。
11. 编码数据
- 通过将每个问卷表中的所有项目分数加在一起计算问卷中不同比例的分数（参见 附录 B， 以摘要建议的问卷中的问卷项目）。
- 计算不同思维流畅性的分数，通过计算每个学生在替代用途任务37中两个项目中给出的所有适当反应。
注：其他通常从替代用途任务编码的措施，如灵活性，独创性和阐述，也可以被认为是36，37。 - 首先使用 附录 I-1 中的答案键对每个项目进行评分，然后将所有项目的分数加在一起，计算之前知识预测试的分数。
- 计算不同的学习量度，首先使用 附录 I-2 中的答案键对测试后的每个项目进行评分，然后将每个学习量度的分数加在一起：程序性学习措施的第 1 到 3 项分数、概念学习措施的 4-8 项分数以及学习措施转移项目 9-11 的分数。
注：有关学习过程的其他措施，如学生在发明问题期间产生的解决方案数量或所有解决问题活动中解决方案的正确性，可能会考虑，但本协议中不会对此进行解释。
12. 数据分析
请注意，本节中的引用参考了有关如何使用 SPSS 和处理软件执行分析的实际手册，但也可以使用其他程序。
- 要评估 PS-I 的总体功效，比较 PS-I 条件的好奇心和学习分数与控制条件的好奇心和学习分数。
注：只要假设得到满足，我们主要建议ANCOVA控制共变的倾向。作为第二个选项，我们建议为独立组的t测试，作为第三个选项，我们建议曼-惠特尼U测试41。这些分析不需要最小样本量，但考虑到以前文献（d = .43）21中的效果大小，建议每组至少 118 名学生的样本，以便于确定其影响是否显著（针对独立手段之间的差异进行双尾功率分析，α = 0.05，β = 0.95，）。每组超过30名学生的样本将更容易满足ANCOVA或t测试41的正常假设。 - 要直观地探索调解效果（例如，对学习的好奇心的调停）和/或倾向的缓和影响，在两种学习条件下对调解器变量（例如好奇心）和学习变量（例如概念知识）进行相关分析。
注：只要假设得到满足，我们主要建议使用皮尔逊相关性，作为第二个选项，我们建议斯皮尔曼相关性42。这些分析不需要最小样本量，但大型样本（例如，每组学生超过 30 人）将更容易实现 Pearson 相关性所需的正常假设。可能的节制效应将通过在一种学习条件中与另一种学习条件具有不同相关值的倾向变量来表示。如果介质变量与至少一种条件下的学习结果相关，并且如果此变量的水平在一种学习条件下与另一种情况不同（参见第 12.1 步的结果），则表示可能的调停效果（例如，对学习的好奇心的调停）。 - 要继续评估调解对学习和/或学生倾向的缓和影响的影响，根据测试43的概念模型进行调解分析、适度分析或有条件过程分析（结合调解和适度分析），根据第12.2步中选择的假设和/或初步分析，分析结果会有所不同。
注：由于这些分析基于多个回归，因此基于固定效果统计方法，因此，为了使结果尽可能普遍，我们建议概念模型中包含的每个调停变量的最小样本量为 15 名学生，以及模型中包含的每个适度变量的 30 名学生。某些程序（如"过程"）仅允许同时包含最多两个调节变量。要包含更多调节变量，需要运行多个分析来更改包含的版主。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
该协议在上一项研究23中得到了令人满意的实施，除了学生的能力意识、掌握方法目标、元认知和不同思维的倾向性指标外。
为了解决这些倾向，本协议包括以前已验证且具有高度可靠性的措施（表 1）。
学生在PS-I条件的发明问题中产生的典型解决方案可以在图3A-D中看到。学生通常不会产生标准偏差的规范解决方案。但是，它们产生的次优解决方案揭示了标准偏差的相关方面（例如范围、总结偏差或平均偏差）的反射。先前的研究表明，PS-I最初问题的各种解决方案与高等教育有关，而不管反应的正确性如何。然而，必须指出，这个问题没有反应并不是学生没有从中受益的指标，因为学生可以批判性地反映问题，而不会产生明显的结果。
学生在控制条件下使用的练习问题（图2）中产生的典型解决方案见 图3 E。这些解决方案更加均匀，符合标准偏差的规范概念，因为这是他们在研究工作示例（附录 D-2）中的概念和程序后提出的一个问题。
图5再现了报告PS-I与实验评估中直接指导之间的一般差异的示例。它基于本协议23 遵循的先前研究结果，其中 PS-I 状态的学生在程序知识、知识转移、好奇心或先前的知识方面没有差异，但在概念知识方面确实有所不同。
图6显示了报告建议的学生倾向之一的缓和效应、元认知能力的示例。在这个假设的例子中，元化能力较低的学生从直接教学中学到的比从PS-I学到的要多，而那些具有较高元化能力的学生从PS-I中获益更多，而不是从直接教学中受益更多。
图1：PS-I条件下的发明问题。 在这个问题中，23 名PS-I状态的学生被要求发明定量指数来衡量这四个国家的不平等程度。它采用对比案例11的技术制定：各国在相关特征上表现出一致性和差异性，这些变化易于计算。例如，平潘朋和托维奥的均值（5），相同数量的病例（7），相同的范围（10），但分布不同。请单击此处查看此图的较大版本。
图2：直接教学条件下的实践问题。在这个问题中，23 名处于直接教学条件的学生被要求应用在工作示例中学到的概念和程序。请单击此处查看此图的较大版本。
图3：发明问题和实践问题的共同解决方案。 图像 A-D 显示了发明问题中的常见解决方案，该解决方案可用于后直接指示阶段的脚手架内容：（A） 范围 - 易于计算，但不考虑所有居民之间的差异 -：（B） 基于范围的测量 - 考虑的居民多于范围，因为当最大值重复时，该范围会放大，但不考虑所有值 -：（C） 平均偏差 - 它占所有居民的差异，但它是令人困惑的，因为负偏差减去正偏差 -：（D） 绝对偏差的平均值 - 类似于标准偏差规范解决方案的概念完整解决方案 -：（E） 控制条件实践问题的典型解决方案。处于此状态的学生已经学习了工作示例，因此他们中的大多数能够正确再现和解释标准偏差的规范解决方案。请单击此处查看此图的较大版本。
图4：实验评价设计。 在完成测量学生倾向的调查问卷和测试后，学生被随机分配到两个学习条件的活动（所有学生都在同一个班级）。一旦学生完成这些活动，他们都会接受关于统计变化性的相同讲座。好奇心和学习是在学习过程结束时衡量的。请单击此处查看此图的较大版本。
图5：PS-I与直接教学的有效性结果。 图形显示PS-I条件和每个受附变量内的直接指令条件之间的比较的典型结果，使用使用此协议23的先前研究的数据。每个图形中的两个条表示两个条件的手段，而其相应的错误条表示这些条件的 +/- 1 标准错误。* 表示在 .05 意义级别上的重大结果。请单击此处查看此图的较大版本。
图6：关于学生倾向的缓和效应的假设结果。图形显示了一个假设的结果，即代谢能力对PS-I促进学习的相对功效的调节作用，其中PS-I比直接教学更有效，只针对报告中高元观能力的学生。根据43年的建议，第 16、第50和第86个 百分位分别用于代表具有低、中、高元认知能力的学生。请单击此处查看此图的较大版本。
| 构建 | 测量和描述 | ||
| 能力感 | 统计态度调查中的认知能力尺度（SATS-28）33可用于（附录B2）。它由6个项目组成，询问学生在多大程度上同意关于他们的能力学习统计能力的陈述（例如"我可以学习统计学"）。它显示了内部、收敛性和预测性有效性，以及高可靠性（α = 。71 - 。93）45。 | ||
| 掌握方法目标 | 成就目标问卷修订版 34中的掌握方法量表可使用（附录 B3）。它由3个项目组成，询问学生他们有多同意关于有专注于个人学习的学习目标的陈述（例如，"我正在努力尽可能彻底地理解本课程的内容"）。它显示了内部、收敛性和预测性有效性，以及高内部可靠性（α +84）34。 | ||
| 遗留问题条例 | 可使用《元认知意识清单46的认知尺度条例》（附录B4）。它包括35个项目，询问学生使用不同的元化策略是多么典型（例如，"当我感到困惑时，我重新评估我的假设"）。它显示了内部和预测的有效性，以及高可靠性（α = 。88）46。 | ||
| 发散思维 | 可使用替代用途任务36中的流利分数。它包括向学生展示几个对象（例如回形针），并要求他们在给定时间内为每个对象提供尽可能多的异常用途。这是一个可靠的分数 （H = .631）， 已内部验证47，并显示预测有效性的版本与不同的扩展， 不同之间 1 至 20 对象提出， 和 1 至 3 分钟给每个对象37，48，49.对于教育环境中的时间限制，本协议中建议对两个对象的简短版本和每个对象 2 分钟37。 | ||
| 以前的学术知识 | 为了适应本协议中涵盖的具体内容，学习预测试（附录 C）已从上一项研究 7中使用的可靠（α +75）预测试中进行了调整。它由5个项目组成，询问学生有关可变性内容同化的中心倾向措施。 | ||
表1：评估学生倾向的拟议结构和措施。建议对学生倾向的五种结构进行评价，作为PS-I功效的主持人。介绍了每个结构的拟议衡量标准，包括项目数量、项目描述以及有关有效性和可靠性的证据。
| 构建 | 测量和描述 | ||
| 好奇心 | 可使用认识相关情绪问卷40中的好奇度量表（附录 F）。它包括三个项目，要求学生评价他们感到好奇，感兴趣和好奇的强度。它显示了内部和预测的有效性，以及高可靠性（α = 。88）40。 | ||
| 学习（程序性、概念性和转移性） | 为了评估有关本协议中涵盖的具体变异内容的学习，从上一项研究7中使用的可靠 （α +.84） 测试后进行了学习后测试 （附录 G） 。它包括12个项目：3个项目提到程序性学习（例如，学生必须计算标准偏差的第1项），6个提到概念学习的项目（例如，第4项，学生必须解释标准偏差公式的组成部分），3个项目提到转移（例如，第10项，学生必须推断一个程序，以比较分数与不同的测量）。 | ||
表2：评估PS-I有效性的拟议构造和措施。建议的衡量好奇心的文书和三种类型的学习（程序、概念和转移）被描述，包括关于项目数量的信息、项目的描述以及关于有效性和可靠性的证据。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本协议的目的是指导研究人员和教育工作者在真实课堂环境中实施和评估PS-I方法。根据以往的一些经验，PS-I可以帮助促进19、21、24岁学生的深度学习和激励，但有必要对不同能力和动机倾向的学生的功效进行更多的研究。更具体地说，使用本文档，教育工作者可以按照PS-I文献中被广泛接受的原则（第11、13、20、50步）（第6-7步）为统计课程遵循PS-I实施协议。此外，教育工作者和研究人员可以遵循一个嵌入式实验评估，在具有不同动机和/或认知倾向（所有步骤）的学生中，对实施这种评估的有效性进行评估。这种试验不违反机会均等、自由同意参与或尊重学生保密的教育原则，也没有必要使用任何新技术。
该协议是灵活的，可以根据新的研究或教育需要修改或应用。然而，正如本文件所述，该议定书允许评估PS-I在好奇心和不同类型的学习方面的功效，包括需要深度学习的学习措施，如概念知识和知识转移，以及不一定需要深度学习的学习措施，如程序性知识。动机和深度学习都是所有教师的重要关注点。STEM课程的设计者特别关注这些主题，因为大部分学生很难理解这些课程1、2、3，并遇到各种激励问题4、5。该协议还就一些认知和/或动机倾向对学生PS-I功效的评价提供了指导，这也是STEM教育中关注的，也是PS-I的相对功效方面的一个关注点。协议中提出的倾向包括以前的学术知识、掌握方法的目标、学习主题的能力意识、元认知和不同的思维。
根据文献中提出的想法修改协议的例子包括增加条件15中的问题数量，给学生更多的时间进行问题探索44，以及包括不同的变量来解释调解学习过程14，15，24。协议对于在不同的类会话中应用不同步骤也具有灵活性。每一步都可以在前一步相同的上课时间进行，研究人员和教育工作者可以决定如何组织步骤，以方便自己。
然而，评价的一个关键因素是学生在遵守评价规则方面进行协作。例如，在某些步骤中，它们应该单独工作，以便它们之间的可能相互作用不会污染结果。为了实现这一目标，必须让学生了解相关程序，并且无论他们是否想参加实验评估，都应平等地参与学习活动，如协议第 1 步所述。对于需要个人工作的活动，我们还建议确保学生之间留有空间。
总之，本协议可能有助于使 PS-I 及其实验评估更容易为教育工作者和研究人员提供，为他们提供材料和指导，使他们能够根据自己的研究和教育需求灵活应用该方法，并提出适应不同样本大小的分析选项。然而，这里可能的一个限制可能是完成有关学生倾向的调查问卷和测试所需的时间。当用户有兴趣评估这些倾向，但没有可用的时间在课堂上这样做时，这些问卷可以作为课外作业完成。第二个限制是一些拟议的倾向性措施的潜在测量误差，这些倾向性措施不是具体在学习变异性措施时所针对的，而是在一般学习（元认知和发散性思维）或一般统计学学习（掌握方法目标和能力感）中。此错误应被视为本协议进行的任何研究的潜在限制。最后一个限制是，以前的知识预测试和学习后测试是迄今为止没有验证措施在以前的文献，因为实施的内容是非常具体的，验证措施，他们不可用。然而，预计本议定书的未来执行将推进其验证。
在类似方面，协议的未来应用也将定义新的研究需求和新的变化。将协议作为共同来源可能有助于在不同的研究中提供某种系统结构。此外，只要教育工作者发现本协议的实验评估符合他们的教育实践，该协议可能鼓励教育工作者参与PS-I研究，这将意味着在研究过程中有更广泛的专业视角，并更好地获得样本32。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项工作得到了阿斯图里亚斯公国的一个项目（FC-GRUPIN-IDI/2018/000199）和西班牙教育、文化和体育部的博士前赠款（FPU16/05802）的支持。我们要感谢斯蒂芬妮君帮助编辑英语的学习材料。
Materials
| Name | Company | Catalog Number | Comments |
| SPSS Program | International Business Machines Corporation (IBM) | Other programs for general data analysis might be used instead | |
| PROCESS program | Andrew F. Hayes (Ohio State University) | Freely accesible at: http://www.processmacro.org. Other programs for mediation, moderation, or conditional process analyses might be used instead | |
| Cognitive Competence Scale in the Survey of Attitudes towards Statistics (SATS-28) | Candace Schau (Arizona State University) | In case it is used, request should be requested from the author, who holds the copyright | |
| Mastery Approach Scale in the Achievement Goal Questionnaire-Revised | Andrew J. Elliot (University of Rochester) | In case it is used, request should be requested from the author | |
| Regulation of Cognition Scale of the Metacognitive Awareness Inventory | Gregory Schraw (University of Nevada Las Vegas) | In case it is used, request should be requested from the creator |
References
- Silver, E. A., Kenney, P. A. Results from the seventh mathematics assessment of the National Assessment of Educational Progress. Council of Teachers of Mathematics. , (2000).
- OECD. Results (Volume I): Excellence and Equity in Education. PISA, OECD. , OECD publishing. Paris, France. (2016).
- Mallart Solaz, A. La resolución de problemas en la prueba de Matemáticas de acceso a la universidad: procesos y errores. , (2014).
- García, T., Rodríguez, C., Betts, L., Areces, D., González-Castro, P. How affective-motivational variables and approaches to learning predict mathematics achievement in upper elementary levels. Learning and Individual Differences. 49, 25-31 (2016).
- Lai, Y., Zhu, X., Chen, Y., Li, Y. Effects of mathematics anxiety and mathematical metacognition on word problem solving in children with and without mathematical learning difficulties. PloS one. 10 (6), 0130570 (2015).
- Ma, X., Xu, J. The causal ordering of mathematics anxiety and mathematics achievement: a longitudinal panel analysis. Journal of Adolescence. 27 (2), 165-179 (2004).
- Kapur, M.
- Kirschner, P. A., Sweller, J., Clark, R. E. Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist. 41 (2), 75-86 (2006).
- Stockard, J., Wood, T. W., Coughlin, C., Khoury, C. R. The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of educational research. 88 (4), 479-507 (2018).
- Clark, R., Kirschner, P. A., Sweller, J. Putting students on the path to learning: The case for fully guided instruction. American Educator. , (2012).
- Schwartz, D. L., Martin, T. Inventing to prepare for future learning: The hidden efficiency of encouraging original student production in statistics instruction. Cognition and instruction. 22 (2), 129-184 (2004).
- Loibl, K., Rummel, N. The impact of guidance during problem-solving prior to instruction on students' inventions and learning outcomes. Instructional Science. 42 (3), 305-326 (2014).
- Kapur, M., Bielaczyc, K.
- Glogger-Frey, I., Fleischer, C., Grueny, L., Kappich, J., Renkl, A. Inventing a solution and studying a worked solution prepare differently for learning from direct instruction. Learning and Instruction. 39, 72-87 (2015).
- Glogger-Frey, I., Gaus, K., Renkl, A. Learning from direct instruction: Best prepared by several self-regulated or guided invention activities. Learning and Instruction. 51, 26-35 (2017).
- Likourezos, V., Kalyuga, S. Instruction-first and problem-solving-first approaches: alternative pathways to learning complex tasks. Instructional Science. 45 (2), 195-219 (2017).
- Lamnina, M., Chase, C. C. Developing a thirst for knowledge: How uncertainty in the classroom influences curiosity, affect, learning, and transfer. Contemporary educational psychology. 59, 101785 (2019).
- Loibl, K., Rummel, N. Knowing what you don't know makes failure productive. Learning and Instruction. 34, 74-85 (2014).
- Weaver, J. P., Chastain, R. J., DeCaro, D. A., DeCaro, M. S. Reverse the routine: Problem solving before instruction improves conceptual knowledge in undergraduate physics. Contemporary educational psychology. 52, 36-47 (2018).
- Loibl, K., Roll, I., Rummel, N. Towards a Theory of When and How Problem Solving Followed by Instruction Supports Learning. Educational psychology review. 29 (4), 693-715 (2017).
- Darabi, A., Arrington, T. L., Sayilir, E. Learning from failure: a meta-analysis of the empirical studies. Etr&D-Educational Technology Research and Development. 66 (5), 1101-1118 (2018).
- Chen, O. H., Kalyuga, S. Exploring factors influencing the effectiveness of explicit instruction first and problem-solving first approaches. European Journal of Psychology of Education. , (2019).
- González-Cabañes, E., García, T., Rodríguez, C., Cuesta, M., Núñez, J. C. Learning and Emotional Outcomes after the Application of Invention Activities in a Sample of University Students. Sustainability. 12 (18), 7306 (2020).
- Schwartz, D. L., Chase, C. C., Oppezzo, M. A., Chin, D. B. Practicing Versus Inventing With Contrasting Cases: The Effects of Telling First on Learning and Transfer. Journal of educational psychology. 103 (4), 759-775 (2011).
- Chase, C. C., Klahr, D. Invention Versus Direct Instruction: For Some Content, It's a Tie. Journal of Science Education and Technology. 26 (6), 582-596 (2017).
- Newman, P. M., DeCaro, M. S. Learning by exploring: How much guidance is optimal. Learning and Instruction. 62, 49-63 (2019).
- Belenky, D. M., Nokes-Malach, T. J. Motivation and Transfer: The Role of Mastery-Approach Goals in Preparation for Future Learning. Journal of the Learning Sciences. 21 (3), 399-432 (2012).
- Bergold, S., Steinmayr, R. The relation over time between achievement motivation and intelligence in young elementary school children: A latent cross-lagged analysis. Contemporary educational psychology. 46, 228-240 (2016).
- Mazziotti, C., Rummel, N., Deiglmayr, A., Loibl, K. Probing boundary conditions of Productive Failure and analyzing the role of young students' collaboration. NPJ science of learning. 4, 2 (2019).
- Stiglitz, J. E.
- Holmes, N. G., Day, J., Park, A. H., Bonn, D., Roll, I. Making the failure more productive: scaffolding the invention process to improve inquiry behaviors and outcomes in invention activities. Instructional Science. 42 (4), 523-538 (2014).
- Herreras, E. B. La docencia a través de la investigación-acción. Revista Iberoamericana de Educación. 35 (1), 1-9 (2004).
- Schau, C., Stevens, J., Dauphinee, T. L., Delvecchio, A. The development and validation of the survey of attitudes toward statistics. Educational and Psychological Measurement. 55 (5), 868-875 (1995).
- Elliot, A. J., Murayama, K. On the measurement of achievement goals: Critique, illustration, and application. Journal of educational psychology. 100 (3), 613-628 (2008).
- Schraw, G., Dennison, R. S.
- Guilford, J. P. The nature of human intelligence. , (1967).
- Zmigrod, L., Rentfrow, P. J., Zmigrod, S., Robbins, T. W. Cognitive flexibility and religious disbelief. Psychological Research-Psychologische Forschung. 83 (8), 1749-1759 (2019).
- Wilson, S. Divergent thinking in the grasslands: thinking about object function in the context of a grassland survival scenario elicits more alternate uses than control scenarios. Journal of Cognitive Psychology. 28 (5), 618-630 (2016).
- Autin, F., Croizet, J. -C. Improving working memory efficiency by reframing metacognitive interpretation of task difficulty. Journal of experimental psychology: General. 141 (4), 610 (2012).
- Pekrun, R., Vogl, E., Muis, K. R., Sinatra, G. M. Measuring emotions during epistemic activities: the Epistemically-Related Emotion Scales. Cognition and Emotion. 31 (6), 1268-1276 (2017).
- Pallant, J. Statistical techniques to compare groups. SPSS survival manual. , McGraw-Hill Education. UK. 211 (2013).
- Pallant, J. Statistical techniques to explore relationships among variables. SPSS survival manual. , McGraw-Hill Education. UK. 125-149 (2013).
- Hayes, A. F. Introduction to mediation, moderation, and conditional process analysis: A regression-based approach. , Guilford publications. New York, NY. (2017).
- Kapur, M. Productive failure in learning the concept of variance. Instructional Science. 40 (4), 651-672 (2012).
- Nolan, M. M., Beran, T., Hecker, K. G. Surveys Assessing Students' Attitudes Toward Statistics: A Systematic Review of Validity and Reliability. Statistics Education Research Journal. 11 (2), (2012).
- Schraw, G., Dennison, R. S.
- Dumas, D., Dunbar, K. N. Understanding Fluency and Originality: A latent variable perspective. Thinking Skills and Creativity. 14, 56-67 (2014).
- Roberts, R., et al. An fMRI investigation of the relationship between future imagination and cognitive flexibility. Neuropsychologia. 95, 156-172 (2017).
- Chamorro-Premuzic, T. Creativity versus conscientiousness: Which is a better predictor of student performance. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition. 20 (4), 521-531 (2006).
- Kapur, M. Examining productive failure, productive success, unproductive failure, and unproductive success in learning. Educational Psychologist. 51 (2), 289-299 (2016).
