教学前问题解决 （PS-I）:对不同能力的学生进行评估和干预的方案

Summary

该协议指导研究人员和教育工作者在本科统计课上实施"在教学前解决问题"方法 （PS-I）。它还描述了对这一实施的嵌入式实验评估，其中PS-I的功效是根据不同认知和情感倾向的学生的学习和动机来衡量的。

Abstract

当前，如何鼓励学生的反思思维是各级教师最关心的问题之一。许多学生在面对涉及高水平反思的任务时遇到困难，例如在 STEM（科学、技术、工程和数学）课程中。许多人对这类课程也有着根深蒂固的焦虑和沮丧。为了克服这些认知和情感挑战，研究人员建议使用"在教学前解决问题"（PS-I）方法。PS-I 包括让学生有机会为以后在课堂上解决的问题生成单独的解决方案。这些解决方案与指导下一阶段的规范解决方案以及课程内容的演示进行了比较。有人建议，通过这种方法，学生可以增加他们的概念理解，将他们的学习转移到不同的任务和背景，更加意识到他们的知识差距，并产生个人结构以前的知识，可以帮助保持他们的动机。尽管方法有其优点，但还是受到了批评，因为学生可能会在解决方案生成的初始阶段花费大量时间进行漫无目的的试验和错误，或者他们甚至可能在这个过程中感到沮丧，这可能不利于未来的学习。更重要的是，对于预先存在的学生特征如何帮助他们从这种方法中受益（或不受益），几乎没有研究。本研究的目的是介绍适用于本科生统计学的PS-I方法的设计和实施，以及一种用于评估其有效性的方法，以考虑到学生先前存在的差异。

Introduction

教师目前最关心的问题之一是如何激发学生的反思。这种关注在数学性质的课程中很常见，例如STEM课程（科学、技术、工程和数学），其中许多概念的抽象需要高度的反思，然而许多学生报告说，纯粹通过基于记忆的方法接近这些课程^1。此外，学生经常表现出肤浅的学习概念^1，2，3。然而，学生在应用反思和深度学习过程中遇到的困难不仅仅是认知问题。许多学生感到焦虑和沮丧，面对这些课程^4，5。事实上，这些困难往往贯穿于学生的教育^过程中。因此，重要的是要探索教育策略，激励和认知准备学生深入学习，无论他们不同的倾向。

找到补充典型教学方法的战略尤其有用。最典型的直接指导之一。直接教学是指全面指导学生从引入新概念，明确信息这些概念，然后与巩固策略，如解决问题的活动，反馈，讨论，或进一步解释^7，8。直接教学可以有效地传输内容^{8，9，10。}然而，学生往往不考虑重要的方面，如内容如何与他们的个人知识，或潜在的程序，可以工作，而不是^11。因此，引入互补策略，让学生批判性地思考，就很重要。

其中一种策略是指令前解决问题的方法（PS-I）方法^12，也称为发明方法¹¹ 或生产失败方法^13。PS-I 不同于直接教学，因为学生没有直接了解这些概念，而是在典型的直接教学活动之前有一个解决问题的阶段，即学生在获得有关解决问题程序的任何解释之前寻求解决问题的单独解决方案。

在这个初始问题中，学生预计不会完全发现目标概念^13。学生也可能感到认知超负荷14，15，16，甚至负面影响¹⁷与不确定性和许多方面要考虑。然而，从长远来看，这种体验是富有成效的，因为它可以促进对重要特征的批判性思考。具体来说，最初的问题可以帮助学生更加意识到他们的知识差距^18，激活与内容相关的知识，涵盖^13，并增加动机，因为他们有机会建立在个人知识^{的基础上，7，17，19。}

在学习方面，当用深度学习指标^20、21来评价结果时^，一般会看到^PS-I的影响。一般来说，通过PS-I学习的学生和通过直接教学学习的学生之间没有发现程序知识20、22之间的差异，这指的是复制所学程序的能力。然而，通过PS-I的学生一般表现出更高的概念知识^{7，19，23，}其中提到理解所涵盖的内容，并转移^{7，15，19，24，}这指的是能力，将这种理解应用到新的情况。例如，最近一个班级关于统计变异性的研究表明，在收到关于本课程一般概念和程序的解释之前，有机会发明自己的方法来测量统计变异性的学生，在课程结束时比那些在参与任何^{解决问题活动之前}能够直接研究相关概念和程序的学生更能加深理解。然而，一些研究表明，在学习^16，25，26或动机^19，26之间的PS-I和直接教学替代，甚至更好的学习直接教学替代14，26，重要的是要考虑潜在的来源的变异性。

PS-I 实施背后的设计特征是²⁰的一个重要特征。系统回顾²⁰发现，当 PS-I 干预至少采用两种策略之一实施时，PS-I 比直接教学替代方案更有可能具有学习优势，要么制定与对比案例对比的初始问题，要么构建后续教学，对学生的解决方案进行详细反馈。对比案例包括一些重要特征¹¹中不同的简单示例（例如，请参阅图 1），可以帮助学生识别相关功能并在初始问题^11、20期间评估自己的解决方案。第二种策略，提供基于学生解决方案¹³的解释，包括解释规范的概念，同时反馈学生产生的解决方案的提供和局限性，这也可以帮助学生专注于相关功能，并评估自己的知识差距^20，但在初始问题解决阶段完成后（见图3，从学生的典型解决方案脚手架的例子）。

鉴于文献中对这两种策略的支持，对比案例和建立学生解决方案的教学，在促进将PS-I纳入实际教育实践时，必须考虑它们。这是我们协议的第一个目标。该协议为纳入这两项原则的PS-I干预提供了材料。这是一个协议，虽然适应性强，但它是上下文的统计变化的一课，一个非常常见的教训，大学和高中生，他们通常是PS-I²⁹文献中的目标人群。最初解决问题的阶段包括发明各国收入分配的可变性措施，这是一个有争议的话题^30， 许多学习领域的学生可能熟悉。然后，为学生提供材料，以工作实例研究解决这个问题的办法，并提供讲座，将讨论学生提出的共同解决方案以及嵌入式实践问题纳入其中。

我们协议的第二个目标是让教育工作者和研究人员能够获得PS-I的实验评估，从而从更多角度促进PS-I的调查，同时保持文献中某些条件不变。然而，这种实验性评估的条件对修改是灵活的。协议中描述的实验评估可以应用于普通课程，因为单个班级的学生可以同时获得PS-I条件的材料或直接教学条件的材料（图4）。这种直接教学条件也适应研究和教育的需要，但正如协议中最初描述的学生开始得到关于目标概念的初步解释与工作的例子，然后巩固这一知识与实践问题（只提出在这种情况下，以弥补PS-I学生花费在初始问题的时间），并与讲座^23。潜在的适应包括从讲座开始，然后让学生做解决问题的活动，这是比较PS-I的典型控制条件，这往往导致更好的学习PS-I条件7，13，19，26。或者，控制条件可以简化为探索一个工作的例子，然后是讲座阶段，虽然直接教学方法比最初建议的更简化版本，但在文献中更为常见，并导致不同的结果，一些研究表明，在PS-I^15，24更好的学习，其他表明更好地学习这种类型的直接教学条件14，26。

最后，协议的第三个目标是提供资源，以评估具有不同倾向和认知能力的学生如何从PS-I¹⁵中受益。如果我们考虑一些学生在STEM课程中经常出现的负面倾向，以及PS-I^{在某些情况下仍}能产生负面反应，那么评估这些倾向就显得尤为重要。然而，对此的研究很少。

一方面，由于PS-I促进学习与个人想法的关联，而不仅仅是正式知识，PS-I可以假设能够帮助激励学生从低学术水平，那些谁的能力低，或低动机的科目^13，27。一项研究表明，掌握程度低的学生，即与个人学习相关的目标较少，从PS-I中受益比^{那些学习动机}较高的学生多。另一方面，具有其他个人资料的学生在参与PS-I时可能会遇到困难。更具体地说，元认知在PS-I³¹中起着重要作用，元认知能力低的学生可能因为难以意识到自己的知识差距或辨别^{相关内容而}无法从PS-I中受益。此外，由于 PS-I 的初始阶段基于单个解决方案的生成，因此，能力差异低、在给定情况下产生各种响应困难的学生可能比其他学生从 PS-I 中获益更少。该协议提供了可靠的工具来评估这些倾向（表1），虽然其他可能考虑。

总之，本议定书旨在使教育工作者和研究人员能够利用PS-I文献中公认的原则实施PS-I干预。此外，协议还对这种干预进行了实验性评估，并有助于评估学生的认知和动机倾向。这是一项不需要获得新技术或特定资源的协议，并且可以根据研究和教育需要进行修改。

Protocol

本议定书遵循《赫尔辛基人类研究伦理原则宣言》，但将这些原则应用于将研究^{纳入教育现实}环境中的额外困难。具体来说，无论是学习条件的分配，还是参与的决定，都不会对学生的学习机会产生影响。此外，即使负责评估的是教师，也要保持学生的保密性和匿名性。议定书的目的、范围和程序已得到阿斯图里亚斯公国（西班牙）研究伦理委员会的批准（参考:242/19）。

请注意，如果用户只对实施 PS-I 方法感兴趣，则只有第 6 步（不将参与者分配给控制条件）和第 7 步相关。尽管如此，第5步和第9步可以添加为学生的练习练习。如果用户也对实验评估感兴趣，则学生必须在第 4 步、第 5 步、第 6 步和第 9 步期间单独工作。因此，建议在这些步骤中安排学生座位，以便每个学生旁边有一个空位。

根据方便性，这些步骤可以在单个类会话中连续实施，也可以在不同的类会话中执行后续步骤。

1. 向学生提供有关学习目的和程序的信息

1. 上课时间花10分钟让学生了解学习情况。
2. 明确向学生解释学习的总体目的、学生同意参与的自由、可以自由退出的事实以及数据处理中匿名和保密的保证。
   1. 告诉他们，这项研究的一般目的是探索不同教育方法的功效，并评估学生的认知和情感倾向对这些方法的有效性的影响。
   2. 告诉他们，虽然它们将被分配到两种方法之一，但两种条件所涵盖的内容将是相同的。通知他们，在学习结束时，所有学生都可以在这两种条件下使用的活动。
   3. 让他们知道他们可以自由地参加学习，他们可以随时离开学习，而不会影响他们的学习机会或成绩。如果他们不想参加学习，他们可以做学习活动，而无需交由他们。此外，在参与者完成问卷的短时间内，非参与者可以学习其他材料。
   4. 通知他们，他们的参与将是匿名的，并且将始终保持保密性，将使用任意识别号码将不同会话和活动的数据组合在一起。
3. 向学生提供两份知情同意书（附录A），其中也包含研究人员的联系信息。请他们为您签名一份副本，并保留另一份副本。
   注:此协议针对的是不需要父母许可的大学生。虽然对于合法未成年的学生来说，还需要父母的知情同意，但这种建议可以推广到较低的教育水平。
4. 如果学生在协议的后期阶段被添加到研究中，请他们在加入研究之前完成本节中描述的知情同意。

2. 向学生提供与其他记录分离的识别号码

1. 为了保持学生回答的匿名性，随机给每个学生分配一个识别号码（例如，准备一个随机号码的袋子，并要求每个学生挑选一个，通过网络应用程序给每个学生发电子邮件，一个随机号码）。请他们注意在协议中随后的评估中可以访问的数字。
   注意:如果研究是通过允许匿名跟踪学生反应的在线应用程序完成的，则没有必要这样做。

3. 完成关于认知和情感倾向和基本人口统计数据的调查问卷

1. 在上课时间保留 10 分钟，以便向全班所有学生管理问卷。
2. 给那些决定不参加实验的学生其他学习选择，比如单独研究其他内容。
3. 要求学生填写有关其倾向的问卷，这可以使用 附录B中的问卷完成。请他们单独工作。
   注:附录B中的一组问卷包括统计态度调查中的认知能力尺度（SATS-28）33、成就目标问卷修订³⁴中的掌握方法量表、元认知意识清单³⁵的认知尺度调节以及人口问题。
   1. 为了控制与学生填写问卷的顺序相关的潜在污染物影响，随机递送不同版本的问卷，这些表格的提交顺序各不相同。在 附录 B-1 中，建议的问卷有不同的打印版本，具有不同的顺序。
      注:如果问卷以数字方式完成，则创建与不同订单的链接，并在班级学生中随机分配四个链接（例如，通过字母顺序创建的组）。
4. 给学生7分钟时间完成问卷。调查表中包含说明，无需其他说明。

4. 管理不同的思维测试

1. 如果这个测试是有兴趣的，在上课期间花10分钟来管理替代用途任务^36，37，测量全班所有学生的发散思维的流畅性。
2. 向每个学生提供一张白纸，并要求他们写上自己的身份证号码。
3. 解释测试说明。
   1. 告诉他们，他们将被提供一个具有共同用途的对象，但他们应该想出尽可能多的其他用途，他们可以。
   2. 给他们举一个例子（例如，如果我给你一份报纸，这是常用的阅读，你必须写替代用途，如用它作为临时帽子，以保护你免受阳光，或线的底部旅行袋^）38。
4. 大声阅读测试中的第一个项目，并在黑板上写上:"为砖块写尽可能多的用途"。给学生两分钟时间写他们的回答。两分钟后，请学生将论文翻转到另一边。
5. 大声阅读测试中的第二个项目，并将其写在黑板上:"为回形针写尽可能多的用途"。给学生两分钟时间写他们的回答。
6. 两分钟后，请学生停止写作，并收集论文。

5. 完成以往学术知识的预考

1. 在上课期间保留15分钟，以管理 附录C中的先前学术知识预考。
   注:预测试是关于中心趋势的，这是相关的，以便吸收在第6步第⁷步的后续学习条件下要学习的变异性内容。在预科和第6步之间，不应向学生提供有关中心倾向的课堂内容。我们也不建议用不同的预测试覆盖变异性来代替这个预测试，因为这可能会产生PS-I效应，可能会污染实验^结果26。
2. 将预科考试分发给学生。从这一点出发，请他们单独工作。
   1. 给学生10分钟时间完成预测试。测试中包含说明，无需再使用规范。一旦时间到了，请学生把纸翻过来交给你。

6. 分配和管理两个学习条件

1. 上课时间为 35 分钟，以管理同一教室内的两个学习条件。
   注:为了防止由于时间原因导致的可靠性错误，我们建议在完成调查问卷和步骤 2 和 3 以及此步骤的测试之间不超过一周的时间。
2. 确保任务书准备得当，包含两种条件的材料。
   注:选择人均GDP作为这些学习材料的背景:首先，这是一个有争议的话题^30， 可能是来自许多学习领域的学生所熟悉的:第二，它是一个比率变量，允许使用不同的变异性措施，在课程讨论期间（范围，四分位范围，标准偏差，方差，变异系数）。
   1. 对于 PS-I 条件，请在 附录 D-1 中打印相应的任务书，其中包含:发明问题活动，要求学生发明不平等指数:工作示例活动，学生可以在此中学习解决这个问题的解决方案。
   2. 对于直接指示条件，在 附录 D-1 中打印相应的任务书，其中包含:工作示例活动（PS-I 条件给出的相同工作示例）:实践问题与此工作示例配对。
      注:此条件材料中包含的实践问题在 PS-I 状态中不存在，这一点非常重要。它包括在实验上补偿PS-I学生在发明问题上花费的额外时间。PS-I 设计的内在局限性在于难以控制时间和材料的等价性。即使在 PS-I 条件和控制条件仅按学习材料呈现顺序不同（即在明确指示阶段 之前 提出问题，或在完全相同的明确指示阶段 后 提出完全相同的问题）的设计中，也未实现等效性，因为在教学前解决的问题预计比在教学后需要更多时间。本协议以与其他研究²⁴相同的方式处理此问题，方法是在直接教学条件下包含额外的材料。
   3. 将每个任务书中的两个活动分开，将与第二个活动对应的论文（例如，用夹子或便条）绑定在一起，这样学生在进行第一个活动时就看不到第二个活动的内容。
3. 通知学生在此特定步骤中遵循的程序。
   1. 告诉他们，根据他们被分配的任务书，他们将有两个不同的对活动，但所有学生将看到相同的内容，并在课程结束时，他们都可以访问所有活动。
   2. 让他们知道，他们将被告知何时开始第一个活动，何时应移动到第二个活动。还要告诉他们，第二次活动的文件势必妨碍他们在适当时间之前查看。
   3. 为了减少与害怕失败有关的潜在挫折感，告诉他们，虽然他们可能会发现一些活动困难，但他们应该尽量将这些困难视为^{学习机会。}
4. 随机将两本任务书分配给班上的学生
   注意:为了防止与学生就座地点相关的污染因素，任务书在班级的不同部分均匀地分发。例如，当您在课堂上走动时，将 PS-I 任务书交给一个学生，然后将直接教学任务书交给下一个学生。
5. 一旦您向班上的所有学生分发了任务书，请他们开始单独参加第一项活动。
   1. 告诉学生，他们有15分钟的第一次活动。说明包含在纸张中，不再需要一般说明。
   2. 告诉他们，你可以回答任何问题，但避免给学生任何额外的内容，除了他们在任务书。
      注:特别是对于解决发明问题的学生，避免引导他们走向常规的解决方案，因为它可以缩短自己知识的发展^。相反，我们建议对学生问题¹¹作出三种可能的回答:a） 帮助他们澄清自己的过程，要求他们解释他们在做什么:b） 帮助他们凭直觉指导自己，询问他们认为哪个国家比其他国家更不平等:c） 帮助他们理解活动的目标，要求他们生成一般索引，以解释他们所看到的差异，您可以提供其他定量索引示例（例如，"平均值是计算分布中中心值的指数"）。
6. 第一次活动的 15 分钟结束后，请学生提前进行相应的第二次活动，为此他们必须删除剪辑或粘性注释。
   1. 告诉他们，他们有15分钟的第二次活动。说明包含在纸张中，无需额外的一般说明。告诉他们，你可以回答任何问题。
      注:学生可以访问前一项活动的内容。
7. 15 分钟后，请他们把完成的材料交给您。

7. 讲座内容管理

1. 在一个或几个上课时间内保留 40 分钟，为全班所有学生讲授统计变异性。
   注:协议可以在讲座期间的任何时候中断，并可以在随后的课堂课程中继续。
2. 要讲课，请按照幻灯片进行，该幻灯片可在以下链接找到:https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0。
   注:该文件包括错开内容的动画、向学生提供建议解释的评论，以及关于每个解释分配的大致时间的指示。所包括的内容和活动包括变异性的定义、不同变异度量度的使用（范围、四分位范围、方差、标准偏差和变异系数）、这些措施的属性及其相对于彼此的优缺点以及其他次优解决方案^13。本建议讲座的进一步描述可在 附录 E中找到。用户可以根据不同的因素（如特定内容）对这些材料进行调整，以涵盖课堂、首选教学原则或不同的文化表达方式。

8. 完成好奇心问卷

1. 讲座结束时，给学生从认识相关情绪问卷^40（附录F）的好奇度量表，并给他们2分钟的时间完成它。提醒学生在将识别号写在问卷上后再交还。
   注:在文献中，好奇心通常是在发明活动和相应的控制活动^14、17之后测量^的。该协议在这方面对此和其他可能的适应是灵活的。简单来说，我们只在课程结束时包括好奇心的测量，因为它与检查PS-I对好奇心的长期影响有关，而且由于发明活动之后好奇心的增加可以部分地解释为，在发明活动期间，学生收到的信息比作为对照的替代活动少。

9. 考试后学习管理

1. 按照每个班的老师，在上课时间内花30分钟来管理考试后。
2. 将 附录 G 中的测试后分发给学生。请他们单独处理它。
   1. 给学生25分钟做测试后。测试后包含说明，无需额外的一般说明。
3. 25 分钟后，请他们把测试后交给您。

10. 向学生提供反馈和所有学习材料

1. 向学生提供本课使用的材料。电源点幻灯片、两种学习条件的材料以及测试前和测试后的解决方案均可在 附录 H中找到。

11. 编码数据

1. 通过将每个问卷表中的所有项目分数加在一起计算问卷中不同比例的分数（参见 附录 B， 以摘要建议的问卷中的问卷项目）。
2. 计算不同思维流畅性的分数，通过计算每个学生在替代用途任务³⁷中两个项目中给出的所有适当反应。
   注:其他通常从替代用途任务编码的措施，如灵活性，独创性和阐述，也可以被认为是^36，37。
3. 首先使用 附录 I-1 中的答案键对每个项目进行评分，然后将所有项目的分数加在一起，计算之前知识预测试的分数。
4. 计算不同的学习量度，首先使用 附录 I-2 中的答案键对测试后的每个项目进行评分，然后将每个学习量度的分数加在一起:程序性学习措施的第 1 到 3 项分数、概念学习措施的 4-8 项分数以及学习措施转移项目 9-11 的分数。
   注:有关学习过程的其他措施，如学生在发明问题期间产生的解决方案数量或所有解决问题活动中解决方案的正确性，可能会考虑，但本协议中不会对此进行解释。

12. 数据分析

请注意，本节中的引用参考了有关如何使用 SPSS 和处理软件执行分析的实际手册，但也可以使用其他程序。

1. 要评估 PS-I 的总体功效，比较 PS-I 条件的好奇心和学习分数与控制条件的好奇心和学习分数。
   注:只要假设得到满足，我们主要建议ANCOVA控制共变的倾向。作为第二个选项，我们建议为独立组的t测试，作为第三个选项，我们建议曼-惠特尼U测试^41。这些分析不需要最小样本量，但考虑到以前文献（d = .43）²¹中的效果大小，建议每组至少 118 名学生的样本，以便于确定其影响是否显著（针对独立手段之间的差异进行双尾功率分析，α = 0.05，β = 0.95，）。每组超过30名学生的样本将更容易满足ANCOVA或t测试⁴¹的正常假设。
2. 要直观地探索调解效果（例如，对学习的好奇心的调停）和/或倾向的缓和影响，在两种学习条件下对调解器变量（例如好奇心）和学习变量（例如概念知识）进行相关分析。
   注:只要假设得到满足，我们主要建议使用皮尔逊相关性，作为第二个选项，我们建议斯皮尔曼相关性^42。这些分析不需要最小样本量，但大型样本（例如，每组学生超过 30 人）将更容易实现 Pearson 相关性所需的正常假设。可能的节制效应将通过在一种学习条件中与另一种学习条件具有不同相关值的倾向变量来表示。如果介质变量与至少一种条件下的学习结果相关，并且如果此变量的水平在一种学习条件下与另一种情况不同（参见第 12.1 步的结果），则表示可能的调停效果（例如，对学习的好奇心的调停）。
3. 要继续评估调解对学习和/或学生倾向的缓和影响的影响，根据测试⁴³的概念模型进行调解分析、适度分析或有条件过程分析（结合调解和适度分析），根据第12.2步中选择的假设和/或初步分析，分析结果会有所不同。
   注:由于这些分析基于多个回归，因此基于固定效果统计方法，因此，为了使结果尽可能普遍，我们建议概念模型中包含的每个调停变量的最小样本量为 15 名学生，以及模型中包含的每个适度变量的 30 名学生。某些程序（如"过程"）仅允许同时包含最多两个调节变量。要包含更多调节变量，需要运行多个分析来更改包含的版主。

Results

该协议在上一项研究²³中得到了令人满意的实施，除了学生的能力意识、掌握方法目标、元认知和不同思维的倾向性指标外。

为了解决这些倾向，本协议包括以前已验证且具有高度可靠性的措施（表 1）。

学生在PS-I条件的发明问题中产生的典型解决方案可以在图3A-D中看到。学生通常不会产生标准偏差的规范解决方案。但是，它们产生的次优解决方案揭示了标准偏差的相关方面（例如范围、总结偏差或平均偏差）的反射。先前的研究表明，PS-I最初问题的各种解决方案与高等教育有关，而不管反应的正确性^如何。然而，必须指出，这个问题没有反应并不是学生没有从中受益的指标，因为学生可以批判性地反映问题，而不会产生明显的结果。

学生在控制条件下使用的练习问题（

Discussion

本协议的目的是指导研究人员和教育工作者在真实课堂环境中实施和评估PS-I方法。根据以往的一些经验，PS-I可以帮助促进^19、21、24岁学生的深度学习和激励，但有必要对不同能力和动机倾向^的学生的功效进行更多的^研究。更具体地说，使用本文档，教育工作者可以按照PS-I文献中被广泛接受的原则（第^{11、13、20、50}步）（第6-7步）为统计课程遵循^PS-I实施协议。此外，教育工作者和研究人员可以遵循一个嵌入式实验评估，在具有不同动机和/或认知倾向（所有步骤）的学生中，对实施这种评估的有效性...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
SPSS Program	International Business Machines Corporation （IBM）		其他用于一般数据分析的程序可以改用
PROCESS 程序	Andrew F. Hayes （俄亥俄州立大学）		可免费访问：http://www.processmacro.org。可以使用其他用于中介、调节或条件过程分析的程序来代替
统计态度调查中的认知能力量表 （SATS-28）	Candace Schau （亚利桑那州立大学）		它，应向作者请求，作者拥有版权
掌握方法量表 在成就目标问卷修订版	Andrew J. Elliot （罗切斯特大学）		如果使用，应向作者请求
元认知意识量表的认知量表规定	Gregory Schraw（内华达大学拉斯维加斯分校）		如果使用，应向创建者请求