Abstract
通常情况下，自我报告在教育研究用来评估学生的反应和性能提高到了课堂活动。然而，另外的生物和生理的措施，例如唾液生物标志物和皮肤电反应很少包括，限制了可以得到更好的了解学生成绩的丰富信息。一个实验室的协议，以学习本科学生的课堂事件 （如考试）提出的反应。参与者被要求来完成他们的学位有代表性的考试。前后实验室考试会话，学生完成了学业情绪自我报告，并接受记者采访时说并联这些问题时，参加者穿着一件皮电传感器和收集唾液生物标志物。相比于自我报告时，从三个方法收集的数据产生了大约学生成绩信息的更大的深度。这项工作可以扩大教育通过获得接近实时的学生对考试活动的更全面的方法，人的研究能力。
Introduction
在学术成果的情感领域，研究表明，学生的理解“的动机能预测学生的表现，成就和职业生涯规划1。学生的能力，以“应对情感”，以具有挑战性的课程任务2是举足轻重的学生的专业发展。然而，更接近与学业成就的情绪实时响应，充分开发3-6。当使用唾液生物标志物代表的课堂情况 （例如，应试），皮肤电反应和自我报告的调查提出了本文介绍的协议，研究如何开拓更接近实时从学生的反应（例如，生理反应）和采访。虽然工作不会寻求建立这些唾液生物标志物，皮肤电反应和自我报告之间的连接，今后的工作将致力于进一步探索的基本机制每个响应相关联。
在课堂学习成绩情绪自我报告可以用来评估情感，认知，动机，生理和代表人类思想行为的组成部分。由于其成本低廉，易于传播和可追溯性，自我报告的调查课堂设置 7高度使用。然而，这些具有一些缺点。例如，自我报告仅限于有意识的头脑8的表示，这可以改变个人代表自己的方式。此外，语言和语义的自我报告可能会以不同的文化和个人7之间理解的;其含义可以随时间改变或者代表东西的该参与者参与8的情况的光不同。此外，自报学术环境可以是多方面的，千变万化的，依赖于内存，社会期望和个人信仰79-11。例如，参加者的期望和动机“有关教授的信念”会影响学生如何应对，并在课堂活动7，9-11执行。由于需要根据更接近实时响应这样的，互补的方法使用自我报告时减少采样偏见和主观性。这项工作将补充唾液生物标志物和皮肤电反应的自我报告，以更好地了解学生的课堂活动较近的实时响应。
唾液生物标志物的取样理解到可以影响认知能力9各种紧张的个体反应的生理基础，已成为流行。认知心理发展是由许多物种，包括人类荷尔蒙7,12影响。在开发过程中的敏感时期，激素能够在脑的组织作出的变化，其可具有长最后ING对行为的影响8。认知的不同方面，例如，可以通过激素期间个体的发展的不同时期影响。空间能力，其研究表明，包括性别差异13-17，适度雄激素增强（例如，脱氢-脱氢表雄酮，雄激素）在胎儿发育，然后再整个成年期18。相反，语言能力已与增强雌激素（如，雌二醇）和孕酮18。如皮质醇压力的生理标志物，下丘脑-垂体-肾上腺轴被发现在人类12-16，19-21。当的情况下被认为是无法控制的，皮质醇水平升高19，并可能导致在个体的不同反应。最近的工作已经开始使用激素来研究学术成果的情绪，虽然在这一点上是非常有限的20,22。
（即，高应力，认知负荷或强烈的情绪反应），导致更多的汗腺分泌比低激活状态（ 即 ，厌倦，低认知负荷）。如汗液分泌波动，皮肤的电导率变化。因此，GSR被广泛认为是用于定量应力水平或认知负荷的代理。 GSR通常是由含电极乐队所有与手，腕，或脚接触，并且最近测量教室设置22,23使用，由于其成本低，可行性比较可用的神经影像学技术7。与唾液生物标志物皮肤电反应的组合将允许对学生对课堂活动接近实时的更全面的评估。
这里讨论该协议将有助于结合教育和生理技术，建立了一种方法来教育研究者了解学生的表现和应对课堂活动（例如，考试）。虽然工作不会着重了解情绪和生理和生物结构之间的基本连接，这协议是一个起点，帮助研究人员在该方向移动。该协议将涵盖方法考试活动期间测量唾液生物标志物和皮肤电反应和比较免受自我报告中获得的信息ð采访。对于这项工作，工程考试，学生被选中，由于纪律1,6和概念的困难和复杂性，这可能点燃参与者认知和情绪反应。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
对人类受试者的研究程序已经批准了机构审查委员会（IRB），犹他州立大学。应注意的IRB过程由主办机构和考虑有关保护人类受试者应在事前，事中批准，该协议的任何方面的表现之后。根据IRB规定，在数据收集和分析过程中外部各方或企业的参与必须遵循正确的协议去标识与会者信息和保护数据的机密性。
1.参与者和活动，测试的选择
- 选择参加学生在学期或所需的课程内容后3个月的中旬提出由教授削弱了与会者的短期记忆的回忆。
- 排除来自平行这项工作如果汉邦实验室研究任何参与者cipant具有：（1）预先确定的条件（例如，心律不齐。）或代谢紊乱的历史; （二）左撇子或左右手通用的能力（这可以用生理干扰抽样）; （三）心理历史（当前或过去的）或行为或情绪障碍的历史（这可以歪斜从自我报告集合）; （d）就心脏，代谢或认知障碍病史; （五）身体残疾，将防止参与研究的实验课;和（f）创伤性脑损伤。希望是激素研究的一部分女学员有更多的限制，在步骤2.5解释。
- 根据其中包括详细的程序和有关保密的保护限制建立机构审查委员会（IRB）协议招募。
注：如果一个公司将有机会获得数据，（在这种情况下，唾液样本和皮肤电反应数据是从第三方公司收集）确保ñ协议是地方数据的正确处理（例如，时间冷藏），共享（例如，服务器的安全性），并包括一个时间表，破坏数据（例如，数据公布后一年）。在您的应用程序IRB这些准则并遵循正确的准则的要求，你的机构中的IRB组织。 - 选择课程活动，代表的知识和学生需要在执行任务的复杂性。
注：对于此协议，新生工程专业的学生被选中，由于课程内容的难度和复杂性。那些被认为代表这些活动有两种类型，从两种常用的工程检查工程问题的组合：心理割平面测试（MCT）和普渡空间可视化测试（PSVT-R）。 MCT看起来在对应于一个三维物体24的二维切割部而PSVT-R的查找三二对象25的 mensional转动。每一个被用来测试的空间表现和言语记忆这个学生人群26，27。
2.在此之前的实验室会议
- 前2周实验室会话 - 至少1个主机为志愿者参加的方向。明确从IRB知情同意所有条款。执行使用和嵌合的皮肤电传感器的和适当的数据收集程序为唾液激素集合的一个示范，根据制造商的协议28。解释研究的风险和收益。
- 建立一个日历，参加者可以报名参加，如果参加者的唾液生物标志物片研究的招收，确保早餐前早上在建立倍的皮质醇水平在这个时候一天最低，包括任何披露了招生分配时间（见步骤2.5获取更多信息）。
ñOTE：确保所有的参与者为研究提供至少三个可用时隙。适应参与者随机的方式，以减少偏见，提供更有效的统计结果。 - 通过确保所述传感器带的取向会话期间确保参加者的手腕预适应每个志愿者电偶手腕传感器。输入与会者研究的ID码和由供应商提供，以确保一致性为后续的实验课，如果需要独特的手腕感应条形码。
- 发送提醒的程序和数据收集和前抽样的天预条件限制参与者，根据制造商的协议28。
注：程序和限制的实例可以包括：（a）没有食物，饮食或充满活力的产品，或在白天收集含糖饮料或之前的研究至少1小时; （b）任何用水量数据采集前1小时; （三）无牙BRU李嘉诚或漱口水; （四）没有化学产品 （如手乳液，面霜，chapsticks，香料，染料）中所需的接触区域（如手腕，脸，嘴唇）; （六）没有头发的产品或造型;和（g）没有物理活动 （如快走，骑自行车，跑步，重量）在研究前24小时。 - 对于女性参加，收集10个之间的唾液样本- 12天参加者的月经期的第一天收集唾液中28，尽量减少荷尔蒙的波动。
注：在规定的时间内，如果女性参加者正在服用任何形式的基于激素的治疗，如任何避孕药，子宫内避孕器，乳膏剂或喷雾剂（口服，局部，或阴道），舌下和锭剂，贴剂，膜，注射，允许12 - 36小时，从摄入/应用程序的时间，使治疗效果趋于平稳通过。采集唾液样本所需的时间表将由双向变化omarker和公司的唾液试剂盒的规格。皮肤电反应的收集是根据第3.2节女性参与者完成的。男性参加者唾液的收集是根据第3.1.5.1根据第3.2节皮肤电反应完成。
3.实验室会议日
注：以下过程在1的假设下数据采集的推荐顺序呈现 - 2研究人员参与。然而，其中一些这些程序可以并联如果超过2研究者在研究协作运行。
- 唾液生物标志物
- 一份清单，勾勒出研究前在24小时的时间内产生的体力活动（如，体力活动，食品和饮料的消费，使用乳液或基于激素产品）作为制造商的协议28说明参与者提供（请参阅步骤2.4和2.5）。
注意：如果参与者已经从清单进行的任何或所有活动，重新分配的参与者，以满足新的一天。如果耗水量不能满足，唯一的限制，要求参与者保持延长的时间在学习，让合适的时间，按厂家的指导方针，通过（约1小时）收集唾液发生之前。 - 要求参与者填写了唾液检测试剂盒28所提供的健康信息清单。确保所有唾液瓶都是预先标记和前后实验室课程后时间标记。
注：唾液皮质醇有大约20分钟19,20反应性，因此，吐收集程序应在此期限内完成。根据步骤3.1.5和制造商的指南28按照吐收集程序。 - 保持健康的信息核对表的副本和运输信息以供将来保存记录，跟踪，一个ð进一步分析。一定要按照IRB协议和程序的清单物品储存过程中。完成实验室活动，人员和收集瓶每个参与者的时间表。
- 确保所有参与者和研究者处理唾液样本都戴着手套，无菌操作在任何时候，以尽量减少交叉污染。
- 当收集吐，指导参与者吐痰小瓶中，尽量减少泡沫形成，可能会影响结果的准确性之前，口水汇集在参与者的嘴唇的一角，根据制造商的说明28。
- 指示参与者未触摸与会者的嘴唇或手指，因为这会带来污染的样品小瓶的尖端（吐小瓶方法）。为了鼓励唾液的生产，建议参与者闻到柑橘类水果，如柠檬或头部向前倾斜，加快形成唾液。
- 存储所有收集唾液样本-20℃下长达7天，如果不会立即出现这些样本进行分析。再存储（最多30天）将需要的样本被保存在-80℃。
- 船舶冷冻样品给第三方公司，有一个包含干冰准备一个密封的泡沫箱和医疗信息表由参与者预填的气密密封复印件。确保参与者将他们的独特研究ID码在片材防止私人信息的识别符部分被发送到公司。
- 准备就绪后，运送小瓶的公司为唾液简介1生物标志物的分析：睾酮，孕酮，脱氢表雄酮，皮质醇和雌二醇。生物标志物的分析是根据已建立的方案28由生产商进行。在免疫测定板器将样品并读取样品的光密度在450nm的波长。
注：所有的生物标志物需要一个坚实的-PH日月光，竞争酶联免疫。共轭生物标记的固定竞争结合位点与对应于每个生物标记的抗体。温育后，未结合的成分被洗去和酶底物溶液中加入，形成彩色代表给生物标志物。例如，孕激素开始兰色并在反应用酶变成黄色。
- 一份清单，勾勒出研究前在24小时的时间内产生的体力活动（如，体力活动，食品和饮料的消费，使用乳液或基于激素产品）作为制造商的协议28说明参与者提供（请参阅步骤2.4和2.5）。
- 皮肤电反应
- 用预先包装的无菌70％的酒精擦拭或含少量的70％的异丙醇从现有参与者除去残渣中的无菌纱布擦拭皮肤电传感器。之前，每一个数据采集时段或参与者，以先到者为准后清洁设备。
- 研究会议召开前一个小时，提醒参与者清洗和擦干双手。
注：与皮肤电反应组合唾液样本的采集将需要收集的时间点s被认为。 10分钟，如步骤3.2.6描述 - 例如，皮质醇唾液收集应20分钟（步骤3.1.2）内，而皮肤电传感器需要被装配并用5校准的收集。 - 安装皮肤电反应传感器之前放置在参与者的非主导写作手腕新的或干净的运动手腕带。让参与者佩戴腕带1小时收集数据之前。
注：运动手腕带应根据唯一腕ID，以避免参与者之间的交叉污染预标记 - 1小时后，取出运动手腕带，然后将皮电传感器。确保皮肤电传感器接触手腕的正中神经，确保脉搏和心脏率妥善收藏。凝聚带一起在传感器，以确保在手腕上的紧密配合。
- 按皮电传感器指示灯。等到指示灯由红色变为绿色白色;一个WHITE颜色表示开始了数据采集。
- 请参与者佩戴手腕电流传感器的一段时间内 - 从非主导手腕无形体动作来校准和收集基线数据补品（5 10分钟）。
注意：当皮肤电反应数据趋于平稳，无尖峰或噪音较长可见基线数据会被发现。制造商使用指定的帐户检查制造商的软件。打开一个会话，并验证数据正在收集29。 - 启动包含代表性和时间标记问题集每节1.5中所述的考试活动的幻灯片演示。请参与者完成每个滑动，以允许收集的GSR数据和事件之间的时间戳进行比较之后，将次记录。
- 定期检查皮肤电感应灯是白色的，并确认正在收集数据。
注：的采样率在这项工作中提出的传感器是基于制造商的规格和功能（使用1100毫安的低电流8赫兹的速度）通过皮肤电活动（EDA）.Galvanic响应报道微西门子（μS）补不如食补（基线反应考试事件或自报/面试问题）和相位（急性，立即响应考试事件或自报/面试问题，超过一定μS阈值）。 - 在会议期间有方便的更换电池和传感器，以防数据收集问题发生。在会议结束时，按指示灯，直到它被关闭。小心地取下手腕上的传感器，并用酒精擦拭。
- 检索来自制造商的软件29的数据。登录到帐户，点击会话。选择研究的日期，然后单击下载选项卡。在.csv文件，容易使用下载的数据。
- 在研究中的事件的轨道时间表。下载数据手腕上的传感器软件会话。下载数据作为UNIX纪元的时间，这是经过1970年1月1日（不包括闰秒）的秒数。转换UNIX时间为GMT时区，如果时限需要在使用开放源码时间戳变换器30中的数据，以进行跟踪。要转换这个时候，简单地转换的时候使用这种转换（1年=365.24天= 31556926秒）的数据表。
- 检索手腕传感器软件会话皮肤电数据。点击任何所需的会话视图。由研究者的一段时间内呈现数据实时或选择。
- 自我报告的调查和情感咨询
- 前后滑动，提供了一个前置和后置survey.During第二个收集点（考试结束），收集唾液最终样品，然后提供自我报告的同时收集数据EDA。记录所有时间点。
备注：本研究采用改性的在情感规模IED主题由布劳顿和他的同事开发了31。 - 虽然穿着皮电传感器，请问平行的自我报告与会者提问。
注意：请记住，时间表需要，如果你正在收集唾液样本，如步骤3.1.2和3.3.3表示要考虑。 - 如可能的话，记录为GSR数据的交叉检查和其与在实验室笔记本自我报告响应的时序校准的日期和时间。此外，包括幻灯片演示文稿解释给与会者每张幻灯片后，完成需要的指令，以使与GSR数据定时事件的交叉比对后标注时间的说明。
- 确保计算机基于软件具有一致的指令，并且每张幻灯片清楚地标示。如果需要为研究按键设置，表明应该在每一张幻灯片被按下的键击幻灯片说明。
- 前后滑动，提供了一个前置和后置survey.During第二个收集点（考试结束），收集唾液最终样品，然后提供自我报告的同时收集数据EDA。记录所有时间点。
- 总结活动
- 收集所有的信息后，取下手腕上的传感器和以相反的顺序步骤3.2.5关闭传感器数据。引导学员到指定的客房提供食品，饮料，饮料，并为未来的货币补偿为参与研究提供收据（如果它是在IRB同意书上注明）。
- 后续感激的参与一份电子邮件通知的活动，包括与参加者讨论的结果可用时隙。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
此部分示出了可以从每个度量中获得的结果的代表性例子，包括自我报告。附图的目的是为了从一教室事件获得的信息的更大的光谱呈现的增加措施，诸如唾液的生物标志物（图1）和皮肤电反应（ 图2），以自我报告（图3）的效用（例如，考试）。为与特定措施自我报告（例如，皮肤电反应）三角测量，附加的技术如访谈可以提供有用的比较方法（ 图3）。在图1的结果显示参与者的生物反应的性别对比考试开始和结束之间的荷尔蒙水平时不同。激素如雌二醇水平的男性增加，而孕激素水平在女性增加（P <0.05）。高雌激素水平已被捆绑到大脑活动的言语表现任务32，同时孕酮与空间能力，如对象12-16心理旋转，.Spatial活动在女性通过增加睾酮（P <0.05），而上调表明DHEA由于性别无显著差异（p = 0.39）。脱氢表雄酮和睾酮已被链接到视觉空间性能提高成年人12-16，34。皮质醇水平女性和男性没有改变之前和之后的实验室会议（p值= 0.41）可能是由于超过半衰期短第二唾液收集期间皮质醇（〜45分钟）的19,20,32。这些结果表明，学生性能差，在这种情况下，由性别，以及激素生物标志物可用于确定这些差异的有用工具。
通过生理觉醒情绪的测量使用皮肤电反应，表现出不同的反应无关的考试类型（P> 0.05），但表现出对所有参与者的应试体验中认知参与（持续进补水平）的情况下，由GSR补品峰所看到比较基准（初始休息阶段）。一位代表GSR数据集包括在图2中 ，一个持续的生理反应，其中自我报告和访谈的反应，收集最终的数据采集时段中被发现。自我报告的反应由参与者完成，因为他们穿的皮电传感器（ 图3A）31,36表明在情绪考试（P = 0.055）没有感觉到的分歧由参与者。然而，当学生们要求响应于平行的自我报告面试问题，发现生理觉醒由增加的强直响应（图3B）所看到。这一结果表明，情感行为ivation可能需要事件的认知和语言表达的回忆。
该数据表明，口头和空间活化是在参与者差动尽管在他们的检查获得等于分数（未示出数据）。执行顺序更难考试题（从发展到MCT PSVT-R）时生理觉醒是依赖于参与者心理的回忆。此外，使用的书面自我报告并没有表现出一个显著生理反应或由参与者自我报告情绪显著差异。当记者问到语言表达自我报告的项目，情感觉醒中的参与者被发现了。一起，数据点的不同心理资源进行考试时使用的学生。它强调让学生认知回忆自己的想法，因为他们按顺序执行越来越困难问题和考试的重要性。最后，该研究结果强调了如何自我报告本身不足以完全代表学生的反应谱。因此，包容的生物和生理的措施，自我报告和访谈可以帮助教育研究者获得一个更强大的数据集，可以帮助解释，在教育环境的学生的复杂性能。
图1.激素活性的雌雄工程学生参加之前和激素水平的前实验研究会议。百分比变化后和实验室会议36表明，女性在孕酮和睾酮升高，雌二醇水平下降时，与男性相比在考试之前和之后（配对t检验，p <0.05为雌二醇;配对t检验，p <0.05为孕激素;配对t检验，p <0。05睾酮）。皮质醇和脱氢表雄酮，应力19,20和空间能力12-16,33的措施，没有表现出显著变化（p值= 0.39和p = 0.42，分别），尽管其考试获得等于分数（数据未示出）。 请点击此处查看该图的放大版本。
图实验室研究会议期间的工程学生表现2.皮肤电反应。在收集工程的学生在实验室学习会议正在进行一系列的具有代表性的活动μS皮肤电反应进补。最初的时候表示休息阶段，以建立一个基线。在此之后，学生完成考试代表性的工程问题。生理阿鲁斯执行顺序更难考试题（从发展到MCT PSVT-R）时，ALS是依赖于参与者心理的回忆。随后，学生完成书面自我反思10项调查，结果显示没有影响随后的采访（包含对自我报告的并行问题），其中的情绪唤醒被看到。 请点击此处查看这个大版本数字。
图3.代表边并排从情感调查和工程专业的学生自我报告的回应皮肤电反应（A）和面试（B）的采访。比较自我报告的反应比较。图A显示了描述性统计（N = 7），其中配对样本T检验分析表明，前，后的自我报告的调查没有统计学差异显著（P = 0.055）。 B组演示了第二次的自我报告（步骤13 - 14）期间觉醒GSR增加以及访谈（15A - 16）期间。觉醒的波动在接受采访时都更大，相比于调查。 请点击此处查看该图的放大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本协议描述的整合自我报告的调查和查询，唾液生物标志物和皮肤电反应的研究实验室会议期间课堂活动的个体差异。该协议有寻求找出学习成绩情绪，情绪调节和情感反应，以不同的活动在教学环境，特别是在评估期间的研究人员很多优点（例如，考试）。而传统上，自我报告和学术成绩已被用来了解学生如何发展在课堂上和/或参与到课程的能力，我们的方法能更全面地在学术活动代表更接近学生的实时响应。
对于这个协议的成功，至关重要的是，唾液生物标志物和皮肤电反应被收集昼夜，即参与者都意识到行为和生物休息本研究的rictions（例如，健康状况），并且连续的后续与参加下进行。另外，应注意在样品的处理被视为这应该在无菌条件下进行。该研究的一些限制包括允许时间帧（例如，10 -经期后12天）的精确的定时以实时皮肤电反应收集的事件为唾液收集数据为女性以及难度（例如，唾液皮质醇可能需要20分钟收集时间，而皮电传感器校准需要5分钟）。因此，数据收集程序应考虑适当的时间段和问题，参与者完成实验时，以确保正确的统计数据分析，三角冲压。最后，由于自我报告的情绪，情绪反应，以及生物和生理数据的微妙性被获得并评估，协议应遵循机构审查委员会为人类受试者的政策和程序。
随着非侵入性可穿戴技术和生物标志物的技术发展，方法可以组合复杂的本科生的经验和业绩三角学术任务。此方法扩展了已通常不被合并理解接近实时的情感和认知反应到不同教室活动自我报告调查和生理信息的潜力。
此协议的一个方向是将在现实生活中的上下文中一个更大的设置的方法 （例如，教室）。对于这一点，其他的考虑时间，在使用资源和软件，激素试剂盒和GSR手腕传感器的使用管理的协调将需要考虑以及构建体之间的重要机制。
Subscription Required. Please recommend JoVE to your librarian.
Materials
| Name | Company | Catalog Number | Comments |
| Salivary Kit | ZRT Laboratories | Female/Male Saliva Profile I | An account needs to be created with the company before sending samples; diurnal samples are recommended for this protocol |
| Galvanic Skin Response Wrist Sensor and Band | Empatica, Inc. | E3P.v4 | M/L fits for the majority of the population although you may need to purchase a smaller size for thin wrists |
| E-Prime Software | Psychology Software Tools | E-Prime 2.0 Professional | Consider time stamping separately from software |
References
- Jones, B. D., Paretti, M. C., Hein, S. F., Knott, T. W. An analysis of motivation constructs with first-year engineering students: Relationships among expectancies, values, achievement, and career plans. J. Eng. Ed. 99 (4), 319-336 (2010).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Ed. Psych. Rev. 18, 315-341 (2006).
- Bandura, A., Millard, M., Peloso, E. A., Ortman, N. Effects of peer education training on peer educators: leadership, self-esteem, health knowledge, and health behaviors. J. Coll. Stud. Dev. 41 (5), 471-478 (2000).
- Christenson, S. L., Havsy, L. H. Family-school-peer relationships: Significance for social, emotional, and academic learning. Building academic success on social and emotional learning: What does the research. Zins, J. E., Weissberg, R. P., Wng, M. C., Walberg, H. J. , Teachers College Press. New York, NY. 59-79 (2004).
- Struthers, C. W., Perry, R. P., Menec, V. H. An examination of the relationship among academic stress, coping, motivation, and performance in college. Res. Higher Ed. 41 (5), 581-592 (2000).
- Hsieh, P., Sullivan, J. R., Sass, D. A., Guerra, N. S. Undergraduate engineering students' beliefs, coping strategies, and academic performance: An evaluation of theoretical models. J. Exp. Ed. 80 (2), 196-218 (2012).
- Pekrun, R., Bühner, M. Chapter 28, Self-report measures of academic emotions. International Handbook of Emotions in Education. Pekrun, R., Linnenbrink-Garcia, L. , Routledge Press. 561-566 (2014).
- Frenzel, A. C., Pekrun, R., Dicke, A. L., Goetz, T. Beyond quantitative decline: Conceptual shifts in adolescents' development of interest in mathematics. Dev. Psych. 48, 1069-1082 (2012).
- Benson, L., Kirn, A., Faber, C. J. CAREER: Student Motivation and Learning in Engineering. 121st ASEE Conference and Exposition, Paper ID 9338. , (2014).
- Matusovich, H., Streveler, R. A., Miller, R. L. Why Do Students Choose Engineering? A Qualitative, Longitudinal Investigation of Students' Motivational Values. J. Eng. Ed. 99 (4), 289-303 (2013).
- Stump, G. S., Husman, J., Corby, M. Engineering Students' Intelligence Beliefs and Learning. J. Eng. Ed. 103 (3), 369-387 (2014).
- Berenbaum, S. A. Gonadal hormones and sex differences in behavior. Dev. Neuropsych. 14, 175-441 (1998).
- Halpern, D. F., LaMay, M. L. The Smarter Sex: A Critical Review of Sex Differences in Intelligence. Educational Psychology Review. 12 (2), 229-246 (2000).
- Schöning, S., et al. Functional anatomy of visuo-spatial working memory during mental rotation is influenced by sex, menstrual cycle, and sex steroid hormones. Neuropsychologia. 45 (4), 3203-3214 (2007).
- Hausman, M., Slabberkoorn, D., Van Goozen, S. H. M., Cohen-Kettenis, C. Sex Hormones Affect Spatial Abilities during the Menstrual Cycle. Behav. Neurosci. 114 (6), 1245-1250 (2000).
- Kimura, D. Sex Differences in the Brain: Men and women display patterns of behavioral and cognitive differences that reflect varying hormonal influences on brain development. Sci. Am. , 26-31 (2002).
- Valla, J., Ceci, S. J. Can Sex Differences in Science Be Tied to the Long Reach of Prenatal Hormones? Brain Organization Theory, Digit Ratio (2D/4D), and Sex Differences in Preferences and Cognition. Persp. Psy. Sci. 6 (2), 134-136 (2011).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. de Haan, M., Johnson, M. H. , Psychology Press. 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. J. Psychosom. Res. 24 (3-4), 125-130 (1980).
- Rappolt-Schlichtmann, G., Wtamura, S. Inter- and transdisciplinary work: Connecting research on hormones to problems of educational practice. Mind, Brain, Ed. 4, 157-210 (2010).
- Jamieson, J. P., Nock, M. K., Mendes, W. B. Mind over matter: reappraising arousal cardiovascular and cognitive responses to stress. J. Exp. Psychol. 141, 417-422 (2012).
- Kreibig, S. D., Gendolla, G. H. E. Chapter 30, Autonomic Nervous System Measurement of Emotion in Education and Achievement Settings. International Handbook of Emotions in Education. Pekrun, R., Linnenbrink-Garcia, L. , Routledge Press. 625-642 (2014).
- Villanueva, I., Raikes, A., Ruben, N., Schaefer, S., Gunther, J. The use of physiological tools to identify changes in affective responses for graduate students recently admitted into a scientific discipline. IEEE FIE Proceeding. , (2014).
- CEEB. Special aptitude test in spatial relations. , CEEB. (1939).
- Guay, R. Purdue spatial visualization test. , Purdue University. (1976).
- Sorby, S. A., Baartmans, B. J. The development and assessment of a course for enhancing the 3-D spatial visualization skills of first year engineering students. J. Eng. Ed. 89 (3), 301-307 (2000).
- Bishop, J. E.
- Moore, D. Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports. , Available from: http://www.zrtlab.com/resources-and-data (2014).
- Lai, M. Monitoring the Autonomic Nervous System, Empatica. , Available from: https://www.empatica.com/science#electro-dermal-activity (2014).
- Unix Timestamp Conversion Tools. , Available from: http://www.epochconverter.com (2014).
- Broughton, S. H., Sinatra, G. M., Nussbaum, E. M. "Pluto has been a planet my whole life!" Emotions, attitudes, and conceptual change in elementary students learning about Pluto's reclassification. Res. Sci. Ed. 43 (2), 529-550 (2013).
- Wolkowitz, O. M., Rothschild, A. J. Psychoneuroendocrinology: The Scientific Basis of Clinical Practice. , American Psychiatric Publishing Inc. (2003).
- Craig, M. C., et al. Physiological variation in estradiol and brain function: a functional magnetic resonance imaging study of verbal memory across the follicular phase of the menstrual cycle. Horm. Beh. 53 (4), 503-508 (2008).
- Stangl, B., Hirshman, E., Verbalis, J. Administration of dehydroepiandrosterone (DHEA) enhances visual-spatial performance in post-menopausal women. Beh. Neurosci. 125 (5), 742-752 (2011).
- Hromatko, I., Tadinac, M. Testosterone levels influence spatial ability: further evidence for curvilinear relationship. Rev. of Psychol. 13 (1), 27-34 (2007).
- Villanueva, I., Goodridge, W. H., Wan, N. J. A., Valladares, M. M., Robinson, B. S., Jordan, K. Hormonal and Cognitive Assessment of Spatial Ability and Performance in Engineering Examination Activities. Society of Neuroscience Meeting, Washington, D.C, , (2014).
