用于成人学习过程行为分析的眼动追踪技术与数据挖掘技术

摘要

我们提出了一种针对参与学习过程的成年人（年龄18至70岁）进行行为分析的实验方案，这些成年人执行旨在促进自我调节学习（Self-Regulated Learning, SRL）的任务。参与者包括大学教师、学生以及来自经验大学的成年人，通过眼动追踪设备对其进行监测，并使用数据挖掘技术对采集的数据进行分析。

摘要

对参与学习任务的成年人进行行为分析是成人教育领域面临的主要挑战。如今，在技术持续变革和科学不断进步的时代，无论是在正式还是非正式的教育环境中，终身学习与教育都显得尤为必要。为应对这一挑战，分别采用眼动追踪技术和数据挖掘技术，可用于监督式（主要是预测）和非监督式（特别是聚类分析）学习，从而实现对用户学习模式的识别或对其学习风格的分类。本研究提出了一种针对不同年龄（18至69岁）、具有或不具有先前知识的成年人，在学习过程不同阶段（起始和结束时）学习风格的研究方案。通过方差统计分析方法，可检测不同学习类型及任务先验知识水平的参与者之间的差异。同时，采用 非监督式学习聚类技术，有助于揭示不同组别参与者之间相似的学习模式。这些数据将有助于教师在信息加工链的不同环节，为每个任务的呈现提供个性化的教学建议。教师也将更容易根据每位学生或具有相似特征的学生群体的学习需求，调整教学材料。

引言

眼动追踪方法在学习行为分析中的应用
眼动追踪技术除了其他功能用途外，还被应用于人类行为的研究，特别是在任务执行过程中的研究。该技术有助于在完成学习任务期间进行监测与分析。¹具体而言，可利用眼动追踪技术研究学生在不同学科（如历史、数学、科学等）的学习过程中各个阶段（起始、发展和结束）的注意力水平。此外，若任务中包含用于引导学习过程的带语音视频，则有助于促进自我调节学习（Self-Regulated Learning, SRL）。因此，在分析涉及自我调节学习（包含视频使用）的任务时，应用眼动追踪技术被视为理解学习过程如何展开的重要资源。^2,3,4这种组合还意味着可以针对不同类型的学生（具备或不具备先验知识等）检验不同教学方法（包含或不包含自我调节学习等）之间的差异。⁵相比之下，多通道信息的呈现（即听觉和视觉信息的同步呈现，无论是口头、书面还是图像形式）有助于记录和分析上述变量中的相关与非相关信息。⁶先前具备相关知识的学生在接受多媒体学习渠道时，其学习效果通常优于先前知识较少或没有先前知识的学生。对于某一主题具有较高水平先前知识的学生，能够更有效地整合文本与图形信息。⁷该功能已在文本学习过程中被观察到⁸ 包含图像⁹眼动追踪技术能够提供注意力集中位置及其持续时间的信息。这些数据比单纯观察任务完成过程中解决问题的行为，更能精确地揭示学习过程的发展情况。此外，对这些指标的分析有助于研究学生是否形成了深层学习或表层学习。同时，将这些数据与学习结果之间的关系进行分析，有助于验证眼动追踪技术所获取信息的有效性^4,10事实上，该技术与SRL正越来越多地应用于高等教育和成人教育中¹¹ 学习环境，包括受监管和非受监管的课程¹².

眼动追踪技术提供了多种测量指标：距离、速度、加速度、密度、离散度、角速度、兴趣区域（AOI）之间的转换、AOI的顺序、注视中的访问次数、扫视、扫描路径以及热图参数。然而，这些数据的解释较为复杂，需要采用有监督（如回归分析、决策树等）和无监督（如k均值聚类等）^13,14的数据挖掘技术。这些指标可用于对同一受试者在不同时间点的行为进行纵向监测，或用于比较多个受试者在执行相同任务时的表现¹⁵，例如通过分析具备先前知识与无先前知识的参与者之间的差异¹⁶。近期研究^11,17表明，初学者对刺激的注视时间更长（即注视频率更高，同时记录到相似的扫描路径模式）。专家的平均注视持续时间长于初学者。专家的注意力更集中于信息的中段位置（近端和中心区域），这一差异也可在热图中兴趣区域内的视觉注视点分布上体现出来。

眼动追踪中指标的解读
近期研究表明¹⁸，信息获取与受试者对刺激物的注视次数相关。另一个重要指标是扫视（saccade），定义为在[10 ms, 100 ms]时间间隔内发生的快速而突然的注视点移动。Sharafi 等人（2015）¹⁸发现，扫视次数存在差异，具体取决于学生的信息编码阶段。另一个相关参数是扫描路径（scan-path），该指标记录了参与者在研究者定义的兴趣区域（AOI）内完成学习任务时所采取步骤的时间顺序¹⁸。类似地，眼动追踪技术可用于预测参与者的理解水平，这似乎与注视次数有关。近期研究指出，注视行为的变异性由图像特性（位置、强度、颜色和方向）、任务执行指令以及参与者的认知加工类型（学习风格）共同决定。这些差异可通过分析学生与不同兴趣区域（AOI）的交互行为来检测¹⁹。可采用定量²⁰（频率分析）和/或定性或动态²¹（扫描路径）技术对从各项指标中收集的数据进行分析。前者使用传统统计方法（如频率分析、均值差异、方差差异等）进行分析，后者则使用机器学习技术进行分析（如结合字符串编辑方法的欧氏距离^21,22以及聚类分析¹⁷）。应用这些技术有助于根据受试者的不同特征进行聚类。一项研究¹⁷发现，学生越专业，其所采用的空间和时间信息处理策略就越有效。本研究中所使用测量参数的描述性表格见下文表1。

表1：眼动追踪技术可获得的最具代表性参数，改编自Sáiz, Zaparaín, Marticorena, 和 Velasco（2019）²⁰ 请点击此处下载该表格。

眼动追踪方法在学习过程研究中的应用
采用上述技术进步和数据分析技术⁵，将提高在信息处理不同阶段（任务启动、信息处理和任务完成）解决问题过程中对学习者行为分析的精确性。这将有助于个体行为分析，进而实现具有相似特征的学生分组²⁴。同样，预测技术（如决策树、回归分析等）²⁵也可应用于学习分析，关联每位学生的注视次数与任务完成结果。该功能对于理解每位学生的学习方式，以及为不同群体（如有或无学习困难者²⁶）制定个性化学习方案具有重要意义。因此，该技术的应用将有助于实现学习的个性化与优化²⁷。终身学习应被视为一个持续改进的循环，因为社会知识在不断进步与发展。进化心理学表明，随着年龄增长，信息处理能力与问题解决技能会下降。具体而言，成年人的眼跳频率、幅度和眼球运动速度均随年龄增长而降低。此外，在较高年龄阶段，注意力更倾向于集中在视觉场景的下方区域，这与工作记忆缺陷相关¹⁴。然而，老年人在额叶和前额叶区域的脑活动增强，似乎可补偿任务完成中的这些缺陷。这一方面涉及个体已有知识水平及其可应用的认知代偿策略。经验丰富的参与者学习效率更高，因为他们能更有效地调控注意力，这得益于自动化监控过程的应用²⁸。此外，若所学信息通过SRL技术进行传授，则上述缺陷可得到缓解¹⁷。使用此类技术意味着，无论学习者是否具备先前知识，其视觉追踪模式都非常相似⁷。

总之，利用先进的学习技术（如眼动追踪）获取的关于自我调节学习（SRL）的多模态多通道数据的分析，是理解认知、元认知与动机过程之间相互作用及其对学习影响的关键²⁹。该研究结果及对学习差异的探讨，对学习材料和智能辅导系统的设计具有重要意义，二者均有助于实现个性化学习，从而可能使学生的学习过程更有效且更令人满意³⁰。

本研究提出了两个研究问题：（1）在艺术史领域，具有正式学位的学生与非正式学位的学生（经验大学——成人教育）之间，其学习结果和眼动注视参数在专家与非专家教师之间是否存在显著差异？（2）结合学习结果和眼动注视参数的参与者聚类是否会与参与者类型（具有正式学位的学生、具有非正式学位的学生（经验大学——成人教育）以及教师）相一致？

方案

本方案的实施符合西班牙布尔戈斯大学生物伦理委员会（编号：IR27/2019）的程序规定。在参与研究之前，所有受试者均已充分了解研究目的，并签署了知情同意书。受试者未因参与本研究获得任何经济补偿。

1. 受试者招募

1. 从高等教育环境（正规与非正规教育）中的成人群体（学生和教师）中招募参与者，年龄范围为18至69岁。
2. 纳入视力和听力正常或经矫正后正常的参与者。
3. 排除患有神经系统疾病、精神疾病、睡眠障碍、与特殊教育需求相关的残疾、感知困难（视力或听力受损）以及认知障碍的参与者。
   ​注：本研究共纳入40名参与者，其中包括来自体验大学的6名学生（其中1名学生因视力问题被排除在体验大学学生类别之外）、25名来自健康科学、工程学以及历史与遗产学科的大学教授，以及9名修读健康科学、工程学和历史与遗产课程的本科及硕士研究生。所有参与者均无认知、听力或视力问题，且视力均正常或经矫正后正常（表2）。因此，在实验开始前，有1名参与者因被检测出患有眼球震颤而被剔除，最终实验任务施测于39名参与者组成的样本。参与者未获得任何经济或职业报酬；因此，其参与动机较高，完全基于对眼动追踪技术在文化遗产相关学习过程（特别是欧洲修道院起源研究）中的应用方式的兴趣。

表2. 样本特征。请点击此处下载该表格。

2. 实验步骤

1. 第1次会话：收集知情同意书、个人数据和背景知识
   1. 获取知情同意。在测试开始前，向每位参与者说明研究目的，以及其数据的收集、处理和存储方式。每位参与者的同意通过签署知情同意书来确认。
      注意：本研究的参与是自愿的，且不提供任何经济报酬。这一安排确保了参与者完成任务时没有经济动机。在开始任务前，由该领域的专家作为访谈员，填写一份包含年龄、性别、职业以及对主题已有知识情况的问卷，本案例中的主题为欧洲修道院的起源与历史发展（见表3）。本研究属于一项欧洲项目（2019-1-ES01-KA204-095615-Coordinator 6），旨在促进成人终身学习人类文化遗产相关知识；因此选择了此类任务形式。每位研究者将根据自身研究领域选择相应主题。

表3. 访谈问卷。请点击此处下载该表格。

2. 第二阶段：校准
   1. 向参与者说明眼动追踪技术的工作原理，以及信息将如何被收集和记录，并进行校准：“我们将使用眼动追踪技术来观察您完成关于欧洲修道院起源与发展学习任务的过程。眼动追踪是一种可在您执行任务时记录视线轨迹的技术，该技术无任何副作用，也不具侵入性，本研究仅记录眼动数据”。
   2. 向参与者说明有效的测试需要正确的坐姿。要求参与者必须坐在距离显示器一定距离的位置 [45 至 60 cm]。该距离取决于参与者的身高，身高越低，所需距离越短。
   3. 告知参与者，屏幕上将依次出现若干个位于屏幕四角的校准点，每个点出现时，参与者需用眼睛注视该点。参与者可通过按“回车”键在各点之间切换。校准阶段持续时间为 10–15 分钟。
      注：任务执行过程中使用了 Eye-tracking iViewer XTM、SMI Experimenter Center 3.0 和 SMI Be Gaze 系统，以及分辨率为 1680×1050 的显示器。该设备可记录眼球运动、其坐标位置以及每只眼睛的瞳孔直径。本研究中采用了 60 Hz 的采样频率，使用了扫描路径指标和动态扫描路径指标，并确定了感兴趣区域（AOI）的统计参数。
   4. 检查校准设置。负责监督测试的专业人员通过控制屏幕分析校准结果。
      1. 通过 Eye-tracking iViewer XTM 内置的校准系统执行校准。在开始此任务之前，每位参与者需在屏幕上对四个角落位置（右上、左上、右下、左下）的四个点进行视觉追踪。随后，软件将自动验证这些刺激点的位置准确性，并提供以度为单位的参数调整信息。若双眼的调整误差均处于 0.6º ± 1 范围内，则认为校准合格，可开始任务执行。该过程示例见 图1。
         注：当双眼的误差均控制在 0.6º ± 1 标准差范围内时，视为校准合格。本研究中，在大学教授组别中有两名参与者的校准结果超出 0.6º ± 1 的标准，因此被剔除。第一组样本中原有的 25 名参与者最终减少为 23 名。

图1．眼动追踪校准流程请点击此处查看本图的放大版本。

3. 第3次会话：执行学习任务
   1. 向参与者说明任务内容。一位教学心理学专家向参与者解释任务的具体内容及操作方法：“视频时长为1分14秒，包含5个配音画面。视频结束后，参与者需完成一个小型填字游戏，以检验是否理解了视频中呈现的信息”。
   2. 观看视频片段。本任务所使用的视频可通过以下链接观看：https://youtu.be/HlGGgrYDTFs。
      注：该任务要求观看一段介绍欧洲修道院起源的视频。视频内容由一位艺术史教师专家编制，信息通过两个通道呈现：视觉通道包括图片和以提纲形式展示的文字信息；听觉通道则由一位自我调节学习（SRL）专家教师全程配音，通过语言强调突出关键内容。
   3. 在基于Moodle的虚拟平台上完成填字游戏。点击填字游戏图标后，参与者将进入虚拟平台完成填字游戏，以检测知识掌握情况。填字游戏如图2所示。

图 2。填字游戏，用于检测已掌握的知识。请点击此处查看该图的放大版本。

4. 第4次会话：数据分析
   1. 选择感兴趣区域（AOI）。AOI在视频中定义，并分为包含相关信息的AOI和包含非相关信息的AOI。
      注：AOI的指定由实验者完成，实验者根据所呈现的信息决定哪些是相关或无关的AOI。
   2. 提取与AOI注视参数相关的数据库（“事件开始试验时间”、“事件结束试验时间”和“事件持续时间”；“注视位置X”、“注视位置Y”、“注视平均瞳孔大小”、“注视平均瞳孔大小Y像素”、“注视平均瞳孔直径”、“注视分散度X”和“注视分散度Y”）。
   3. 将数据库导入统计处理软件包，选择分析，然后选择分类，接着选择k均值聚类选项。然后在统计软件包（例如SPSS）中选择交叉表，再选择“ANOVA”选项，以分析参与者之间（成人组类型和先验知识程度）在AOI注视参数上的差异³¹。
      注：聚类或聚类分析是一种“无监督”机器学习技术，在k-means方法中，它是一种分组方法，旨在将一组n个观测值划分为k个组，每个观测值归属于均值最近的组。在本实验中，采用k-means聚类来检验学习任务中参与者的聚类情况。这种对应关系非常重要，因为它为教师或治疗师提供了超越诊断的用户功能发展同质性信息，有助于提出在某些功能发展领域相似的干预方案。该选项有望促进教育或治疗服务及其人力与物质资源的充分利用。
   4. 使用可视化软件（如Orange³²）对处理后的数据（描述性统计与聚类分析结果）进行可视化分析。
   5. 提取详细统计参数的数据：停留时间、扫视持续时间、转移持续时间、扫视次数、注视次数、平均注视时间和持续时间，然后将该数据库导入统计软件包。在统计软件包中选择“ANOVA”选项，随后对处理后的数据（均值）进行可视化分析。使用电子表格生成蜘蛛图和针对参与者组别的特定柱状图。
5. 第5次会话：个性化学习建议
   1. 对在聚类分析中被识别出得分较低的参与者实施干预方案，以改善其学习成果。
      注：实验流程所遵循各阶段的概要见图3。

图 3。实验流程的各个阶段。请点击此处查看此图的放大版本。

结果

本研究招募的36名参与者来自三组成年人群体（有工作经验的大学生、大学教授、本科及硕士研究生），年龄范围为[18 至 69]岁（表2）。该方案在布尔戈斯大学经过了为期20个月的测试。方案开发的概要见表4。

表4. 学习行为分析方案开发过程概要。请点击此处下载该表格。

首先，分析了注视的视线位置参数（表5）。本研究中，所有参与者的视频起始和结束时间相同：起始时间为0毫秒，结束时间为1分14秒，持续时...

讨论

研究结果表明，具备先前知识的参与者对相关刺激的平均注视时间更长。同样，该组的注意力焦点集中在信息的中段位置（近端与远端）⁷本研究结果揭示了参与者在信息处理方式上的差异。此外，他们的信息处理方式并不总是与初始分组（经验大学学生、大学教师和研究生）相关联 & 硕士研究生）。这些差异体现在参与者在观看学习视频中呈现的图像时，其视线在X轴上的位置分析方面。在聚类2中，X轴注视位置、Y轴注视位置、平均瞳孔直径注视、X轴与Y轴注视分散度的出现频率最高。这一结果与以下事实一致：聚类2的成员本身属于高校教师组，具备该主题的先前知识，并在结果验证测试中取得了最高得分。同样值得注意的是，大多数研究参与者（85.43%），无论其来源组别如何，均归属于聚类3，且在验证测试中获得最低成绩。

该方案的另一个重要方面是以视频形式结合SRL呈现信息。这种呈现方式一方面能够引导并集中注意力，另一方面可最大限度地减少每位参与者的个体行为差异，即统一了信息获取的方式。在必要时，这一特点可弥补个体在信息处理过程中可能存在的不足或困难。支持这一观点的证据是，在...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI