用于对从事学习过程的成年人进行行为分析的眼跟踪技术和数据挖掘技术

Summary

我们提出一个协议，对从事学习过程的成年人（18至70岁）进行行为分析，承担为自我调节学习（SRL）设计的任务。参与者、大学师生以及体验大学的成年人使用眼球跟踪设备进行监控，并使用数据挖掘技术分析数据。

Abstract

对从事学习任务的成年人进行行为分析是成人教育领域的一大挑战。当今世界，在科技不断变化和科技进步的世界中，在正规和非正规教育环境中都需要终身学习和教育。为应对这一挑战，使用眼动跟踪技术和数据挖掘技术，分别用于监督（主要是预测）和无人监督（特别是集群分析）学习，为检测用户之间的学习形式和/或对其学习方式进行分类提供了方法。在这项研究中，建议在不同年龄（18至69岁）和在整个学习过程中（开始和结束）的不同点，研究有或以前不了解知识的成年人的学习方式。差异统计分析技术意味着参与者之间可以按学习者类型和以前对任务的知识来检测差异。同样，使用无人监督的学习聚类技术也使不同群体的参与者之间类似的学习形式暴露无厌。所有这些数据将促进教师在信息处理链的不同点提出个性化建议。同样，教师也更容易使教材适应每个学生或具有类似特点的学生群体的学习需求。

Introduction

眼跟踪方法应用于学习中的行为分析
眼跟踪方法，除其他功能用途外，适用于人类行为的研究，特别是在任务解决期间。这项技术有助于在完成学习任务时进行监测和分析^。具体来说，使用眼动追踪技术可以研究不同科目（历史、数学、科学等）学生在学习过程（开始、发展和结束）的不同点的注意力水平。此外，如果任务包括使用具有指导学习过程的声音的视频，则会促进自我调节的学习 （SRL）。因此，在分析SRL（包括使用视频）的任务时，将眼动追踪技术作为了解学习^{如何发展的重要资源。}这种组合还意味着教学方法（有或没有 SRL 等）之间的差异可以与不同类型的学生（有或没有事先知情等）进行检查。^5.相比之下，多渠道信息的呈现（同时呈现听觉和视觉信息，无论是口头、书面还是图片）可以促进上述变量⁶的相关信息与非相关信息的录制和分析。拥有以前接触多媒体学习渠道的知识的学生似乎比那些以前知识很少或根本没有知识的学生学习更有效。具有较高学前知识的学生将更有效地整合文本和图形信息^。此功能已在学习文本⁸中观察到，其中包括图像⁹。眼动追踪技术提供了关注的重点和持续时间的信息。这些数据比在完成任务期间对解决过程的简单观察，更准确地了解了学习过程的发展。此外，对这些指标的分析有助于研究学生是发展深度还是肤浅的学习。此外，这些数据与学习结果之间的关系，亦有助验证使用眼动追踪技术^4、10获得的信息。事实上，这项技术与SRL一起越来越多地用于高等教育和成人教育¹¹学习环境，无论是在受监管的课程还是在非监管课程^12。

眼动跟踪技术提供不同的指标：距离、速度、加速度、密度、分散、角度速度、感兴趣区域 （AOI） 之间的过渡、AOI 的顺序、固定的访问、囊、扫描路径和热图参数。但是，对这些数据的解释是复杂的，需要使用受监督的（回归、决策树等）和无人监督（k-手段集群技术等）^13，14数据挖掘技术.这些指标可用于监测同一科目的行为随着时间的推移，或比较几个科目和他们的表现与相同的任务^15，通过分析参与者之间的差异，以前的知识与没有以前的知识^16。最近的研究^11，17显示，新手学徒固定在刺激上的时间更长（即，有一个更大的固定频率，而类似的扫描路径模式被记录）。专家的平均固定时间比新手长。专家们将注意力集中在信息的中间点（近处和中央），在热图上的AOI内可视化点也可以看到差异。

眼部跟踪指标的解释
最近的^研究18表明，信息获取与刺激的眼部固定次数有关。另一个重要的指标是囊，它被定义为固定的快速和突然移动，间隔为[10毫秒，100毫秒]。Sharafi 等人（2015 年）¹⁸发现，根据学生的信息编码阶段，教士的数量存在差异。另一个相关的参数是扫描路径，该指标捕获参与者为解决研究人员¹⁸定义的 AOI 内的学习任务而执行的步骤的按时间顺序排列。同样，眼动追踪技术可用于预测参与者的理解水平，这似乎与固定次数有关。最近的研究表明，凝视行为的变异性取决于图像的属性（位置、强度、颜色和方向）、执行任务的说明以及参与者的信息处理类型（学习风格）。这些差异是通过分析学生与不同的^AOI19的相互作用来检测的。定量^20（频率分析）和/或定性或动态^21（扫描路径）技术可用于分析从不同指标收集的数据。前一种技术用传统的统计技术（频率分析、平均差值、方差等）进行分析，后者用机器学习技术（用字符串编辑方法^21、22和聚类^17）分析前者。这些技术的应用通过考虑受试者的不同特征，促进集群化。一项研究¹⁷发现，学生越是专业，实施的空间和时间信息处理策略就越有效。本研究中使用的测量参数的描述性表可在表 1中查阅。

表1：最具有代表性的参数，可以获得与眼睛跟踪技术，改编自塞伊兹，扎帕林，马蒂科雷纳和贝拉斯科（2019年）。²⁰  请单击此处下载此表。

将眼跟踪方法应用于学习过程的研究
使用上述⁵ 项技术进步和数据分析技术，将为在信息处理（任务启动、信息处理和任务解决）的不同阶段解决问题时对学习者的行为分析增加更高的精度。这一切都将促进个人行为分析，这反过来又允许具有类似特征的学生分组^24。同样，预测技术（决策树、回归技术等）²⁵ 可以应用于学习，既与固定次数有关，也与每个学生的任务解决结果相关。此功能是每个学生如何学习的知识以及不同群体（有学习困难或没有学习困难的人^26）中个性化学习计划建议的一个非常重要的进步。因此，使用这项技术将有助于实现个性化和优化学习^27。终身学习必须理解为一个不断改进的循环，因为社会知识在不断进步和进步。进化心理学表明，信息处理的分辨率技能和有效性随着年龄的增长而下降。具体来说，发现成年人的眼动频率、振幅和速度会随着年龄的增长而降低。此外，在年龄较大时，注意力集中在视觉场景的较低区域，这与工作记忆¹⁴的缺陷有关。然而，在老年时，正面和前额区域的激活增加，这似乎弥补了任务解决方面的这些缺陷。这一方面包括先前的知识水平和学科可以应用的认知补偿策略。由于采用了自动化监督流程^，经验丰富的参与者学习效率更高，因为他们管理注意力更加有效。此外，如果要学习的信息是通过SRL技术传授的，上述缺陷将得到缓解^。使用这种技术意味着视觉跟踪模式非常相似，无论是在没有事先知情的科目中，还是在^{事先了解7}的科目中。

总之，利用先进的学习（眼动追踪）技术对SRL的多式联运多渠道数据进行分析，是理解认知、元认知和激励过程之间的相互作用及其^{对学习的影响}的关键。研究结果和学习差异对学习材料和智能辅导系统的设计有影响，这两者都将使个性化学习更有效，更令人满意的学生^30。

在这项研究中，有两个调查问题被问及：（1） 在艺术史中，学生和专家与非专家教师在学习结果和眼部固定参数上是否存在显著差异，以区别于拥有官方学位的学生与拥有非官方学位的学生（经验大学 - 成人教育）？（2） 每个参与者的学习结果和眼部固定参数集群与参与者类型（拥有官方学位的学生、具有非官方学位的学生（经验大学 - 成人教育）和教师）的类型一致吗？

Protocol

该议定书是按照布尔戈斯大学（西班牙）生物道德委员会的程序条例执行的。在参加之前，与会者已充分了解研究目标，并已全部表示知情同意。他们因参与而未获得任何经济补偿。

1. 参与者招募

1. 在两个环境中（学生和教师）从一组成年人中招募参与者，年龄在高等教育环境中（正规和非正规教育）的年龄为18至69岁。
2. 包括具有正常或更正到正常视力和听力的参与者。
3. 不包括神经、精神和睡眠障碍、与教育特殊需要有关的残疾、感性困难（视力和听力受损）和认知障碍的参与者。
   注：在这项研究中，我们与40名参与者、6名来自体验大学的学生（一名参与者因视觉困难而被排除在体验大学学生类别之外）、25名健康科学、工程学、历史和遗产学科的大学教授以及9名本科和硕士生，学习健康科学、工程学、历史和遗产等课程。参与者没有认知、听觉和视觉问题，他们都有正常或矫正到正常的视力（表2）。这就是为什么，其中一名参与者在开始实验前被淘汰，因为尼斯塔格穆斯已经检测到他，因此任务被应用于39名参与者的样本。参与者没有获得任何经济或专业补偿：这就是为什么参与者的动机很高，因为只有根据他们的兴趣，才能知道这种眼动追踪方法在与文化遗产有关的学习过程中是如何运作的，特别是欧洲修道院的起源。

表2。样本的特征。请单击此处下载此表。

2. 实验程序

1. 会话 1：收集知情同意、个人数据和背景知识
   1. 获得知情同意。测试前，向每位参与者通报研究目标以及数据的收集、处理和存储情况。每位参与者的协议均通过签署知情同意书来达成。
      注：参加这项研究是自愿的，没有经济奖励。这一方面确保了完成任务没有经济动机。在开始任务之前，面试官是该领域的专家，他填写了一份问卷，其中询问了有关年龄、性别、职业和对主题的事先了解，在这种情况下，欧洲寺院的起源和历史发展（见 表3）。这项研究是欧洲项目（2019-1-ES01-KA204-095615-协调员6）的一部分，该项目是关于成年人一生学习人类文化遗产;这就是为什么选择这种类型的任务。每个调查员将根据他或她的工作领域选择主题。

表3。面试问卷。请单击此处下载此表。

2. 会话 2：校准
   1. 告知参与者眼动追踪技术如何运作，以及如何收集、记录和校准信息："我们将使用眼动跟踪技术观察欧洲修道院起源和发展的学习任务的完成情况。眼动追踪是一种技术，允许您在执行活动时跟随你的目光，它没有副作用，也不是侵入性的，因为在这项研究中只记录了眼睛跟踪"。
   2. 向参与者解释，有效的测试需要适当的定位。让参与者必须坐在距离监视器（45 至 60 厘米）的一定距离。距离取决于参与者的高度，高度越低，距离越短。
   3. 通知参与者，屏幕上的要点将显示一系列点，当每个点出现时，参与者必须用眼睛观察它。参与者可以通过使用"输入"光标从一个点移动到另一个点。校准阶段的持续时间为 10-15 分钟。
      注：用于任务解决练习的有目视追踪 iViewer XTM、SMI 实验中心 3.0 和 SMI Be Gaze 以及分辨率为 1680 ×1050 的监视器。此设备记录了每个眼睛的眼部运动、坐标和瞳孔直径。在这项研究中，应用了 60 Hz，使用了扫描路径指标和动态扫描路径指标，并确定了 AOI 统计数据。
   4. 检查校准设置。监督测试的专业人员分析控制屏幕上的校准设置。
      1. 通过眼跟踪 iViewer XTM 中包含的校准系统进行校准。在开始此任务之前，每个参与者在屏幕上实现四个点的视觉跟进，直至四个角（右上、左上、右下、向左）。之后，软件具有这些刺激正确位置的执行验证过程，并提供参数调整度的信息。如果此调整位于左右眼的 0.6o ± 1 之间，则认为校准正确，任务执行开始。该过程的示例可在图 1中验证。
         注意：当右眼和左眼的度数设置为 0.6o ± 1 标准偏差时，考虑正确的任务完成。在这项研究中，在超过0.6o±1的调整标准的大学教授群体中检测到两个校准，因此删除了两个参与者。因此，第一个样本中的25名参与者减少到23名。

图1。目光跟踪校准过程 请单击此处查看此图的较大版本。

3. 会话 3：执行学习任务
   1. 向参与者解释任务的内容。一位教学心理学专家向参与者解释了任务包括什么以及如何执行："视频长1：14秒，由5个画画像组成。最后，邀请参与者完成一个小的纵横字谜，以检查视频中提供的信息是否已被理解"。
   2. 观看视频剪辑。任务中使用的视频可在以下链接上观看：https://youtu.be/HlGGgrYDTFs。
      注：任务包括观看一段视频，提供有关欧洲修道院起源的信息。这些信息是由一位专家，一位艺术史老师详细阐述的。信息分为两个渠道，一个是视觉频道，包括图像和书面信息作为大纲呈现，另一个是音频，因为 SRL 专家老师在整个视频中坚持使用口头强调最重要的内容。
   3. 在基于穆德尔的虚拟平台上执行纵横字谜。单击纵横字谜图标可将参与者带到一个虚拟平台，在那里可以完成纵横字谜，以检查是否已获得知识。纵横字谜以 图2的形式呈现。

图2。纵横字谜来检查获得的知识。 请单击此处查看此图的较大版本。

4. 会话 4：数据分析
   1. 选择感兴趣的领域 （AOI）。AOI 在视频中定义，并分为包含相关信息的 AOI 和包含非相关信息的 AOI。
      注：AOI 分配由决定哪些与所呈现的信息相关的相关或不相关的 AOI 的实验者实现。
   2. 提取与AOI固定参数相关的数据库（"事件开始试用时间"、"事件结束试验时间"和"事件持续时间";"固定位置 X"、"固定位置 Y"、"固定平均瞳孔大小 Y px"、"固定平均瞳孔直径"、"固定分散 X"和"固定分散 Y"）。
   3. 将数据库导入统计处理软件包，然后选择选项 分析 ，然后 进行分类，然后是选项 k-手段集群。然后在统计软件包中选择交叉表，例如 SPSS，然后是"ANOVA"选项，以分析参与者（成人组类型和先前知识程度）与其 AOI 固定参数³¹的差异。
      注：聚类或群集分析是一种"无人监督"的机器学习技术，在 k-手段范围内，它是一种分组方法，其目的是将一组 n 观测结果划分为 k 组，其中每个观测属于平均值最接近的组。在这个实验中 ，k-手段聚类用于检查学习任务中参与者的集群。这种通信很重要，因为它为教师或治疗师提供了超出诊断范围的用户同质功能发展的信息，提供了在某些功能开发领域提出类似干预方案的信息。这一选择有望促进充分利用教育或治疗服务及其个人和物质资源。
   4. 使用 Orange³²等可视化软件对正在处理的数据（描述性和群集分析）进行可视化分析。
   5. 提取详细统计参数的数据：居住时间、概览持续时间、转移持续时间、概览计数、固定计数、平均固定和持续时间，然后将该数据库导入统计软件包中。在统计包中选择选项"ANOVA"，然后对已处理的数据（手段）进行可视化分析。使用电子表格为参与者组生成蜘蛛图和特定条形图。
5. 第5届会议：个性化学习建议
   1. 执行干预计划，以改善集群分析中检测到的参与者的学习结果，因为他们的分数较低。
      注： 图3显示了实验过程中所遵循的阶段的摘要。

图3。实验过程的阶段。 请单击此处查看此图的较大版本。

Representative Results

为本研究招募的36名参与者来自三组成人（来自经验大学的学生、大学教授以及本科生和硕士学位学生），年龄在[18至69]岁之间（表2）。该协议在布尔戈斯大学进行了20个多月的测试。 在表4中可以看到发展的轮廓。

表4。学习行为分析协议发展纲要。请单击此处下载此表。

首先，分析了固定的注视位置参数（表5）。在这项研究中，使用视频，开始和结束时间对所有参与者都是一样的：开始0毫秒和结束1：14秒，持续时间1：14秒。

表5。修复参数结果。请单击此处下载此表。

图4显示了三组就固定参数开发的任务图。每个参与小组（体验大学学生、大学教师和硕士生）的男女小组都以不同的方式完成了任务。

图4。三组的图表及其与固定参数相关的任务的发展。 请单击此处查看此图的较大版本。

然后应用双因素固定效应 ANOVA（参与者类型和以前知识类型）来检查三组（体验大学学生、大学教授和大学生）固定位置参数是否存在显著差异。在任何固定参数中均未发现显著差异，但注意到固定平均瞳孔尺寸 Y、固定平均瞳孔直径和固定分散 X 的差异趋势，尽管效果值较低（见表 6）。

表6。双因素固定效果 ANOVA（参与者类型和先前知识）和效果值。请单击此处下载此表。

随后，在初始研究组（体验大学学生、大学教授和大学生）中，对固定位置参数、先前知识和填字游戏结果的结果进行了 k 手段集群的研究。发现了三个集群（表7）。图 5中可以看到集群的可视化。

表7。最终集群中心。请单击此处下载此表。

然后，在分配给每个参与者的组成员群的值之间准备了一个十字表，内容与参与者的类别类型（体验大学学生、大学教授和大学生）（表8）有关。 图 5 显示了参与者在集群中对固定位置参数的三组的位置。

表8。参与者*案例交叉处理的集群编号。请单击此处下载此表。

为以下眼动跟踪测量参数执行了双因素固定效果 ANOVA，"参与者组"和"背景"：居住时间、概览持续时间、转移持续时间、概览计数、固定计数、平均值和在任务开始阶段（幻灯片 1）和任务结束阶段（幻灯片 5） （表6）中获得的持续时间。根据转移持续时间 1 中的背景知识变量（分析插入每个 AOI 中的每一个刺激的输入、居住和输出时间），发现存在显著差异。因此，可以得出结论，在不同的 AOI 中输入、保留和退出的方式不同，具体取决于信息访问初始阶段的可变"参与者组"（F_2、32= 4.07、p = 0.03、η² = 0.23）。在平均固定持续时间参数中也发现了差异（更长的固定是指参与者花费更多的时间分析和解释不同 AOI 中的信息内容（F_2、32 = 3.53、p = 0.04、η² = 0.21）。Bonferroni 的平均差额测试应用于建立团体成员资格，通过该测试确定他们属于组（体验大学学生）和大学教授组 [平均差异 = 0.04，p = 0.04 CI 95% （0.03-2.75）]。对于第 1 组（体验大学学生）来说，方法更高，参与者在数据输入阶段花费更多时间分析和解释 AOI（见表 9和图 6）。

表9。双因素固定效果 ANOVA（参与者类型和以前知识）和眼动跟踪测量参数的效果值：居住时间、概览持续时间、转移持续时间、浏览次数、固定计数、平均固定和持续时间。请单击此处下载此表。

图6。三组的图表及其任务的发展，涉及任务处理开始和结束时对先前知识变量的固定参数。请单击此处查看此图的较大版本。

根据本研究的结果，建议制定个性化学习计划，以改进任务解决学习成果。该计划侧重于与分组为第 3 组的参与者一起工作，因为他们在测试中获得了 5 分中的 3 分，以检查学习结果，占参与者总数的 85.43%。三个研究组（体验大学学生） 的参与者：大学教师和研究生和硕士生）在此集群中被发现。该计划将侧重于加强视频中的概念，从而扩展和规范概念。

图5。三组（体验大学生、大学教授和大学生）的固定参数的聚类分析。请单击此处查看此图的较大版本。

补充文件

附有记录图像用于参考学习困难儿童功能能力观察的视频的授权。

Discussion

研究结果表明，在以前了解情况的参与者中，相关刺激的平均固定持续时间更长。同样，关注这个群体的焦点是信息的中间点（近处和离群点^）7。这项研究的结果揭示了参与者处理信息的方式不同。此外，他们的处理并不总是与最初的分组（大学经验学生，大学教师和研究生和硕士生）。这些差异是在分析参与者在学习视频中呈现的图像的固定中 X 轴上的视觉位置时发现的。在第 2 组中，发现了位置 X 固定、位置 Y 固定、平均瞳孔直径固定、X 轴和 Y 轴固定分散的最高频率。这一事实与第2组成员本身是大学教师小组的成员，以前对该科目有了解，并在结果验证测试中获得最高分的事实相吻合。同样，需要指出的是，大多数研究参与者（85.43%），无论其出身如何，都在第三组，他们在验证测试中取得的最低结果。

此协议的另一个相关方面是与 SRL 一起在视频中介绍信息。这种演示形式一方面引导和集中注意力，另一方面尽量减少每个参与者的个别行为，也就是说，它统一了访问信息的方式。如有必要，这是一个可以弥补可能的赤字或处理困难方面的方面。这一说法的证据是，在三组人的学习结果中未发现显著差异，平均绩效区间[3.60，4.86]确定为5。仅在处理的转移持续时间参数（用于分析每个 AOI 中插入的每个刺激的输入、持久性和输出时间的参数）和平均固定持续时间（此参数指更长的固定时间，这表明参与者在处理的初始时刻花费更多时间分析和解释不同 AOI 中的信息内容），而不是在处理结束时。在本研究中，研究生和硕士生组和体验大学学生中检测到这些参数中时间最长的时间。这些结果得到其他研究^{4、12、15结论的支持}。最后，此协议可以应用于研究信息处理过程中的差异，具体取决于学生的编码阶段。

基于上述，第一个结论是，在完成任务期间采用眼动追踪方法，为信息处理^1、2的研究提供了有用的数据。同样，从眼跟踪技术中提取的数据，以及用无人监督的学习技术（聚类）进行分析的数据，也有助于根据预先确定的参数^11、15对星团的知识进行分析。这方面对研究每位学员的信息处理，以及有关个性化教育回应^{3、4、5、6、22、23}的建议，都十分切合，预期可带来更有效的学习^。

同样重要的是要指出，实验结果重申了其他研究的结果：根据新手专家变量和参与者年龄在处理上的差异，以及使用SRL材料，以尽量减少这些变量的影响，并提高参与者的预期性能^{7，8，9，10。}

然而，有必要谨慎对待这些结果的任何概括，因为应用了方便的抽样，并且工作的重点是与艺术史相关的特定内容。因此，样本将在未来的研究中扩展，并将在其他学科中检查结果。

如介绍所示，通过各种信息渠道（听觉、视觉或两者兼有）与SRL方法以多式联运方式呈现信息，以及使用眼动追踪技术和机器学习技术，是了解参与者处理信息的方式，以便根据每个用户的教育需求提供个性化学习设计，从而促进所有^学生成功学习及其发展^的关键。

总之，眼动追踪技术的使用并不是教育框架中通常应用的方法，根本原因是从物质到个人资源的成本因素。然而，它的使用开始一点一点地增加，重要的是看到它在自动调节学习任务的观察中通常的使用。这种眼球跟踪技术的优点是，它允许记录学习者与任务的相互作用，而任务具有可靠性和有效性的优点，在这种情况下，它对学习过程的简单观察。此外，眼跟踪方法提供不同的注册信息可视化技术，数据库中的这些信息也可以用计算机程序或更强大的工具进行分析。因此，它为自然背景下的调查开辟了多种可能性。

Materials

Name	Company	Catalog Number	Comments
iViewer XTM	iViewer
SMI Experimenter Center 3.0	SMI
SMI Be Gaze	SMI