本实验方案的目的是详细介绍如何在实验室中采集视频数据；如何记录参与者观看这些视频时的眼动数据；以及如何利用机器学习技术高效分析参与者所观看视频的内容。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
随着越来越多的人生活在城市中，研究他们日常活动的方法以及可收集的数据变得日益重要和有价值。眼动追踪信息学已知与多种感觉、健康状况、心理状态和行为相关联。但由于视觉是持续眼球运动的结果，从噪声中区分出重要信息的过程复杂且需要大量数据。此外，一个重大挑战在于如何控制人们实际注视的内容与呈现给他们的内容之间的差异。
以下介绍一种将自然复杂场景视频的眼动追踪数据与用于分析视频内容的机器学习技术相结合并进行分析的方法。本实验方案重点阐述如何分析录制视频的数据，如何最佳利用视频记录参与者的眼动追踪数据，以及尤为重要的是，如何分析视频内容并将其与眼动追踪数据进行整合。我们简要总结了研究结果，并讨论了该方法在复杂环境进一步研究中的潜力。
引言
我们日常所经历的城市环境对健康与福祉有着巨大影响。我们的福祉可能取决于所看到和体验到的绿地空间的多少1,2,3，而这些视觉体验可通过眼动追踪设备进行量化，从而为公园设计的决策提供依据。然而，眼动追踪数据生成量庞大，如何有效理解和分析这些数据成为一个难题。随着在实验室或自然环境中记录注视数据的设备变得越来越易于使用且功能更强大，研究人员需要思考如何有效收集和分析数据，以支持决策相关问题的研究。
迄今为止，大量眼动追踪研究在调查或实验室环境中使用静态照片4。尽管这种方法有助于结果的高度可重复性和控制性，却无法充分利用眼动追踪技术的最新进展，例如视频和可穿戴移动眼动仪的应用。此外，我们认为，行走和放松行为本质上是动态的，尤其是在涉及寻路等任务时尤为如此5。因此，对这些情境的全面科学理解应当在实验室之外进行。然而，目前在真实自然环境中进行眼动追踪，使得被试间体验的比较变得极为困难。例如，如果我们希望比较一名受访者是否比另一名更多地注视树木，如何控制他们视角持续变化、或头部可能发生转动所带来的差异？在现有分析技术下，此类条件下的详细分析几乎不可能实现。我们认为，有必要控制被试可观察的视野区域，并在分析中能够....
访问受限。请登录或开始试用以查看此内容。
方案
该项目已获得澳大利亚天主教大学伦理委员会的伦理批准，批准编号为 #201500036E。该批准确保从所有参与者处获得知情同意，所有参与者均为自愿参与，且参与者的数据保持匿名和保密。此外，该批准还基于所采用的方法和设备符合澳大利亚标准安全法规。
1. 拍摄可用于眼动追踪研究的城市场景
- 使用连接云台的高质量数码摄像机创建模拟“行走”或“静坐”的视频。
- 以 4K 分辨率、25 fps 的帧率录制视频，并将其保存为 1920 x 1080 高清格式。
- 如果不熟悉此操作或无法获取相关设备，可委托专业影视制作公司制作数字影片。
- 所有视频均应单次拍摄完成，长度一致，并严格按照预设的路线和特征进行。
注：示例视频细节：每段模拟行走视频时长为 3 分 50 秒，每段模拟静坐视频时长为 1 分钟。本研究中的两段视频均以一段短楼梯开始，随后进入一条路径。路径行进持续恰好 1 分 30 秒，然后摄像机停止并左转 45 至 60 度，静止 15 秒。之后摄像机继续沿路径前进至第 3 分 25 秒处，再次左转 40 至 70 度并静止 15 秒，继续沿路径行进至第 3 分 50 秒，随后渐变为黑屏。 - 确保各视频之间具有可比性，即避免因不同的行走轨迹或摄像机运动引入新的注视数据。每种行走方式仅拍摄一段视频，共两段。
- 由于眼动会受到声音影响，应从其中一段行走视频中录制一段....
访问受限。请登录或开始试用以查看此内容。
结果
图1 和 图2 展示了对所有参与者在整个视频过程中采集的眼动追踪数据生成的热图结果；这是眼动追踪软件包中常见的标准方法。图1 与 图2 相比，可以发现参与者在 图1 中沿视频的 x 坐标左右扫描的程度更明显，而 图2 则呈现出更圆润的形状。这是因为 图1 的视频中包含比 图2 公园场景更多的水平元素。热图背后的图像仅为单帧画面，无法充分反映视频的全部内容。
桌面眼动追踪系统及软件仅统计能够同时定位双眼的结果.......
访问受限。请登录或开始试用以查看此内容。
讨论
通常，在用于分析眼动追踪数据的标准软件包中，会使用矢量兴趣区（AOI）。即使对于单张静态图像，矢量的大小也难以直接测量。此外，将图像中所有兴趣区全部纳入并计算其相对面积是一项繁琐的工作。如果没有类似本文所述的机器学习技术，几乎不可能手动完成视频中的此类分析。上述描述相对简单，适用于自由观看的情境。而更精确的实验情境可以被采用，并且在相同刺激呈现前给予不同的场景描述也会影响眼动行为11。
我们的研究采用了一种方法，用于准确分类视频中的物体，并分析这些物体对人眼的可见程度。该方法为衡量眼动与感兴趣物体之间关联程度提供了一种途径。这使得在使用移动眼动仪比较不同受试者的眼动数据，或使用基于桌面的系统比较不同场景位置时，能够控制视野中感兴趣物体的存在程度。影响我们所采用的机器学习方法对物体进行自动分类效果的因素包括光照条件、被分类物体的形状特征等例如 不仅限于一种树木类型，还包括多种树木类型、它们在图像中的位置以及光照方式 等等。）、纹理和颜色。在确定帧数时，需考虑被分析视频中视觉条件的持续时间与变化程度，以.......
访问受限。请登录或开始试用以查看此内容。
致谢
本工作得到了墨尔本市的财政支持，并部分获得了澳大利亚研究理事会（ARC DP 150103135）的资助。我们感谢 Eamonn Fennessy 提供的建议和合作支持。特别感谢研究助理 Isabelle Janecki 和 Ethan Chen，他们也协助了数据的收集与分析。所有错误均由作者负责。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 12 mm 镜头 | Olympus | 镜头 | |
| Panasonic GH4 | Panasonic | 摄像机 | |
| Tobii Studio 版本 (2.1.14) | Tobii | 软件 | |
| Tobii x120 台式眼动仪 | Tobii | 眼动仪 |
参考文献
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G.
访问受限。请登录或开始试用以查看此内容。
重印与许可
