将眼动追踪数据与从自由观看城市公园环境中的步行视频中获得的视频内容进行分析
Summary
该协议的目的是详细说明如何收集视频数据供实验室使用;如何记录参与者查看数据的眼动跟踪数据, 以及如何使用机器学习技术有效地分析他们正在查看的视频内容。
Abstract
随着个人越来越多地生活在城市, 研究他们日常运动的方法和可以收集的数据变得很重要和有价值。据悉, 眼动追踪信息学与一系列感觉、健康状况、精神状态和行为有关。但是, 由于视觉是不断的眼球运动的结果, 因此从噪声是复杂的、数据密集型的角度来挑选重要的东西。此外, 一个重大的挑战是控制人们对什么的看法, 而不是呈现给他们的东西。
下面介绍了一种结合和分析自然复杂场景视频的眼动追踪方法, 并采用机器学习技术对视频内容进行分析。在协议中, 我们专注于分析拍摄视频中的数据, 如何最好地使用视频来记录参与者的眼动追踪数据, 重要的是如何分析视频内容并将其与眼动追踪数据结合起来。我们对研究结果进行了简要总结, 并讨论了该方法在复杂环境下进一步研究的潜力。
Introduction
我们对城市环境的日常生活体验对我们的健康和福祉影响很大。我们的福祉取决于我们查看和体验的绿地数量 1、2、3,这些视图可以使用眼动追踪设备来指导公园设计的决策。然而, 产生的眼动追踪数据量和对这些数据的理解出现了一个问题。随着在实验室或自然环境中记录凝视数据的设备变得更易于使用和功能更强大, 研究人员需要考虑如何有效地收集和分析数据, 以帮助解决决策问题。
到目前为止, 大量的眼动追踪研究都在调查或实验室环境中使用了照片。虽然这种方法允许大量的重现性和对结果的控制, 它无法利用眼动追踪技术的最新进展, 包括使用视频和可穿戴移动眼动器。此外, 我们认为, 行走和放松的行为必然是动态的, 特别是当面向一项任务时, 比如寻找路5。因此, 对这些设置的充分科学认识应在实验室之外进行。然而, 目前, 在现实生活中的自然主义环境中进行眼动追踪, 使得比较不同科目的经历变得非常困难。例如, 如果我们想比较一个受访者是否比另一个受访者更多地看树木, 我们怎么能控制他们的观点与其他人相比会不断变化, 或者他们的头可能已经转向。使用当前的分析技术, 在这些条件下进行详细分析几乎是不可能的。我们认为, 重要的是要控制被研究对象可以使用的观看区域, 并在分析中能够考虑到在任何一个时间点观看的整个场景。
有一套理论将压力水平和对安全的看法与景观观点联系起来, 并有很好的压力测量 6、7.此外, 用于测量目光的眼动追踪设备的复杂性也迅速增加.眼动追踪很重要, 因为与调查和侵入性生理测试 (如唾液皮质醇水平) 相比, 非自愿眼动可能更可靠地与偏好、压力和其他传统措施联系在一起。这项研究的目的是开发一些工具, 以便能够更精确地测量应用于更自然的环境的眼动跟踪数据, 从而为长期存在的景观理论提供进一步的证据或反驳这些理论, 这些理论为公园设计提供了信息。几十 年。
该项目的目的是开发和测试一种新的分析技术, 该技术可以为公园步行模拟的不同视频生成相关的眼动跟踪数据。我们在这里和其他地方报告的工作 9代表了一个中间点, 即完全移动的眼动系统的自然主义设置与上述基于实验室的照片研究之间的一个中间点。特别是, 我们专注于使用视频作为刺激材料, 探索如何使用这些材料来测试不同的公园在墨尔本市产生的魅力。我们的工作所依据的假设是, 在对公园从压力中恢复的潜力进行更全面、更自然的评估之前, 对视频进行详细分析是必要的突破步骤。
在这项研究中, 我们使用了一个桌面眼动器, 上面有在城市公园散步的视频, 并要求参与者想象他们在公园里轻松散步。我们描述了一种方法, 让参与者花在看不同物体上的时间在公园之间是可比的。与移动 ET 研究相比, 桌面研究通常更容易控制, 并允许对每个科目进行比较分析。
标准眼动追踪软件使用手动感兴趣的区域工具, 操作人员可以在每个场景中的感兴趣对象周围手动绘制边界。这样就可以自动计算参与者花在查看不同对象上的时间。对于视频数据, 此过程是劳动密集型的, 并受操作员的主观性和错误的影响。在更高版本的眼动追踪分析软件中, Aoi 可以在视频中对象大小相同的情况下自动跨帧跟踪对象。这是一个改进, 但是, 这只是为了用于每个图像中的少量刺激, 每个图像必须检查和确认。
图像中对象的手动标记是常见的, 并由图像编辑软件 (如 GNU 图像操纵程序 (GIMP)) 支持。鉴于 1秒 s 产生30帧或图像, 手动标记视频是不切实际的。此外, 通过在复杂对象 (如树冠) 边缘绘制矢量多边形来标记 aoi 非常耗时。最后, 虽然可以想象, 使用矢量标记来计算视场中对象的大小, 但目前还没有此功能。
我们报告的方法下面处理了这些限制。这项研究采用了物体的自动标记方法。这可以使用称为语义标记的图像处理技术, 在这种技术中, 视频的每一帧中的每个像素都被分配一个标记, 指示对象类。机器学习用于为感兴趣的每个对象类派生像素分类器。这些分类器为每个像素提供了一个概率标签 (称为单电位), 然后在随后的优化过程中对其进行细化, 以实现最终标记输出。这些分类器在从图像中提取的要素空间中学习每个对象类之间的统计决策边界, 包括纹理、边缘方向的直方图、RGB 颜色值和规范化图像坐标。DARWIN 机器学习工具箱10中实现了相应的技术, 如下所述。
Protocol
Representative Results
Discussion
通常, 在用于分析眼动追踪数据的标准软件包中, 使用的是矢量 AOI。即使对于单个静止图像, 矢量的大小也无法轻易测量。此外, 将所有 Aoi 都包括在图像中, 并计算 Aoi 的相对数量是很费力的。如果没有机器学习技术 (如所述技术), 几乎不可能在视频上手动执行此操作。这是一个相对简单的说法, 推断了一个自由观看的情况。在相同的刺激之前, 可以使用更精确的场景和不同的场景描述, 也可以影响?…
Divulgations
The authors have nothing to disclose.
Acknowledgements
这项工作得到了墨尔本市的财政支持, 并得到了 ARC DP 150103135 的部分支持。我们要感谢埃莫恩·芬尼西的建议和合作方式。特别感谢研究人员助理 Isabelle Janecki 和 Ethan Chen, 他们也帮助收集和分析了这些数据。所有错误仍然是作者。
Materials
| 12 mm lens | Olympus | Lens | |
| Panasonic GH4 | Panasonic | Video Camera | |
| Tobii Studio version (2.1.14) | Tobii | Software | |
| Tobii x120 desktop eye-tracker | Tobii | Eye-tracker |
References
- Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
- Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
- Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
- Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
- Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
- Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
- Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
- Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
- Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
- Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
- Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
- Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).
