使用移动眼动追踪器捕捉联合视觉注意力的方法
Summary
使用多式联运传感器是了解社会互动在教育环境中作用的一种有希望的方法。本文介绍了一种使用移动眼动仪从共定位的dyads中捕捉关节视觉注意力的方法。
Abstract
随着新技术的进步，有可能以前所未有的准确性在微观层面研究社会互动。高频传感器（如眼动仪、电极活动腕带、EEG 波段和运动传感器）提供毫秒级的观察。这种精度水平使研究人员能够收集关于社交互动的大型数据集。在本文中，我讨论了多个眼动仪如何捕捉社会互动、联合视觉关注（JVA）的基本结构。JVA已被发展心理学家研究，以了解儿童如何获得语言，学习科学家如何理解小团体学习者如何合作，社会科学家了解小团队的互动。本文介绍了一种使用移动眼动仪在共置设置中捕获 JVA 的方法。它提出了一些经验结果，并讨论了捕获微观观测以了解社会相互作用的影响。
Introduction
在过去的一个世纪里，JVA得到了广泛的研究，特别是由研究语言习得的发展心理学家。人们很快发现，共同的关注不仅仅是一种学习单词的方式，而是儿童思想理论的先兆。因此，它在许多社会过程中起着重要的作用，例如与他人沟通、协作和培养同理心。例如，孤独症儿童缺乏与照顾者协调视觉注意力的能力，这与严重的社会缺陷有关2。人类需要共同关注，成为社会的功能成员，协调自己的行动，并学习他人。从儿童获得他们的第一句话，青少年学习从学校教师，学生合作的项目，到成人群体为共同的目标，共同的关注是建立个人之间的共同点的基本机制3。本文重点研究了JVA在教育研究方面的研究。了解共同关注如何随时间发展对于研究协作学习过程至关重要。因此，它在社会建构主义环境中起着主导作用。
共同关注的确切定义仍在争论4。本文涉及联合注意力（JA）的子结构，即JVA。当两个受试者同时查看同一地点时，就会发生 JVA。应当指出，JVA没有提供有关JA研究中其他重要的要约的信息，例如监测共同、相互和共同的关注，或者更普遍地监测另一个集团成员的认知意识。本文通过组合来自两个参与者的眼动追踪数据并分析他们对齐眼睛的频率，对 JVA 进行操作和简化。对于更全面的讨论，感兴趣的读者可以了解更多关于研究在Siposovaetal4.
在过去的十年中，技术进步从根本上改变了对JVA的研究。主要的范式转变是使用多个眼动仪来获得注意力对齐的定量测量，而不是在实验室或生态环境中对录像进行定性分析。这一发展使研究人员能够收集有关dyads视觉协调的精确、详细的信息。此外，眼动仪正变得越来越实惠：直到最近，他们的使用被保留给学术机构或大公司。现在，可以购买价格低廉的眼动仪来生成可靠的数据集。最后，将凝视跟踪功能逐步纳入高端笔记本电脑、虚拟和增强现实耳机等现有设备表明，眼动追踪将很快变得无处不在。
由于眼动追踪设备的普及，了解它们能够和不能告诉我们的社交互动非常重要。本文介绍的方法标志着朝这个方向迈出的第一步。我解决了从多个眼动仪捕获 JVA 的两个挑战：在 1） 时间尺度上同步数据，在空间尺度上同步 2）。更具体地说，该协议利用放置在真实环境中的基准标记来通知计算机视觉算法，参与者在哪些位置引导他们的目光。这种新方法为严格分析小群体中的人类行为铺平了道路。
本研究规程符合哈佛大学人类研究伦理委员会的指导方针。
Protocol
Representative Results
Discussion
本文中描述的方法提供了一种在共置的 dyads 中捕获 JVA 的严格方法。随着经济实惠的传感技术和计算机视觉算法的改进，现在可以以以前无法达到的精度研究协作交互。该方法利用在环境中传播的基准标记，并使用同质图形将参与者的目光重新映射到公共平面上。这使得研究人员能够严格研究同置组的JVA。
此方法包括需要在实验的各个点执行的多个健全性检查。由于这是一?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
这一方法的开发得到了国家科学基金会（NSF #0835854、由瑞士教育、研究和创新国务秘书会和哈佛教育学院院长风险基金资助的职业教育领先之家技术的支持。
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
