모바일 아이 트래커를 사용하여 공동 시각 주의를 포착하는 방법론
Summary
멀티모달 센서를 사용하는 것은 교육 환경에서 사회적 상호 작용의 역할을 이해하는 유망한 방법입니다. 이 백서는 모바일 아이트래커를 사용하여 공동 배치된 다이드에서 관절 시각적 주의를 포착하는 방법론을 설명합니다.
Abstract
새로운 기술 발전의 출현으로, 전례없는 정확도로 마이크로 레벨에서 사회적 상호 작용을 연구 할 수 있습니다. 아이 트래커, 전기 피부 활성 팔찌, EEG 밴드 및 모션 센서와 같은 고주파 센서는 밀리초 수준에서 관찰을 제공합니다. 이러한 수준의 정밀도를 통해 연구원은 사회적 상호 작용에 대한 대규모 데이터 집합을 수집할 수 있습니다. 이 백서에서는 여러 아이 트래커가 사회적 상호 작용, 공동 시각 주의(JVA)의 근본적인 구조를 포착하는 방법에 대해 설명합니다. JVA는 발달 심리학자들에 의해 아이들이 언어를 습득하는 방법을 이해하고, 소규모 학습자 그룹이 어떻게 함께 작동하는지 이해하기 위해 과학자를 배우고, 사회 과학자들은 소규모 팀의 상호 작용을 이해하기 위해 연구되었습니다. 이 백서에서는 모바일 아이트래커를 사용하여 공동 배치된 설정에서 JVA를 캡처하는 방법을 설명합니다. 그것은 몇몇 경험적인 결과를 제출하고 사회적인 상호 작용을 이해하기 위하여 현미경 관측을 붙잡기의 연루를 토론합니다.
Introduction
JVA는 지난 세기 동안 광범위하게 연구되어 왔으며, 특히 언어 습득을 연구하는 발달 심리학자에 의해 연구되었습니다. 공동주의는 단순히 단어를 배우는 방법일 뿐 아니라 아이들의 마음 이론의 선구자라는 것이 빠르게 확립되었습니다1. 따라서, 그것은 다른 사람들과 의사 소통, 협력, 공감 개발 과 같은 많은 사회적 과정에서 중요한 역할을한다. 자폐증 어린이, 예를 들어, 중요한 사회적 장애와 관련된 자신의 간병인과 시각적 인 주의를 조정 할 수있는 능력이 부족2. 인간은 사회의 기능적 구성원이 되고, 행동을 조정하고, 다른 사람들로부터 배우기 위해 공동의 주의가 필요합니다. 첫 마디를 습득하는 아이들, 교사로부터 배우는 청소년, 프로젝트에 협력하는 학생, 공동 목표를 향해 노력하는 성인 그룹에 이르기까지 공동 주의는 개인 간의 공통점을 확립하는 기본메커니즘입니다 3. 이 논문에서는 교육 연구에서 JVA의 연구에 중점을 둡니다. 시간이 지남에 따라 공동 주의가 어떻게 전개되는지 이해하는 것은 공동 학습 프로세스의 연구에 가장 중요합니다. 이와 같이, 그것은 사회 건설주의 설정에서 지배적 인 역할을한다.
공동 관심의 정확한 정의는 여전히 논의4. 이 백서는 공동 주의 (JA) 즉 JVA의 하위 구조와 관련이 있습니다. JVA는 두 과목이 동시에 같은 장소를 보고 있을 때 발생합니다. JVA는 JA의 연구에서 관심있는 다른 중요한 구성에 대한 정보를 제공하지 않는다는 점에 유의해야한다, 이러한 공통 모니터링 등, 상호, 공유 주의, 또는 더 일반적으로, 다른 그룹 구성원의 인식의 인식. 이 백서는 두 참가자의 아이트래킹 데이터를 결합하고 시선을 정렬하는 빈도를 분석하여 JVA를 운영하고 단순화합니다. 보다 포괄적인 토론을 위해 관심 있는 독자는 시포소바엣 al.4.
지난 10년 동안 기술 발전은 JVA에 대한 연구를 근본적으로 변화시켰습니다. 주요 패러다임 변화는 실험실이나 생태 환경에서 비디오 녹화를 정성적으로 분석하는 것과 는 달리 여러 개의 아이 트래커를 사용하여 주의력 정렬의 정량적 측정값을 얻는 것이었습니다. 이 발달은 연구원이 dyads의 시각적 조정에 관하여 정밀하고 상세한 정보를 수집하는 것을 허용했습니다. 또한, 아이 트래커는 더 저렴해지고 있다: 최근까지, 그들의 사용은 학술 설정 또는 대기업에 예약되었다. 이제 신뢰할 수 있는 데이터 세트를 생성하는 저렴한 아이 트래커를 구입할 수 있습니다. 마지막으로, 하이 엔드 노트북 및 가상 및 증강 현실 헤드셋과 같은 기존 장치에 시선 추적 기능이 점진적으로 포함되면 아이 트래킹이 곧 유비쿼터스가 될 것임을 시사합니다.
아이트래킹 기기가 대중화되기 때문에 사회적 상호 작용에 대해 알려줄 수 있는 것과 말할 수 없는 것을 이해하는 것이 중요합니다. 이 백서에 제시된 방법론은 이 방향의 첫 번째 단계를 표시합니다. 여러 아이 트래커에서 JVA를 캡처하는 데 따르는 두 가지 과제, 즉 1) 시간적 스케일에서 데이터를 동기화하고 2) 공간 스케일에서 해결합니다. 보다 구체적으로, 이 프로토콜은 실제 환경에 배치된 fiducial 마커를 사용하여 참가자가 시선을 지향하는 컴퓨터 비전 알고리즘을 알려줍니다. 이 새로운 종류의 방법론은 소그룹에서 인간의 행동을 엄격하게 분석할 수 있는 길을 열어줍니다.
이 연구 프로토콜은 하버드 대학의 인간 연구 윤리위원회의 지침을 준수합니다.
Protocol
Representative Results
Discussion
이 백서에 설명된 방법론은 JVA를 공동 배치 된 다이드에서 캡처하는 엄격한 방법을 제공합니다. 저렴한 감지 기술과 향상된 컴퓨터 비전 알고리즘의 출현으로 이전에는 사용할 수 없었던 정확도로 협업 상호 작용을 연구할 수 있게 되었습니다. 이 방법론은 환경에 전파된 신탁 마커를 활용하고 참가자의 시선을 공통 평면에 다시 매핑하는 방법으로 동형그래프를 사용합니다. 이를 통해 연구자들?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 방법론의 개발은 국립 과학 재단 (NSF #0835854), 직업 교육을위한 선도적 인 하우스 기술, 교육, 연구 및 혁신을위한 스위스 국가 사무국, 하버드 교육 대학의 딘 벤처 펀드에 의해 지원되었다.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
