Uma metodologia para capturar a atenção visual conjunta usando mobile eye-trackers
Summary
O uso de sensores multimodais é uma maneira promissora de entender o papel das interações sociais em ambientes educacionais. Este artigo descreve uma metodologia para capturar a atenção visual conjunta de dídas colocated usando rastreadores de olho móveis.
Abstract
Com o advento de novos avanços tecnológicos, é possível estudar as interações sociais em um micronível com precisão sem precedentes. Sensores de alta frequência, como rastreadores oculares, pulseiras de atividade eletrodérmica, bandas de EEG e sensores de movimento fornecem observações no nível de milissegundo. Esse nível de precisão permite que os pesquisadores coletem grandes conjuntos de dados sobre interações sociais. Neste artigo, discuto como vários rastreadores oculares podem capturar uma construção fundamental nas interações sociais, a atenção visual conjunta (JVA). JVA tem sido estudado por psicólogos de desenvolvimento para entender como as crianças adquirem a linguagem, aprendendo cientistas a entender como pequenos grupos de alunos trabalham juntos, e cientistas sociais para entender as interações em pequenas equipes. Este artigo descreve uma metodologia para capturar JVA em configurações colocated usando olho-trackers móveis. Apresenta alguns resultados empíricos e discute implicações da captura de microobservações para entender as interações sociais.
Introduction
JVA tem sido extensivamente estudado ao longo do século passado, especialmente por psicólogos de desenvolvimento que estudam a aquisição da linguagem. Foi rapidamente estabelecido que a atenção conjunta é mais do que apenas uma maneira de aprender palavras, mas sim um precursor das teorias das crianças da mente1. Assim, desempenha um papel significativo em muitos processos sociais, como a comunicação com os outros, a colaboração e o desenvolvimento da empatia. Crianças autistas, por exemplo, não têm a capacidade de coordenar sua atenção visual com seus cuidadores, o que está associado a deficiências sociais significativas2. Os seres humanos precisam de atenção conjunta para se tornarem membros funcionais da sociedade, para coordenar suas ações e aprender com os outros. De crianças que adquirem suas primeiras palavras, adolescentes aprendendo com professores, alunos colaborando em projetos e grupos de adultos que trabalham em direção a objetivos comuns, a atenção conjunta é um mecanismo fundamental para estabelecer um terreno comum entre os indivíduos3. Neste artigo, concentro-me no estudo da JVA em pesquisa educacional. Entender como a atenção conjunta se desenrola ao longo do tempo é de importância primordial para o estudo dos processos de aprendizagem colaborativos. Como tal, desempenha um papel predominante em ambientes socioconstrutivistas.
A definição exata de atenção conjunta ainda é debatida4. Este artigo está preocupado com uma subconstrução da atenção conjunta (JA), ou seja, JVA. JVA acontece quando dois assuntos estão olhando para o mesmo lugar ao mesmo tempo. Note-se que a JVA não fornece qualquer informação sobre outras construções importantes de interesse no estudo da JA, como o monitoramento de atenção comum, mútua e compartilhada, ou, mais geralmente, a consciência da cognição de outro membro do grupo. Este artigo operacionaliza e simplifica o JVA combinando os dados de rastreamento ocular de dois participantes e analisando a frequência em que eles alinham seus olhares. Para uma discussão mais abrangente, o leitor interessado pode aprender mais sobre o estudo do construto ja em Siposovaet al.4.
Na última década, os avanços tecnológicos transformaram radicalmente a pesquisa sobre a JVA. A principal mudança de paradigma foi usar vários rastreadores oculares para obter medidas quantitativas de alinhamentos atencionais, em oposição à análise qualitativa de gravações de vídeo em um ambiente laboratorial ou ecológico. Esse desenvolvimento permitiu que os pesquisadores coletassem informações precisas e detalhadas sobre a coordenação visual das disadas. Além disso, os rastreadores oftalmológicos estão se tornando mais acessíveis: até recentemente, seu uso era reservado a ambientes acadêmicos ou grandes corporações. Agora é possível comprar rastreadores oculares baratos que geram conjuntos de dados confiáveis. Finalmente, a inclusão progressiva de recursos de rastreamento de olhar em dispositivos existentes, como laptops high-end e fones de ouvido de realidade virtual e aumentada, sugere que o rastreamento ocular em breve se tornará onipresente.
Devido à popularização de dispositivos de rastreamento ocular, é importante entender o que eles podem e não podem nos dizer sobre interações sociais. A metodologia apresentada neste artigo marca um primeiro passo nessa direção. Eu abordo dois desafios na captura de JVA de múltiplos rastreadores oculares: sincronizar os dados em 1) a escala temporal e 2) na escala espacial. Mais especificamente, este protocolo faz uso de marcadores fiduciais colocados em ambientes do mundo real para informar algoritmos de visão computacional onde os participantes estão orientando seu olhar. Este novo tipo de metodologia abre o caminho para uma análise rigorosa do comportamento humano em pequenos grupos.
Este protocolo de pesquisa está em conformidade com as diretrizes do comitê de ética em pesquisa humana da Universidade de Harvard.
Protocol
Representative Results
Discussion
A metodologia descrita neste artigo fornece uma maneira rigorosa de capturar jva em dídaas colocated. Com o surgimento da tecnologia de sensoriamento acessível e algoritmos de visão computacional melhorados, agora é possível estudar interações colaborativas com uma precisão que antes não estava disponível. Essa metodologia utiliza marcadores fiduciais divulgados no ambiente e utiliza homografias como forma de remapear os olhares dos participantes para um plano comum. Isso permite que os pesquisadores estudem ri…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
O desenvolvimento dessa metodologia foi apoiado pela National Science Foundation (NSF #0835854), pela Leading House Technologies for Vocation Education, financiada pela Secretaria de Estado Suíça de Educação, Pesquisa e Inovação, e pelo Dean Venture Fund da Harvard School of Education.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
Riferimenti
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
