Una metodologia per catturare l'attenzione visiva congiunta utilizzando Mobile Eye-Tracker
Summary
L’utilizzo di sensori multimodali è un modo promettente per comprendere il ruolo delle interazioni sociali negli ambienti educativi. Questo documento descrive una metodologia per catturare l’attenzione visiva congiunta da diade geografiche colocation utilizzando eye-tracker mobili.
Abstract
Con l’avvento di nuovi progressi tecnologici, è possibile studiare le interazioni sociali a microlivello con una precisione senza precedenti. I sensori ad alta frequenza, come eye-tracker, braccialetti di attività elettrodermica, bande EEG e sensori di movimento forniscono osservazioni al livello di millisecondo. Questo livello di precisione consente ai ricercatori di raccogliere set di dati di grandi dimensioni sulle interazioni sociali. In questo articolo, discuto come più eye-tracker possono catturare un costrutto fondamentale nelle interazioni sociali, l’attenzione visiva congiunta (JVA). JVA è stato studiato dagli psicologi dello sviluppo per capire come i bambini acquisiscono la lingua, imparando gli scienziati a capire come piccoli gruppi di studenti lavorano insieme e gli scienziati sociali per comprendere le interazioni in piccoli team. Questo documento descrive una metodologia per l’acquisizione di JVA in impostazioni colocation utilizzando eye-tracker mobili. Presenta alcuni risultati empirici e discute le implicazioni della cattura delle microosservazioni per comprendere le interazioni sociali.
Introduction
JVA è stato ampiamente studiato nel corso del secolo scorso, in particolare da psicologi dello sviluppo che studiano l’acquisizione del linguaggio. È stato rapidamente stabilito che l’attenzione congiunta è più di un semplice modo per imparare le parole, ma piuttosto un precursore delle teorie della mente dei bambini1. Così, svolge un ruolo significativo in molti processi sociali, come comunicare con gli altri, collaborare e sviluppare l’empatia. I bambini autistici, per esempio, non hanno la capacità di coordinare la loro attenzione visiva con i loro caregiver, che è associato a significativi menomazioni sociali2. Gli esseri umani hanno bisogno di un’attenzione congiunta per diventare membri funzionali della società, per coordinare le loro azioni e per imparare dagli altri. Dall’acquisizione delle prime parole da parte dei bambini, gli adolescenti che imparano dagli insegnanti, dagli studenti che collaborano a progetti e a gruppi di adulti che lavorano verso obiettivi comuni, l’attenzione congiunta è un meccanismo fondamentale per stabilire un terreno comune tra gli individui3. In questo articolo, mi concentro sullo studio di JVA nella ricerca educativa. Comprendere come l’attenzione congiunta si svolge nel tempo è di primaria importanza per lo studio dei processi di apprendimento collaborativo. Come tale, svolge un ruolo predominante negli ambienti sociocostruttivisti.
L’esatta definizione di attenzione comune è ancora dibattuta4. Questo documento si occupa di un sottocostruto dell’attenzione congiunta (JA), vale a dire JVA. JVA si verifica quando due soggetti stanno guardando lo stesso posto allo stesso tempo. Va notato che JVA non fornisce alcuna informazione su altri importanti costrutti di interesse nello studio di JA, come il monitoraggio dell’attenzione comune, reciproca e condivisa, o più in generale, la consapevolezza della cognizione di un altro membro del gruppo. Questo documento consente di rendere omeno JVA combinando i dati di tracciamento degli occhi di due partecipanti e analizzando la frequenza con cui allineano i loro sguardi. Per una discussione più completa, il lettore interessato può saperne di più sullo studio del costrutto JA in Siposovaet al.4.
Nell’ultimo decennio, i progressi tecnologici hanno trasformato radicalmente la ricerca sulla JVA. Il cambiamento di paradigma principale è stato quello di utilizzare più eye-tracker per ottenere misure quantitative di allineamenti dell’attenzione, al contrario di analisi qualitativa delle registrazioni video in un ambiente di laboratorio o ecologico. Questo sviluppo ha permesso ai ricercatori di raccogliere informazioni precise e dettagliate sul coordinamento visivo dei dyads. Inoltre, gli eye-tracker stanno diventando più convenienti: fino a poco tempo fa, il loro uso era riservato a contesti accademici o grandi aziende. È ora possibile acquistare eye-tracker poco costosi che generano set di dati affidabili. Infine, la progressiva inclusione delle funzionalità di tracciamento dello sguardo nei dispositivi esistenti, come computer portatili di fascia alta e cuffie di realtà virtuale e aumentata, suggerisce che il tracciamento degli occhi diventerà presto onnipresente.
A causa della divulgazione dei dispositivi di tracciamento degli occhi, è importante capire cosa possono e non possono dirci sulle interazioni sociali. La metodologia presentata in questo documento segna un primo passo in questa direzione. Affronto due sfide nell’acquisizione di JVA da più eye-tracker: la sincronizzazione dei dati su 1) la scala temporale e 2) sulla scala spaziale. Più specificamente, questo protocollo si avvale di marcatori fiduciari collocati in ambienti reali per informare gli algoritmi di visione artificiale in cui i partecipanti stanno orientando il loro sguardo. Questo nuovo tipo di metodologia apre la strada a un’analisi rigorosa del comportamento umano in piccoli gruppi.
Questo protocollo di ricerca è conforme alle linee guida del comitato etico della ricerca umana dell’Università di Harvard.
Protocol
Representative Results
Discussion
La metodologia descritta in questo documento fornisce un modo rigoroso per catturare JVA in diadi colocation. Con l’emergere di una tecnologia di rilevamento a prezzi accessibili e di algoritmi di visione artificiale migliorati, è ora possibile studiare le interazioni collaborative con una precisione che in precedenza non era disponibile. Questa metodologia sfrutta i marcatori fiduciari diffusi nell’ambiente e utilizza le omografie come un modo per rimappare gli sguardi dei partecipanti su un piano comune. Questo permet…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Lo sviluppo di questa metodologia è stato sostenuto dalla National Science Foundation (NSF #0835854), la Leading House Technologies for Vocation Education, finanziata dal Segretariato di Stato svizzero per l’istruzione, la ricerca e l’innovazione, e dal Dean Venture Fund della Harvard School of Education.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
