Een methodologie voor het vastleggen van gezamenlijke visuele aandacht met behulp van mobiele Eye-trackers
Summary
Het gebruik van multimodale sensoren is een veelbelovende manier om de rol van sociale interacties in educatieve instellingen te begrijpen. In dit artikel wordt een methodologie beschreven voor het vastleggen van gezamenlijke visuele aandacht van de door de co-gebaseerde dyads met mobiele Eye-trackers.
Abstract
Met de komst van nieuwe technologische ontwikkelingen, is het mogelijk om sociale interacties te bestuderen op een microniveau met ongekende nauwkeurigheid. Hoogfrequente sensoren, zoals oogtrackers, electrodermale activiteit polsbandjes, EEG-banden en bewegingssensoren zorgen voor waarnemingen op het milliseconde niveau. Dit niveau van precisie stelt onderzoekers in staat om grote datasets op sociale interacties te verzamelen. In dit artikel bespreek ik hoe meerdere Eye-trackers een fundamentele constructie kunnen vastleggen in sociale interacties, gezamenlijke visuele aandacht (JVA). JVA is bestudeerd door ontwikkelings psychologen om te begrijpen hoe kinderen taal verwerven, wetenschappers leren begrijpen hoe kleine groepen van lerenden samenwerken, en sociale wetenschappers om interacties in kleine teams te begrijpen. In dit artikel wordt een methodologie beschreven voor het vastleggen van JVA in instellingen die zijn gemaakt met Mobile Eye-trackers. Het presenteert een aantal empirische resultaten en bespreekt de implicaties van het vastleggen van micro observaties om sociale interacties te begrijpen.
Introduction
JVA is in de afgelopen eeuw uitgebreid bestudeerd, vooral door ontwikkelings psychologen die taalverwerving bestuderen. Het werd al snel vastgesteld dat gezamenlijke aandacht meer is dan alleen een manier om woorden te leren, maar eerder een voorloper van kinder theorieën van geest1. Zo speelt het een belangrijke rol in veel sociale processen, zoals communiceren met anderen, samenwerken en empathie ontwikkelen. Autistische kinderen, bijvoorbeeld, hebben geen mogelijkheid om hun visuele aandacht te coördineren met hun verzorgers, die gepaard gaat met significante sociale beperkingen2. Mensen hebben gezamenlijke aandacht nodig om functionele leden van de samenleving te worden, hun acties te coördineren en van anderen te leren. Van kinderen die hun eerste woorden verwerven, tieners die leren van school docenten, studenten die samenwerken aan projecten, en groepen volwassenen die naar gemeenschappelijke doelen werken, is gezamenlijke aandacht een fundamenteel mechanisme om gemeenschappelijke grond te creëren tussen individuen3. In dit artikel concentreer ik me op de studie van JVA in educatief onderzoek. Inzicht in hoe gezamenlijke aandacht zich in de loop van de tijd ontvouwt, is van primair belang voor de studie van collaboratieve leerprocessen. Als zodanig speelt het een overheersende rol in de socio-constructivistische instellingen.
De precieze definitie van gezamenlijke aandacht wordt nog steeds besproken4. Dit artikel heeft betrekking op een subconstructie van gezamenlijke aandacht (JA), namelijk JVA. JVA gebeurt wanneer twee onderwerpen op hetzelfde moment op dezelfde plaats kijken. Opgemerkt moet worden dat JVA geen informatie verstrekt over andere belangrijke constructies van belang in de studie van JA, zoals het monitoren van gemeenschappelijke, wederzijdse en gedeelde aandacht, of meer in het algemeen, bewustzijn van de cognitie van een ander groepslid. Dit papier operationaliseert en vereenvoudigt JVA door het combineren van de eye-tracking-gegevens van twee deelnemers en het analyseren van de frequentie waarin ze uitlijnen hun Gazes. Voor een uitgebreidere bespreking kan de geïnteresseerde lezer meer te weten komen over de studie van de JA construct in Siposovaet al.4.
De afgelopen tien jaar hebben technologische ontwikkelingen het onderzoek naar JVA radicaal getransformeerd. De belangrijkste paradigmaverschuiving was het gebruik van meerdere oogtrackers om kwantitatieve metingen van Attentional overeenstemmingen te verkrijgen, in tegenstelling tot het kwalitatief analyseren van video-opnames in een laboratorium of ecologische omgeving. Deze ontwikkeling heeft onderzoekers in de mogelijkheid gegeven om precieze, gedetailleerde informatie over de visuele coördinatie van dyads te verzamelen. Bovendien zijn Eye-trackers steeds betaalbaarder: tot voor kort was het gebruik ervan voorbehouden aan academische instellingen of grote corporaties. Het is nu mogelijk om goedkope Eye-trackers te kopen die betrouwbare datasets genereren. Tot slot suggereert de geleidelijke opname van Gaze-tracking mogelijkheden in bestaande apparaten zoals high-end laptops en virtuele en augmented reality Headsets dat oogtracering binnenkort alomtegenwoordig zal worden.
Vanwege de popularisering van Eye-tracking-apparaten, is het belangrijk om te begrijpen wat ze kunnen en kunnen we ons niet vertellen over sociale interacties. De in dit document gepresenteerde methodologie markeert een eerste stap in deze richting. Ik wil twee uitdagingen aanpakken bij het vastleggen van JVA vanuit meerdere oogtrackers: de gegevens op 1 synchroniseren) de temporele schaal, en 2) op de ruimtelijke schaal. Specifieker, dit protocol maakt gebruik van fiducial markers geplaatst in Real-World omgevingen om computer vision algoritmen waar deelnemers oriënteren hun blik te informeren. Dit nieuwe soort methodologie effent de weg naar een grondige analyse van het menselijk gedrag in kleine groepen.
Dit onderzoeksprotocol voldoet aan de richtlijnen van de ethische commissie Human Research van Harvard University.
Protocol
Representative Results
Discussion
De methodologie die in dit artikel wordt beschreven, biedt een rigoureuze manier om JVA te vangen in op elkaar gelegen dyads. Met de opkomst van betaalbare sensing-technologie en verbeterde computer vision-algoritmen is het nu mogelijk om collaboratieve interacties te bestuderen met een nauwkeurigheid die voorheen niet beschikbaar was. Deze methodologie maakt gebruik van fiducial markers die in de omgeving worden verspreid en gebruikt homografieën als een manier om de kijkt van de deelnemers op een gemeenschappelijk vla…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
De ontwikkeling van deze methodologie werd gesteund door de National Science Foundation (NSF #0835854), de toonaangevende huis technologieën voor het roeping onderwijs, gefinancierd door het Zwitserse Staatssecretariaat voor onderwijs, onderzoek en innovatie, en het Dean Venture Fund van de Harvard School of Education.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
Riferimenti
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
