Summary

En metode for å fange felles visuell oppmerksomhet ved hjelp av mobile Eye-trackere

Published: January 18, 2020
doi:

Summary

Bruke multimodal sensorer er en lovende måte å forstå hvilken rolle sosiale interaksjoner i pedagogiske innstillinger. Dette papiret beskriver en metode for å fange felles visuell oppmerksomhet fra avdelinger dyader bruker mobile Eye-trackere.

Abstract

Med bruk av nye teknologiske fremskritt, er det mulig å studere sosiale interaksjoner på en microlevel med uovertruffen nøyaktighet. Høy frekvens sensorer, for eksempel øye-trackere, electrodermal aktivitet armbånd, EEG band, og bevegelsessensorer gi observasjoner på millisekunder nivå. Dette presisjonsnivået gjør det mulig for forskere å samle inn store datasett på sosiale interaksjoner. I denne utredningen, diskuterer jeg hvordan flere Eye-trackere kan fange en fundamental konstruere i sosiale interaksjoner, felles visuell oppmerksomhet (JVA). JVA har blitt studert av utviklingsmessige psykologer for å forstå hvordan barn tilegne seg språk, lære forskere å forstå hvordan små grupper av elever jobber sammen, og sosiale forskere til å forstå interaksjoner i små grupper. Dette papiret beskriver en metode for å fange JVA i avdelinger innstillinger ved hjelp av mobile Eye-trackere. Den presenterer noen empiriske resultater og diskuterer konsekvensene av å fange microobservations å forstå sosiale interaksjoner.

Introduction

JVA har blitt grundig studert i løpet av forrige århundre, spesielt ved utviklingsmessige psykologer som studerer språk oppkjøp. Det ble raskt fastslått at felles oppmerksomhet er mer enn bare en måte å lære ord, men snarere en forløper til barnas teorier i sinnet1. Dermed spiller det en betydelig rolle i mange sosiale prosesser, for eksempel å kommunisere med andre, samarbeide og utvikle empati. Autistiske barn, for eksempel, mangler evnen til å koordinere sin visuelle oppmerksomhet med sine omsorgspersoner, som er forbundet med betydelige sosiale hemninger2. Mennesker trenger felles oppmerksomhet for å bli funksjonelle medlemmer av samfunnet, til å koordinere sine handlinger, og å lære av andre. Fra barn å anskaffe sine første ord, tenåringer læring fra skole lærere, studenter samarbeide om prosjekter, og til grupper av voksne som arbeider mot felles mål, er felles oppmerksomhet en grunnleggende mekanisme for å etablere felles grunnlag mellom individer3. I denne utredningen, fokuserer jeg på studiet av JVA i pedagogisk forskning. Å forstå hvordan felles oppmerksomhet utspiller seg over tid, er av største betydning for studiet av samarbeids læringsprosesser. Som sådan, spiller det en dominerende rolle i socioconstructivist innstillinger.

Den nøyaktige definisjonen av felles oppmerksomhet er fortsatt diskutert4. Dette papiret er opptatt av en subconstruct av felles oppmerksomhet (JA), nemlig JVA. JVA skjer når to ser på samme sted på samme tid. Det bør bemerkes at JVA ikke gir noen informasjon om andre viktige konstruksjoner av interesse i studiet av JA, for eksempel overvåking felles, gjensidig og delt oppmerksomhet, eller mer generelt, bevissthet om erkjennelse av en annen gruppemedlem. Dette papiret operationalizes og forenkler JVA ved å kombinere øye sporingsdata fra to deltakere og analysere hvor ofte de justerer sine Gazes. For en mer helhetlig diskusjon, kan interesserte leseren lære mer om studiet av JA konstruere i Siposovaet Al.4.

I løpet av det siste tiåret har teknologiske fremskritt radikalt forvandlet forskning på JVA. De viktigste paradigmeskifte var å bruke flere Eye-trackere for å få kvantitative tiltak av oppmerksomhets justeringer, i motsetning til kvalitativt analysere videoopptak i et laboratorium eller økologisk setting. Denne utviklingen har tillatt forskere å samle presis, detaljert informasjon om dyader ‘ visuell koordinering. I tillegg er Eye-trackere blir rimeligere: inntil nylig, var deres bruk forbeholdt faglige innstillinger eller store selskaper. Det er nå mulig å kjøpe billig Eye-trackere som genererer pålitelige datasett. Til slutt, den progressive inkludering av blikket-sporing evner inn i eksisterende enheter som high-end bærbare datamaskiner og virtuelle og Augmented Reality headset antyder at eye-tracking vil snart bli allestedsnærværende.

På grunn av popularisering av eye-tracking-enheter, er det viktig å forstå hva de kan og ikke kan fortelle oss om sosiale interaksjoner. Metodikken presentert i dette papiret markerer et første skritt i denne retningen. Jeg adresserer to utfordringer i å fange JVA fra flere øye-trackere: synkronisering av data på 1) den timelige skalaen, og 2) på romlig skala. Mer spesifikt, denne protokollen gjør bruk av fiducial markører plassert i virkelige verden miljøer for å informere datamaskinen syns algoritmer der deltakerne er orientere sine blikket. Denne nye typen metodikk baner veien til streng analyse av menneskelig adferd i små grupper.

Denne forskningen protokollen overholder retningslinjene for Harvard-universitetets menneskelig forskning etikk komiteen.

Protocol

1. deltaker screening Sikre at deltakerne med normal eller korrigert-til-normal visjon blir rekruttert. Fordi deltakerne vil bli bedt om å bruke en mobil øye-Tracker, kan de bruke kontaktlinser, men ikke vanlige briller. 2. forberedelse til eksperimentet Eye-tracking enheter Bruk noen mobile Eye-tracker i stand til å fange øyebevegelse i virkelige verden miljøer.Merk: de mobile øye-trackere som brukes her var to Tobii Pro briller 2 (se tabell…

Representative Results

Metodikken presentert ovenfor ble brukt til å studere studenter som var etter et yrkes opplæringsprogram i logistikk (n = 54)12. I dette eksperimentet, par av studenter interaksjon med et håndgripelig brukergrensesnitt (TUI) som simulert en småskala lager. Den fiducial markører plassert på TUI tillot forskerteamet å tilordne studentenes Gazes på et felles fly og beregne nivåer av JVA. Funnene indikerte at grupper som hadde høyere nivåer av JVA tendens til å gjøre det bedre på oppgave…

Discussion

Metodikken beskrevet i dette papiret gir en streng måte å fange JVA i avdelinger dyader. Med fremveksten av rimelig sensing teknologi og forbedret datamaskinen visjons algoritmer, er det nå mulig å studere samarbeid interaksjoner med en nøyaktighet som tidligere var utilgjengelig. Denne metodikken utnytter fiducial markører spres i miljøet og bruker homographies som en måte å omdefinere deltakernes Gazes på et felles fly. Dette gjør forskerne til grundig studie JVA i avdelinger grupper.

<p class="jove_cont…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Utviklingen av denne metodikken ble støttet av National Science Foundation (NSF #0835854), den ledende House Technologies for yrke utdanning, finansiert av Swiss State sekretariatet for utdanning, forskning og innovasjon, og Harvard School of Education ‘ s Dean venture Fund.

Materials

Tobii Glasses 2 Tobii N/A https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers Chili lab – EPFL, Switzerland N/A https://github.com/chili-epfl/chilitags

References

  1. Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
  2. Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
  3. Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
  4. Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
  5. Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
  6. Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
  7. Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
  8. . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
  9. Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
  10. Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
  11. Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
  12. Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
  13. Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
  14. Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
check_url/kr/60670?article_type=t

Play Video

Cite This Article
Schneider, B. A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers. J. Vis. Exp. (155), e60670, doi:10.3791/60670 (2020).

View Video