Summary

Eye-tracking technologie en datamining technieken gebruikt voor een gedragsanalyse van volwassenen die betrokken zijn bij leerprocessen

Published: June 10, 2021
doi:

Summary

We presenteren een protocol voor een gedragsanalyse van volwassenen (18 tot 70 jaar oud) die zich bezighouden met leerprocessen en taken uitvoeren die zijn ontworpen voor zelfregulerend leren (SRL). De deelnemers, universiteitsdocenten en studenten, en volwassenen van de University of Experience, werden gemonitord met eye-tracking apparaten en de gegevens werden geanalyseerd met datamining technieken.

Abstract

Gedragsanalyse van volwassenen die zich bezighouden met leertaken is een grote uitdaging op het gebied van volwasseneneducatie. Tegenwoordig is er in een wereld van voortdurende technologische veranderingen en wetenschappelijke vooruitgang behoefte aan levenslang leren en onderwijs binnen zowel formele als niet-formele onderwijsomgevingen. Als antwoord op deze uitdaging biedt het gebruik van eye-tracking technologie en datamining technieken, respectievelijk, voor begeleid (voornamelijk voorspelling) en onbewaakt (specifiek clusteranalyse) leren, methoden voor het detecteren van vormen van leren bij gebruikers en/of de classificatie van hun leerstijlen. In deze studie wordt een protocol voorgesteld voor de studie van leerstijlen bij volwassenen met en zonder voorkennis op verschillende leeftijden (18 tot 69 jaar) en op verschillende punten in het leerproces (begin en einde). Statistische analyse-van-variantietechnieken betekenen dat verschillen tussen de deelnemers kunnen worden gedetecteerd per type curseur en voorkennis van de taak. Evenzo werpt het gebruik van niet-onder toezicht opgestelde clusteringtechnieken licht op vergelijkbare vormen van leren onder de deelnemers in verschillende groepen. Al deze gegevens vergemakkelijken gepersonaliseerde voorstellen van de docent voor de presentatie van elke taak op verschillende punten in de keten van informatieverwerking. Het zal ook gemakkelijker zijn voor de leraar om lesmateriaal aan te passen aan de leerbehoeften van elke student of groep studenten met vergelijkbare kenmerken.

Introduction

Eye-tracking methodologie toegepast op gedragsanalyse in het leren
Eye-tracking methodologie, onder andere functioneel gebruik, wordt toegepast op de studie van menselijk gedrag, met name tijdens taakomzetting. Deze techniek vergemakkelijkt monitoring en analyse tijdens de voltooiing van leertaken1. In het bijzonder kunnen de aandachtsniveaus van studenten op verschillende punten van het leerproces (start, ontwikkeling en einde) in verschillende vakken (geschiedenis, wiskunde, wetenschap, enz.) worden bestudeerd met behulp van eye-trackingtechnologie. Bovendien, als de taak het gebruik van video’s met een stem omvat die het leerproces begeleidt, wordt zelfregulerend leren (SRL) vergemakkelijkt. Daarom wordt de implementatie van eye-trackingtechnologie in de analyse van taken waarvoor SRL (inclusief het gebruik van video’s) wordt voorgesteld als een belangrijke bron om te begrijpen hoe leren wordt ontwikkeld2,3,4. Deze combinatie betekent ook dat de verschillen tussen instructiemethoden (met of zonder SRL, enz.) kunnen worden gecontroleerd met verschillende soorten studenten (met of zonder voorkennis, enz.) 5. De presentatie van meerkanaalsinformatie (gelijktijdige presentatie van zowel auditieve als visuele informatie, zowel mondeling, schriftelijk als picturaal) kan daarentegen zowel de registratie als de analyse van relevante versus niet-relevante informatie uit de bovengenoemde variabelenvergemakkelijken 6. Studenten met voorkennis die zijn blootgesteld aan multimediale leerkanalen lijken effectiever te leren dan studenten met weinig of geen voorkennis. Studenten met een hoge mate van voorkennis van de leerstof zullen tekstuele en grafische informatie effectiever integreren7. Deze functionaliteit is waargenomen bij het leren van teksten8 die afbeeldingen9bevatten . Eye-tracking technologie biedt informatie over waar de aandacht op gericht is en voor hoe lang. Deze gegevens geven inzicht in de ontwikkeling van een leerproces op een preciezere manier dan door de eenvoudige observatie van het oplossingsproces tijdens de voltooiing van een taak. Ook vergemakkelijkt de analyse van deze indicatoren de studie of de student diep of oppervlakkig leren ontwikkelt. Bovendien vergemakkelijkt de relatie tussen deze gegevens en de leerresultaten de validering van de verkregen informatie met eye-trackingtechnologie4,10. In feite wordt deze techniek samen met SRL steeds vaker gebruikt in het hoger onderwijs en in leeromgevingen voor volwassenenonderwijs11, zowel op gereglementeerde als op niet-gereglementeerde cursussen12.

Eye-tracking technologie biedt verschillende statistieken: afstand, snelheid, versnelling, dichtheid, dispersie, hoeksnelheid, overgangen tussen Areas of Interest (AOI), sequentiële volgorde van AOI, bezoeken in de fixaties, saccades, scanpad en heatmapparameters. De interpretatie van deze gegevens is echter complex en vereist het gebruik van onder toezicht (regressie, beslissingsbomen, enz.) en zonder toezicht (k-middelen clustertechnieken, enz.) 13,14 datamining technieken. Deze statistieken kunnen worden toegepast voor het monitoren van het gedrag van hetzelfde onderwerp in de loop van de tijd of voor een vergelijking tussen verschillende onderwerpen en hun prestaties met dezelfde taak15, door het verschil tussen deelnemers met voorkennis te analyseren ten opzichte van geen voorkennis16. Recent onderzoek11,17 heeft aangetoond dat beginnende leerlingen langer fixeren op de stimuli (d.w.z. er is een grotere fixatiefrequentie terwijl vergelijkbare scanpadpatronen worden geregistreerd). De gemiddelde duur van fixatie was langer voor experts dan voor beginners. De experts presenteerden hun aandachtspunt op de middelste punten van de informatie (proximaal en centraal), verschillen die ook te zien zijn in de visualisatiepunten binnen de AOI op de heatmaps.

Interpretatie van statistieken in eye tracking
Recente studies18 hebben aangetoond dat informatieverwerving verband houdt met het aantal oculaire fixaties op de stimuli. Een andere belangrijke metriek is de saccade, die wordt gedefinieerd als de snelle en plotselinge beweging van een fixatie met een interval van [10 ms, 100 ms]. Sharafi et al. (2015)18 vonden verschillen in het aantal saccades, afhankelijk van de informatiecoderingsfase van de student. Een andere relevante parameter is het scanpad, een metriek die de chronologische volgorde van de stappen vastlegt die de deelnemer uitvoert voor de oplossing van de leertaak binnen de AOI die door de onderzoeker is gedefinieerd18. Op dezelfde manier kan eye-tracking-technologie worden gebruikt om het begripsniveau van de deelnemer te voorspellen, wat gerelateerd lijkt te zijn aan het aantal fixaties. Recente studies hebben aangetoond dat variabiliteit in kijkgedrag wordt bepaald door de eigenschappen van het beeld (positie, intensiteit, kleur en oriëntatie), de instructies voor het uitvoeren van de taak en het type informatieverwerking (leerstijl) van de deelnemer. Deze verschillen worden gedetecteerd door de interactie van de student met de verschillende AOI19te analyseren. Kwantitatieve20 (frequentieanalyse) en/of kwalitatieve of dynamische21 (scanpad) technieken kunnen worden gebruikt om de gegevens te analyseren die zijn verzameld uit de verschillende statistieken. De eerste technieken worden geanalyseerd met traditionele statistische technieken (frequentieanalyse, gemiddeld verschil, variantieverschil, enz.) en de laatste worden geanalyseerd met Machine Learning-technieken (Euclidische afstanden met snaarbewerkingsmethoden21,22en clustering17). De toepassing van deze technieken vergemakkelijkt clustering, door rekening te houden met verschillende kenmerken van de onderwerpen. Uit een studie17 bleek dat hoe deskundiger de student, hoe effectiever de ruimtelijke en temporele informatieverwerkingsstrategie die wordt geïmplementeerd. Een beschrijvende tabel van de meetparameters die in deze studie zijn gebruikt , kan hieronder in tabel 1worden geraadpleegd .

Tabel 1: Meest representatieve parameters die kunnen worden verkregen met de eye-tracking-techniek, aangepast van Sáiz, Zaparaín, Marticorena en Velasco (2019). 20   Klik hier om deze tabel te downloaden.

Toepassing van de eye-tracking methodologie op de studie van het leerproces
Het gebruik van de technologische vooruitgang en de hierboven beschreven technieken voor gegevensanalyse5 zal een grotere precisie toevoegen aan de gedragsanalyse van leerlingen tijdens het oplossen van problemen in de verschillende fasen van informatieverwerking (taakinitiatie, informatieverwerking en taakoplossing). Het zal allemaal individuele gedragsanalyse vergemakkelijken, wat op zijn beurt de groepering van studenten met vergelijkbare kenmerken mogelijk zal maken24. Evenzo voorspellende technieken (beslissingsbomen, regressietechnieken, enz.) 25 kan worden toegepast op leren, zowel met betrekking tot het aantal vastleggingen als met de taakomzettingsresultaten van elke student. Deze functionaliteit is een zeer belangrijke vooruitgang in de kennis van hoe elke student leert en voor het voorstel van gepersonaliseerde leerprogramma’s binnen verschillende groepen (mensen met of zonder leerproblemen26). Daarom zal het gebruik van deze techniek bijdragen aan het bereiken van personalisatie en optimalisatie van leren27. Levenslang leren moet worden opgevat als een cyclus van voortdurende verbetering, aangezien de kennis van de samenleving voortdurend vordert en vordert. Evolutionaire psychologie geeft aan dat resolutievaardigheden en effectiviteit in informatieverwerking afnemen met de leeftijd. In het bijzonder, saccade frequentie, amplitude, en snelheid van oogbewegingen bij volwassenen zijn gebleken te verminderen met de leeftijd. Bovendien is op oudere leeftijd de aandacht gericht op de lagere gebieden van visuele scènes, die verband houden met tekorten in het werkgeheugen14. Niettemin neemt de activering op oudere leeftijd toe in de frontale en prefrontale gebieden, wat deze tekorten in taakoplossing lijkt te compenseren. Dit aspect omvat het niveau van voorkennis en de cognitieve compensatiestrategieën die het onderwerp kan toepassen. Ervaren deelnemers leren efficiënter, omdat ze de aandacht effectiever beheren, dankzij de toepassing van geautomatiseerde supervisieprocessen28. Bovendien worden, indien de te leren informatie via SRL-technieken wordt verstrekt, de bovengenoemde tekortkomingen verholpen17. Het gebruik van dergelijke technieken betekent dat visuele volgpatronen zeer vergelijkbaar zijn, zowel bij onderwerpen zonder voorkennis als bij onderwerpen met voorkennis7.

Samengevat is de analyse van multimodale multichannel gegevens over SRL verkregen met behulp van geavanceerde leertechnologieën (eye-tracking) essentieel om de interactie tussen cognitieve, metacognitieve en motiverende processen en hun impact op leren te begrijpen29. De resultaten en de studie van verschillen in leren hebben implicaties voor het ontwerp van leermaterialen en intelligente bijlessystemen, die beide gepersonaliseerd leren mogelijk maken dat waarschijnlijk effectiever en bevredigender zal zijn voor de student30.

In dit onderzoek werden twee onderzoeksvragen gesteld: (1) Zullen er significante verschillen zijn in de leerresultaten en in de oculaire fixatieparameters tussen studenten en deskundige versus niet-deskundige docenten kunstgeschiedenis die studenten met officiële diploma’s onderscheiden versus studenten met niet-officiële diploma’s (University of Experience – Adult education)? en (2) Zullen clusters van elke deelnemer met leerresultaten en oculaire fixatieparameters samenvallen met het type deelnemers (studenten met officiële graden, studenten met niet-officiële graden (University of Experience – Volwassenenonderwijs) en docenten)?

Protocol

Dit protocol is uitgevoerd in overeenstemming met de procedurevoorschriften van het Bio-ethiekcomité van de Universiteit van Burgos (Spanje) nº Nº IR27/2019. Voorafgaand aan hun deelname waren de deelnemers volledig op de hoogte gebracht van de onderzoeksdoelstellingen en hadden ze allemaal hun geïnformeerde toestemming gegeven. Zij kregen geen financiële compensatie voor hun deelname. 1. Werving van deelnemers Rekruteer deelnemers uit een groep volwassenen binnen twee omgevinge…

Representative Results

De 36 deelnemers die voor deze studie werden aangeworven, waren afkomstig van drie groepen volwassenen (studenten van de ervaringsuniversiteit, universiteitsprofessoren en niet-gegradueerde en masterstudenten) met leeftijden variërend tussen [18 en 69] jaar (tabel 2). Het protocol werd gedurende 20 maanden getest aan de Universiteit van Burgos. Een overzicht van de ontwikkeling is te zien in tabel 4. <p class="jove_content" fo:keep-together.within-pa…

Discussion

Uit de onderzoeksresultaten bleek dat de gemiddelde fixatieduur op de relevante stimuli langer was bij deelnemers met voorkennis. Evenzo ligt de aandacht voor deze groep op de middelste punten van informatie (proximaal en distaal)7. De resultaten van dit onderzoek hebben verschillen aan het licht gekomen in de manier waarop deelnemers de informatie verwerkten. Bovendien was hun verwerking niet altijd gekoppeld aan de initiële groepering (University of Experience Students, University Teachers en G…

Declarações

The authors have nothing to disclose.

Acknowledgements

Het werk is ontwikkeld binnen het project “Self-Regulated Learning in SmartArt Erasmus+ Adult Education” 2019-1-ES01-KA204-095615-Coordinator 6, gefinancierd door de Europese Commissie. De video van de voltooiingsfase van de taak had de voorafgaande geïnformeerde toestemming van Rut Velasco Sáiz. We waarderen de deelname van docenten en studenten aan de taakuitvoeringsfase.

Materials

iViewer XTM iViewer
SMI Experimenter Center 3.0 SMI
SMI Be Gaze SMI

Referências

  1. van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
  2. Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
  3. Cloude, E. B., Taub, M., Lester, J., Azevedo, R., Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. , 36-40 (2019).
  4. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  5. Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
  6. Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
  7. Ho, H. N. J., Tsai, M. -. J., Wang, C. -. Y., Tsai, C. -. C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
  8. Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
  9. Mayer, R. E. Using multimedia for e-learning. Journal of Computer Assisted Learning. 33 (5), 403-423 (2017).
  10. Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
  11. DuMouchel, W., Abello, J., Pardalos, P. M., Resende, M. G. C. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. , 579-591 (2002).
  12. Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
  13. König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
  14. Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
  15. Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
  16. Dzeng, R. -. J., Lin, C. -. T., Fang, Y. -. C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
  17. Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
  18. Sharafi, Z., Soh, Z., Guéhéneuc, Y. -. G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
  19. Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
  20. Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
  21. Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , 283-286 (2007).
  22. Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , 1724-1728 (2012).
  23. Sáiz, M. C., Marticorena, R., Anaiz, &. #. 1. 9. 3. ;., Zaparaín, M. J., Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. , 4093-4104 (2019).
  24. Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students’ Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , 53-54 (2017).
  25. Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
  26. Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
  27. Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers’ adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
  28. Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
  29. Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
  30. Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
  31. IBM Corp. . SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , (2016).
  32. . Orange Software Package Available from: https://orange.biolab.si/docs/ (2020)
check_url/pt/62103?article_type=t

Play Video

Citar este artigo
Sáiz Manzanares, M. C., Payo Hernanz, R. J., Zaparaín Yáñez, M. J., Andrés López, G., Marticorena Sánchez, R., Calvo Rodríguez, A., Martín, C., Rodríguez Arribas, S. Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes. J. Vis. Exp. (172), e62103, doi:10.3791/62103 (2021).

View Video