This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.
In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.
Engagement speelt een cruciale rol in het leren. Voor Clark en Mayer 2, "al het leren vereist betrokkenheid," ongeacht de levering media. Zhang et al. 3 ook gesuggereerd dat de toegenomen betrokkenheid van de student leerresultaten, zoals het oplossen van problemen en kritisch denken vaardigheden kunnen verbeteren. Het definiëren van betrokkenheid blijft een uitdaging. In hun literatuuronderzoek, Fredricks, Blumenfeld en Parijs 1 gedefinieerd betrokkenheid door zijn veelzijdige karakter: "Behavioural betrokkenheid is gebaseerd op het idee van participatie; het omvat betrokkenheid bij de academische en sociale of buitenschoolse activiteiten. (…) Emotionele betrokkenheid omvat positieve en negatieve reacties op leraren, klasgenoten, academici, en de school en wordt verondersteld om de banden op een object en invloed bereidheid om het werk te doen maken. Tot slot, cognitieve betrokkenheid is gebaseerd op het idee van mentale investeringen; het bevat bedachtzaamheid en de bereidheid om de inspanning nec oefenendig om complexe ideeën en meester moeilijke vaardigheden te begrijpen. "
Fredricks, Blumenfeld en Parijs 1 beweerde ook dat een focus op het gedrag, emotie en cognitie, binnen het concept van betrokkenheid, kan een rijkere karakterisering van leren te bieden. Deze auteurs erop gewezen dat een robuust lichaam van het onderzoek richt zich op elk onderdeel van de opdracht afzonderlijk, maar deze onderdelen waren niet onderzocht in combinatie. Zij hebben ook geconstateerd dat er weinig informatie beschikbaar is over de interacties tussen de dimensies en dat er meer studies zouden kunnen bijdragen tot de planning fijn afgestemd onderwijs interventies. Als een stap in die richting, dit artikel beschrijft een onderzoeksmethode die werd ontwikkeld voor het verzamelen en tijdens het leren taken kwantitatieve en kwalitatieve gegevens, synchroon, op gedrags-, emotionele en cognitieve betrokkenheid te analyseren.
Brengen de Neurowetenschappen in Education
BehavIOR, en bijgevolg gedragsmatige betrokkenheid, is al lange tijd de centrale focus van de studies in het onderwijs: onderzoek ontwerpen vooral gericht op veranderingen in de kennis en het gedrag dat over lange periodes, tussen pre- en post-testen, en dan met intervallen van uren, weken , maanden of jaren. Onderscheid te maken tussen gedrags-, emotionele en cognitieve betrokkenheid blijft een uitdaging, omdat de laatste twee dimensies zijn niet systematisch waarneembaar extern. Cognitie en emoties moet ofwel worden afgeleid uit waarnemingen of getoetst met zelf-verslag maatregelen. Uit een extern oogpunt blijft het moeilijk om te bepalen of de studenten proberen te krijgen hun werk zo snel mogelijk of met behulp van deep-level learning strategieën om een specifieke inhoud knie gedaan. In feite, Fredricks, Blumenfeld en Parijs 1 waren niet in staat om gepubliceerde studies met behulp van directe, objectieve metingen van cognitieve betrokkenheid te vinden.
Recente technologische ontwikkelingen inhet gebied van neurowetenschappen hebben nieuwe mogelijkheden voor onderzoek in het onderwijs gemaakt. Nieuwe methoden van dataverzameling en analyse algoritmes ontwikkeld op het gebied van neuro ergonomie lijken veelbelovend voor de kwalitatieve en kwantitatieve studies tijdens leertaken. Andere disciplines, zoals economie, psychologie, marketing, en ergonomie, zijn met behulp van neurofysiologische metingen om cognitieve betrokkenheid beoordelen voor bepaalde tijd 4-8. Neurofysiologische maatregelen, in combinatie met een efficiënte analyse algoritmes, mogelijk maken om een fenomeen te bestuderen, zonder te verstoren. Door hun aard, zelfrapportage vragenlijsten los studenten van leren. Neurofysiologische maatregelen toestaan onderzoek ontwerpen om in meer authentieke leeromgevingen worden uitgevoerd. Deze tools omvatten apparatuur om de hartslag te controleren, ademhaling, bloeddruk, lichaamstemperatuur, pupil diameter, elektrodermale activiteit, elektro-encefalogram (EEG), enz.
<strong> Gathering gesynchroniseerde gegevens op Behavioral, emotionele en cognitieve Engagement
Als vertegenwoordiger resultaten na het gebruik van dit protocol, zal deze paper gedeeltelijke resultaten van een studie waarin leerlingen moesten lossen, op een computerscherm, tien problemen in mechanische natuurkunde presenteren. Deze problemen werden ontwikkeld in eerdere werk 9. Neurofysiologische gegevens werden verzameld, terwijl de leerlingen waren het oplossen van de problemen en ontspannen tijdens een 45 s pauze, met hun ogen dicht, na elk probleem.
Zoals hierboven vermeld, behavioral aangrijping data bestaan uit software interacties (muisbewegingen en klikken), ogen blik, prestaties en antwoorden op vragen die door een lerende interactie met het systeem tijdens het volbrengen van de taak 1. An eye-tracking-systeem werd gebruikt om software interacties en ogen blik verzamelen. Prestatiegegevens (tijd om een probleem op te lossen, juistheid van de antwoorden) werden verzameld op eenenquête website die werd gebruikt om de belasting afgestemd. Deze website werd ook gebruikt om zelfrapportage data verzameld met een vragenlijst aangepast van Bradley en Lang 10 te verzamelen. Emotionele betrokkenheid impliceert karakterisering van emoties. Volgens Lang 11, zijn emoties gekarakteriseerd in termen van Valence (aangenaam / onaangenaam) en arousal (rust / gewekt). Emotionele betrokkenheid gegevens werden dienovereenkomstig verzameld, met behulp van automatische gezicht emotie herkenning software die emotionele valentie en een elektrodermale activiteit encoder / sensor voor opwinding 12,13 kwantificeert. Elektrodermale activiteit (EDA) verwijst naar de opgenomen elektrische weerstand tussen twee elektroden bij een zwakke elektrische stroom gestaag gevoerd daartussen. Cacioppo, Tassinary en Berntson 14 toonde aan dat de weerstand opgenomen is afhankelijk van de opwinding van het onderwerp. Zo psychofysiologische gegevens, zoals valentie of opwinding, worden beschouwd als correlaten van emotionele betrokkenheid.
<pclass = "jove_content"> Tot slot, cognitieve betrokkenheid gegevens worden verzameld door middel van elektro-encefalogram (EEG). EEG maatregelen, de hoofdhuid, de gesynchroniseerde elektrische activiteit van groepen van neuronen in de hersenen. Elektrische signalen die uit de hoofdhuid vaak oscillerende en samengesteld uit frequentiecomponenten. Volgens afspraak worden deze frequenties gegroepeerd in sequenties, zogenaamde bands. Bijvoorbeeld, alfa, beta en theta bands staan centraal in het onderzoek. Volgens neurowetenschappelijke studies 14, deze banden weerspiegelen verschillende cognitieve verwerking vaardigheden in specifieke gebieden van de hersenen. De analyse van de spectrale vermogensdichtheid (PSD) van specifieke frequenties in combinatie met tal van studies 7,15 alertheid en aandacht, stelt onderzoekers cognitieve aangrijping kwantificeren tijdens een taak. Zoals Mikulka et al. 16 is opgemerkt, heeft onderzoek aangetoond een directe relatie tussen bèta-activiteit en cognitieve alertheid en een indirecte relatie tussen alfa eend theta-activiteit en alertheid. Zo Pope, Bogart en Bartolemé 7 ontwikkelde een engagement index die de PSD van de drie bands berekent: beta / (alfa + theta). Deze verhouding werd gevalideerd in andere studies op betrokkenheid 16,17,18. Om cognitieve aangrijping te karakteriseren tijd, een snelle Fourier transformatie (FFT) converteert het EEG signaal van elke actieve plaats (F3, F4, O1, O2) in een vermogensspectrum. Het EEG aangrijping index op tijdstip T wordt berekend door het gemiddelde van elke opdracht verhouding binnen 20 seconden schuifraam voorgaande tijd T. Deze procedure wordt herhaald om de tweede en nieuw schuifraam wordt gebruikt om de index te werken.Aangezien het doel van deze methode is een rijke analyse van de verschillende dimensies van aangrijping, gegevenssynchronisatie cruciaal. Zoals Leger et al. 19 herinneren lezers, fabrikanten van apparatuur raden het gebruik van slechts één computer per meetinstrument om hun gespecificeerde precisie le garanderenvel. Dus, als er meerdere computers worden gebruikt, synchronisatie tussen opname computers wordt een cruciale stap. De opnames kunnen niet allemaal worden gestart op exact hetzelfde moment, en elke datastroom heeft zijn bepaalde termijn (bijvoorbeeld sec 0 van eye-tracking ≠ sec 0 van EEG of fysiologische data). Dit is uiterst belangrijk: desynchronisatie tussen gegevensstromen verstaan fouten in de kwantificering van elke dimensie engagement. Er zijn verschillende manieren van het synchroniseren van gelijktijdige fysiologische en gedrags-opnames. Deze methoden kunnen worden verdeeld in twee belangrijke benaderingen; directe en indirecte 20. De in onderstaande paragraaf protocol is gebaseerd op een indirecte benadering waarbij een extern apparaat, een syncbox, wordt gebruikt om de transistor-transistor logic (TTL) signalen naar alle controleapparaat (zie figuur 1). Zoals elk apparaat heeft een andere starttijd, worden de TTL markers opgenomen in de logbestanden met een relatieve vertraging. Markeringen worden vervolgens gebruikt om de signalen te herschikken en dus zorgen voor een juiste synchronisatie na elke opname. Een gedragsanalyse softwareprogramma dat extern bestand integratie kan wordt gebruikt om opnieuw te synchroniseren de tijdlijn van elke datastroom en kwantitatieve en kwalitatieve analyse van elke dimensie van betrokkenheid uit te voeren.
Figuur 1. Architectuur van het Data Collection System. Het lab omgeving waarin gedragstherapie (eye tracking), emotionele (EDA en gezicht emotie) en cognitieve (EEG) betrokkenheid gegevens worden verzameld bevat een groot aantal computers. Dit roept een synchronisatie uitdaging voor gegevens die zijn verwezen op hun computer klokken. Om te kunnen alle gegevens op dezelfde referentietijd analyseren, het lab setup gaat om een syncbox dat TTL signalen stuurt naar alle datastromen.nk "> Klik hier om een grotere versie van deze figuur te bekijken.
Om de precisie van de methode in termen van synchronisatie te evalueren, werden 45 sec pauze voor elk van de mechanische fysische problemen geïntroduceerd. Tijdens deze pauzes, onderwerpen hadden om te ontspannen en om hun ogen te sluiten. De twee pupil oog stippen in eye-tracking onmiddellijk verdwijnen (gedrags engagement) en een onmiddellijke daling van de cognitieve engagement (EEG: Zoals gezien in andere studies 4,9,16,17,18, moeten deze pauzes aanzienlijke verschillen in de verzamelde signaal opwekken signaal) wordt waargenomen. Deze specifieke componenten van het signaal worden gebruikt om de algemene geldigheid van het synchronisatieproces te evalueren. De recente publicatie van artikelen die geheel of gedeeltelijk afhankelijk zijn van deze synchronisatie procedure, op het gebied van informatie-systemen 19, mens-machine interactie 21 en onderwijs 9, 22, levert het bewijs van de doeltreffendheid ervan.
In termen van de kritische stappen in het protocol, moet het eerst worden opgemerkt dat de kwaliteit van de gegevens is altijd de belangrijkste focus voor neurofysiologische verzameling technieken. In deze methodologie, moet onderzoek assistenten bijzondere aandacht besteden aan het instrueren van de onderwerpen hoofdbewegingen die zal interfereren met Valence controle (verliezen juiste gezicht hoek voor de camera) of het genereren myographic artefacten in het EEG te minimaliseren. Anderzijds dient een evenwicht te houd…
The authors have nothing to disclose.
The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).
EGI GSN-32 | EGI | n/a | Dense array EEG |
Netstation v.5.0 | EGI | n/a | EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. |
Facereader v.4 | Noldus | n/a | Facial emotion recognition software |
Syncbox | Noldus | n/a | Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2. |
Logitech C600 Webcam | 960-000396 | Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader | |
The Observer XT | Noldus | n/a | Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. |
On-Screen LED illumination | Noldus | n/a | Neon positioned on computer screen in order to correctly light the face of subjects |
MediaRecorder | Noldus | n/a | Video data collection software |
Tobii X60 | Tobii | n/a | Collect eye-movement patterns : used to record subjects’ eye movement patterns at 60Hz during the experiment. |
Tobii Studio v.3.2 | Tobii | n/a | Eye-tracking data collection and analysis software |
Analyzer 2 | Brainvision | n/a | EEG signal processing software |
Acqknowledge v.4.0 | Biopac | ACK100M | Physiological signal acquisition and processing software |
Control III germicide solution | Maril Products. | 10002REVA-20002-1 | Disinfectant solution used with EEG helmets : recommended by EGI |
Unipark | QuestBack AG | n/a | Online survey environment |