Summary

Een interdisciplinair en multimodaal experimenteel ontwerp voor het bestuderen van in de buurt van real-time authentieke examen ervaringen

Published: September 04, 2019
doi:

Summary

Een experimenteel ontwerp werd ontwikkeld om de real-time invloeden van een examen ervaring te onderzoeken om de emotionele realiteit te beoordelen die studenten ervaren in instellingen en taken in het hoger onderwijs. Dit ontwerp is het resultaat van een multidisciplinaire (bijvoorbeeld educatieve psychologie, biologie, fysiologie, Engineering) en multimodale (bv. speeksel markers, enquêtes, elektrodermale sensor) benadering.

Abstract

In de afgelopen tien jaar is het onderzoek naar de emoties van studenten in educatieve omgevingen toegenomen. Hoewel onderzoekers hebben opgeroepen tot meer studies die afhankelijk zijn van objectieve maatregelen van emotionele ervaring, bestaan er beperkingen op het gebruik van multimodale gegevensbronnen. Studies van emotie en emotionele regulering in klaslokalen zijn van oudsher afhankelijk van onderzoeksinstrumenten, ervaring-bemonstering, artefacten, interviews of observationele procedures. Deze methoden, hoewel waardevol, zijn voornamelijk afhankelijk van deelnemer of waarnemer subjectiviteit en zijn beperkt in de authentieke meting van de real-time prestaties van studenten voor een klassikale activiteit of taak. Dit laatste vormt in het bijzonder een struikelblok voor veel geleerden die in real-time emoties en andere aanverwante maatregelen in de klas objectief willen meten.

Het doel van dit werk is om een protocol te presenteren om de real-time reacties van studenten op examen ervaringen te bestuderen tijdens een authentieke beoordelings situatie. Voor dit, een team van educatieve psychologen, ingenieurs, en ingenieurs onderwijs onderzoekers ontworpen een experimenteel protocol dat de grenzen die nodig zijn voor nauwkeurige fysiologische sensormeting behouden, best-practices van speeksel collectie, en een authentieke testomgeving. In het bijzonder worden bestaande studies die afhankelijk zijn van fysiologische sensoren uitgevoerd in experimentele omgevingen die zijn losgekoppeld van de onderwijsinstellingen (bijvoorbeeld de stress test van Trier), losraken in de tijd (bijv. voor of na een taak), of een analysefout introduceren (bijv. het gebruik van sensoren in omgevingen waar studenten waarschijnlijk zullen verhuizen). Dit beperkt ons inzicht in de real-time reacties van studenten op klassikale activiteiten en taken. Bovendien heeft recent onderzoek geëist dat meer overwegingen worden behandeld rond kwesties van aanwerving, replicabiliteit, geldigheid, opstellingen, gegevens reiniging, voorlopige analyse en bijzondere omstandigheden (bijvoorbeeld het toevoegen van een variabele in de experimentele ontwerp) in academische emoties onderzoek dat gebaseerd is op multimodale benaderingen.

Introduction

Psychologen hebben al lang het belang van de emoties van mensen begrepen in het verhelderend gedrag van hun gedragingen1. Binnen de studie van het onderwijs, academische prestatie emoties (AEE) is uitgegroeid tot de focus van Emotion Research2. Onderzoekers die AAE gebruiken, beweren dat de situationele contexten die studenten vinden, belangrijk zijn om te overwegen bij het onderzoeken van de emoties van de cursisten. Leerlingen kunnen test-gerelateerde, klassegerelateerde of leergerelateerde emoties ervaren die betrekking hebben op multi-component processen, waaronder affectieve, fysiologische, motiverende en cognitieve componenten. AEE wordt uitgedrukt in twee vormen: Valence (positief/negatief) en activatie (gerichte/ongerichte energie). Positieve activerende emoties, zoals plezier, kunnen reflecterende processen zoals Metacognition verhogen, terwijl positieve deactiverende emoties zoals hoogmoed kunnen resulteren in lage niveaus van cognitieve verwerking. Negatieve activerende emoties zoals woede en angst kunnen betrokkenheid veroorzaken, terwijl negatieve deactiverende emoties zoals hopeloosheid de motivatie3,4,5kunnen dempen. Academische emoties dragen bij aan hoe we leren, waarnemen, beslissen, reageren en probleem oplossen2. Om academische emoties te reguleren, moet een individu zelfwerkzaamheid bezitten (SE)6,7,8, wat hun vertrouwen is in hun vermogen om controle te gebruiken over hun motivatie, gedrag en sociale omgeving 6. zelfwerkzaamheid en academische emoties zijn onderling verbonden, waarbij lagere zelfwerkzaamheid is gekoppeld aan negatieve deactiverende emoties (bijv. angst, woede, verveling) en hogere zelfwerkzaamheid is gekoppeld aan positieve activerende emoties (bijv. geluk, hoop, opwinding)6,7,8. SE wordt ook verondersteld sterk gebonden te zijn aan de prestaties6,7,8.

Onderzoek dat klassikale emoties heeft onderzocht, heeft zich gebaseerd op zelf rapportages, observaties, interviews en artefacten (bijv. examens, projecten)9,10. Hoewel deze methoden uitgebreide contextuele informatie bieden over de ervaringen van studenten in de klas, hebben ze aanzienlijke beperkingen. Interviews, observaties en zelf rapportages zijn bijvoorbeeld afhankelijk van de introspecties van individuen10. Andere methoden hebben geprobeerd om academische emoties meer in de proximaal te onderzoeken dan eerdere onderzoekers, zoals die gebaseerd op ervaring-sampling benaderingen waar onderzoekers vragen om te rapporteren over hun emoties tijdens de school dag11. Hoewel dit onderzoek ons in staat stelt om de emoties van studenten nauwkeuriger te rapporteren, is dit werk afhankelijk van zelfrapportage methoden en staat het niet toe dat real-time rapportages worden aangeboden, omdat studenten hun werk aan het examen moeten onderbreken om de ervarings enquête aan te pakken.

Onlangs zijn onderzoekers begonnen met het aanpakken van zorgen over zelf-rapport maatregelen door het gebruik van biologische of fysiologische maatregelen van emotie9, die in combinatie met andere instrumenten of technieken zoals enquêtes, observaties of interviews, bestaat uit een multimodale vorm van gegevensverzameling voor educatief en psychologisch onderzoek12. Bijvoorbeeld, biologische technieken, met inbegrip van speeksel biomarkers, worden gebruikt om te begrijpen van de rol die biologische processen hebben op cognitie, emotie, leren, en prestaties13,14,15. Voor cognitieve processen, androgenen (bv, testosteron) zijn gekoppeld aan verschillende ruimtelijke herkenning patronen bij volwassenen en kinderen16,17 overwegende dat hypothalame-hypofyse-adrenocorticale hormonen (bijv., cortisol) en adrenergic hormonen (bijvoorbeeld speeksel α-amylase of sAA) zijn gekoppeld aan stress responsiviteit onder individuen18,19,20.

Electrodermale activiteit (EDA) vertegenwoordigt een fysiologische maatstaf voor de activering van het autonome zenuwstelsel (ANS) en is gekoppeld aan een verhoogde activering van het systeem, cognitieve belasting of intense emotionele reacties21,22 ,23. Bij onderzoeksactiviteiten wordt EDA beïnvloed door fysieke mobiliteit21,22, lichamelijke en omgevingstemperaturen24,25,26,27en verbalisatie van gedachten28, evenals de gevoeligheid en mate van connectiviteit van de analoge-digitale elektroden op de huid29.

Hoewel dit beperkingen kunnen zijn aan het gebruik van EDA, kan deze techniek nog steeds waardevol inzicht bieden in wat er gebeurt tijdens near-real-time examens en kan het fungeren als een veelbelovend hulpmiddel om AEE en in mate, zelfwerkzaamheid te verkennen. Als gevolg hiervan kan een nauwkeurig beeld van de AEE van studenten worden verkregen door middel van een combinatie van onderzoeksmethoden, om de valentie van emotie en fysiologische en biologische gegevens te bepalen, om de activering van die emotie te meten. Deze paper bouwt voort op een eerdere publicatie over onderzoekactiviteiten30 en breidt de reikwijdte van dat werk uit tot multimodale benaderingen (met behulp van ervarings steekproefenquêtes, EDA-sensoren en speeksel biomarkers) in een examen scenario. Het is essentieel om te vermelden dat het hieronder beschreven protocol toestaat dat meerdere deelnemersgegevens tegelijkertijd binnen één enkele experimentele setting worden verzameld.

Protocol

Procedures werden goedgekeurd door de Institutional Review Board (IRB) onder een algemene beoordeling aan de Utah State University voor studies over menselijke proefpersonen en het gebruik van deze constructies. De typische resultaten omvatten twee semesters van een engineering statica cursus, elk met een iets andere experimentele opzet, bij een westerse instelling van hoger onderwijs in de Verenigde Staten. Oefen examens, waarvan de inhoud parallel aan de eigenlijke examens, werden ontwikkeld door de cursus instructeur …

Representative Results

In deze studie, we waren geïnteresseerd in het bestuderen van de invloeden van zelfwerkzaamheid, prestaties, en fysiologische (EDA sensoren) en biologische (sAA en cortisol) Reacties van undergraduate engineering studenten als ze nam een Oefen examen. De getoonde gegevens zijn een representatieve subset van de monsters: (a) een die enquêtes en elektrodermale sensoren (experiment ontwerp A) en (b) één die hetzelfde examen omvatte samen met de speeksel biomarker-gegevens (experiment ont…

Discussion

Hoewel fysiologische maatregelen in veel authentieke leer contexten zijn gebruikt, is het van cruciaal belang om een studieomgeving te ontwerpen die de grenzen van de huidige technologie indachtig is. Ons ontwerp balanceert de behoefte aan een authentieke testomgeving en herbergt de technologie. Het comfortabel beperken van deelnemers bewegingen, het verminderen van onbedoelde onderbrekingen en het testen van tijdstempels van deelnemers zijn alle belangrijke stappen binnen het protocol.

De rui…

Divulgazioni

The authors have nothing to disclose.

Acknowledgements

Dit materiaal is gebaseerd op werk dat deels ondersteund wordt door de National Science Foundation (NSF) No. EED-1661100 en een NSF GRFP-subsidie gegeven aan Darcie Christensen (nr. 120214). Alle meningen, bevindingen en conclusies of aanbevelingen die in dit materiaal worden uitgedrukt, komen niet noodzakelijkerwijs overeen met die van NSF of USU. We willen Sheree Benson bedanken voor haar vriendelijke discussies en aanbevelingen voor onze statistische analyse.

Bijdragen van de auteur in dit document zijn als volgt: Villanueva (onderzoeksontwerp, gegevensverzameling en-analyse, schrijven, bewerken); Husman (onderzoeksontwerp, gegevensverzameling, schrijven, bewerken); Christensen (gegevensverzameling en-analyse, schrijven, bewerken); Youmans (gegevensverzameling en-analyse, schrijven en bewerken); Khan (gegevensverzameling en-analyse, schrijven, bewerken); Vicioso (gegevensverzameling en-analyse, Editing); Lampkins (verzamelen en bewerken van gegevens); Graham (verzamelen en bewerken van gegevens)

Materials

1.1 cu ft medical freezer Compact Compliance # bci2801863 They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays.
Camping Cooler Amazon (any size/type) Can be used to store salivary samples during data collection
E4 sensor Empatica Inc E4 Wristband Rev2 You can use any EDA sensor or company as long as it records EDA and accelerometry
EDA Explorer https://eda-explorer.media.mit.edu/ (open-source) Can be used to identify potential sources of noise that are not necessarily due to movement
Laptops Dell Latitude 3480 They can use any desktop or laptop
Ledalab http://www.ledalab.de/ (open-source) Can be used to separate tonic and phasic EDA signals after following filtration steps
MATLAB https://www.mathworks.com/products/matlab.html (version varies according to updates) To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs.
Salivary Alpha Amylase Enzymatic Kit Salimetrics ‎# 1-1902 For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing
Salivary Cortisol ELISA Kit Salimetrics # ‎1-3002 For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing
Testing Divider (Privacy Shields) Amazon #60005 They can use any brand of testing shield as long as they cover the workspace
Web Camera Amazon Logitech c920 They can use any web camera as long as it is HD and 1080p or greater

Riferimenti

  1. William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
  2. Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
  3. Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
  4. Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
  5. Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
  6. Bandura, A. . Self-efficacy: The exercise of control. , (1997).
  7. Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
  8. Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
  9. Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
  10. Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
  11. Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
  12. Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
  13. Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
  14. Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
  15. Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
  16. Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
  17. Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
  18. Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
  19. Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
  20. Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
  21. Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
  22. Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
  23. Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
  24. Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
  25. Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
  26. Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
  27. Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
  28. Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
  29. Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
  30. Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
  31. Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
  32. Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
  33. Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
  34. Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
  35. Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
  36. . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
  37. Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
  38. Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
  39. Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
  40. Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
  41. Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
  42. Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
  43. Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
  44. Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
  45. Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
  46. Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
  47. Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
  48. Girden, E. R. . ANOVA: Repeated measures. , (1992).
  49. Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
  50. Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
  51. Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
  52. Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
  53. Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).

Play Video

Citazione di questo articolo
Villanueva, I., Husman, J., Christensen, D., Youmans, K., Khan, M. T., Vicioso, P., Lampkins, S., Graham, M. C. A Cross-Disciplinary and Multi-Modal Experimental Design for Studying Near-Real-Time Authentic Examination Experiences. J. Vis. Exp. (151), e60037, doi:10.3791/60037 (2019).

View Video