Un diseño experimental multidisciplinar iológico y multimodal para estudiar experiencias de examen auténtico casi en tiempo real
Summary
Se desarrolló un diseño experimental para investigar las influencias en tiempo real de una experiencia de examen para evaluar las realidades emocionales que los estudiantes experimentan en entornos y tareas de educación superior. Este diseño es el resultado de un enfoque interdisciplinario (por ejemplo, psicología educativa, biología, fisiología, ingeniería) y multimodal (por ejemplo, marcadores salivales, encuestas, sensor electrodérmico).
Abstract
En los últimos diez años, la investigación sobre las emociones de los estudiantes en entornos educativos ha aumentado. Aunque los investigadores han pedido más estudios que se basen en medidas objetivas de experiencia emocional, existen limitaciones en la utilización de fuentes de datos multimodales. Los estudios de la regulación emocional y emocional en las aulas tradicionalmente se basan en instrumentos de encuesta, muestreo de experiencia, artefactos, entrevistas o procedimientos de observación. Estos métodos, si bien son valiosos, dependen principalmente de la subjetividad del participante u observador y están limitados en su auténtica medición del rendimiento en tiempo real de los estudiantes a una actividad o tarea en el aula. Este último, en particular, plantea un obstáculo para muchos eruditos que buscan medir objetivamente las emociones y otras medidas relacionadas en el aula, en tiempo real.
El propósito de este trabajo es presentar un protocolo para estudiar experimentalmente las respuestas en tiempo real de los estudiantes a las experiencias de examen durante una situación de evaluación auténtica. Para ello, un equipo de psicólogos educativos, ingenieros e investigadores de educación en ingeniería diseñó un protocolo experimental que mantuvo los límites necesarios para la medición precisa de sensores fisiológicos, las mejores prácticas de recolección salival y una entorno de pruebas auténtico. En particular, los estudios existentes que se basan en sensores fisiológicos se llevan a cabo en entornos experimentales que están desconectados de los entornos educativos (por ejemplo, Trier Stress Test), se separan en el tiempo (por ejemplo, antes o después de una tarea), o introducen un error de análisis (por ejemplo, el uso de sensores en entornos donde es probable que los estudiantes se muevan). Esto limita nuestra comprensión de las respuestas en tiempo real de los estudiantes a las actividades y tareas del salón de clases. Además, investigaciones recientes han pedido que se abarquen más consideraciones en torno a cuestiones de contratación, replicabilidad, validez, configuraciones, limpieza de datos, análisis preliminar y circunstancias particulares (por ejemplo, la adición de una variable en el diseño) en la investigación de emociones académicas que se basa en enfoques multimodales.
Introduction
Los psicólogos han entendido durante mucho tiempo la importancia de las emociones de los seres humanos para esclarecer sus comportamientos1. Dentro del estudio de la educación, Academic Achievement Emotions (AEE) se ha convertido en el foco de la investigación de emociones2. Los investigadores que utilizan AAE argumentan que los contextos situacionales en los que se encuentran los estudiantes son importantes a tener en cuenta al examinar las emociones de los estudiantes. Los estudiantes pueden experimentar emociones relacionadas con las pruebas, relacionadas con la clase o el aprendizaje que involucran procesos multicomponente, incluyendo componentes afectivos, fisiológicos, motivacionales y cognitivos. La AEE se expresa en dos formas: valencia (positiva/negativa) y activación (energía enfocada/desenfocada). Las emociones de activación positiva, como el disfrute, pueden aumentar los procesos reflectantes como la metacognición, mientras que las emociones de desactivación positivas como el orgullo pueden resultar en bajos niveles de procesamiento cognitivo. Las emociones de activación negativas como la ira y la ansiedad pueden provocar compromiso, mientras que la desactivación negativa de emociones como la desesperanza puede amortiguar la motivación3,4,5. Las emociones académicas contribuyen a cómo aprendemos, percibimos, decidimos, respondemos y resolvemos problemas2. Para regular las emociones académicas, un individuo debe poseer autoeficacia (SE)6,7,8, que es su confianza en su capacidad para emplear el control sobre su motivación, comportamiento, y el entorno social 6. La autoeficacia y las emociones académicas están interrelacionadas, donde la baja autoeficacia está ligada a las emociones de desactivación negativas (por ejemplo, ansiedad, ira, aburrimiento) y mayor autoeficacia está ligada a emociones activadoras positivas (por ejemplo, felicidad, esperanza, emoción)6,7,8. SE también se cree que está fuertemente ligado al rendimiento6,7,8.
Las investigaciones que han examinado las emociones en el aula se han basado en autoinformes, observaciones, entrevistas y artefactos (por ejemplo, exámenes, proyectos)9,10. Aunque estos métodos proporcionan información contextual rica sobre las experiencias de los estudiantes en el salón de clases, tienen limitaciones significativas. Por ejemplo, las entrevistas, observaciones y autoinformes se basan en las introspecciones10de las personas. Otros métodos han tratado de examinar las emociones académicas más proximalmente que los investigadores anteriores, como los basados en enfoques de muestreo de experiencia donde los investigadores piden a los estudiantes que informen sobre sus emociones durante el díaescolar 11. Aunque esta investigación nos permite informar las emociones de los estudiantes con mayor precisión, este trabajo se basa en métodos de autoinforme y no permite informes en tiempo real, ya que los estudiantes tienen que detener su trabajo en el examen para abordar la encuesta de experiencia.
Recientemente, los investigadores han comenzado a abordar las preocupaciones sobre las medidas de autoinforme mediante el uso de medidas biológicas o fisiológicas de la emoción9,que combinadas con otros instrumentos o técnicas como encuestas, observaciones o entrevistas, consiste en una forma multimodal de recopilación de datos para la investigación educativa y psicológica12. Por ejemplo, las técnicas biológicas, incluidos los biomarcadores salivales, se están utilizando para comprender el papel que los procesos biológicos tienen en la cognición, la emoción, el aprendizaje y el rendimiento13,14,15. Para los procesos cognitivos, los andrógenos (por ejemplo, la testosterona) se han relacionado con diferentes patrones de reconocimiento espacial en adultos y niños16,17 mientras que las hormonas hipotalámica-hipófisis-adrenocortical (por ejemplo, cortisol) y las hormonas adrenérgicas (p. ej., salival-amilasa o SAA) están vinculadas a la capacidad de respuesta al estrés entre los individuos18,19,20.
La actividad electrodérmica (EDA) representa una medida fisiológica de la activación del sistema nervioso autónomo (ANS) y está vinculada a una mayor activación del sistema, carga cognitiva o respuestas emocionales intensas21,22 ,23. En las actividades de examen, la AED se ve afectada por la movilidad física21,22, temperaturas corporales y ambientales24,25,26,27,y la verbalización de pensamientos28,así como la sensibilidad y el grado de conectividad de los electrodos analógico-digitales a la piel29.
Aunque estas pueden ser limitaciones al uso de EDA, esta técnica todavía puede proporcionar información valiosa sobre lo que sucede durante los exámenes casi en tiempo real y puede servir como una herramienta prometedora para explorar AEE y, en grado, autoeficacia. Como resultado, se puede obtener una imagen precisa de la AEE de los estudiantes a través de una combinación de métodos de encuesta, para determinar la valencia de la emoción, y los datos fisiológicos y biológicos, para medir la activación de esa emoción. Este documento se basa en una publicación anterior sobre las actividades de examen30 y amplía el alcance de ese trabajo para incluir enfoques multimodales (utilizando encuestas de muestreo de experiencia, sensores EDA y biomarcadores salivales) en un escenario de examen. Es esencial mencionar que el protocolo descrito a continuación permite recopilar varios datos de participantes al mismo tiempo dentro de un único entorno experimental.
Protocol
Representative Results
Discussion
Aunque las medidas fisiológicas se han utilizado en muchos contextos de aprendizaje auténticos, es fundamental diseñar un entorno de estudio que sea consciente de los límites de la tecnología actual. Nuestro diseño equilibra la necesidad de un entorno de pruebas auténtico y se adapta a la tecnología. Limitar cómodamente el movimiento de los participantes, reducir las interrupciones no deseadas y hacer una marca de tiempo en las respuestas de prueba de los participantes son pasos críticos dentro del protocolo.</…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Este material se basa en el trabajo apoyado en parte por la National Science Foundation (NSF) No. EED-1661100, así como una subvención NSF GRFP otorgada a Darcie Christensen (No 120214). Las opiniones, conclusiones y conclusiones o recomendaciones expresadas en este material no reflejan necesariamente las de NSF o USU. Queremos agradecer a Sheree Benson sus amables discusiones y recomendaciones para nuestro análisis estadístico.
Las contribuciones del autor en este artículo son las siguientes: Villanueva (diseño de investigación, recopilación y análisis de datos, escritura, edición); Husman (diseño de investigación, recopilación de datos, escritura, edición); Christensen (recopilación y análisis de datos, escritura, edición); Youmans (recopilación y análisis de datos, escritura y edición); Khan (recopilación y análisis de datos, escritura, edición); Vicioso (recopilación y análisis de datos, edición); Lampkins (recopilación y edición de datos); Graham (recopilación y edición de datos)
Materials
| 1.1 cu ft medical freezer | Compact Compliance | # bci2801863 | They can use any freezer as long as it can go below -20 degrees Celsius; these can be used to store salivary samples for longer periods of time (~4 months) before running salivary assays. |
| Camping Cooler | Amazon | (any size/type) | Can be used to store salivary samples during data collection |
| E4 sensor | Empatica Inc | E4 Wristband Rev2 | You can use any EDA sensor or company as long as it records EDA and accelerometry |
| EDA Explorer | https://eda-explorer.media.mit.edu/ | (open-source) | Can be used to identify potential sources of noise that are not necessarily due to movement |
| Laptops | Dell | Latitude 3480 | They can use any desktop or laptop |
| Ledalab | http://www.ledalab.de/ | (open-source) | Can be used to separate tonic and phasic EDA signals after following filtration steps |
| MATLAB | https://www.mathworks.com/products/matlab.html | (version varies according to updates) | To be used for Ledalab, EDA Explorer, and to create customized time-stamping programs. |
| Salivary Alpha Amylase Enzymatic Kit | Salimetrics | # 1-1902 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Salivary Cortisol ELISA Kit | Salimetrics | # 1-3002 | For the salivary kits, you should plan to either order the company to analyze your samples and/or go to a molecular biology lab for processing |
| Testing Divider (Privacy Shields) | Amazon | #60005 | They can use any brand of testing shield as long as they cover the workspace |
| Web Camera | Amazon | Logitech c920 | They can use any web camera as long as it is HD and 1080p or greater |
References
- William, J. What is an emotion?. Mind. 9 (34), 188-205 (1884).
- Pekrun, R., Linnenbrink-Garcia, L., Pekrun, R., Linnenbrink-Garcia, L. Emotions in education: Conclusions and future directions. International handbook of emotions in education. , 659-675 (2014).
- Pekrun, R. The control-value theory of achievement emotions: Assumptions, corollaries, and implications for educational research and practice. Educational Psychology Review. 18 (4), 315-341 (2006).
- Pekrun, R., Perry, R. P. Control-value theory of achievement emotions. International Handbook of Emotions in Education. , 120-141 (2014).
- Pekrun, R., Stephens, E. J., Harris, K. R. Academic emotions. APA Educational Psychology Handbook. , 3-31 (2011).
- Bandura, A. . Self-efficacy: The exercise of control. , (1997).
- Bandura, A. . Social foundations of thought and action: A social cognitive theory. , (1986).
- Bandura, A., Pajares, F., Urdan, T. Guide for constructing self-efficacy scales. Self-efficacy beliefs of adolescents. , 307-337 (2006).
- Jarrell, A., Harley, J. M., Lajoie, S., Naismith, L. Success, failure and emotions: examining the relationship between performance feedback and emotions in diagnostic reasoning. Educational Technology Research and Development. 65 (5), 1263-1284 (2017).
- Pekrun, R., Bühner, M., Pekrun, R., Linnenbrink-Garcia, L. Self-report measures of academic emotions. International Handbook of Emotions in Education. , 561-566 (2014).
- Nett, U. E., Goetz, T., Hall, N. C. Coping with boredom in school: An experience sampling perspective. Contemporary Educational Psychology. 36 (1), 49-59 (2011).
- Azevedo, R. Defining and measuring engagement and learning in science: Conceptual, theoretical, methodological, and analytical issues. Educational Psychologist. 50 (1), 84-94 (2015).
- Spangler, G., Pekrun, R., Kramer, K., Hofman, H. Students’ emotions, physiological reactions, and coping in academic exams. Anxiety, Stress, & Coping. 15 (4), 413-432 (2002).
- Husman, J., Cheng, K. C., Puruhito, K., Fishman, E. J. Understanding engineering students stress and emotions during an introductory engineering course. American Society of Engineering Education. , (2015).
- Vedhara, K., Hyde, J., Gilchrist, I., Tytherleigh, M., Plummer, S. Acute stress, memory, attention and cortisol. Psychoneuroendocrinology. 25 (6), 535-549 (2000).
- Berenbaum, S. A., Moffat, S., Wisniewski, A., Resnick, S., de Haan, M., Johnson, M. H. Neuroendocrinology: Cognitive effects of sex hormones. The Cognitive Neuroscience of Development: Studies in Developmental Psychology. , 207-210 (2003).
- Lundberg, U., Frankenhaeuser, M. Pituitary-adrenal and sympathetic-adrenal correlates of distress and effort. Journal of Psychosomatic Research. 24 (3-4), 125-130 (1980).
- Nater, U. M., Rohleder, N. Salivary alpha-amylase as a non-invasive biomarker for the sympathetic nervous system: Current state of research. Psychoneuroendocrinology. 34 (4), 486-496 (2009).
- Denson, T., Spanovic, M., Miller, N., Cooper, H. Cognitive appraisals and emotions predict cortisol and immune responses: A meta-analysis of acute laboratory social stressors and emotion inductions. Psychological Bulletin. 135 (6), 823-853 (2009).
- Van Stegeren, A. H., Wolf, O. T., Kindt, M. Salivary alpha amylase and cortisol responses to different stress tasks: Impact of sex. International Journal of Psychophysiology. 69 (1), 33-40 (2008).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190 (1), 80-91 (2010).
- Boucsein, W., Backs, R. W., Backs, R. W., Boucsein, W. Engineering psychophysiology as a discipline: Historical and theoretical aspects. Engineering psychophysiology. Issues and applications. , 3-30 (2000).
- Boucsein, W., Backs, R. W., Duffy, V. G. The psychophysiology of emotion, arousal, and personality: Methods and models. Handbook of digital human modeling. , 35-38 (2009).
- Turpin, G., Shine, P., Lader, M. H. Ambulatory electrodermal monitoring: effects of ambient temperature, general activity, electrolyte media, and length of recording. Psychophysiology. 20, 219-224 (1983).
- Posada-Quintero, H. F., et al. Timevarying analysis of electrodermal activity during exercise. PLoS ONE. 13 (6), e0198328 (2018).
- Lobstein, T., Cort, J. The relationship between skin temperature and skin conductance activity: Indications of genetic and fitness determinants. Biological Psychology. 7, 139-143 (1978).
- Scholander, T. Some measures of electrodermal activity and their relationships as affected by varied temperatures. Journal of Psychosomatic Research. 7, 151-158 (1963).
- Schwerdtfeger, A. Predicting autonomic reactivity to public speaking: don’t get fixed on self-report data!. International Journal of Psychophysiology. 52 (3), 217-224 (2004).
- Braithwaite, J. J., Watson, D. G., Jones, R., Rowe, M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRs) for psychological experiments. Psychophysiology. 49 (1), 1017-1034 (2013).
- Villanueva, I., Valladares, M., Goodridge, W. Use of galvanic skin responses, salivary biomarkers, and self-reports to assess undergraduate student performance during a laboratory exam activity. Journal of Visualized Experiments. (108), e53255 (2016).
- Empatica, . E4 wristband from Empatica: User’s manual. Empatica. , 1-32 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Collection methods: Passive drool using the saliva collection aid. Salimetrics Technical Summary. , 1-2 (2018).
- Salimetrics, . Expanded range high sensitivity salivary cortisol enzyme immunoassay kit. Salimetrics Technical Summary. , 1-21 (2016).
- Salimetrics, . Salivary α-amylase kinetic enzyme assay kit. Salimetrics Technical Summary. , 1-17 (2016).
- . Innovative Hormone Testing: Saliva Test Specifications, ZRT Laboratory Reports Available from: https://www.zrtlab.com/resources/ (2014)
- Call, B., Goodridge, W., Villanueva, I., Wan, N., Jordan, K. Utilizing electroencephalography measurements for comparison of task-specific neural efficiencies: spatial intelligence tasks. Journal of Visualized Experiments. (114), (2016).
- Ruel, E. E., Wagner, W. E., Gillespie, B. J. . The practice of survey research: theory and applications. , (2016).
- Barrett, P. Euclidean distance: raw, normalized, and double-spaced coefficients. The Technical Whitepaper Series. 6, 1-26 (2005).
- Groeneveld, R. A. Influence functions for the coefficient of variation, its inverse, and CV comparisons. Communications in Statistics- Theory and Methods. 40 (23), 4139-4150 (2011).
- Tronstad, C., Staal, O. M., Sælid, S., Martinsen, &. #. 2. 1. 6. ;. G. Model-based filtering for artifact and noise suppression with state estimation for electrodermal activity measurements in real time. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2750-2753 (2015).
- Routray, A., Pradhan, A. K., Rao, K. P. A novel Kalman filter for frequency estimation of distorted signals in power systems. IEEE Transactions on Instrumentation and Measurement. 51 (3), 469-479 (2002).
- Benedek, M., Kaernbach, C. A continuous measure of phasic electrodermal activity. Journal of Neuroscience Methods. 190, 80-91 (2010).
- Taylor, S., et al. Automatic Identification of Artifacts in Electrodermal Activity Data. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1934-1937 (2015).
- Andreasson, U., et al. A practical guide to immunoassay method validation. Frontiers in Neurology. 6 (179), 1-8 (2015).
- Adam, E. K., Kumari, M. Assessing salivary cortisol in large-scale, epidemiological research. Psychoneuroendocrinology. 34 (10), 1423-1436 (2009).
- Pruessner, J. C., Kirschbaum, C., Meinlschmid, G., Hellhammer, D. H. Two formulas for computation of the area under the curve represent measures of total hormone concentration versus time-dependent change. Psychoneuroendocrinology. 28 (7), 916-931 (2003).
- Girden, E. R. . ANOVA: Repeated measures. , (1992).
- Raudenbush, S. W., Bryk, A. S. . Hierarchical linear models: Applications and data analysis methods (Vol. 1). , (2002).
- Duncan, T. E., Duncan, S. C., Strycker, L. A. . An introduction to latent variable growth curve modeling: Concepts, issues, and application. , (2013).
- Mehta, P. D., West, S. G. Putting the individual back into individual growth curves. Psychological Methods. 5 (1), 23-43 (2000).
- Khan, M. T. H., Villanueva, I., Vicioso, P., Husman, J. Exploring relationships between electrodermal activity, skin temperature, and performance during engineering exams. , (Accepted).
- Christensen, D., Khan, M. T. H., Villanueva, I., Husman, J. Stretched Too Much? A Case Study of Engineering Exam-Related Predicted Performance, Electrodermal Activity, and Heart Rate. , (Accepted).
