Virtual Reality experimenten met fysiologische maatregelen
Summary
Virtual reality (VR) experimenten kunnen moeilijk te implementeren en vereist zorgvuldige planning. Dit protocol beschrijft een methode voor het ontwerp en de uitvoering van VR experimenten die fysiologische gegevens van menselijke deelnemers verzamelen. De experimenten in virtuele omgevingen (EVE) kader wordt toegepast om dit proces te versnellen.
Abstract
Virtual reality (VR) experimenten zijn steeds werkzaam vanwege hun geldigheid van het interne en externe vergeleken met levensechte observatie en laboratoriumexperimenten, respectievelijk. VR is vooral handig voor geografische visualisaties en onderzoeken van ruimtelijke gedrag. In het onderzoek van het ruimtelijke gedrag, VR biedt een platform voor de studie van de relatie tussen navigatie en fysiologische maatregelen (bijv., huid geleidingsvermogen, hartslag, bloeddruk). Specifiek, toestaan fysiologische maatregelen onderzoekers roman kwesties worden aangepakt en beperken van eerdere theorieën van ruimtelijke vaardigheden, strategieën en prestaties. Individuele verschillen in de prestaties van de navigatie kunnen bijvoorbeeld worden verklaard door de mate waarin wijzigingen in opwinding de effecten van de moeilijkheidsgraad van de taak bemiddelen. Echter kunnen de complexiteit van het ontwerp en de uitvoering van VR experimenten afleiden van onderzoekers uit hun doelen primair onderzoek en introduceren van onregelmatigheden in de gegevensverzameling en analyse. Om deze uitdagingen, de experimenten in virtuele omgevingen (EVE) framework bevat gestandaardiseerde modules zoals deelnemer training met het besturingselement interface, verzamelen van gegevens met behulp van vragenlijsten, de synchronisatie van fysiologische metingen en gegevensopslag. EVE biedt ook de nodige infrastructuur voor gegevensbeheer, visualisatie en evaluatie. De huidige paper beschrijft een protocol die gebruikmaakt van het EVE-kader uit te voeren van de experimenten van de navigatie in VR met fysiologische sensoren. Het protocol bevat de stappen die nodig zijn voor werven deelnemers, bevestigen de fysiologische sensoren, beheer van het experiment met behulp van EVE, en beoordeling van de verzamelde gegevens met EVE evaluatie-instrumenten. Over het geheel genomen zal dit protocol toekomstig onderzoek vergemakkelijken door het stroomlijnen van het ontwerp en de uitvoering van VR experimenten met fysiologische sensoren.
Introduction
Inzicht in hoe mensen navigeren heeft belangrijke gevolgen voor de verschillende gebieden, met inbegrip van de cognitive science1,2,3, neurowetenschappen4,5, en computer wetenschap6 , 7. navigatie heeft onderzocht in zowel reële en virtuele omgevingen. Een voordeel van levensechte experimenten is dat navigatie geen tussenkomst van een control-interface vereist en dus realistischer ruimtelijke gedrag kan produceren. Daarentegen virtual reality (VR) experimenten mogelijk maken meer nauwkeurige meting van gedrags (bv., lopen gevaar opleverende) en fysiologische (bv., hartslag) gegevens, evenals meer experimentele controle (dwz., interne geldigheid). Op zijn beurt, kan deze aanpak resulteren in eenvoudiger interpretaties van de gegevens en dus meer robuuste theorieën van navigatie. Neurowetenschappen kan bovendien profiteren van VR omdat onderzoekers de neurale correlaten van navigatie onderzoeken kunnen terwijl deelnemers zijn verwikkeld in de virtuele omgeving maar niet fysiek verplaatsen. Navigatie in VR vereist voor informatici, unieke ontwikkelingen bij de verwerking van macht, het geheugen en computergraphics met het oog op een meeslepende ervaring. Bevindingen van VR experimenten kunnen ook worden toegepast in de architectuur en cartografie door het informeren van het ontwerp van het gebouw lay-outs8 en kaart functies9 ter vergemakkelijking van de navigatie van de echte wereld. Onlangs, vooruitgang in de VR-technologie gecombineerd met een dramatische daling van de kosten hebben geleid tot een toename van het aantal laboratoria VR dienst voor hun experimentele designs. Omwille van deze groeiende populariteit moeten onderzoekers nagaan hoe kunnen stroomlijnen de implementatie van VR toepassingen en standaardiseren van de werkstroom experiment. Deze aanpak helpt verschuiving middelen van tenuitvoerlegging aan de ontwikkeling van de theorie en uitbreiden van de bestaande capaciteiten van VR.
VR opstellingen kunnen variëren van meer tot minder realistisch in termen van displays en besturingselementen. Realistischer VR opstellingen neiging om vereisen extra infrastructuur zoals bijhouden van grote ruimtes en hoge resolutie toont10. Deze systemen vaak omgeleide wandelen algoritmen in dienst om te injecteren onwaarneembare rotaties en vertalingen in de visuele feedback dat gebruikers voorziet en effectief uit te breiden de virtuele omgeving waardoor deelnemers11 kunnen verplaatsen , 12. deze algoritmen kunnen, gegeneraliseerde in dat zij niet de kennis van de ecologische structuur13 vereisen of voorspellende, in die zin dat zij bepaalde paden voor de gebruiker14veronderstellen. Hoewel de meeste onderzoek op omgeleide wandelen hanteert head-mounted displays (HMDs), sommige onderzoekers gebruiken een versie van deze techniek met lopen-in-place als onderdeel van een grote projectiesysteem (bv., grotten)15. Terwijl HMDs kan worden uitgevoerd op het hoofd van de deelnemer, neiging grot displays om een bredere horizontale gezichtsveld16,17. Echter is minder infrastructuur nodig voor VR-systemen met behulp van desktop displays18,19. Neurowetenschappelijke onderzoek is ook werkzaam zijn VR-systemen in combinatie met functionele magnetische resonantie imaging (fMRI) tijdens het scannen van20, in combinatie met fMRI na het scannen van21,22, en in combinatie met elektro-encefalografie (EEG) tijdens het opnemen van23,24. Software kaders zijn nodig om de verscheidenheid van displays en besturingselementen die worden gebruikt voor navigatie onderzoek coördineren.
Onderzoek waarin VR en fysiologische gegevens vormt extra uitdagingen zoals data-acquisitie en synchronisatie. Fysiologische gegevens voorziet echter in de onderzoeken van impliciete processen die de relatie tussen potentiële en ruimtelijke gedrag van de navigatie bemiddelen kunnen. Inderdaad, de relatie tussen stress en navigatie is onderzocht met behulp van desktop VR en een combinatie van verschillende fysiologische sensoren (dwz., hartslag, bloeddruk, huid geleidbaarheid, speeksel cortisol en alpha-amylase)25 , 26 , 27 , 28. bijvoorbeeld van Gerven en collega’s29 onderzocht het effect van stress op de strategie van de navigatie en prestaties met behulp van een versie van de virtuele realiteit van een Morris water maze taak en verschillende fysiologische maatregelen (bijv., huid geleidingsvermogen, hartslag, bloeddruk). Hun resultaten is gebleken dat stress voorspeld navigatie strategie in termen van landmark gebruik (dwz., egocentrische versus allocentric) maar was niet gerelateerd aan de prestaties van de navigatie. In het algemeen zijn de bevindingen uit eerdere studies over het effect van stress op de prestaties van de navigatie en het ruimtelijke geheugen enigszins inconsistent. Dit patroon kan worden toegeschreven aan de scheiding van de stressor (bv., de koude pressor procedure26, de Star spiegel Tracing taak25) van de werkelijke navigatie taak, het gebruik van eenvoudige labyrint-als virtuele omgevingen ( bijvoorbeeld., virtuele Morris water maze26, virtuele radiale arm doolhof28), en verschillen in methodologische details (bv., soort stressor, type fysiologische gegevens). Ook kan verschillen in de indeling van fysiologische gegevens problematisch zijn voor de uitvoering en de analyse van dergelijke studies.
De experimenten in het kader van de virtuele experimenten (EVE) vergemakkelijkt het ontwerp, de implementatie en de analyse van VR experimenten, vooral die met extra randapparatuur (bijv., oog trackers, fysiologische apparaten)30. Het EVE-framework is gratis beschikbaar gesteld als een open-source project op GitHub (https://cog-ethz.github.io/EVE/). Dit kader is gebaseerd op de populaire Unity 3D game-engine (https://unity3d.com/) en het hulpprogramma voor het beheer van het MySQL-databasesysteem (https://www.mysql.com/). Onderzoekers kunnen het EVE-raamwerk gebruiken ter voorbereiding van de verschillende fasen van een VR-experiment, met inbegrip van pre- en post studie vragenlijsten, basislijnmetingen voor fysiologische gegevens, met de controle-interface, de taak van de hoofdnavigatie, opleiding en tests voor ruimtelijke geheugen van de bezochte omgeving (bv., arresten van relatieve richting). Onderzoekers kunnen ook het bepalen van de synchronisatie van gegevens uit verschillende bronnen en op verschillende niveaus van aggregatie (bv., over proeven, blokken of sessies). Gegevensbronnen mogelijk fysieke (dwz., verbonden aan de gebruiker; Zie Tabel van materialen) of virtuele (dwz., afhankelijk van de interacties tussen de avatar van de deelnemer en de virtuele omgeving). Een experiment kan bijvoorbeeld, vereisen registratie van hartslag en positie/oriëntatie van de deelnemer, wanneer die deelnemer avatar door middel van een bepaald gebied van de virtuele omgeving beweegt. Al deze gegevens opgeslagen in een MySQL-database automatisch en geëvalueerd met replay functies en de R pakket evertools (https://github.com/cog-ethz/evertools/). Evertools levert uitvoer functies, elementaire beschrijvende statistiek, en diagnostische hulpmiddelen voor distributies van gegevens.
Het EVE-kader kan worden geïmplementeerd met een scala aan fysieke infrastructuren en VR-systemen. In het huidige protocol beschrijven we één bepaalde implementatie op de NeuroLab bij ETH Zürich (Figuur 1). De NeuroLab is een 12 m door 6 m room met een geïsoleerde kamer voor het uitvoeren van EEG experimenten, een kast met het VR-systeem (2.6 m x 2.0 m), en een curtained voor de bevestiging van de fysiologische sensoren. Het VR-systeem omvat een 55″ ultra-hoge definitie televisie display, een high-end gaming computer, een joystick-besturingsinterface en verschillende fysiologische sensoren (Zie Tabel van materialen). In de volgende secties, we beschrijven het protocol voor het uitvoeren van een experiment van de navigatie in de NeuroLab met behulp van de VOORAVOND kader en de fysiologische sensoren, de huidige representatieve resultaten van een studie over stress en navigatie, en bespreken van de mogelijkheden en uitdagingen in verband met dit systeem.
Protocol
Representative Results
Discussion
In het huidige document beschreven we een protocol voor het voeren van de experimenten in VR met fysiologische apparaten met behulp van het EVE-kader. Dit soort experimenten zijn uniek vanwege extra hardware overwegingen (bv., fysiologische apparaten en andere randapparatuur), de voorbereidende stappen voor het verzamelen van fysiologische gegevens met behulp van VR en beheer van de gegevensvereisten. Dit protocol biedt de nodige stappen voor onderzoekers dat van plan is om gegevens te verzamelen van meerdere ra…
Disclosures
The authors have nothing to disclose.
Acknowledgements
De virtuele omgeving werd vriendelijk geleverd door VIS spelletjes (http://www.vis-games.de) onderzoek te doen in virtuele werkelijkheid.
Materials
| Alienware Area 51 Base | Dell | 210-ADHC | Computation |
| 138cm 4K Ultra-HD LED-TV | Samsung | UE55JU6470U | Display |
| SureSigns VS2+ | Philips Healthcare | 863278 | Blood Pressure |
| PowerLab 8/35 | AD Instruments | PL3508 | Skin Conductance |
| PowerLab 26T (LTS) | AD Instruments | ML4856 | Heart Rate |
| Extreme 3D Pro Joystick | Logitech | 963290-0403 | HID |
References
- Gallistel, C. R. . The Organization of Learning. , (1990).
- Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
- Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
- Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
- O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
- Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
- Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
- Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
- Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
- Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
- Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
- Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
- Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
- Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
- Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
- Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
- Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
- Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
- Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
- Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
- Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
- Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
- Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
- Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
- Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
- Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
- Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
- Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
- van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
- Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
- Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
- Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
- Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
- Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
- Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
- Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
- . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
- Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
- Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
- Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
- Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
- Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
- Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
- Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
- Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).
