Esperimenti di realtà virtuale con misure fisiologiche
Summary
Esperimenti di realtà virtuale (VR) possono essere difficili da implementare e richiede una pianificazione meticolosa. Questo protocollo descrive un metodo per la progettazione e la realizzazione di esperimenti VR che raccolgono dati fisiologici da partecipanti umani. Gli esperimenti in quadro di ambienti virtuali (EVE) è impiegato per accelerare questo processo.
Abstract
Esperimenti di realtà virtuale (VR) sempre più sono impiegati a causa della loro validità interna ed esterna rispetto all’osservazione del mondo reale ed esperimenti di laboratorio, rispettivamente. VR è particolarmente utile per effetti grafici geografici e le indagini del comportamento spaziale. Nella ricerca di comportamento spaziale, VR fornisce una piattaforma per studiare la relazione tra navigazione e misure fisiologiche (ad es., la pelle di conduttanza, frequenza cardiaca, pressione sanguigna). In particolare, misure fisiologiche permettono ai ricercatori di affrontare nuove questioni e vincolare le teorie precedenti di abilità spaziali, le strategie e le prestazioni. Ad esempio, le differenze individuali nella prestazione di navigazione possono essere spiegate dalla misura in cui cambiamenti in eccitazione mediano gli effetti di difficoltà del compito. Tuttavia, la complessità nella progettazione e realizzazione di esperimenti VR può distrarre sperimentatori provenienti da loro obiettivi di ricerca primaria e introdurre irregolarità nella raccolta dati e analisi. Per affrontare queste sfide, gli esperimenti in ambienti virtuali (EVE) framework include moduli standardizzati come partecipante di formazione con il controllo dell’interfaccia, raccolta di dati mediante questionari, la sincronizzazione delle fisiologiche misurazioni e archiviazione dei dati. EVE, inoltre, fornisce l’infrastruttura necessaria per la valutazione, la visualizzazione e la gestione dei dati. Il presente documento descrive un protocollo che utilizza il framework di vigilia di condurre esperimenti di navigazione nel VR con sensori fisiologici. Il protocollo elenca i passaggi necessari per reclutamento partecipanti, associare i sensori fisiologici, amministrare l’esperimento utilizzando EVE e valutare i dati raccolti con gli strumenti di valutazione di EVE. Nel complesso, questo protocollo faciliterà la ricerca futura semplificando la progettazione e la realizzazione di esperimenti VR con sensori fisiologici.
Introduction
Capire come gli individui navigare ha implicazioni importanti per diversi campi, tra cui scienza cognitiva1,2,3, neuroscienze4,5e computer scienza6 , 7. navigazione è stata studiata in ambienti reali e virtuali. Uno dei vantaggi di esperimenti reali è che la navigazione non richiede la mediazione di un interfaccia di controllo e perciò può produrre più realistico comportamento spaziale. Al contrario, gli esperimenti di realtà virtuale (VR) consentono per una misurazione più precisa del comportamento (ad es., camminare traiettorie) e fisiologico (ad es., frequenza cardiaca) dati, nonché di controllo più sperimentale (cioè., interno validità). A sua volta, questo approccio può provocare interpretazioni più semplice dei dati e teorie così più robuste della navigazione. Inoltre, neuroscienze possono beneficiare di VR, perché i ricercatori possono indagare i correlati neurali della navigazione, mentre i partecipanti sono impegnati nell’ambiente virtuale ma non è possibile spostare fisicamente. Per gli informatici, navigazione in VR richiede sviluppi unici in potenza di elaborazione, memoria e computer grafica al fine di garantire un’esperienza immersiva. I risultati dagli esperimenti di VR possono essere applicati anche in architettura e cartografia informando il design dell’edificio layout8 e mappa caratteristiche9 per facilitare la navigazione del mondo reale. Recentemente, gli avanzamenti nella tecnologia VR combinato con una diminuzione drammatica nel suo costo hanno condotto ad un aumento del numero di laboratori che impiegano VR per i loro disegni sperimentali. A causa di questa crescente popolarità, i ricercatori devono riflettere su come semplificare l’implementazione di applicazioni VR e standardizzare il flusso di lavoro di esperimento. Questo approccio aiuterà MAIUSC risorse attuazione allo sviluppo della teoria ed estendere le funzionalità esistenti di VR.
Configurazioni di VR possono variare da più a meno realistici in termini di display e i controlli. Più realistica di impostazioni VR tende a richiedere ulteriori infrastrutture quali spazi di rilevamento di grandi dimensioni e ad alta risoluzione Visualizza10. Questi sistemi spesso impiegano algoritmi a piedi reindirizzati al fine di iniettare impercettibili rotazioni e traduzioni nel feedback visivo fornito agli utenti ed effettivamente ingrandire l’ambiente virtuale attraverso il quale i partecipanti possono spostare11 , 12. questi algoritmi possono essere generalizzati in che non richiedono la conoscenza della struttura ambientale13 o predittiva in quanto essi assumono particolari percorsi per l’ utente14. Anche se la maggior parte della ricerca sul camminare reindirizzata è utilizzato testa-montata display (HMDs), alcuni ricercatori utilizzano una versione di questa tecnica con a piedi-in-posto come parte di un sistema di proiezione di grandi dimensioni (ad es., grotte)15. Mentre sulla testa del partecipante può essere effettuata, HMDs, grotta display tendono a fornire un più ampio campo visivo orizzontale16,17. Tuttavia, meno infrastruttura è necessaria per i sistemi VR utilizzando schermi desktop18,19. La ricerca sulle neuroscienze ha impiegato anche sistemi VR in combinazione con la formazione immagine a risonanza magnetica funzionale (fMRI) durante la scansione20, in combinazione con fMRI dopo la scansione21,22e in combinazione con elettroencefalografia (EEG) durante la registrazione23,24. Ambienti di sviluppo software sono necessari al fine di coordinare la varietà di display e controlli che vengono utilizzati per la ricerca di navigazione.
Ricerca che incorpora VR e dati fisiologici pone ulteriori sfide come l’acquisizione di dati e sincronizzazione. Tuttavia, dati fisiologici consentono le indagini dei processi impliciti che possono mediare la relazione tra il comportamento di navigazione spaziale e potenziali. Infatti, il rapporto fra lo sforzo e la navigazione è stato studiato utilizzando desktop VR e una combinazione di diversi sensori fisiologici (cioè., frequenza cardiaca, pressione sanguigna, conduttanza cutanea, cortisolo salivare e alfa-amilasi)25 , 26 , 27 , 28. per esempio, van Gerven e colleghi29 studiato l’impatto dello stress sulla strategia di navigazione e le prestazioni utilizzando una versione di realtà virtuale di un compito del labirinto dell’acqua di Morris e diverse misure fisiologiche (ad es., pelle conduttanza, frequenza cardiaca, pressione arteriosa). I loro risultati hanno rivelato che lo stress predetto strategia di navigazione in termini di utilizzo di punto di riferimento (cioè., egocentrico contro allocentriche) ma non è stato collegato a prestazioni di navigazione. In generale, i risultati dagli studi precedenti sono un po ‘ incoerenti per quanto riguarda gli effetti dello stress sulle prestazioni di navigazione e memoria spaziale. Questo modello può essere attribuibile alla separazione del fattore di stress (ad es., la procedura pressoria fredda26, l’ attività di analisi di Star Mirror25) dall’attività di navigazione effettiva, l’uso di semplici labirinto di ambienti virtuali ( ad esempio.,26del labirinto dell’acqua di Morris virtuale, virtuale braccio radiale del labirinto28) e le differenze nei dettagli metodologici (ad es., tipo di fattore di stress, tipo di dati fisiologici). Differenze nel formato di dati fisiologici raccolti possono anche essere problematiche per l’implementazione e l’analisi di tali studi.
Gli esperimenti nel quadro di esperimenti virtuali (EVE) facilita la progettazione, la realizzazione e l’analisi di esperimenti VR, soprattutto quelli con periferiche aggiuntive (ad es., eye tracker, dispositivi fisiologici)30. Il framework di EVE è liberamente disponibile come un progetto open-source su GitHub (https://cog-ethz.github.io/EVE/). Questo framework si basa sul popolare unità 3D gioco motore (https://unity3d.com/) e il sistema di gestione di database MySQL (https://www.mysql.com/). I ricercatori possono utilizzare il framework di vigilia al fine di preparare le varie fasi di un esperimento VR, inclusi questionari pre- e post-studio, misurazioni di base per qualsiasi dati fisiologici, formazione con l’interfaccia di controllo, l’attività di navigazione principale, e test per la memoria spaziale dell’ambiente navigabile (ad es., sentenze della direzione relativa). Gli sperimentatori possono inoltre controllare la sincronizzazione dei dati da fonti diverse e a diversi livelli di aggregazione (ad es., attraverso le prove, blocchi o sessioni). Le origini dati possono essere fisiche (cioè., collegato all’utente; Vedi Tabella materiali) o virtuale (cioè., dipendente dalle interazioni tra avatar del partecipante e l’ambiente virtuale). Ad esempio, un esperimento può richiedere la registrazione di frequenza cardiaca e orientamento e posizione dal partecipante quando avatar di tale partecipante si muove attraverso una particolare area dell’ambiente virtuale. Tutti i dati viene automaticamente memorizzati in un database MySQL e valutati con funzioni di riproduzione e il pacchetto di R evertools (https://github.com/cog-ethz/evertools/). Evertools fornisce funzioni di esportazione, base statistica descrittiva, e strumenti diagnostici per le distribuzioni dei dati.
Il quadro di EVE potrebbe essere distribuito con una varietà di infrastrutture fisiche e sistemi VR. Nel presente protocollo, descriviamo una particolare implementazione presso il NeuroLab presso ETH Zürich (Figura 1). Il NeuroLab è un 12m da 6 m camera contenente una camera isolata per condurre esperimenti di EEG, un box contenente il sistema VR (2,6 x 2,0 m) e una zona curtained per il collegamento di sensori fisiologici. Il sistema VR include un display televisione ad altissima definizione da 55″, un computer gaming di fascia alta, un’interfaccia di controllo joystick e diversi sensori fisiologici (Vedi Tabella materiali). Nelle sezioni seguenti, descriviamo il protocollo per lo svolgimento di un esperimento di navigazione in NeuroLab utilizzando il framework di EVE e sensori fisiologici, presenti risultati rappresentativi da uno studio sullo stress e navigazione e discutere le opportunità e le sfide connesse con questo sistema.
Protocol
Representative Results
Discussion
Nel presente documento, abbiamo descritto un protocollo per lo svolgimento di esperimenti in VR con fisiologiche dispositivi utilizzando il framework di EVE. Questi tipi di esperimenti sono unici a causa di considerazioni hardware aggiuntivo (ad es., dispositivi fisiologici e altre periferiche), le fasi preparatorie per la raccolta dei dati fisiologici utilizzando VR e requisiti di gestione dei dati. Il presente protocollo fornisce i passaggi necessari per gli sperimentatori che intende raccogliere dati da più …
Disclosures
The authors have nothing to disclose.
Acknowledgements
L’ambiente virtuale è stato gentilmente fornito da VIS giochi (http://www.vis-games.de) per condurre una ricerca in realtà virtuale.
Materials
| Alienware Area 51 Base | Dell | 210-ADHC | Computation |
| 138cm 4K Ultra-HD LED-TV | Samsung | UE55JU6470U | Display |
| SureSigns VS2+ | Philips Healthcare | 863278 | Blood Pressure |
| PowerLab 8/35 | AD Instruments | PL3508 | Skin Conductance |
| PowerLab 26T (LTS) | AD Instruments | ML4856 | Heart Rate |
| Extreme 3D Pro Joystick | Logitech | 963290-0403 | HID |
References
- Gallistel, C. R. . The Organization of Learning. , (1990).
- Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
- Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
- Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
- O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
- Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
- Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
- Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
- Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
- Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
- Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
- Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
- Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
- Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
- Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
- Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
- Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
- Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
- Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
- Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
- Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
- Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
- Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
- Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
- Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
- Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
- Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
- Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
- van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
- Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
- Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
- Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
- Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
- Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
- Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
- Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
- . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
- Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
- Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
- Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
- Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
- Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
- Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
- Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
- Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).
