Kontrolleret rotation af menneskelige observatører i et virtual reality-miljø
Summary
Den kontrollerede fysiske rotation af en menneskelig observatør er ønskelig for visse eksperimentelle, rekreative og uddannelsesmæssige anvendelser. Dette papir skitserer en metode til at konvertere en kontordrelestol til et medium til kontrolleret fysisk rotation i et virtual reality-miljø.
Abstract
De lave omkostninger og tilgængeligheden af Virtual Reality (VR) -systemer har understøttet en nylig acceleration af forskning i opfattelse og adfærd under mere naturalistiske, multisensoriske og fordybende forhold. Et forskningsområde, der især har haft gavn af brugen af VR-systemer, er multisensorisk integration, for eksempel integration af visuelle og vestibulære signaler for at give anledning til en følelse af selvbevægelse. Af denne grund repræsenterer en tilgængelig metode til kontrolleret fysisk rotation af en observatør i et virtuelt miljø en nyttig innovation. Dette papir præsenterer en metode til automatisering af rotationen af en kontordrelestol sammen med en metode til at integrere denne bevægelse i en VR-oplevelse. Ved hjælp af et eksempeleksperiment demonstreres det, at den fysiske bevægelse, der således produceres, er integreret med en observatørs visuelle oplevelse på en måde, der er i overensstemmelse med forventningerne; høj integration, når bevægelsen er kongruent med den visuelle stimulus og lav integration, når bevægelsen er inkongruent.
Introduction
Mange signaler kombineres under naturlige forhold for at skabe en følelse af selvbevægelse1. At producere en sådan sans er et mål i mange rekreative, sundhedsmæssige og uddannelsesmæssige VR-applikationer 2,3,4,5, og simpelthen at forstå, hvordan signaler kombineres for at give en følelse af selvbevægelse, har været en langsigtet indsats fra neuroforskere 6,7,8,9,10,11 . De tre vigtigste klasser af signaler til selvbevægelsesopfattelse er visuel, vestibulær og proprioceptiv1. Alle tre kombineres kongruent under naturlig aktiv bevægelse i den virkelige verden for at give en robust og rig følelse af selvbevægelse. For at forstå rollen som hver klasse af signaler og få en fornemmelse af, hvordan signaler kombineres, har forskere traditionelt frataget eksperimentelle observatører et eller flere signaler og / eller placeret signaler i konflikt med hinanden 1,12. For eksempel for at give roterende vestibulære signaler i fravær af proprioceptive signaler kan en observatør drejes passivt af en motoriseret stol 13,14,15,16. En sådan passiv bevægelse har vist sig at give meget overbevisende signaler til selvbevægelse17. Kontrollerede visuelle signaler fra et VR-headset kan være kongruente eller inkongruente med stolens bevægelse eller helt fraværende. Proprioceptive signaler kan tilføjes ved at få observatøren til at dreje stolen ved egen kraft, f.eks. ved at skubbe stolen rundt med fødderne.
Præsenteret her er en metode til at konvertere en kontordrelestol til et medium til fysisk at rotere en observatørs krop og integrere denne bevægelse i en visuel (og potentielt auditiv) virtuel oplevelse. Stolens rotation kan være under kontrol af observatøren, et computerprogram eller en anden person som eksperimentatoren. Observatørstyret rotation kan være passiv ved at gøre den motordrevne rotation til en funktion af positionen for observatørens håndholdte controller eller aktiv ved at slukke stolen og få observatøren til selv at dreje stolen.
Også præsenteret er en psykofysisk applikation til denne stol / VR-system. Dette eksempel på anvendelse fremhæver nytten af en observatørs kontrollerede passive rotation til at forstå, hvordan selvbevægelsessignaler interagerer for at producere overordnede perceptuelle oplevelser. Det specifikke mål var at få indsigt i en længe studeret visuel illusion-induceret bevægelse18,19. I induceret bevægelse “afstødes” et stationært eller bevægeligt mål perceptuelt væk fra en bevægelig baggrund. Hvis en rød mål prik f.eks. bevæger sig lodret opad mod et felt af blå prikker, der bevæger sig til højre, ser målpunktet ud til at bevæge sig opad som forventet, men også til venstre, væk fra retningen af den bevægelige baggrund20,21. Formålet var at teste, om frastødningen er et resultat af at fortolke baggrundsbevægelsen som værende forårsaget af selvbevægelse 22,23.
Hvis dette er tilfældet, bør tilføjelsen af fysisk rotation, der er i overensstemmelse med baggrundens visuelle bevægelse, føre til en stærkere følelse af, at baggrundsbevægelsen skyldes selvrotation gennem et stationært miljø. Dette bør igen føre til en større tendens til at trække baggrundsbevægelsen fra målbevægelsen for at få målbevægelse i forhold til den stationære verden23. Denne øgede tendens til at trække fra ville resultere i større opfattet målafstødning. Fysisk selvrotation, der enten var i overensstemmelse med eller uforenelig med baggrundsbevægelsen, blev tilføjet for at teste dette. Systemet, der præsenteres her, tillod præcis kontrol af fysisk bevægelse og tilsvarende visuel bevægelse for at teste denne hypotese. I eksemplet var stolebevægelsen under direkte kontrol af observatøren ved hjælp af VR-systemets håndholdte controller.
Selvom der er mange eksempler på motoriserede roterende stole til forskellige VR-applikationer i litteraturen 24,25,26,27,28,29, er forfatterne uvidende om et kortfattet sæt instruktioner til at lave en sådan stol og integrere den i en interaktiv VR-oplevelse. Der findes begrænsede instruktioner til SwiVRChair29, som i struktur ligner den, der præsenteres her, men som er designet med et andet formål i tankerne, det vil sige at blive drevet af et computerprogram for at forbedre nedsænkningen i et VR-miljø, hvor stolens bevægelse kan tilsidesættes af brugeren ved at placere fødderne på jorden. I betragtning af udgiften til kommercielt tilgængelige stole 30,31 kan det være en mere levedygtig mulighed for nogle forskere at gøre en “internt”. For dem i denne situation bør nedenstående protokol være til nytte.
Oversigt over systemet
Protokollen består af instruktioner til at konvertere en kontorstol til en elektrisk drevet roterende stol og integrere stolebevægelsen i en VR-oplevelse. Hele systemet, når det er færdigt, består af fire dele: de mekaniske, elektriske, software- og VR-delsystemer. Et fotografi af det komplette system er vist i figur 1. Det viste system var det, der blev brugt i eksempeleksperimentet.
Det mekaniske delsystems opgave er fysisk at rotere den øverste aksel på en drejestol via en motor. Den består af en kontorstol, hvortil to ting er fastgjort: en remskive fastgjort til kontorstolens øverste roterende aksel og en justerbar monteringsramme fastgjort til den nederste faste del af akslen. En elektrisk stepmotor er fastgjort til holderen, som har en remskive fastgjort til sin aksel, der linjer op med remskiven på kontorstolens øverste aksel. Et bælte kobler motorremskiven til stoleskiven, så motoren kan dreje stolen.
Det elektriske delsystem leverer strøm til motoren og tillader elektronisk styring af motoren. Den består af en motordriver, en strømforsyning til motoren, et Arduino-kort til grænseflade af føreren med en computer og en strømforsyning til Arduino (valgfrit). Et Arduino-kort er et populært lille bord blandt hobbyister og professionelle producenter af alt elektronisk, som indeholder en programmerbar mikroprocessor, controllere, input- og outputstifter og (i nogle modeller) en USB-port (kræves her). Alle de elektriske komponenter er anbragt i en specialmodificeret elektrisk isoleret kasse. Da der kræves strømforsyning til transformatoren, der leverer strøm til motoren og til den (valgfrie) Arduino-strømforsyning, og da motoren kræver høje driftsspændinger, skal alt undtagen det elektroniske lavspændingsarbejde (protokoltrin 2.5 til 2.10 nedenfor) udføres af en kvalificeret person.
Softwareundersystemet består af Arduino-software til programmering af Arduino, Unity-software til oprettelse af VR-miljøet, Steam-software til kørsel af VR-systemet og Ardity -et Unity -plugin, der gør det muligt for Unity at kommunikere med Arduino -kortet. Denne software blev installeret på en Gygabyte Sabre 15WV8 bærbar computer, der kører Microsoft Windows 10 Enterprise til eksempeleksperimentet (figur 1).
VR-systemet består af et hovedmonteret display (HMD), en håndholdt controller og basestationer til bestemmelse af HMD’ens og controllerens position og orientering i rummet. VR-systemet, der blev brugt til dette projekt, var HTC Vive Pro (figur 1).
Nedenfor beskrives proceduren for at kombinere disse komponenter for at opnå en virtuel oplevelse, der inkorporerer fysisk rotation (eksperiment eller på anden måde) med stolbevægelse styret af observatøren via den håndholdte controller eller af værten / eksperimentatoren via en computermus eller et potentiometer. Den sidste del af protokollen består af de trin, der er nødvendige for at starte VR-oplevelsen. Bemærk, at metoden til kodning af Unity for at muliggøre forsøg og dataindsamling ligger uden for dette manuskripts anvendelsesområde. Nogle trin, især for det mekaniske delsystem, kræver visse værkstedsudstyr og et vist niveau af færdigheder. I princippet kan de præsenterede metoder tilpasses, så de passer til tilgængeligheden af disse ressourcer. Der tilbydes alternativer til nogle af de mere tekniske trin.
Protocol
Representative Results
Discussion
Dette papir præsenterer en metode til at tilføje automatiseret rotation til en kontorstol under kontrol af en observatør eller eksperimentator og en ledsagende metode til at integrere denne bevægelse i en virtuel oplevelse. Kritiske trin omfatter mekanisk fastgørelse af motoren til stolen, opsætning af motorens strøm til og elektriske styring og derefter konfiguration af Arduino og computer til at drive motorstyringen. Det mekaniske fastgørelsestrin kræver noget specialudstyr og færdigheder, selvom der er fores…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Dette arbejde blev støttet af Australian Research Council-bevillinger DP160104211, DP190103474 og DP190103103.
Materials
| 48 V DC power supply (motor) | Meanwell | RSP-320-48 | https://www.meanwellaustralia.com.au/products/rsp-320 |
| 5 V DC power supply (arduino) | Jaycar | MP3295 | https://www.jaycar.com.au/15w-5v-3a-enclosed-power-supply/p/MP3295?pos=5&queryId=dda344422ab16c6 7f558551ac0acbd40 |
| Ardity plugin for Unity | Open Source | https://ardity.dwilches.com/ | |
| Arduino MEGA 2560 | Jaycar | XC4420 | https://www.jaycar.com.au/duinotech-mega-2560-r3-board-for-arduino/p/XC4420?pos=2&queryId=901771805f4bf6e0 ec31d41601d14dc3 |
| Arduino software | Arduino | https://www.arduino.cc/en/software | |
| Belt | Motion Dynamics | RFTB10010 | Choose a size that suits the application. We used 60 tooth. https://www.motiondynamics.com.au/polyurethane-timing-belts-16mm-t-10/ |
| Bracket bolts (holding motor) | The Fastner Factory | 161260 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-35mm-100pc |
| Bracket bolts (not holding motor) | The Fastner Factory | 161258 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-25mm-100pc |
| Clamp Angle Iron | Austral Wright Metals | 50004813 | x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Clamp bolts | The Fastner Factory | 161265 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-70mm-100pc |
| Clamp leaves (stainless flat bar) | Austral Wright Metals | 50004687 | x 8. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Cover (acrylic) | Bunnings Warehouse | 1010489 | https://www.bunnings.com.au/suntuf-900-x-600-x-5mm-grey-acrylic-sheet_p1010489 |
| Cover bolts/nuts | Bunnings Warehouse | 247292 | x 4. https://www.bunnings.com.au/pinnacle-m3-x-16mm-stainless-steel-hex-head-bolts-and-nuts-12-pack_p0247292 |
| Cover brackets | Bunnings Warehouse | 44061 | x 4. https://www.bunnings.com.au/zenith-20mm-zinc-plated-angle-bracket-16-pack_p0044061 |
| Emergency shut-off switch | Jaycar | SP0786 | https://www.jaycar.com.au/latching-emergency-stop-switch/p/SP0786?pos=1&queryId=5abe9876cf78dc3d d26b9067fbc36f74 |
| Hybrid stepper motor and driver | Vevor | ? | Closed Loop Stepper Motor Nema 34 12NM Servo Motor Hybrid Driver https://vevor.com.au/products/1712oz-in-nema34-closed-loop-stepper-motor-12nm-hybrid-servo-driver-hsc86-kit?variant=33058303311975 |
| IEC mains power connector | RS components | 811-7213 | https://au.rs-online.com/web/p/iec-connectors/8117213 |
| Instrument case (housing) | Jaycar | HB6381 | https://www.jaycar.com.au/abs-instrument-case-with-purge-valve-mpv2/p/HB6381 |
| LED | Jaycar | ZD0205 | https://www.jaycar.com.au/green-10mm-led-100mcd-round-diffused/p/ZD0205?pos=11&queryId=e596cbd3d71e86 37ab9340cee51175e7&sort= relevance |
| Main pulley (chair) | Motion Dynamics | ALTP10020 | Choose a size that suits the application. More teeth = slower rotation. We used 36 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html |
| Motor attachment bars (Stainless flat bar) | Austral Wright Metals | 50004687 | x 4. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Mounting brackets (stainless flat bar) | Austral Wright Metals | 50004687 | x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Nuts | The Fastner Factory | 161989 | x 12. https://www.thefastenerfactory.com.au/stainless-steel-hex-nylon-insert-lock-nut-m6-100pc |
| On/off switch | Jaycar | SK0982 | https://www.jaycar.com.au/dpdt-illuminated-rocker-large-red/p/SK0982?pos=4&queryId=88e0c5abfa682b74 fa631c6d513abc73&sort=relevance |
| Potentiometer | Jaycar | RP8610 | https://www.jaycar.com.au/10k-ohm-logarithmic-a-single-gang-9mm-potentiometer/p/RP8610?pos=4&queryId=0d1510281ba100d 174b8e3d7f806a020 |
| Pulley screws | The Fastner Factory | 155856 | x 5. https://www.thefastenerfactory.com.au/stainless-steel-hex-socket-head-cap-screw-m4-x-25mm-100pc |
| resistor 150 Ohm | Jaycar | RR2554 | https://www.jaycar.com.au/150-ohm-1-watt-carbon-film-resistors-pack-of-2/p/RR2554?pos=19&queryId=48c6317c73fd361 a42c835398d282c4a&sort= relevance |
| Small pulley (motor) | Motion Dynamics | ALTP10020 | Choose a size that suits the application. More teeth = faster rotation. We used 24 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html |
| Small toggle switch | Jaycar | ST0555 | https://www.jaycar.com.au/sealed-mini-toggle-switch/p/ST0555?pos=14&queryId=066b989a151d83 31885c6cec92fba517&sort= relevance |
| Steam software | Valve Corporation | https://store.steampowered.com/ | |
| SteamVR plugin for Steam | Valve Corporation | https://store.steampowered.com/app/250820/SteamVR/ | |
| Unity software | Unity Technologies | https://unity3d.com/get-unity/download | |
| VR system | Scorptec | 99HANW007-00 | HTC Vive Pro with controllers and base stations. https://www.scorptec.com.au/product/gaming-peripherals/vr/72064-99hanw007-00?gclid=Cj0KCQiA5OuNBhCRARIsA CgaiqX8NjXZ9F6ilIpVmYEhhanm GA67xLzllk5EmjuG0gnhu4xmiE _RwSgaAhn8EALw_wcB |
References
- Campos, J., Bülthoff, H., Murray, M. M., Wallace, M. T. Multimodal integration during self-motion in virtual reality. The Neural Bases of Multisensory. , (2012).
- Radianti, J., Majchrzak, T. A., Fromm, J., Wohlgenannt, I. A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education. 147, 103778 (2020).
- Madshaven, J. M. Investigating the user experience of virtual reality rehabilitation solution for biomechatronics laboratory and home environment. Frontiers in Virtual Reality. 2, 645042 (2021).
- Fan, Z. Design of physical training motion simulation system based on virtual reality technology. 2021 The 13th International Conference on Computer Modeling and Simulation. Association for Computing Machinery. , 81-86 (2021).
- Roettl, J., Terlutter, R. The same video game in 2D, 3D or virtual reality – How does technology impact game evaluation and brand placements. PLoS One. 13 (7), 0200724 (2018).
- Riecke, B. E., Sigurdarson, S., Milne, A. P. Moving through virtual reality without moving. Cognitive Processing. 13, 293-297 (2012).
- Fauville, G., Queiroz, A. C. M., Woolsey, E. S., Kelly, J. W., Bailenson, J. N. The effect of water immersion on vection in virtual reality. Scientific Reports. 11 (1), 1022 (2021).
- Bernhard, E. R., Jörg, S. -. P., Marios, N. A., Markus Von Der, H., Heinrich, H. B. Cognitive factors can influence self-motion perception (vection) in virtual reality. ACM Transactions on Applied Perception. 3 (3), 194-216 (2006).
- Gibson, J. J. . The perception of the visual world. , (1950).
- Angelaki, D. E., Gu, Y., Deangelis, G. C. Visual and vestibular cue integration for heading perception in extrastriate visual cortex. Journal of Physiology. 589, 825-833 (2011).
- Badcock, D., Palmisano, S., May, J. G., Hale, K. S., Stanney, K. M. Vision and virtual environments. Handbook of Virtual Environments: Design, Implementation, and Applications. , 39-85 (2014).
- Kaliuzhna, M., Prsa, M., Gale, S., Lee, S. J., Blanke, O. Learning to integrate contradictory multisensory self-motion cue pairings. Journal of Vision. 15 (1), (2015).
- Wilkie, R. M., Wann, J. P. The role of visual and nonvisual information in the control of locomotion. Journal of Experimental Psychology: Human Perception and Performance. 31 (5), 901-911 (2005).
- Sinha, N., et al. Perception of self motion during and after passive rotation of the body around an earth-vertical axis. Progress in Brain Research. 171, 277-281 (2008).
- Tremblay, L., et al. Biases in the perception of self-motion during whole-body acceleration and deceleration. Frontiers in Integrative Neuroscience. 7, 90 (2013).
- Nooij, S. A. E., Bockisch, C. J., Bülthoff, H. H., Straumann, D. Beyond sensory conflict: The role of beliefs and perception in motion sickness. PLoS One. 16 (1), 0245295 (2021).
- Harris, L., et al. Simulating self-motion I: Cues for the perception of motion. Virtual Reality. 6 (2), 75-85 (2002).
- Carr, H. A., Hardy, M. C. Some factors in the perception of relative motion: A preliminary experiment. Psychological Review. 27, 24-37 (1920).
- Reinhardt-Rutland, A. H. Induced movement in the visual modality: An overview. Psychological Bulletin. 103, 57-71 (1988).
- Zivotofsky, A. Z., et al. Tracking of illusory target motion: Differences between gaze and head responses. Vision Research. 35 (21), 3029-3035 (1995).
- Farrell-Whelan, M., Wenderoth, P., Wiese, M. Studies of the angular function of a Duncker-type induced motion illusion. Perception. 41 (6), 733-746 (2012).
- Warren, P. A., Rushton, S. K. Optic flow processing for the assessment of object movement during ego movement. Current Biology. 19 (18), 1555-1560 (2009).
- Fajen, B. R., Matthis, J. S. Visual and non-visual contributions to the perception of object motion during self-motion. PLoS One. 8 (2), 55446 (2013).
- Duminduwardena, U. C., Cohen, M. Controlling the Schaire Internet Chair with a mobile device. Proceedings CIT: The Fourth International Conference on Computer and Information Technology. , 215-220 (2004).
- Ashiri, M., Lithgow, B., Mansouri, B., Moussavi, Z. Comparison between vestibular responses to a physical and virtual reality rotating chair. Proceedings of the 11th Augmented Human International Conference. , (2020).
- Koenig, E. A new multiaxis rotating chair for oculomotor and vestibular function testing in humans. Neuro-ophthalmology. 16 (3), 157-162 (1996).
- Mowrey, D., Clayson, D. Motion sickness, ginger, and psychophysics. The Lancet. 319 (8273), 655-657 (1982).
- Sanmugananthan, P., Nguyen, N., Murphy, B., Hossieni, A. Design and development of a rotating chair to measure the cervico-ocular reflex. Cureus. 13 (10), 19099 (2021).
- Gugenheimer, J., Wolf, D., Haas, G., Krebs, S., Rukzio, E. SwiVRChair: a motorized swivel chair to nudge users’ orientation for 360 degree storytelling in virtual reality. 1996-2000. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , (2016).
- . Roto VR Chair Available from: https://www.rotovr.com/ (2021)
- . Yaw Motion Simulator Available from: https://www.yawvr.com/ (2021)
- Warren, P. A., Rushton, S. K. Perception of object trajectory: Parsing retinal motion into self and object movement components. Journal of Vision. 7 (11), 1-21 (2007).
- Bonnen, K., Burge, J., Yates, J., Pillow, J., Cormack, L. K. Continuous psychophysics: Target-tracking to measure visual sensitivity. Journal of Visualized Experiments: JoVE. (3), (2015).
- . SimXperience Available from: https://www.simxperience.com/ (2021)
- Harris, L. R., Jenkin, M., Zikovitz, D. C. Visual and non-visual cues in the perception of linear self-motion. Experimental Brain Research. 135, 12-21 (2000).
- . DOF Reality Motion Simulators Available from: https://www.dofreality.com/ (2021)
- . Next Level Racing Available from: https://nextlevelracing.com/ (2022)
- . Motion Systems Available from: https://motionsystems.eu/ (2022)
- . Redbird Flight Simulations Available from: https://simulators.redbirdflight.com/ (2022)
- Teufel, H. J., et al. MPI motion simulator: development and analysis of a novel motion simulator. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit (AIAA 2007). , (2007).
