Контролируемое вращение человеческих наблюдателей в среде виртуальной реальности
Summary
Контролируемое физическое вращение человека-наблюдателя желательно для определенных экспериментальных, рекреационных и образовательных приложений. В этой статье описывается метод преобразования офисного поворотного кресла в среду для контролируемого физического вращения в среде виртуальной реальности.
Abstract
Низкая стоимость и доступность систем виртуальной реальности (VR) способствовали недавнему ускорению исследований восприятия и поведения в более натуралистических, мультисенсорных и иммерсивных условиях. Одной из областей исследований, которая особенно выиграла от использования систем VR, является мультисенсорная интеграция, например, интеграция визуальных и вестибулярных сигналов для создания чувства самодвижения. По этой причине доступный метод контролируемого физического вращения наблюдателя в виртуальной среде представляет собой полезное нововведение. В этой статье представлен метод автоматизации вращения офисного поворотного кресла, а также метод интеграции этого движения в опыт VR. На примере эксперимента показано, что физическое движение, полученное таким образом, интегрируется с визуальным опытом наблюдателя таким образом, чтобы это соответствовало ожиданиям; высокая интеграция, когда движение конгруэнтно визуальному стимулу, и низкая интеграция, когда движение неконгруэнтно.
Introduction
Многие сигналы объединяются в естественных условиях, чтобы создать ощущение самодвижения1. Создание такого чувства является целью во многих развлекательных, оздоровительных и образовательных приложениях VR 2,3,4,5, и простое понимание того, как сигналы объединяются, чтобы дать ощущение самодвижения, было долгосрочным усилием нейробиологов 6,7,8,9,10,11 . Тремя наиболее важными классами сигналов для восприятия самодвижения являются визуальный, вестибулярный и проприоцептивный1. Все три объединяются конгруэнтно во время естественного активного движения в реальном мире, чтобы обеспечить надежное и богатое чувство собственного движения. Чтобы понять роль каждого класса сигналов и получить представление о том, как сигналы сочетаются, исследователи традиционно лишали экспериментальных наблюдателей одного или нескольких сигналов и / или помещали сигналы в конфликт друг с другом 1,12. Например, для обеспечения вращательных вестибулярных сигналов при отсутствии проприоцептивных сигналов наблюдатель может пассивно поворачиваться моторизованным креслом 13,14,15,16. Было показано, что такое пассивное движение обеспечивает очень убедительные сигналы к самодвижению17. Контролируемые визуальные сигналы, обеспечиваемые гарнитурой VR, могут быть конгруэнтными или несовместимыми с движением стула или вообще отсутствовать. Проприоцептивные сигналы могут быть добавлены путем того, чтобы наблюдатель вращал стул своим ходом, например, толкая стул ногами.
Здесь представлен метод преобразования офисного поворотного кресла в среду для физического вращения тела наблюдателя и интеграции этого движения в визуальный (и потенциально слуховой) виртуальный опыт. Вращение стула может осуществляться под контролем наблюдателя, компьютерной программы или другого человека, такого как экспериментатор. Вращение, управляемое наблюдателем, может быть пассивным, делая вращение с приводом от двигателя функцией положения ручного контроллера наблюдателя, или активным, выключая стул и заставляя наблюдателя вращать стул самостоятельно.
Также представлено психофизическое приложение для этой системы chair/VR. Этот пример приложения подчеркивает полезность контролируемого пассивного вращения наблюдателя для понимания того, как сигналы самодвижения взаимодействуют для получения общего восприятия. Конкретная цель состояла в том, чтобы получить представление о давно изученном движении, вызванном зрительной иллюзией18,19. При индуцированном движении неподвижная или движущаяся цель перцептивно «отталкивается» от движущегося фона. Например, если красная целевая точка движется вертикально вверх против поля синих точек, движущихся вправо, целевая точка будет двигаться вверх, как и ожидалось, но также и влево, в сторону от направления движущегося фона 20,21. Цель состояла в том, чтобы проверить, является ли отталкивание результатом интерпретации фонового движения как вызванного самодвижением22,23.
Если это так, то добавление физического вращения, которое согласуется с фоновым визуальным движением, должно привести к более сильному ощущению, что фоновое движение связано с самовоскручиванием через неподвижную среду. Это, в свою очередь, должно привести к большей тенденции вычитать фоновое движение из целевого движения, чтобы получить целевое движение относительно стационарного мира23. Эта повышенная тенденция к вычитанию приведет к большему воспринимаемому целевому отталкиванию. Для проверки этого было добавлено физическое самоповорота, которое либо соответствовало, либо не соответствовало фоновому движению. Представленная здесь система позволила точно контролировать физическое движение и соответствующее визуальное движение для проверки этой гипотезы. В этом примере движение стула находилось под непосредственным контролем наблюдателя с помощью ручного контроллера системы VR.
Хотя в литературе есть много примеров моторизованных вращающихся стульев для различных приложений VR 24,25,26,27,28,29, авторы не знают о кратком наборе инструкций по созданию такого стула и интеграции его в интерактивный опыт VR. Ограниченные инструкции доступны для SwiVRChair29, который похож по структуре на представленный здесь, но который разработан с другой целью, то есть управляется компьютерной программой для улучшения погружения в среду VR, где движение стула может быть переопределено пользователем, поместив ноги на землю. Учитывая стоимость коммерчески доступных стульев30,31, создание одного «внутреннего» может быть более жизнеспособным вариантом для некоторых исследователей. Для тех, кто находится в этой ситуации, протокол ниже должен быть полезен.
Обзор системы
Протокол состоит из инструкций по преобразованию офисного кресла в вращающееся кресло с электрическим приводом и интеграции движения стула в опыт VR. Вся система, после завершения, состоит из четырех частей: механической, электрической, программной и VR-подсистем. Фотография всей системы показана на рисунке 1. Показанная система была той, которая использовалась в примере эксперимента.
Работа механической подсистемы заключается в физическом вращении верхнего вала поворотного кресла с помощью двигателя. Он состоит из офисного кресла, к которому прикреплены две вещи: шкив, закрепленный на верхнем вращающемся валу офисного кресла, и регулируемая монтажная рама, прикрепленная к нижней неподвижной части вала. К креплению прикреплен электрический шаговый двигатель, который имеет шкив, прикрепленный к его валу, который выравнивается со шкивом на верхнем валу офисного кресла. Ремень соединяет шкив двигателя со шкивом стула, позволяя двигателю вращать стул.
Электрическая подсистема обеспечивает питание двигателя и позволяет осуществлять электронное управление двигателем. Он состоит из драйвера двигателя, блока питания для двигателя, платы Arduino для сопряжения драйвера с компьютером и блока питания для Arduino (опционально). Плата Arduino – популярная небольшая плата среди любителей и профессиональных производителей чего-либо электронного, которая содержит программируемый микропроцессор, контроллеры, входные и выходные контакты и (в некоторых моделях) USB-порт (требуется здесь). Все электрические компоненты размещены в специально модифицированной коробке с электрической изоляцией. Поскольку сетевое питание требуется для трансформатора, который обеспечивает питание двигателя и для (опционального) источника питания Arduino, и поскольку двигатель требует высокого рабочего напряжения, все, кроме низковольтной электронной работы (этапы протокола 2.5-2.10 ниже), должны выполняться квалифицированным специалистом.
Программная подсистема состоит из программного обеспечения Arduino для программирования Arduino, программного обеспечения Unity для создания среды VR, программного обеспечения Steam для управления системой VR и Ardity — плагина Unity, который позволяет Unity взаимодействовать с платой Arduino. Это программное обеспечение было установлено на ноутбуке Gygabyte Sabre 15WV8 под управлением Microsoft Windows 10 Enterprise для примера эксперимента (рисунок 1).
Система VR состоит из головного дисплея (HMD), ручного контроллера и базовых станций для определения положения и ориентации шлема и контроллера в пространстве. Система VR, используемая для этого проекта, была HTC Vive Pro (рисунок 1).
Ниже описана процедура объединения этих компонентов для достижения виртуального опыта, который включает в себя физическое вращение (эксперимент или иное) с движением стула, управляемым наблюдателем через ручной контроллер или хозяином / экспериментатором с помощью компьютерной мыши или потенциометра. Заключительная часть протокола состоит из шагов, необходимых для инициирования опыта VR. Обратите внимание, что метод кодирования Unity для проведения испытаний и сбора данных выходит за рамки данной рукописи. Некоторые этапы, особенно для механической подсистемы, требуют определенного оборудования мастерской и определенного уровня мастерства. В принципе, представленные методы могут быть скорректированы в соответствии с наличием этих ресурсов. Предлагаются альтернативы для некоторых из более технических шагов.
Protocol
Representative Results
Discussion
В этой статье представлен метод добавления автоматизированного вращения офисного кресла под управлением наблюдателя или экспериментатора, а также сопутствующий метод интеграции этого движения в виртуальный опыт. Критические шаги включают механическое крепление двигателя к креслу, …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Эта работа была поддержана грантами Австралийского исследовательского совета DP160104211, DP190103474 и DP190103103.
Materials
| 48 V DC power supply (motor) | Meanwell | RSP-320-48 | https://www.meanwellaustralia.com.au/products/rsp-320 |
| 5 V DC power supply (arduino) | Jaycar | MP3295 | https://www.jaycar.com.au/15w-5v-3a-enclosed-power-supply/p/MP3295?pos=5&queryId=dda344422ab16c6 7f558551ac0acbd40 |
| Ardity plugin for Unity | Open Source | https://ardity.dwilches.com/ | |
| Arduino MEGA 2560 | Jaycar | XC4420 | https://www.jaycar.com.au/duinotech-mega-2560-r3-board-for-arduino/p/XC4420?pos=2&queryId=901771805f4bf6e0 ec31d41601d14dc3 |
| Arduino software | Arduino | https://www.arduino.cc/en/software | |
| Belt | Motion Dynamics | RFTB10010 | Choose a size that suits the application. We used 60 tooth. https://www.motiondynamics.com.au/polyurethane-timing-belts-16mm-t-10/ |
| Bracket bolts (holding motor) | The Fastner Factory | 161260 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-35mm-100pc |
| Bracket bolts (not holding motor) | The Fastner Factory | 161258 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-25mm-100pc |
| Clamp Angle Iron | Austral Wright Metals | 50004813 | x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Clamp bolts | The Fastner Factory | 161265 | x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-70mm-100pc |
| Clamp leaves (stainless flat bar) | Austral Wright Metals | 50004687 | x 8. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Cover (acrylic) | Bunnings Warehouse | 1010489 | https://www.bunnings.com.au/suntuf-900-x-600-x-5mm-grey-acrylic-sheet_p1010489 |
| Cover bolts/nuts | Bunnings Warehouse | 247292 | x 4. https://www.bunnings.com.au/pinnacle-m3-x-16mm-stainless-steel-hex-head-bolts-and-nuts-12-pack_p0247292 |
| Cover brackets | Bunnings Warehouse | 44061 | x 4. https://www.bunnings.com.au/zenith-20mm-zinc-plated-angle-bracket-16-pack_p0044061 |
| Emergency shut-off switch | Jaycar | SP0786 | https://www.jaycar.com.au/latching-emergency-stop-switch/p/SP0786?pos=1&queryId=5abe9876cf78dc3d d26b9067fbc36f74 |
| Hybrid stepper motor and driver | Vevor | ? | Closed Loop Stepper Motor Nema 34 12NM Servo Motor Hybrid Driver https://vevor.com.au/products/1712oz-in-nema34-closed-loop-stepper-motor-12nm-hybrid-servo-driver-hsc86-kit?variant=33058303311975 |
| IEC mains power connector | RS components | 811-7213 | https://au.rs-online.com/web/p/iec-connectors/8117213 |
| Instrument case (housing) | Jaycar | HB6381 | https://www.jaycar.com.au/abs-instrument-case-with-purge-valve-mpv2/p/HB6381 |
| LED | Jaycar | ZD0205 | https://www.jaycar.com.au/green-10mm-led-100mcd-round-diffused/p/ZD0205?pos=11&queryId=e596cbd3d71e86 37ab9340cee51175e7&sort= relevance |
| Main pulley (chair) | Motion Dynamics | ALTP10020 | Choose a size that suits the application. More teeth = slower rotation. We used 36 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html |
| Motor attachment bars (Stainless flat bar) | Austral Wright Metals | 50004687 | x 4. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Mounting brackets (stainless flat bar) | Austral Wright Metals | 50004687 | x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/ |
| Nuts | The Fastner Factory | 161989 | x 12. https://www.thefastenerfactory.com.au/stainless-steel-hex-nylon-insert-lock-nut-m6-100pc |
| On/off switch | Jaycar | SK0982 | https://www.jaycar.com.au/dpdt-illuminated-rocker-large-red/p/SK0982?pos=4&queryId=88e0c5abfa682b74 fa631c6d513abc73&sort=relevance |
| Potentiometer | Jaycar | RP8610 | https://www.jaycar.com.au/10k-ohm-logarithmic-a-single-gang-9mm-potentiometer/p/RP8610?pos=4&queryId=0d1510281ba100d 174b8e3d7f806a020 |
| Pulley screws | The Fastner Factory | 155856 | x 5. https://www.thefastenerfactory.com.au/stainless-steel-hex-socket-head-cap-screw-m4-x-25mm-100pc |
| resistor 150 Ohm | Jaycar | RR2554 | https://www.jaycar.com.au/150-ohm-1-watt-carbon-film-resistors-pack-of-2/p/RR2554?pos=19&queryId=48c6317c73fd361 a42c835398d282c4a&sort= relevance |
| Small pulley (motor) | Motion Dynamics | ALTP10020 | Choose a size that suits the application. More teeth = faster rotation. We used 24 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html |
| Small toggle switch | Jaycar | ST0555 | https://www.jaycar.com.au/sealed-mini-toggle-switch/p/ST0555?pos=14&queryId=066b989a151d83 31885c6cec92fba517&sort= relevance |
| Steam software | Valve Corporation | https://store.steampowered.com/ | |
| SteamVR plugin for Steam | Valve Corporation | https://store.steampowered.com/app/250820/SteamVR/ | |
| Unity software | Unity Technologies | https://unity3d.com/get-unity/download | |
| VR system | Scorptec | 99HANW007-00 | HTC Vive Pro with controllers and base stations. https://www.scorptec.com.au/product/gaming-peripherals/vr/72064-99hanw007-00?gclid=Cj0KCQiA5OuNBhCRARIsA CgaiqX8NjXZ9F6ilIpVmYEhhanm GA67xLzllk5EmjuG0gnhu4xmiE _RwSgaAhn8EALw_wcB |
References
- Campos, J., Bülthoff, H., Murray, M. M., Wallace, M. T. Multimodal integration during self-motion in virtual reality. The Neural Bases of Multisensory. , (2012).
- Radianti, J., Majchrzak, T. A., Fromm, J., Wohlgenannt, I. A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education. 147, 103778 (2020).
- Madshaven, J. M. Investigating the user experience of virtual reality rehabilitation solution for biomechatronics laboratory and home environment. Frontiers in Virtual Reality. 2, 645042 (2021).
- Fan, Z. Design of physical training motion simulation system based on virtual reality technology. 2021 The 13th International Conference on Computer Modeling and Simulation. Association for Computing Machinery. , 81-86 (2021).
- Roettl, J., Terlutter, R. The same video game in 2D, 3D or virtual reality – How does technology impact game evaluation and brand placements. PLoS One. 13 (7), 0200724 (2018).
- Riecke, B. E., Sigurdarson, S., Milne, A. P. Moving through virtual reality without moving. Cognitive Processing. 13, 293-297 (2012).
- Fauville, G., Queiroz, A. C. M., Woolsey, E. S., Kelly, J. W., Bailenson, J. N. The effect of water immersion on vection in virtual reality. Scientific Reports. 11 (1), 1022 (2021).
- Bernhard, E. R., Jörg, S. -. P., Marios, N. A., Markus Von Der, H., Heinrich, H. B. Cognitive factors can influence self-motion perception (vection) in virtual reality. ACM Transactions on Applied Perception. 3 (3), 194-216 (2006).
- Gibson, J. J. . The perception of the visual world. , (1950).
- Angelaki, D. E., Gu, Y., Deangelis, G. C. Visual and vestibular cue integration for heading perception in extrastriate visual cortex. Journal of Physiology. 589, 825-833 (2011).
- Badcock, D., Palmisano, S., May, J. G., Hale, K. S., Stanney, K. M. Vision and virtual environments. Handbook of Virtual Environments: Design, Implementation, and Applications. , 39-85 (2014).
- Kaliuzhna, M., Prsa, M., Gale, S., Lee, S. J., Blanke, O. Learning to integrate contradictory multisensory self-motion cue pairings. Journal of Vision. 15 (1), (2015).
- Wilkie, R. M., Wann, J. P. The role of visual and nonvisual information in the control of locomotion. Journal of Experimental Psychology: Human Perception and Performance. 31 (5), 901-911 (2005).
- Sinha, N., et al. Perception of self motion during and after passive rotation of the body around an earth-vertical axis. Progress in Brain Research. 171, 277-281 (2008).
- Tremblay, L., et al. Biases in the perception of self-motion during whole-body acceleration and deceleration. Frontiers in Integrative Neuroscience. 7, 90 (2013).
- Nooij, S. A. E., Bockisch, C. J., Bülthoff, H. H., Straumann, D. Beyond sensory conflict: The role of beliefs and perception in motion sickness. PLoS One. 16 (1), 0245295 (2021).
- Harris, L., et al. Simulating self-motion I: Cues for the perception of motion. Virtual Reality. 6 (2), 75-85 (2002).
- Carr, H. A., Hardy, M. C. Some factors in the perception of relative motion: A preliminary experiment. Psychological Review. 27, 24-37 (1920).
- Reinhardt-Rutland, A. H. Induced movement in the visual modality: An overview. Psychological Bulletin. 103, 57-71 (1988).
- Zivotofsky, A. Z., et al. Tracking of illusory target motion: Differences between gaze and head responses. Vision Research. 35 (21), 3029-3035 (1995).
- Farrell-Whelan, M., Wenderoth, P., Wiese, M. Studies of the angular function of a Duncker-type induced motion illusion. Perception. 41 (6), 733-746 (2012).
- Warren, P. A., Rushton, S. K. Optic flow processing for the assessment of object movement during ego movement. Current Biology. 19 (18), 1555-1560 (2009).
- Fajen, B. R., Matthis, J. S. Visual and non-visual contributions to the perception of object motion during self-motion. PLoS One. 8 (2), 55446 (2013).
- Duminduwardena, U. C., Cohen, M. Controlling the Schaire Internet Chair with a mobile device. Proceedings CIT: The Fourth International Conference on Computer and Information Technology. , 215-220 (2004).
- Ashiri, M., Lithgow, B., Mansouri, B., Moussavi, Z. Comparison between vestibular responses to a physical and virtual reality rotating chair. Proceedings of the 11th Augmented Human International Conference. , (2020).
- Koenig, E. A new multiaxis rotating chair for oculomotor and vestibular function testing in humans. Neuro-ophthalmology. 16 (3), 157-162 (1996).
- Mowrey, D., Clayson, D. Motion sickness, ginger, and psychophysics. The Lancet. 319 (8273), 655-657 (1982).
- Sanmugananthan, P., Nguyen, N., Murphy, B., Hossieni, A. Design and development of a rotating chair to measure the cervico-ocular reflex. Cureus. 13 (10), 19099 (2021).
- Gugenheimer, J., Wolf, D., Haas, G., Krebs, S., Rukzio, E. SwiVRChair: a motorized swivel chair to nudge users’ orientation for 360 degree storytelling in virtual reality. 1996-2000. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , (2016).
- . Roto VR Chair Available from: https://www.rotovr.com/ (2021)
- . Yaw Motion Simulator Available from: https://www.yawvr.com/ (2021)
- Warren, P. A., Rushton, S. K. Perception of object trajectory: Parsing retinal motion into self and object movement components. Journal of Vision. 7 (11), 1-21 (2007).
- Bonnen, K., Burge, J., Yates, J., Pillow, J., Cormack, L. K. Continuous psychophysics: Target-tracking to measure visual sensitivity. Journal of Visualized Experiments: JoVE. (3), (2015).
- . SimXperience Available from: https://www.simxperience.com/ (2021)
- Harris, L. R., Jenkin, M., Zikovitz, D. C. Visual and non-visual cues in the perception of linear self-motion. Experimental Brain Research. 135, 12-21 (2000).
- . DOF Reality Motion Simulators Available from: https://www.dofreality.com/ (2021)
- . Next Level Racing Available from: https://nextlevelracing.com/ (2022)
- . Motion Systems Available from: https://motionsystems.eu/ (2022)
- . Redbird Flight Simulations Available from: https://simulators.redbirdflight.com/ (2022)
- Teufel, H. J., et al. MPI motion simulator: development and analysis of a novel motion simulator. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit (AIAA 2007). , (2007).
