Summary
本文介绍了一种利用网络化计算机实验室进行多用户决策和导航实验的方法。
Abstract
研究多参与者之间的相互作用对不同学科的研究者来说是一个挑战, 包括决策科学和空间认知。通过局域网和专用软件平台, 实验者可以有效地监控参与者的行为, 同时沉浸在桌面虚拟环境中, 并数字化收集的数据。这些功能允许在空间认知和导航研究中进行实验设计, 这在现实世界中很难 (如果不是不可能的话) 进行。可能的实验性变化包括在疏散时的压力, 合作和竞争性搜索任务, 以及其他可能影响紧急人群行为的语境因素。然而, 这样一个实验室需要维护和严格的协议, 数据收集在一个受控的设置。虽然实验室研究与人类参与者的外部有效性有时受到质疑, 但最近的一些论文表明, 真实和虚拟环境之间的对应关系, 可能足以研究社会行为, 从轨迹, 犹豫和空间决定。在本文中, 我们描述了一个在一个网络桌面虚拟现实设置 (i., 决策科学实验室或 DeSciL) 上进行决策和导航实验的方法, 多达36名参与者。该实验协议可以由其他研究人员进行修改和应用, 以建立一个网络化的桌面虚拟现实实验室。
Introduction
空间认知与导航研究通常研究空间决策 (例如, 在交叉路口向左或向右拐) 和真实和虚拟环境中个体的心理表征1,2。虚拟现实的优点包括防止道德和安全问题 (例如, 在危险的疏散期间3), 对空间数据的自动测量和分析4, 以及平衡的内部和外部有效性5,6,7。例如, 韦斯伯格和同事对空间知识获取的个体差异进行了以往的研究, 证明虚拟现实中的空间任务可以为空间能力提供客观的行为测度8。本研究还建议 VR 中的导航行为近似于现实世界的导航, 因为虚拟环境是在 Schinazi 和同事9所使用的大学校园之后建模的 (也可以参见红土和同事的研究10). VR 也被应用到心理治疗11, 临床评估12, 消费者行为13和手术14,15。然而, 大多数 VR 系统缺乏本体和音频反馈, 可能改善存在和浸入16,17,18,19, 需要训练与控制接口20 ,21,22, 缺乏社会线索。事实上, 现实世界中的人们经常在23组中移动, 避免或跟随其他人3,24, 根据社会背景25,26做出决定。
同时, 对人群行为的研究往往集中在计算机上模拟或在现实世界中观察到的人群 (如车道形成、瓶颈拥塞) 的紧急特征。例如, Helbing 和同事们使用了真实世界的观测和计算机模拟的结合, 以建议通过将流入和流出与物理屏障分开, 并将障碍物置于中心27。Moussaïd 和同事们使用一种基于启发式的模型来研究在28人群灾难中高密度的情况。这种方法建议改善群众活动的环境设置, 以避免人群灾害。在现有开源框架的帮助下, 这种模拟的实施可能相对容易。SteerSuite 是一个开源框架, 允许用户通过提供方便、基准和测试29的工具轻松地模拟转向算法和人群行为。这个框架可以提供一个代理的导航原理的核心, 这是成功的人群模拟的关键。此外, 辛格和同事展示了一个单一的平台, 结合了各种转向技术30。虽然研究人员可以使用这种模拟来提出设计干预, 但在受控环境中很少对人类参与者进行验证。对照实验在人群研究中是罕见的, 因为它们很难组织, 对参与者来说是危险的。
VR 已被用来调查社会行为使用简单和复杂的虚拟环境与一个或多个计算机模拟代理。在对预兆和同事31,32的研究中, 参与者被要求从自上而下的角度从一个简单的虚拟环境中疏散几个代理, 发现退出选择受到静态标志和动机的影响。Kinateder 和同事们从一个人的角度向参与者展示了一个更加复杂的环境, 他们发现参与者在逃离虚拟隧道火灾25的过程中更有可能跟随一个计算机模拟代理。在一个复杂的虚拟环境中, 有多个代理, 德鲁德和同事发现, 参加者在疏散时倾向于协助倒下的特工, 当他们发现26人群时。总的来说, 这些发现表明 VR 可以是一种有效的方式来诱发社会行为, 甚至与计算机模拟的代理人。然而, 只有当有一个现实的社会信号 (如, 当参与者知道其他化身是由人控制的3) 时, 某些人群行为才会被观察到。为了解决这一缺点, 本议定书描述了一种在网络虚拟现实设置中进行多用户控制实验的方法。Moussaid 和同事最近进行的一项研究中使用了这种方法, 以调查36名网络参与者3的疏散行为。
对网络虚拟现实的研究重点放在与导航策略无关的主题33、34和/或依赖于现有的在线游戏平台, 如第二人生。例如, Molka-丹尼尔森和 Chabada 利用第二生命35的现有用户中招募的参与者, 调查撤离选择和建筑空间知识方面的疏散行为。虽然作者提供了一些描述性的结果 (例如, 轨迹的可视化), 这项研究在参与者的招募, 实验控制, 和泛化以外的具体情况下有困难。最近, Normoyle 和同事发现, 在实验室中, 第二生命和参与者的现有用户在疏散性能和退出选择方面可比, 在自我报告的存在和对控制的挫折方面不同。接口36。这两项研究的结果突出了在线和实验室实验提供的一些挑战和机会。在线学习可以从一个更大和有积极性的潜在参与者的人群中吸取。然而, 实验室研究允许更多的实验性控制的物理环境和潜在的分心。此外, 在线研究可能会对数据匿名和保密性造成一些伦理上的关注。
作为一个网络化的桌面 VR 实验室, 苏黎世的决策科学实验室 (DeSciL) 主要用于研究在受控环境中的经济决策和战略互动。DeSciL 的技术基础设施包括硬件、实验室自动化软件和支持多用户桌面 VR 设置的软件。硬件包括具有 Microsoft Windows 10 企业操作系统的高性能台式计算机、控制接口 (例如, 鼠标和键盘、游戏杆)、耳机和眼睛跟踪器 (材料表)。所有客户端计算机都用一个千兆字节每秒的以太网连接到大学网络和相同的网络文件共享。当有36个客户端连接时, 没有可见的延迟或滞后。每秒帧数始终在100以上。实验还通过基于 Microsoft PowerShell (即PowerShell 所需的状态配置和 PowerShell 远程处理) 的实验室自动化软件进行管理和控制。该协议的所有相关步骤都是预先编写的, PowerShell 脚本称为 cmdlet (例如, 启动计算机, 停止计算机)。在实验过程中, 这些脚本可以在所有客户端计算机上同时和远程执行。这类实验室自动化确保了客户端计算机的相同状态, 减少了科学测试过程中的潜在错误和复杂性, 并防止研究人员不得不执行重复的手动任务。对于导航实验, 我们使用统一游戏引擎 (< https://unity3d.com/>), 以支持为多用户, 交互式桌面 VR 的2D 和3D 环境的发展。36台客户端计算机通过权威服务器体系结构连接到服务器。每次实验开始时, 每个客户端都会向服务器发送一个实例化请求, 服务器通过在所有连接的计算机上为该用户实例化一个头像来响应。每个用户的头像有一个50度视野的相机。在整个实验过程中, 客户端向服务器发送用户输入, 服务器更新所有客户端的移动。
在物理实验室中, 每台计算机都包含在三个半独立房间 (图 1) 中的一个单独的隔间中。实验室的整体大小是 170 m2 (150 m2为实验室和 20 m2为控制室)。每间客房均配备有录音和录像设备。实验由一个单独的相邻房间 (i. e) 控制, 通过提供指示和启动实验程序。在这个控制室里, 实验者还可以观察物理和虚拟环境中的参与者。DeSciL 还与苏黎世大学的经济系合作, 为研究参与者设立了大学登记中心, 该培训中心是基于 h 根37实施的。
虽然类似的系统已经在文献38中描述, DeSciL 是第一个功能实验室, 适合多用户桌面 VR 实验的导航和人群行为, 我们的知识。在这里, 我们描述了在 DeSciL 进行实验的协议, 这是一个关于社会导航行为的研究的代表结果, 并讨论了这个系统的潜力和局限性。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
这里描述的所有方法都已被瑞士联邦研究伦理委员会批准, 作为提案的一部分, 克朗 2015-N-37。
1. 征聘参加计划的实验性会议的与会者。
- 使用参与者招聘系统, 在特定的限制条件下 (例如, 年龄、性别、教育背景) 对参与者进行抽样。
- 使用招聘系统提供的联系信息, 通过电子邮件将邀请发送给随机选定的参与者。
- 等待这些参与者通过在线系统注册。确保更多的参加者比要求 (e., 4 超额参加者为需要36人的会议) 登记。超额预订的参与者有助于确保在没有显示的情况下会话是可行的。
- 确保自动向注册参与者发送确认电子邮件。
2. 准备实验性会议。
- 准备实验室环境。
- 从招聘系统中打印参与者列表。
- 打开 DeSciL 控制室的服务器和灯, 根据所需的参与者数量组织测试室。
- 在网络驱动器上复制可执行的实验程序及其相应的配置文件。这个可执行程序部署一个基于统一游戏引擎的定制编写的软件框架, 通过局域网支持不同计算机之间的客户端与服务器之间的通信。在导航实验中, 该框架提供了一种鸟瞰观察服务器系统, 用于监视客户端在实验过程中的行为。
- 在 Windows 桌面上打开 PowerShell 集成脚本环境。在 PowerShell 控制台中, 指定一组计算机名称 (例如, $pool = "descil-w01"、"descil-w02") 来创建客户端池对象。接下来, 键入启动池 $pool以启动客户端计算机和注册池 $pool将服务器连接到客户端计算机。
- 在启动程序之前, 准备客户端上的计算机。类型调用-池 {装入 NetworkShare $path}以指示计算机输入正确的文件夹路径。
- 在服务器上 (i. e. GameServer) 和客户端 (i. e,调用池 {启动-GameClient}) 上执行准备好的函数。将服务器的 IP 地址指定为函数的参数。
- 在服务器监视器上等待指示连接成功的消息。
- 在每个隔间分发同意表格和钢笔。同意表格包含有关研究的信息 (例如,研究的目的, 试验的潜在风险和好处), 实验者的联系信息和法律免责声明。
- 洗牌座位卡的甲板上, 表明与会者的座位安排。
- 欢迎参加者。
- 让参与者在实验室外面等。5分钟前正式开始时间, 检查参与者的身份证明文件, 以确保他们符合注册参与者的名单。同时, 让参与者挑选一张标明座位号码的卡片。让参与者步行到相应的隔间, 等待实验开始。
- 等待几分钟的参与者阅读和签署同意表格。在进行实验之前收集这些表格。
3. 进行实验。
- 用麦克风向所有参与者广播实验指令。通知他们基本规则, 包括不与其他参与者交流, 也不允许使用个人电子设备。请参加者举手, 如果他们对实验有任何疑问。
- 通过向每个客户提交人口调查问卷 (例如, 性别和年龄) 开始实验。
- 部署培训场景, 教学员如何在虚拟环境中进行机动操作。如果参与者在使用控制接口时遇到问题 (例如, 鼠标和键盘), 请向他们的隔间走, 以帮助他们。通过请求所有客户端的截图 (i., 在 PowerShell 控制台上键入"获取-截图") 继续监视参与者的进度, 直到所有参与者都完成了培训课程。
- 训练结束后, 开始实验的测试阶段。从服务器计算机上的鸟眼界面观察参与者的行为。如果他们正在做一些反常的事情, 通过点击他们的头像, 向参与者发送警告消息。否则, 在实验过程中尽量不要干扰参与者。
- 确保每次试用前都有一个简短的等待期, 以便加载下一场景并允许参与者阅读说明。
4. 完成实验。
- 通过在 PowerShell 控制台中键入停止 GameClient和停止 GameServer , 关闭服务器和客户端程序。
- 让参与者保持坐姿, 直到他们的号码通过麦克风呼叫。
- 从服务器计算机上的项目文件夹中的文件 "Score.txt" 中提取参与者的最终分数, 并将其分数转换为货币付款。
- 每次拨打一个小隔间号码, 并在前台接待每位与会者。感谢与会者, 并给予他们相应的付款。
- 检查隔间并收集剩余的钢笔或表单。
- 将实验数据从服务器复制并保存到外部磁盘, 以便将来进行分析。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
对于每一次试验中的每个客户, DeSciL 中的实验数据通常包括轨迹、时间戳和性能度量 (例如, 参与者是否在某个交叉路口打开 "正确" 方向)。一项代表性的研究调查了在简单的 Y 形虚拟环境中, 在人类参与者 (虚拟化身) 的人群中, 标志复杂度对路线选择的影响。在这个实验中, 28 名参与者 (12 名妇女和16男子; 平均年龄 = 22.5) 被赋予相同的目标位置 (i. e., 门号), 并被要求在交叉路口使用地图选择相应的路线选项 (见图 2)。
地图复杂度变化了16多个试验, 假设是更复杂的地图的决策时间和准确性会更高。虽然我们预计决定的准确性是相对较高的整体, 参与者的轨迹可以用于未来的实验, 以确定的步行路径的代理人, 传达一个现实的社会信号 (i., 可信的运动)。实验总时间约为1小时, 包括欢迎参加者, 举办训练课程 (控制界面), 以及在 Y 形走廊进行测试。所获得的数据在表 1中作了总结。
图 3指示每个试用的最小和最大完成时间。这些描述性统计数据在审判期间提供了间接的拥塞测量。获得的数据还允许可视化虚拟人群产生的轨迹 (见图 4)。空间统计可以用来分析试验中的轨迹变化。例如, 研究人员可能会感兴趣的是, 参与者是如何紧密地相互跟踪的, 或者参与者是如何以特定的控制界面进行机动的。
图 1: DeSciL 实验室的照片.(a) 控制室包含从36台客户端计算机接收通信的服务器, 并监视其隔间中的参与者。这个房间可以从声音和视觉的角度与测试室隔离。通过麦克风和扬声器系统提供给参与者的通信。(b) 三间测试室内设有36个房间。(c) 每个隔间都包含台式计算机、显示器、鼠标和键盘接口、耳机和眼睛跟踪器。请单击此处查看此图的较大版本.
图 2: Y 形虚拟环境的视图.(a) 从服务器上, 研究人员可以观察参与者向十字路口移动。(b) 从客户的角度来看, 参与者可以在移动过程中从第一人称视角查看虚拟环境和其他化身。请单击此处查看此图的较大版本.
图 3:16 项实验性试验的代表性结果.最大和最小时间是最快和最慢的参与者在每次试用时达到目标所需的时间。请单击此处查看此图的较大版本.
图 4: 参与者从 (a) 试验1和 (b) 试验16的轨迹.x 和 y 轴代表了在人群中化身的位置。颜色条表示试用期间所经过的时间。请单击此处查看此图的较大版本.
| 试用编号 | MapType | 精确度 (%) | 平均时间/秒 |
| 1 | 简单 | 100 | 42.01 |
| 2 | 复杂 | 96。4 | 40.51 |
| 3 | 简单 | 100 | 39.15 |
| 4 | 复杂 | 100 | 38.66 |
| 5 | 复杂 | 100 | 38.52 |
| 6 | 复杂 | 100 | 38.87 |
| 7 | 简单 | 100 | 38.43 |
| 8 | 复杂 | 100 | 38.26 |
| 9 | 简单 | 100 | 37.43 |
| 10 | 简单 | 100 | 38.44 |
| 11 | 复杂 | 100 | 37.08 |
| 12 | 复杂 | 100 | 36。8 |
| 13 | 简单 | 100 | 37.67 |
| 14 | 复杂 | 100 | 36.52 |
| 15 | 简单 | 100 | 36.83 |
| 16 | 简单 | 100 | 37.88 |
表 1:16 项实验性试验的代表性结果.决定的准确性代表正确的选择的百分比 (i. e., 朝向正确的门) 在所有参加者。平均决定时间是到达目的地 (不论是否正确) 的平均时间。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
在本文中, 我们描述了一个多用户桌面虚拟现实实验室, 其中多达36个参与者可以交互和同时浏览各种虚拟环境。实验协议详细介绍了此类研究所需的步骤以及对多用户方案的独特性。这些方案的具体考虑包括出席人数、看似小的实验者错误的成本、渲染和网络能力 (服务器和客户端)、与控制界面的培训以及数据安全。预定参加者是必要的, 以确保在一个实验性会议的确切数目的参与者。如果参加者太少, 那么实验课的失败成本就会相对较高。同样, 当参与者的数据在检测到错误之前被污染, 或者由于软件或硬件故障而无法进行实验时, 实验错误可能导致失败的会话。例如, 如果通过网络分发过多的信息, 则可能需要重新启动整个系统。如果实验已经开始, 这是特别成问题的。此外, 虚拟导航实验的参与者需要使用控制接口的经验和/或训练, 因为这些控制比实际行走21的直观性低, 与控制的交互会干扰空间内存任务20。考虑到每个会话获得的大量数据, 负责的数据管理也变得尤为重要。
虽然 DeSciL 提供了许多机会, 但至少仍有三限制。首先, 当前系统设置为多达36个同时参加者。在更大的虚拟人群中进行的实验可能需要计算机控制的代理, 一些以前的会话的人类参与者的踪迹, 或者包括在线参与者的能力。其次, 未来的硬件升级(例如, 为了更好的显卡和更好的处理器) 将比传统的单用户系统昂贵得多。第三, 多用户桌面虚拟现实的研究还不能进行与实际行走更相似的控制界面。因此, 研究运动和参与者之间的物理互动是有限的。
尽管有这些限制, DeSciL 在现实世界的研究、单用户实验室研究和多用户在线研究方面提供了一些优势。软件自动化使研究人员能够根据他们的需要调整实验协议。与现实世界和在线研究相比, DeSciL 允许更多的实验控制。例如, DeSciL 中的实验可能会使用系统的环境变化, 并直接观察虚拟和物理世界中的参与者。与计算机控制代理的单用户桌面虚拟现实研究相比, 参与者可以实时交互, 虚拟人群的突发行为较少依赖实验者的成见。虚拟现实中的计算机控制代理通常依赖于脚本操作, 不能实时适应用户的移动。相比之下, 网络桌面虚拟现实提供了一个更生态的环境, 其中人类控制的化身影响 (并受到) 彼此的运动。此外, 这种方法还可以在人群研究 (e., 用于疏散方案39) 中, 将未来基于 agent 的模型的运动参数 (例如, 步行速度和犹豫) 告知.一般情况下, 多用户桌面虚拟现实研究允许更精确地测量空间行为和检测可能以前被忽略的模式。
最近, DeSciL 在一系列决策40,41和航海研究3,21成功地被使用了。例如, Moussaid 和同事使用了多用户桌面 VR 设置, 以研究压力对疏散3期间人群行为的影响。在这项研究中, "正确" 的出口因审判而异, 只有一部分参与者被告知正确的出口。结果表明, 受压力的参与者导致了更有效的疏散, 但这一发现可能是由于冲突的实施方式。此外, 参与者倾向于在压力下跟随其他化身, 这表明尽管缺乏直接的物理互动, 但参与者之间传达了社会信号。这些结果强调了多用户 vr 与计算机控制代理的单用户 vr 相比的优越性。未来的研究将包括比较在网上或实验室获得的多用户数据, 更复杂的环境变化, 以及增加诸如眼球追踪器或生理设备等外围设备。这些进步将允许收集不同类型的复杂行为数据42。例如, 低成本的眼睛跟踪器可以被纳入, 以监测参与者的注意力或发现在屏幕上的粗略领域的兴趣。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
该代表的研究由瑞士国家科学基金会资助, 作为赠款 "导向社会环境" (100014_162428) 的一部分。我们要感谢 m. Moussaid 有见地的讨论。我们还要感谢 c. 威廉、f. 泰勒、h. Abdelrahman、s Madjiheurem、a Ingold 和 Grossrieder 在软件开发期间的工作。
Materials
| Name | Company | Catalog Number | Comments |
| PC | Lenovo | IdeaCentre AIO 700 | 24’’ screen, 16 GB RAM, and SSDs. CPU: Intel core i7. GPU:NVidia GeForce GTX 950A |
| Keyboard | Lenovo | LXH-EKB-10YA | |
| Mouse | Lenovo | SM-8825 | |
| Eye tracker | Tobii Technology | Tobii EyeX | Data rate: 60 Hz. Tracking screen size: Up to 27″ |
| Communication audio system | Biamp Systems | Networked paging station - 1 | Ethernet:100BaseTX |
References
- Waller, D., Nadel, L. Handbook of Spatial Cognition. , American Psychological Association. Washington D.C. (2013).
- Denis, M. Space and Spatial Cognition: A Multidisciplinary Perspective. , Routledge. Abingdon, Oxon. (2017).
- Moussaïd, M., Kapadia, M., Thrash, T., Sumner, R. W., Gross, M., Helbing, D., Hölscher, C. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of the Royal Society Interface. 13 (122), 20160414 (2016).
- Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
- Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as a basic research tool in psychology. Behavior Research Methods, Instruments, & Computers. 31 (4), 557-564 (1999).
- Brooks, F. P. What's Real About Virtual Reality? Proceedings IEEE Virtual Reality. , Cat. No. 99CB36316 (1999).
- Moorthy, K., Munz, Y., Jiwanji, M., Bann, S., Chang, A., Darzi, A. Validity and reliability of a virtual reality upper gastrointestinal simulator and cross validation using structured assessment of individual performance with video playback. Surgical Endoscopy and Other Interventional Techniques. 18 (2), 328-333 (2004).
- Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in cognitive maps: Understanding individual differences in navigation. Journal of Experimental Psychology: Learning Memory and Cognition. 40 (3), 669-682 (2014).
- Schinazi, V. R., Nardi, D., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Hippocampal size predicts rapid learning of a cognitive map in humans. Hippocampus. 23 (6), 515-528 (2013).
- Ruddle, R. A., Payne, S. J., Jones, D. M. Navigating Large-Scale "Desk- Top" Virtual Buildings: Effects of orientation aids and familiarity. Presence. 7 (2), 179-192 (1998).
- Riva, G.
- Ruse, S. A., et al. Development of a Virtual Reality Assessment of Everyday Living Skills. Journal of Visualized Experiments. (86), 1-8 (2014).
- Ploydanai, K., van den Puttelaar, J., van Herpen, E., van Trijp, H. Using a Virtual Store As a Research Tool to Investigate Consumer In-store Behavior. Journal of Visualized Experiments. (125), 1-15 (2017).
- Satava, R. M. Virtual reality surgical simulator - The first steps. Surgical Endoscopy. 7 (3), 203-205 (1993).
- Stanney, K. M., Hale, K. S. Handbook of virtual environments: Design, implementation, and applications. , CRC Press. 811-834 (2014).
- Ryu, J., Kim, G. J. Using a vibro-tactile display for enhanced collision perception and presence. Proceedings of the ACM symposium on Virtual reality software and technology VRST 04. , 89 (2004).
- Louison, C., Ferlay, F., Mestre, D. R. Spatialized vibrotactile feedback contributes to goal-directed movements in cluttered virtual environments. 2017 IEEE Symposium on 3D User Interfaces (3DUI). , 99-102 (2017).
- Knierim, P., et al. Tactile Drones - Providing Immersive Tactile Feedback in Virtual Reality through Quadcopters. Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems - CHI EA '17. , 433-436 (2017).
- Serafin, S., Nordahl, R., De Götzen, A., Erkut, C., Geronazzo, M., Avanzini, F. Sonic interaction in virtual environments. 2015 IEEE 2nd VR Workshop on Sonic Interactions for Virtual Environments (SIVE). , 1-2 (2015).
- Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLoS One. 12 (9), (2017).
- Thrash, T., Kapadia, M., Moussaid, M., Wilhelm, C., Helbing, D., Sumner, R. W., Hölscher, C. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
- Ruddle, R. A., Volkova, E., Bülthoff, H. H. Learning to walk in virtual reality. ACM Transactions on Applied Perception. 10 (2), 1-17 (2013).
- Moussaïd, M., Perozo, N., Garnier, S., Helbing, D., Theraulaz, G. The walking behaviour of pedestrian social groups and its Impact on crowd dynamics. PLoS One. 5 (4), e10047 (2010).
- Bode, N. W. F., Franks, D. W., Wood, A. J., Piercy, J. J. B., Croft, D. P., Codling, E. A. Distinguishing Social from Nonsocial Navigation in Moving Animal Groups. The American Naturalist. 179 (5), 621-632 (2012).
- Kinateder, M., et al. Social influence on route choice in a virtual reality tunnel fire. Transportation Research Part F: Traffic Psychology and Behaviour. 26, 116-125 (2014).
- Drury, J., et al. Cooperation versus competition in a mass emergency evacuation: A new laboratory simulation and a new theoretical model. Behavior Research Methods. 41 (3), 957-970 (2009).
- Helbing, D., Buzna, L., Johansson, A., Werner, T. Self-Organized Pedestrian Crowd Dynamics: Experiments, Simulations, and Design Solutions. Transportation Science. 39 (1), 1-24 (2005).
- Moussaïd, M., Helbing, D., Theraulaz, G. How simple rules determine pedestrian behavior and crowd disasters. Proceedings of the National Academy of Sciences of the United States of America. 108 (17), 6884-6888 (2011).
- Singh, S., Kapadia, M., Faloutsos, P., Reinman, G. An open framework for developing, evaluating, and sharing steering algorithms. International Workshop on Motion in Games. , Springer. Berlin, Heidelberg. 158-169 (2009).
- Singh, S., Kapadia, M., Hewlett, B., Reinman, G., Faloutsos, P. A modular framework for adaptive agent-based steering. Symposium on Interactive 3D Graphics and Games. , ACM. (2011).
- Bode, N., Codling, E. Human exit route choice in virtual crowd evacuations. Animal Behaviour. 86, 347-358 (2013).
- Bode, N. W. F., Kemloh Wagoum, A. U., Codling, E. A. Human responses to multiple sources of directional information in virtual crowd evacuations. Journal of the Royal Society Interface. 11 (91), 20130904 (2014).
- Pandzic, I. S., Capin, T., Lee, E., Thalmann, N. M., Thalmann, D. A flexible architecture for virtual humans in networked collaborative virtual environments. Computer Graphics Forum. 16, Blackwell Publishers Ltd. (1997).
- Joslin, C., Pandzic, I. S., Thalmann, N. M. Trends in networked collaborative virtual environments. Computer Communications. 26 (5), 430-437 (2003).
- Molka-Danielsen, J., Chabada, M. Application of the 3D multi user virtual environment of Second Life to emergency evacuation simulation. System Sciences (HICSS), 2010 43rd Hawaii International Conference. , IEEE. 1-9 (2010).
- Normoyle, A., Drake, J., Safonova, A. Egress online: Towards leveraging massively, multiplayer environments for evacuation studies. , Tech Reports No MS-CIS-12-15 (2012).
- Bock, O., Baetge, I., Nicklisch, A. hroot: Hamburg registration and organization online tool. European Economic Review. 71, 117-120 (2014).
- Tanvir Ahmed, D., Shirmohammadi, S., Oliveira, J., Bonney, J. Supporting large-scale networked virtual environments. Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2007. IEEE Symposium. , 150-154 (2007).
- Cipresso, P., Bessi, A., Colombo, D., Pedroli, E., Riva, G. Computational psychometrics for modeling system dynamics during stressful disasters. Frontiers in Psychology. 8, 1-6 (2017).
- Bernold, E., Gsottbauer, E., Ackermann, K., Murphy, R. Social framing and cooperation: The roles and interaction of preferences and beliefs. , 1-26 (2015).
- Balietti, S., Goldstone, R. L., Helbing, D. Peer review and competition in the Art Exhibition Game. Proceedings of the National Academy of Sciences of the United States of America. 113 (30), 8414-8419 (2016).
- Gomez-Marin, A., Paton, J. J., Kampff, A. R., Costa, R. M., Mainen, Z. F. Big behavioral data: Psychology, ethology and the foundations of neuroscience. Nature Neuroscience. 17 (11), 1455-1462 (2014).
