Summary
该实验方案演示了虚拟棱镜适应疗法（VPAT）在健康成人中的应用，以及VPAT与功能近红外光谱学之间的关联，以确定VPAT对皮质活化的影响。结果表明，VPAT是可行的，可以诱导类似的行为适应作为传统的棱镜适应疗法。
Abstract
行程后，空间忽视是常见的损伤。它与不良的功能和社会结果有关。因此，对空间忽视的成功管理，必须进行适当的干预。然而，各种干预措施的临床使用在实际临床实践中是有限的。棱镜适应疗法是治疗空间忽视的最循证康复方式之一。为了克服棱镜治疗可能出现的任何缺点，我们开发了一套使用沉浸式虚拟现实和深度感应相机的新系统，以创建虚拟棱镜适应疗法 （VPAT）。为了验证VPAT系统，我们设计了一个实验协议，通过VPAT系统调查皮质激活中的行为错误和变化。皮质活化是通过功能近红外光谱（fNIRS）测量的。实验包括四个阶段。这四个包括点击，指向或休息适用于右手健康的人。单击与指向用于调查与总电机任务相关的皮质区域，使用 VPAT 与无 VPAT 指向的指针用于调查与视空间感知相关的皮质区域。四个健康的参与者的初步结果显示，VPAT系统的指向误差类似于传统的棱镜适应疗法。可能需要对更多的参与者和fNIRS数据进行进一步分析，以及对中风患者的研究。
Introduction
空间忽视，影响感知反向空间视场的能力，是中风1，2后常见的损伤。虽然后空间忽视的康复是重要的，由于其与不良的功能和社会结果的联系，康复往往没有得到充分利用在实际临床实践3，4。
在建议对肝空间忽视的各种现有康复方法中，棱镜适应（PA）疗法已证明对亚急性或慢性中风患者5、6、7、8的康复和改善其忽视效果。然而，传统的PA没有得到充分利用，由于几个缺点9，10。其中包括1）由于棱镜镜头需要改变以调整到偏差程度而要求高的成本和时间要求;2） 需要设置额外的材料，以指向和掩盖手轨迹;3） PA 只能由可以坐并控制头部位置的患者使用。
最近一项复制虚拟现实（VR）环境中适应效果的研究表明，虚拟棱镜适应疗法（VPAT）可能有不同的效果，这取决于忽略11的亚型。还有人建议，PA的皮质活化可能因脑病变12而异。然而，在VR诱导的PA中看到的皮质激活模式知之甚少。
为了克服这些障碍并促进在临床环境中使用PA，我们开发了一个新的PA治疗系统，使用一种称为虚拟棱镜适应疗法（VPAT）的沉浸式VR技术，通过使用深度感应相机。我们设计了一个身临其境的VR系统，能够提供有关虚拟肢体位置的视觉反馈，以促进空间调整13。使用这种模仿传统PA效果的沉浸式VR技术，我们设计了一个实验，在健康的参与者中验证VPAT系统。
通过执行可视化实验协议，我们研究了新的VPAT系统是否能诱导行为适应，类似于传统的PA。此外，我们还要探讨VPAT系统是否能诱导与视点感知相关的皮质区域激活，或者在中风后恢复空间忽视。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
所有程序都经过首尔国立大学邦当医院机构审查委员会（IRB）的审查和批准。为了招募健康的参与者，医院周围都使用海报做广告。
1. 实验设置
- 参与者招聘
- 使用以下包含标准执行受试者筛选过程：1） 健康，年龄在 18 到 50 岁之间;2）右手，经爱丁堡手部库存评估14;3） 能够佩戴用于 VR 的头部安装显示屏并检测 VR 中的物体;4） 没有影响大脑的病史，如中风、帕金森病或创伤性脑损伤。
注：这些标准旨在筛选参与者参与实验的能力，并调节影响结果的因素。 - 招募参与者，并详细说明整个研究和预期的临床问题。在加入之前，必须征得同意。
- 使用以下包含标准执行受试者筛选过程：1） 健康，年龄在 18 到 50 岁之间;2）右手，经爱丁堡手部库存评估14;3） 能够佩戴用于 VR 的头部安装显示屏并检测 VR 中的物体;4） 没有影响大脑的病史，如中风、帕金森病或创伤性脑损伤。
- 实验系统
注：使用沉浸式VR系统和深度感应摄像机定制的VPAT系统。功能红外光谱（fNIRS）同时用于研究皮质活化。VPAT和fNIRS被链接在一起进行实验（图1）。- VPAT 系统
注：VPAT 系统包括用于 VR 实现的头安装显示屏、可识别手势以供用户直观输入的手部跟踪传感器以及硬件按钮。总体组成如图1所示。- 确保手跟踪传感器未在头部安装显示器前方倾斜。
- 检查 VR 系统的参考摄像头是否正确安装在前监视器上。
- 将按钮固定在操作附近的位置，以便参与者用于实验。
- 运行软件以确保没有错误。
注： 虚拟环境的实现是为了尽可能接近与实际环境匹配。任务通过虚拟环境中的手点和按钮输入通过按钮执行。
- fNIRS
- 使用商用 fNIRS 系统，包括个人计算机 （PC）、31 个光子（15 个光源和 16 个探测器）、纺织 EEG 盖和数据记录软件。
- VPAT 系统与 fNIRS 之间的链接 （图 1.
- 使用使用 TCP/IP 通信的远程键盘控制软件将 VPAT 系统中的启动事件与 fNIRS 系统中的录制时间同步。
- 使用计算机中的远程命令键开始 fNIRS 录制。
- VPAT 系统
2. 实验设置 （图 2）
- fNIRS 测量设置
- 将参与者放在椅子上，背部以直姿势，距离桌子约15厘米。确认伸手时，参与者的手没有撞到桌子。
- 对于 fNIRS 上限设置，根据参与者的头部周长选择上限大小。放置顶点（Cz），使顶点 （Cz） 位于内侧和鼻咽之间的中点和左前视区域和右侧前视区域之间的中点。在屏幕上显示蒙太奇，并将 15 个源和 24 个探测器连接到蒙太奇。如有必要，提高光源的增益，在头发制备后使用导电凝胶并插入光大。让学员戴上固定盖。
注：该研究使用了三种不同尺寸的纺织脑电图帽，周长为54、56和58厘米。 - 对于软件设置（校准等），运行 fNIRS 系统软件并加载忽略蒙太奇。
- 让蒙太奇显示在屏幕上，并根据蒙太奇设置15个源和24个探测器（图3）。
- 按下校准按钮。如果屏幕上显示"丢失"，请重复头发准备，然后重新校准。
- VPAT 系统设置
- 连接 HMD、参考摄像机和跳跃运动摄像机，然后按下连接计算机的按钮以设置 VPAT 系统。
- 将虚拟现实头戴式显示器 （VR HMD） 安装在学员的头上，用于 fNIRS。确保避免盖移动。
- 运行 VPAT 软件。输入参与者的信息（姓名缩写、年龄、手感），然后按"开始"按钮。
- 确认显示屏中虚拟手的可视化效果。继续两步校准（即屏幕校准和目标距离校准）。
- 指示参与者在中心观看红色十字标记 （+），然后按"r"键校准屏幕。
注：屏幕校准通过重新输入坐标系将虚拟空间置于用户的视觉范围前面。 - 指示学员用右手指向目标（即球），然后按"O"键校准手部位置。
注：在我们的研究中，参与者必须瞄准的对象是粉红色棍子上的一个白色球，球从视图顶部下降。目标距离校准将目标置于用户触手可及的范围内。这用于在实验期间正确定位目标。 - 校准后，按"w"键开始实验。
- VPAT 和 fNIRS 链接设置
- 使用事件同步软件输入用于 fNIRS 分析的触发器，并将 VPAT 连接到 fNIRS。
- 对于 VPAT 和 fNIRS 之间的时间同步，将具有两个系统的计算机连接到同一网络，然后通过自生成密钥传输程序进行同步。
- 通过两台计算机的 IP 和端口输入连接后，通过 VPAT 程序中的"w"键启动实验会话。事件同步软件自动执行，执行过程中的触发器会自动传输到 fNIRS 并保存。
- 实验后，获取软件自动终止和VPAT数据。然后停止 VPAT 和 fNIRS 系统软件。
注：在 VPAT 实验期间，参与者必须指针指向原始位置。
3. 验证VPAT系统的实验
- 块设计实验与fNIRS记录 （图 4）
- 在步骤 2 中完成设置过程后，确认学员准备好开始实验。
- 在没有棱镜模式的情况下启动 VPAT 系统，并指示学员立即指向 VR 系统中的目标，以便熟悉该过程。
- 每个阶段由用于指向、单击或静止的块组成 （图 4）。再次指示学员单击按钮或用右手食指尽快指向 VR 系统中的目标。
- 单击启动键，通过 fNIRS 录制同时使用四个阶段开始实验。
注：在指点任务期间，必须在固定时间内触摸白球。- 当出现相应的图标时，指示参与者点点、单击或休息。
注： 在任务期间，指向和单击由位于白色球和计时器栏右侧的图标指示。执行该任务的时间由计时器栏指示，如图2所示。 - 告诉学员触摸 3 秒内左侧或右侧出现的目标。对于单击块，指示参与者按按钮。
注：包含白球的目标集位于距离参与者中心 -10° 或 10° 的距离处，通过校准获得。目标集随机出现在右侧或左侧。根据实验设计，目标出现3s，然后消失，然后再生到一个新的位置。 - 确保在切换相位时，参与者执行方式相同。
注： 在指向任务中，虚拟棱镜自适应模式显示 VR 空间中假想手的左侧相对于参与者头部的偏差为 10° 或 20°。零度表示虚拟手的位置与实际手重合。
注：实验（图4）共包括四个阶段，每个阶段包括指向和单击或交替休息（第 1 阶段和第 4 阶段是指向和单击，第 2 阶段和第 3 阶段是指向和静止）。
- 当出现相应的图标时，指示参与者点点、单击或休息。
4. 数据分析
- 指向错误分析
注：数据从实验者按下启动按钮"w"的那一刻起就存储了。通过 VPAT 软件，数据自动以大约 60 Hz 的速度存储。相位名称、已用时间和虚拟食指位置会随时间而存储。指向误差是目标与食指之间的角度值，以参与者的头部位置为中心。- 按阶段（VPAT 前、VPAT 10°、VPAT 20°、VPAT 后 VPAT）对指向任务数据进行分类。
- 对每个阶段（第 1 阶段和第 4 阶段）的数据中指向任务和单击任务的数据进行分类。
- 根据每个阶段和每种类型的任务，按 30 s 的分阶段对数据进行分类。
- 从食指位置数据中提取 10 个试验误差（指向误差）值的中值，以便进行中值指向误差分析。
- 使用方差检验 （ANOVA） 的重复度量分析来分析每个阶段之间的差异。
注：在使用跳跃运动传感器进行手部跟踪时，异常值是由于遮挡或错误检测手部姿势造成的。除假手位置数据外，利用中值查找子阶段中的代表性指向误差值。
- fNIRS 数据处理
- 启动fNIRS分析软件并加载原始数据文件和探测信息。
- 通过编辑事件记录来验证实验期间的每个条件，执行标记设置过程。
- 通过删除实验性不相关的时间间隔，删除工件（如步骤和尖峰），并应用频率滤波器来排除实验性不相关的频段，从而执行数据预处理。
注：所有数据集均使用 0.01 Hz 高通滤波器和 0.2 Hz 低通滤波器进行过滤，以去除仪器或生理噪声贡献。 - 通过输入峰值照明波长（即 760 和 850 nm）的值来指定波长。在通道源和探测器之间使用 3 厘米的物理距离。
- 选择基线字段，该字段是指与基线相对应的时间段，其中参与者通常安静地休息。
注： 我们选择基线字段作为数据集的全职过程，这是默认设置。 - 计算血液动力学状态的时间序列，以完成筛选数据的预处理。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
使用4名健康参与者（1男3女）的数据作为代表性结果。点向误差如图5A所示，每个指向任务的子阶段中中位数为10个试验的平均值，持续30小时。 每个阶段第一块中值指向误差的平均值为 0.45 ± 0.92（VPAT 前）、4.69 ± 3.08 （VPAT 10°）、5.43 ± 2.22 （VPAT 20°） 和 -5.17 ± 1.60（VPAT 后）。通过重复度量方差分析，指向误差变化的趋势具有统计显著性（p = 0.001）。图5B给出了每个主题的指向误差，说明了在VPAT阶段和后棱镜适应（负点误差）期间的适应。
图1：带VPAT和fNIRS连杆系统的实验设置。VPAT = 虚拟棱镜适应疗法;fNIRS = 功能近红外光谱。这个数字以前由Kim等人15号公布，请点击这里查看这个数字的较大版本。
图2：使用VPAT和fNIRS系统进行实验的受试者。VPAT = 虚拟棱镜适应疗法;fNIRS = 功能近红外光谱。请点击此处查看此图的较大版本。
图3：蒙太奇包含54个通道，每隔3厘米排列15个光源（红圈）和24个探测器（蓝色圆圈）。最近源和探测器之间的空间构成一个通道，该通道表示为带有数字的黄色圆圈。请点击此处查看此图的较大版本。
图4：实验设计。VPAT = 虚拟棱镜适应疗法;Pt = 指向;Cl = 单击;重新休息。请点击此处查看此图的较大版本。
图 5：指出每个块中的错误。（A） 每个块中主体的中值指向误差的平均值图.这个数字以前由Kim等人15 （B） 按每个主题在每个块中中位数的指向误差发布。逆时针方向（即从目标左侧）是正值。请点击此处查看此图的较大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本研究在VR环境中采用翻译的手部运动，实施棱镜适应疗法。它调查了所实施的偏差是否会导致角度过冲和行为适应，如在传统的棱镜适应疗法中。
在中值点误差结果（图5）和第一个指向误差结果中，当相位切换时，指针误差显著变化。虽然消除了一些手识别错误，但可能仍然存在错误检测。使用中值消除系统误差（如错误跟踪）表明平均指向误差结果低于预期。后棱镜适应在每个科目中不断显示（图5B）。这些结果表明，与传统的棱镜适应疗法的行为适应相似。
实验中出现了一些问题。在指点任务中频繁发生对手的误测。在某些情况下，即使指针在指向过程中达到目标，由于跳跃运动识别错误，虚拟手也没有被跟踪。此外，由于参与者在单击任务中佩戴 HMD，因此他们很难找到按钮，实验者必须提供持续协助。HMD 的重量及其长期应用也可能在与 fNIRS 光大接触的区域引起疼痛。因此，有时 HMD 被解除或参与者自己持有 HMD。
如果我们克服系统的缺点，通过更多的数据分析（包括fNIRS数据）来巩固实验结果，它有可能用于治疗视空间忽视。此外，游戏友好的内容可以应用于呈现身临其境和有趣的治疗方式。尽管如此，还需要进一步研究使用更先进的VPAT系统，证明在视视空间忽视的中风患者中具有临床疗效。
以前的几项研究都报道了使用沉浸式VR或头戴式VR集16引起的运动病。据报道，如果在座位17中实施VR，运动病就很少发生。运动不匹配也会导致运动病，但可以通过在虚拟环境中独立配置背景来减少运动病。在此系统中，只有手偏差角引起运动不匹配，对运动病整体影响较小。
这个实验的参与者都是正常成年人，所以没有一致的问题。然而，要用作中风患者的治疗，需要考虑上述问题，并需要考虑虚拟棱镜治疗方案，如在治疗期间休息或治疗时间长短。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
金元世、赵成民和南正·派克拥有专利，题为"使用虚拟模型创建视觉刺激的方法、系统和可读记录介质"，编号为10-1907181，与本作品相关。
Acknowledgments
这项研究得到了首尔国立大学邦当医院研究基金（14-2015-022）和韩国贸易产业和能源部（韩国交通部）、科学与信息通信技术部（MSIT，韩国）以及韩国厚生劳动省（MOHW，韩国）的支持。）根据AI-生物机器人-医学融合技术发展计划（20001650）。我们要感谢朴素斌、金努丽和张叶琳帮助准备和继续拍摄录像。
Materials
| Name | Company | Catalog Number | Comments |
| EASYCAP | Easycap | C-SAMS | Platform to accommodate fNIRS optodes |
| Leap Motion 3D Motion Controller | Ultrahaptics | FBA_LM-C01-US | Hand detection device attached HMD |
| Leap Motion VR Developer Mount for VR Headset | Ultrahaptics | VR-UAZ | |
| Matlab R2015a | Mathworks | Programming language running with NIRStar | |
| NIRScout | Medical Technology LLC | NSC-CORE | fNIRS system |
| nirsLAB v201605 | Medical Technology LLC | Software for analyzing data collected with NIRScout | |
| NIRStar 14.1 | Medical Technology LLC | NIRScout Acquisition Software | |
| Occulus Rift DK2 | Occulus | VR HMD | |
| PowerMate USB Multimedia Controller | Griffin Technology | NA16029 | Push Button in task |
| SuperLab 5.0 | Cedrus Corp. | Synchronize the stimulus presentations allied to NIRScout |
References
- Appelros, P., Karlsson, G. M., Seiger, A., Nydevik, I. Neglect and anosognosia after first-ever stroke: incidence and relationship to disability. Journal of Rehabilitation Medicine. 34 (5), 215-220 (2002).
- Buxbaum, L., et al. Hemispatial neglect subtypes, neuroanatomy, and disability. Neurology. 62 (5), 749-756 (2004).
- Jehkonen, M., et al. Visual neglect as a predictor of functional outcome one year after stroke. Acta Neurologica Scandinavica. 101 (3), 195-201 (2000).
- Jehkonen, M., Laihosalo, M., Kettunen, J. Impact of neglect on functional outcome after stroke–a review of methodological issues and recent research findings. Restorative Neurology and Neuroscience. 24 (4-6), 209-215 (2006).
- Mizuno, K., et al. Prism adaptation therapy enhances rehabilitation of stroke patients with unilateral spatial neglect: a randomized, controlled trial. Neurorehabilitation and Neural Repair. 25 (8), 711-720 (2011).
- Shiraishi, H., Yamakawa, Y., Itou, A., Muraki, T., Asada, T. Long-term effects of prism adaptation on chronic neglect after stroke. NeuroRehabilitation. 23 (2), 137-151 (2008).
- Yang, N. Y., Zhou, D., Chung, R. C., Li-Tsang, C. W., Fong, K. N. Rehabilitation interventions for unilateral neglect after stroke: a systematic review from 1997 through 2012. , (2013).
- Rossetti, Y., et al. Prism adaptation to a rightward optical deviation rehabilitates left hemispatial neglect. Nature. 395 (6698), 166-169 (1998).
- Barrett, A., Goedert, K. M., Basso, J. C. Prism adaptation for spatial neglect after stroke: translational practice gaps. Nature Reviews Neurology. 8 (10), 567-577 (2012).
- Maxton, C., Dineen, R., Padamsey, R., Munshi, S. Don't neglect 'neglect'-an update on post stroke neglect. International Journal of Clinical Practice. 67 (4), 369-378 (2013).
- Gammeri, R., Turri, F., Ricci, R., Ptak, R. Adaptation to virtual prisms and its relevance for neglect rehabilitation: a single-blind dose-response study with healthy participants. Neuropsychol Rehabilitation. , 1-14 (2018).
- Saj, A., Cojan, Y., Assal, F., Vuilleumier, P. Prism adaptation effect on neural activity and spatial neglect depend on brain lesion site. Cortex. 119, 301-311 (2019).
- Redding, G. M., Wallace, B.
- Caplan, B., Mendoza, J. E. Encyclopedia of Clinical Neuropsychology. , Springer. 928 (2011).
- Kim, W. S., Paik, N. J., Cho, S. 2017 International Conference on Virtual Rehabilitation (ICVR). , IEEE. 1-2 (2017).
- Munafo, J., Diedrick, M., Stoffregen, T. A. The virtual reality head-mounted display Oculus Rift induces motion sickness and is sexist in its effects. Experimental Brain Research. 235 (3), 889-901 (2017).
- Merhi, O. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. , SAGE Publications Sage CA. Los Angeles, CA. 2618-2622 (2018).
- Duh, H. B. L., Parker, D. E., Furness, T. A. Proceedings of 9th International Conference on Human-Computer Interaction. , Citeseer. New Orleans, LA, USA. 5-10 (2018).
- Prothero, J. D., Draper, M. H., Parker, D., Wells, M. The use of an independent visual background to reduce simulator side-effects. Aviation, Space, and Environmental Medicine. 70, 3 Pt 1 277-283 (1999).
