将诊所带回家：支持自适应深部脑刺激的家庭多模态数据收集生态系统
Summary
该协议展示了家庭多模态数据收集平台的原型，该平台支持优化神经运动障碍患者的自适应深部脑刺激（aDBS）的研究。我们还介绍了将该平台部署到帕金森病患者家中一年多的主要发现。
Abstract
适应性脑深部刺激 （aDBS） 有望改善帕金森病 （PD） 等神经系统疾病的治疗。aDBS使用与症状相关的生物标志物实时调整刺激参数，以更精确地针对症状。为了实现这些动态调整，必须为每个患者确定 aDBS 算法的参数。这需要临床研究人员进行耗时的手动调整，因此很难为单个患者找到最佳配置或扩展到多个患者。此外，当患者在家时，在诊所内配置的 aDBS 算法的长期有效性仍然是一个悬而未决的问题。为了大规模实施这种疗法，需要一种在远程监测治疗结果的同时自动配置aDBS算法参数的方法。在本文中，我们分享了一个家庭数据收集平台的设计，以帮助该领域解决这两个问题。该平台由一个开源的集成硬件和软件生态系统组成，允许在家中收集神经、惯性和多摄像头视频数据。为了确保患者身份数据的隐私，该平台通过虚拟专用网络加密和传输数据。这些方法包括对数据流进行时间对齐和从视频记录中提取姿态估计。为了演示该系统的使用，我们将该平台部署到帕金森病患者的家中，并在 1.5 年的时间里收集了自我指导临床任务和自由行为期间的数据。记录亚治疗、治疗和超治疗刺激幅度的数据，以评估不同治疗条件下的运动症状严重程度。这些时间对齐的数据表明，该平台能够同步家庭多模态数据收集，以进行治疗评估。该系统架构可用于支持自动化 aDBS 研究、收集新数据集以及研究临床外 DBS 治疗对神经系统疾病患者的长期影响。
Introduction
脑深部刺激 （DBS） 通过将电流直接输送到大脑的特定区域来治疗帕金森病 （PD） 等神经系统疾病。据估计，全世界有 850 万例帕金森病病例，当药物不足以控制症状时，DBS 已被证明是一种关键疗法 1,2。然而，DBS 的有效性可能会受到副作用的限制，这些副作用有时由通常以固定振幅、频率和脉冲宽度3 进行的刺激引起。这种开环实施对症状状态的波动没有反应，导致刺激设置与患者不断变化的需求不相适应。DBS进一步受到耗时的刺激参数调整过程的阻碍，目前由临床医生为每个患者手动执行。
自适应 DBS （aDBS） 是一种闭环方法，通过在检测到与症状相关的生物标志物时实时调整刺激参数，被证明是 DBS 的有效下一次迭代 3,4,5。研究表明，丘脑底核 （STN） 中的 β 振荡 （10-30 Hz） 在运动迟缓期间持续发生，运动迟缓是 PD 6,7 的特征。同样，已知皮层中的高伽马振荡 （50-120 Hz） 发生在运动障碍期间，这是一种过度和不自主的运动，在 PD8 中也很常见。最近的工作已经成功地在诊所外长时间施用 aDBS[5]，然而，当患者在家时，在诊所内配置的 aDBS 算法的长期有效性尚未确定。
需要远程系统来捕捉这些动态算法在抑制日常生活中遇到的症状时随时间变化的有效性。虽然 aDBS 的动态刺激方法有可能实现更精确的治疗并减少副作用3,9，但 aDBS 仍然给临床医生带来沉重的负担，需要手动识别每个患者的刺激参数。除了在传统DBS期间已经需要编程的大量参数外，aDBS算法还引入了许多新参数，这些参数也必须仔细调整。这种刺激和算法参数的组合产生了一个巨大的参数空间，其中可能组合的数量难以管理，从而禁止 aDBS 扩展到许多患者10。即使在研究环境中，配置和评估 aDBS 系统所需的额外时间也使得仅在临床中充分优化算法变得困难，并且需要远程更新参数。为了使 aDBS 成为一种可以扩展的治疗方法，必须自动化刺激和算法参数调整。此外，必须在重复试验中分析治疗结果，以将 aDBS 确定为临床外可行的长期治疗。需要一个平台来收集数据以远程评估治疗效果，并远程部署对 aDBS 算法参数的更新。
该协议的目标是为多模态家庭数据收集平台提供可重复使用的设计，以提高临床外的 aDBS 有效性，并使这种治疗能够扩展到更多的个体。据我们所知，这是第一个使用家用摄像机、可穿戴传感器、慢性神经信号记录和患者驱动的反馈来远程评估治疗结果的数据收集平台设计，以评估受控任务和自然行为期间的 aDBS 系统。
该平台是一个硬件和软件组件的生态系统，建立在先前开发的系统5 之上。在初始安装最少的硬件后，它可以完全通过远程访问进行维护，以允许在家中舒适地从人们那里收集多模式数据。一个关键组件是植入式神经刺激系统 （INS）11 ，它感知神经活动并向 STN 提供刺激，并记录胸部植入物的加速度。对于初始部署中使用的植入物，从植入 STN 的双侧导联和植入运动皮层的皮质电图电极记录神经活动。视频记录系统可帮助临床医生监控症状严重程度和治疗效果，其中包括图形用户界面 （GUI），可轻松取消正在进行的记录，以保护患者隐私。对视频进行处理以提取二维 （2D） 或三维 （3D） 位置的运动轨迹，并将智能手表佩戴在双手腕上以捕获角速度和加速度信息。重要的是，所有数据在传输到长期云存储之前都经过加密，并且只能通过虚拟专用网络 （VPN） 访问具有患者身份视频的计算机。该系统包括两种方法，用于对所有数据流进行事后时间对齐，数据用于远程监测患者的运动质量，并识别与症状相关的生物标志物，以改进aDBS算法。这项工作的视频部分展示了数据收集过程和从收集的视频中提取的运动轨迹动画。
许多设计考虑因素指导了协议的开发：
确保数据安全和患者隐私： 收集可识别的患者数据需要在传输和存储时格外小心，以便符合健康保险流通与责任法案 （HIPAA）12,13 遵守并尊重患者在自己家中的隐私。在这个项目中，这是通过设置自定义VPN来实现的，以确保系统计算机之间所有敏感流量的隐私。
刺激参数安全边界： 在尝试可能产生意外效果的 aDBS 算法时，确保患者保持安全至关重要。患者的 INS 必须由临床医生配置，使其具有刺激参数的安全边界，不允许过度刺激或刺激不足产生不安全的影响。使用INS系统11 在本研究中，此功能由临床医生程序员启用。
确保患者否决： 即使在安全参数范围内，症状和刺激反应的每日变化也可能导致患者不愉快的情况，即他们不喜欢被测算法并希望恢复正常的临床开环 DBS。所选的 INS 系统包括一个患者遥测模块 （PTM），允许患者手动更改其刺激组和刺激幅度（以 mA 为单位）。还有一个与INS连接的研究应用程序，用于在数据收集之前对INS进行远程配置14，这也使患者能够中止 aDBS 试验并控制他们的治疗。
捕捉复杂而自然的行为： 视频数据被整合到平台中，使临床医生能够远程监测治疗效果，并从姿势估计中提取运动轨迹以用于研究分析15.虽然可穿戴传感器的侵入性较小，但仅使用可穿戴系统很难捕获整个身体的整个动态运动范围。视频可以同时记录患者随时间推移的整个运动范围及其症状。
系统对患者的可用性： 收集家庭多模式数据需要在患者家中安装和使用多个设备，这可能会给患者带来负担。为了使系统易于使用，同时确保患者控制，在开始记录之前，必须手动打开植入或物理连接到患者的设备（在这种情况下，它包括 INS 系统和智能手表）。对于与患者分开的设备（在这种情况下，它包括从摄像机记录的数据），记录会自动开始和结束，而无需任何患者交互。在 GUI 设计过程中，我们小心翼翼地尽量减少按钮的数量，并避免使用较深的菜单树，以便简化交互。安装完所有设备后，研究协调员向患者展示了如何通过面向患者的 GUI（每个设备的一部分）与所有设备进行交互，例如如何终止任何设备上的记录以及如何输入他们的用药史和症状报告。
数据收集透明度：必须清楚地指示相机何时打开，以便人们知道他们何时被录制，并在需要片刻的隐私时可以暂停录制。为了实现这一点，使用摄像系统应用程序通过面向患者的 GUI 来控制视频录制。当应用程序启动时，GUI 会自动打开，并列出下一次计划录制的时间和日期。当录制正在进行时，会显示一条消息，说明录制计划何时结束。在 GUI 的中央，显示红灯的大图像。该图像显示，每当录制正在进行时，灯光都会亮起，而当录制关闭时，灯光会变为不亮的图像。
该协议详细说明了设计、构建和部署家庭数据收集平台的方法，用于对收集的数据进行完整性和稳健性的质量检查，以及用于未来研究的后处理数据的方法。
图 1：数据流。 每种模式的数据都是从患者的住所独立收集的，然后进行处理并聚合到单个远程存储端点中。每种模式的数据都会自动发送到远程存储终结点。在团队成员之一的帮助下，可以检索它，检查其有效性，跨模态进行时间调整，以及进行更多特定于模态的预处理。然后，编译后的数据集将上传到远程存储终结点，所有团队成员都可以安全地访问该终结点以进行继续分析。所有具有数据访问权限的机器，尤其是原始视频等敏感数据，都包含在 VPN 中，确保所有数据安全传输并始终加密存储数据。 请点击这里查看此图的较大版本.
Protocol
Representative Results
Discussion
我们分享了多模态数据收集平台的家庭原型设计，以支持神经调控研究的未来研究。该设计是开源和模块化的，因此可以更换任何硬件，并且可以更新或更改任何软件组件，而不会使整个平台崩溃。虽然收集和去标识化神经数据的方法特定于所选的 INS，但行为数据收集的其余方法和整体方法与使用哪种植入式设备无关。我们将该平台部署到帕金森病患者的家中，并在实验和自然时期收集数据。在…
Disclosures
The authors have nothing to disclose.
Acknowledgements
本材料基于美国国家科学基金会研究生研究奖学金计划 （DGE-2140004）、威尔神经枢纽和美国国立卫生研究院 （UH3NS100544） 支持的工作。本材料中表达的任何意见、发现、结论或建议均为作者的观点，并不一定反映美国国家科学基金会、威尔神经中心或美国国立卫生研究院的观点。我们感谢张天娇在平台设计和视频数据整合方面的专家咨询。我们特别感谢患者参与这项研究，并感谢他们对网络安全和平台设计的反馈和建议。
Materials
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. . Parkinson disease. , (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N. Mechanisms of deep brain stimulation. Journal of Neurophysiology. 115 (1), 19-38 (2016).
- Little, S., et al. Adaptive deep brain stimulation for Parkinson’s disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson’s disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson’s disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson’s disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson’s disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson’s disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson’s disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid – State Circuits Conference – (ISSCC). , 460-462 (2018).
- . Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , (2008).
- . Rights (OCR), O. for C. The Security Rule. HHS.gov. , (2009).
- Perrone, R., Gilron, R. . SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , (2021).
- Strandquist, G., et al. . In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. . Ubuntu 20.04 and TPM2 encrypted system disk – Running Systems. , (2021).
- Craig-Wood, N. . Rclone. , (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. i. n. &. #. 2. 3. 3. ;. s., et al. . CMU-Perceptual-Computing-Lab/openpose. , (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. . openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. . Rune Labs Stream API. , (2023).
- . ffmpeg development community. FFmpeg Formats Documentation. , (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson’s Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
