捕捉代表手在家里使用以自我为中心的视频在个人与上肢损伤
Summary
建议使用以自我为中心的相机捕捉手部损伤个体在日常生活中的自然手部功能。该协议的目标是确保录音代表个人在日常生活中通常使用的手。
Abstract
神经损伤后手部功能受损会对独立性和生活质量产生重大影响。大多数现有的上肢评估都是亲自进行的，这并不总是表明在社区中使用手。需要采用新的方法来捕捉日常生活中的手部功能，以衡量康复干预的真正影响。已建议将以Ego为中心的视频与计算机视觉相结合，用于自动分析，以评估家庭使用手部。但是，连续录音的持续时间有限。我们提出了一个协议，旨在确保获得的视频代表日常生活，同时尊重参与者的隐私。
通过研究人员和参与者之间的协作过程选择具有代表性的录制时间表，以确保视频捕捉自然任务和性能，同时对手部评估有用。向与会者演示设备和程序的使用情况。总共安排了两周的3小时录像。为了减少隐私问题，参与者可以完全控制开始和停止录制，并有机会在将视频返回给研究团队之前编辑视频。提供提醒，如有必要，还提供帮助电话和家访。
该方案对9名中风幸存者和14名颈椎损伤患者进行了测试。获得的录像包含各种活动，如准备膳食、洗碗和编织。平均获得3.11±0.98小时的视频。由于在某些情况下生病或意外事件，录制时间从 12-69 d 不等。从23名参与者中的22名成功获得数据，其中6名参与者在家庭录音期间需要调查人员的协助。该协议是有效的收集视频，包含宝贵的信息，手功能在家里后神经损伤。
Introduction
手部功能是决定上肢损伤1、2的临床人群的独立性和生活质量。掌握家庭手部损伤者的手部功能对于评估他们在康复期间和康复后开展日常生活活动的能力的进展至关重要。大多数临床手部功能评估是在临床或实验室环境中进行的，而不是在家里进行的。现有的临床手部功能评估，试图捕捉对国内ADL的影响是问卷，并依靠主观自我报告的评分5，6，7。目前尚无法进行客观评估，以评估康复对家庭手部功能的最终影响。
近年来，许多可穿戴技术已经开发和实施，以捕捉上肢功能在现实世界中的环境。可穿戴传感器（如加速度计和惯性测量单元 （IMUs） 通常用于测量日常生活中的上肢运动。然而，这些设备通常不能区分检测到的年代是否属于功能上肢运动8，9，定义为有目的的运动，旨在完成所需的任务。例如，一些可穿戴传感器对行走过程中上肢摆动的存在很敏感，而上肢不是功能运动。此外，虽然手腕磨损的加速度计可以捕捉上肢运动，但在真实环境中，它们无法捕捉到手部功能的细节。感应手套可以捕获有关手部操作的更详细的信息，但是对于手部功能和感觉已经受损的人来说，它们可能很麻烦。此外，亦有人提出可穿戴方法，透过磁力测量仪或手指磨损加速度计11、12、13捕捉手指运动，但这些运动的功能解释仍具挑战性。因此，虽然以前提出的可穿戴设备体小且使用方便，但不足以描述手部使用的细节和功能背景。
已建议可穿戴相机，以填补这些空白，并捕捉手功能的细节，在家里的ADL神经恢复应用15，16，17，18，19。使用计算机视觉对以自我为中心的视频进行自动分析，通过提供有关手本身和实际 ADL20中执行的任务的信息，具有相当大的潜力，可以量化上下文中的手功能。另一方面，根据电池、存储和舒适性考虑，连续录制的持续时间通常限制在大约 1 到 1.5 小时。在这里，在这些限制下，我们提出了一个以自我为中心的视频收集协议，旨在获得既能代表个人日常生活的数据，又能提供手功能评估的信息。
Protocol
Representative Results
Discussion
我们提出了一个协议，用于在家中使用可穿戴摄像头在上肢损伤（如 cSCI 和中风）中录制 ADL 视频。该协议是灵活的，可以以目标为导向，以捕获特定 ADL 中的手功能性能，或远程跟踪居住在家中的人的康复进度。以自我为中心的视力模式在远程监测社区居民的手部功能以及一旦人们出院后优化康复方面具有巨大潜力。尽管在扩展使用期间（例如超过 1 小时）的舒适性存在一些限制，但以自我为中…
Declarações
The authors have nothing to disclose.
Acknowledgements
使用此协议的研究由心脏和中风基金会（G-18-0020952）、克雷格·尼尔森基金会（542675）、加拿大自然科学和工程研究理事会（RGPIN-2014-05498）和安大略省研究、创新和科学部（ER16-12-013）资助。
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
Referências
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
