Захват репрезентативного использования рук в домашних условиях с использованием эгоцентрического видео у людей с нарушениями верхних конечностей
Summary
Предложен протокол для захвата естественной функции рук людей с нарушениями рук во время их повседневной жизни с помощью эгоцентрической камеры. Цель протокола состоит в том, чтобы гарантировать, что записи являются репрезентативными для типичного использования рук человека во время повседневной жизни дома.
Abstract
Нарушение функции рук после неврологических травм может оказать серьезное влияние на независимость и качество жизни. Большинство существующих оценок верхних конечностей проводятся лично, что не всегда свидетельствует об использовании рук в сообществе. Для измерения истинного воздействия реабилитационных вмешательств требуются новые подходы к захвату функции рук в повседневной жизни. Эгоцентрическое видео в сочетании с компьютерным зрением для автоматизированного анализа было предложено для оценки использования рук в домашних условиях. Однако существуют ограничения на продолжительность непрерывных записей. Мы представляем протокол, предназначенный для обеспечения того, чтобы полученные видео представляли повседневную жизнь, уважая при этом конфиденциальность участников.
Репрезентативный график записи выбирается в рамках совместного процесса между исследователями и участниками, чтобы гарантировать, что видео отражают естественные задачи и производительность, будучи полезными для оценки рук. Участникам демонстрируется использование оборудования и процедур. В общей сложности 3-час видеозаписей запланированы на две недели. Чтобы уменьшить проблемы с конфиденциальностью, участники имеют полный контроль над началом и остановкой записей, а также возможность редактировать видео, прежде чем возвращать их исследовательской группе. Предоставляются напоминания, а также звонки помощи и визиты на дом, если это необходимо.
Протокол был протестирован с 9 выжившими после инсульта и 14 людьми с травмой шейного отдела спинного мозга. Полученные видео содержали различные виды деятельности, такие как приготовление пищи, мытье посуды и вязание. В среднем было получено 3,11 ± 0,98 ч видео. Периоды регистрации варьировались от 12 до 69 d, из-за болезни или неожиданных событий в некоторых случаях. Данные были успешно получены от двадцати двух из 23 участников, причем 6 участникам потребовалась помощь исследователей в течение периода домашней записи. Протокол был эффективен для сбора видео, которые содержали ценную информацию о функции рук в домашних условиях после неврологических травм.
Introduction
Функция руки является определяющим фактором независимости и качества жизни в клинических популяциях с нарушениями верхних конечностей1,2. Захват функции руки людей с нарушениями рук в домашних условиях имеет жизненно важное значение для оценки прогресса их способности выполнять повседневную деятельность (ADL) во время и после реабилитации. Большинство клинических оценок функции руки проводятся в клинической или лабораторной среде, а не дома3,4. Существующие клинические оценки функции рук, которые стремятся охватить влияние на ADL в домашних условиях, являются опросниками и полагаются на субъективные самооценкиоценок 5,6,7. Объективная оценка для оценки конечного воздействия реабилитации на функцию рук в домашних условиях по-прежнему недоступна.
В последние годы было разработано и внедрено множество носимых технологий для захвата функции верхних конечностей в реальных условиях. Носимые датчики, такие как акселерометры и инерциальные единицы измерения (I IMUs), обычно используются для измерения движений верхних конечностей в повседневной жизни. Однако эти устройства обычно не различают, относятся ли обнаруженные эпохи к функциональным движениям верхних конечностей8,9,определяемым как целенаправленные движения, предназначенные для выполнения желаемой задачи. Например, некоторые носимые датчики чувствительны к наличию колебаний верхней конечности во время ходьбы, что не является функциональным движением верхней конечности. Кроме того, хотя акселерометры, носимые на запястье, фиксируют движения верхних конечностей, они не могут захватывать детали функции рук в реальных условиях. Сенсорные перчатки позволяют захватывать более подробную информацию о манипуляциях с руками10,но они могут быть громоздкими для людей, чья функция и ощущения рук уже нарушены. Носимые подходы также были предложены для захвата движений пальцев с помощью магнитометрии или носимых пальцами акселерометров11, 12,13,но функциональная интерпретация этих движений остается сложной14. Таким образом, хотя ранее предложенные носимые устройства малы и удобны в использовании, их недостаточно для описания деталей и функционального контекста ручного использования.
Носимые камеры были предложены для заполнения этих пробелов и захвата деталей функции рук во время ADL в домашних условиях для нейрореабилитационных приложений15,16,17,18,19. Автоматизированный анализ эгоцентрических видео с использованием компьютерного зрения имеет значительный потенциал для количественной оценки функции рук в контексте, предоставляя информацию как о самих руках, так и о задачах, выполняемых в реальных ADL20. С другой стороны, продолжительность непрерывных записей обычно ограничивается примерно от 1 до 1,5 ч из соображений батареи, хранения и комфорта. Здесь, в рамках этих ограничений, мы представляем эгоцентрический протокол сбора видео, предназначенный для получения данных, которые являются как репрезентативными для повседневной жизни человека, так и информативными для оценки функции руки.
Protocol
Representative Results
Discussion
Мы представили протокол для записи видео ADL в домашних условиях с использованием носимых камер у людей с нарушениями верхних конечностей, такими как cSCI и инсульт. Протокол является гибким и может быть целенаправленным для захвата выполнения функции руки в конкретных ADL или для удаленно…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Исследования с использованием этого протокола финансировались Фондом сердца и инсульта (G-18-0020952), Фондом Крейга Х. Нильсена (542675), Советом по естественным наукам и инженерным исследованиям Канады (RGPIN-2014-05498) и Министерством исследований, инноваций и науки Онтарио (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
