Captura del uso representativo de la mano en el hogar utilizando video egocéntrico en individuos con discapacidad de las extremidades superiores
Summary
Se propone un protocolo para capturar la función natural de la mano de las personas con discapacidades de las manos durante sus rutinas diarias utilizando una cámara egocéntrica. El objetivo del protocolo es garantizar que las grabaciones sean representativas del uso típico de la mano de un individuo durante las actividades de la vida diaria en el hogar.
Abstract
La función deteriorada de la mano después de lesiones neurológicas puede tener un gran impacto en la independencia y la calidad de vida. La mayoría de las evaluaciones de miembros superiores existentes se llevan a cabo en persona, lo que no siempre es indicativo del uso de las manos en la comunidad. Se requieren enfoques novedosos para capturar la función de la mano en la vida diaria para medir el verdadero impacto de las intervenciones de rehabilitación. Se ha propuesto el video egocéntrico combinado con la visión por computadora para el análisis automatizado para evaluar el uso de la mano en el hogar. Sin embargo, existen limitaciones en la duración de las grabaciones continuas. Presentamos un protocolo diseñado para garantizar que los videos obtenidos sean representativos de las rutinas diarias respetando la privacidad de los participantes.
Se selecciona un programa de grabación representativo a través de un proceso de colaboración entre los investigadores y los participantes, para garantizar que los videos capturen tareas y rendimiento naturales, al tiempo que son útiles para la evaluación manual. El uso del equipo y los procedimientos se demuestra a los participantes. Un total de 3 h de grabaciones de vídeo están programadas durante dos semanas. Para reducir las preocupaciones de privacidad, los participantes tienen control total para iniciar y detener las grabaciones, y la oportunidad de editar los videos antes de devolverlos al equipo de investigación. Se proporcionan recordatorios, así como llamadas de ayuda y visitas domiciliarias si es necesario.
El protocolo se probó con 9 sobrevivientes de accidente cerebrovascular y 14 individuos con lesión de la médula espinal cervical. Los videos obtenidos contenían una variedad de actividades, como preparación de comidas, lavado de platos y tejido. Se obtuvieron una media de 3,11 ± 0,98 h de vídeo. Los períodos de grabación variaron de 12 a 69 d, debido a una enfermedad o eventos inesperados en algunos casos. Los datos se obtuvieron con éxito de veintidós de 23 participantes, con 6 participantes que requirieron asistencia de los investigadores durante el período de registro en el hogar. El protocolo fue efectivo para recopilar videos que contenían información valiosa sobre la función de la mano en el hogar después de lesiones neurológicas.
Introduction
La función de la mano es un determinante de la independencia y la calidad de vida en las poblaciones clínicas con deficiencias de las extremidades superiores1,2. Capturar la función de la mano de las personas con discapacidades de la mano en el hogar es vital para evaluar el progreso de su capacidad para llevar a cabo las actividades de la vida diaria (ADEL) durante y después de la rehabilitación. La mayoría de las evaluaciones clínicas de la función de la mano se llevan a cabo en un entorno clínico o de laboratorio, en lugar de en el hogar3,4. Las evaluaciones clínicas existentes de la función de la mano que buscan capturar el impacto en las ADL en el hogar son cuestionarios y se basan en calificaciones subjetivas autoinformadas5,6,7. Todavía no se ha disponible una evaluación objetiva para evaluar el impacto final de la rehabilitación en la función de la mano en el hogar.
En los últimos años, se han desarrollado e implementado muchas tecnologías portátiles para capturar la función de las extremidades superiores en entornos del mundo real. Los sensores portátiles, como los acelerómetros y las unidades de medición inercial (IMU), se han utilizado comúnmente para medir los movimientos de las extremidades superiores en la vida diaria. Sin embargo, estos dispositivos generalmente no distinguen si las épocas detectadas pertenecen a movimientos funcionales de las extremidades superiores8,9, definidos como movimientos intencionales destinados a completar una tarea deseada. Por ejemplo, algunos sensores portátiles son sensibles a la presencia de oscilaciones de las extremidades superiores durante la marcha, que no es un movimiento funcional de la extremidad superior. Además, aunque los acelerómetros que se usan en la muñeca capturan los movimientos de las extremidades superiores, no pueden capturar los detalles de la función de la mano en entornos del mundo real. Los guantes sensorizados permiten capturar información más detallada sobre las manipulaciones de la mano10, pero pueden ser engorrosos para las personas cuya función y sensación de la mano ya están deterioradas. También se han propuesto enfoques portátiles para capturar los movimientos de los dedos a través de la magnetometría o los acelerómetros usados con los dedos11,12,13,pero la interpretación funcional de esos movimientos sigue siendo un desafío14. Por lo tanto, aunque los dispositivos portátiles propuestos anteriormente son pequeños y convenientes de usar, son insuficientes para describir los detalles y el contexto funcional del uso manual.
Se han propuesto cámaras portátiles para llenar estos vacíos y capturar detalles de la función de la mano durante las ADL en el hogar para aplicaciones de neurorrehabilitación15,16,17,18,19. El análisis automatizado de videos egocéntricos utilizando visión por computadora tiene un potencial considerable para cuantificar la función de la mano en contexto, al proporcionar información tanto sobre las manos mismas como sobre las tareas realizadas en ADLs reales20. Por otro lado, la duración de las grabaciones continuas generalmente se limita a aproximadamente 1 a 1.5 h por consideraciones de batería, almacenamiento y comodidad. Aquí, dentro de estas limitaciones, presentamos un protocolo de recopilación de video egocéntrico destinado a obtener datos que sean representativos de la vida cotidiana de un individuo, así como informativos para la evaluación de la función de la mano.
Protocol
Representative Results
Discussion
Presentamos un protocolo para grabar videos de ADL en el hogar utilizando cámaras portátiles en individuos con discapacidades de las extremidades superiores, como cSCI y accidente cerebrovascular. El protocolo es flexible y puede estar dirigido a objetivos para capturar el rendimiento de la función de la mano en ADL específicas o para rastrear el progreso de la rehabilitación de forma remota en personas que viven en el hogar. El paradigma de la visión egocéntrica tiene un gran potencial para el monitoreo remoto de…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Los estudios que utilizan este protocolo fueron financiados por la Heart and Stroke Foundation (G-18-0020952), la Craig H. Neilsen Foundation (542675), el Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) y el Ministerio de Investigación, Innovación y Ciencia de Ontario (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
