Capturando representante uso da mão em casa usando vídeo egocêntrico em indivíduos com comprometimento do membro superior
Summary
Um protocolo é proposto para capturar a função natural da mão de indivíduos com deficiências manuais durante suas rotinas diárias usando uma câmera egocêntrica. O objetivo do protocolo é garantir que as gravações representem o uso típico de mão de um indivíduo durante as atividades de vida diária em casa.
Abstract
A função da mão prejudicada após lesões neurológicas pode ter um grande impacto na independência e qualidade de vida. A maioria das avaliações de membros superiores existentes são realizadas pessoalmente, o que nem sempre indica o uso manual na comunidade. Novas abordagens para capturar a função da mão no cotidiano são necessárias para medir o verdadeiro impacto das intervenções de reabilitação. Vídeo egocêntrico combinado com visão computacional para análise automatizada foi proposto para avaliar o uso manual em casa. No entanto, há limitações à duração das gravações contínuas. Apresentamos um protocolo projetado para garantir que os vídeos obtidos sejam representativos das rotinas diárias, respeitando a privacidade dos participantes.
Um cronograma de gravação representativo é selecionado por meio de um processo colaborativo entre os pesquisadores e participantes, para garantir que os vídeos capturem tarefas naturais e desempenho, ao mesmo tempo em que são úteis para avaliação manual. O uso dos equipamentos e procedimentos é demonstrado aos participantes. Um total de 3 horas de gravações de vídeo estão programadas ao longo de duas semanas. Para reduzir as preocupações com a privacidade, os participantes têm controle total para iniciar e parar as gravações e a oportunidade de editar os vídeos antes de devolvê-los à equipe de pesquisa. Lembretes são fornecidos, bem como chamadas de ajuda e visitas domiciliares, se necessário.
O protocolo foi testado com 9 sobreviventes de acidente vascular cerebral e 14 indivíduos com lesão medular cervical. Os vídeos obtidos continham uma variedade de atividades, como preparação de refeições, lavagem de pratos e tricô. Foram obtidas médias 3,11 ± 0,98h de vídeo. Os períodos de registro variaram de 12 a 69 d, devido a doenças ou eventos inesperados em alguns casos. Os dados foram obtidos com sucesso de 22 dos 23 participantes, com 6 participantes necessitando de assistência dos investigadores durante o período de registro domiciliar. O protocolo foi eficaz para a coleta de vídeos que continham informações valiosas sobre a função da mão em casa após lesões neurológicas.
Introduction
A função manual é determinante da independência e qualidade de vida entre populações clínicas com comprometimento dos membros superiores1,2. Capturar a função manual de indivíduos com deficiências manuais em casa é vital para avaliar o progresso de sua capacidade de realizar atividades de vida diária (ADLs) durante e após a reabilitação. A maioria das avaliações de funções manuais clínicas são realizadas em ambiente clínico ou laboratorial, e não em casa3,4. As avaliações de funções clínicas existentes que buscam capturar o impacto sobre as ADLs em casa são questionários e dependem das classificações subjetivas autorrenotadas5,6,7. Uma avaliação objetiva para avaliar o impacto final da reabilitação na função manual em casa ainda não está disponível.
Nos últimos anos, muitas tecnologias vestíveis foram desenvolvidas e implementadas para capturar a função dos membros superiores em ambientes do mundo real. Sensores vestíveis, como acelerômetros e unidades de medição inercial (IMUs) têm sido comumente usados para medir os movimentos dos membros superiores na vida diária. No entanto, esses dispositivos normalmente não distinguem se as épocas detectadas pertencem a movimentos funcionais do membro superior8,9, definidos como movimentos propositais destinados a completar uma tarefa desejada. Por exemplo, alguns sensores vestíveis são sensíveis à presença de balanços de membros superiores durante a caminhada, que não é um movimento funcional do membro superior. Além disso, embora os acelerômetros desgastados pelo pulso capturem movimentos dos membros superiores, eles não podem capturar os detalhes da função da mão em ambientes do mundo real. Luvas sensoriais permitem capturar informações mais detalhadas sobre manipulações manuais10,mas podem ser complicadas para pessoas cuja função e sensação da mão já estão prejudicadas. Abordagens vestíveis também foram propostas para capturar movimentos dos dedos através de magnetometria ou acelerômetros desgastados pelos dedos11,12,13, mas a interpretação funcional desses movimentos permanece desafiadora14. Assim, embora os dispositivos vestíveis previamente propostos sejam pequenos e convenientes de usar, eles são insuficientes para descrever os detalhes e o contexto funcional do uso manual.
Câmeras vestíveis foram propostas para preencher essas lacunas e capturar detalhes da função manual durante as ADLs em casa para aplicações de neuroreabilitação15,16,17,18,19. A análise automatizada de vídeos egocêntricos usando visão computacional tem um potencial considerável para quantificar a função da mão no contexto, fornecendo informações tanto sobre as próprias mãos quanto sobre as tarefas realizadas em ADLsreais 20. Por outro lado, a duração das gravações contínuas é tipicamente limitada a aproximadamente 1 a 1,5 h por considerações de bateria, armazenamento e conforto. Aqui, dentro dessas restrições, apresentamos um protocolo egocêntrico de coleta de vídeo destinado a obter dados que sejam tanto representativos do cotidiano de um indivíduo quanto informativos para avaliação da função manual.
Protocol
Representative Results
Discussion
Apresentamos um protocolo para gravação de vídeos de ADLs em casa usando câmeras vestíveis em indivíduos com deficiências nos membros superiores, como cSCI e derrame. O protocolo é flexível e pode ser direcionado para capturar o desempenho da função manual em ADLs específicos ou acompanhar o progresso da reabilitação remotamente em pessoas que vivem em casa. O paradigma da visão egocêntrica tem grande potencial para o monitoramento remoto da função manual em indivíduos que vivem na comunidade, e para o…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Os estudos que utilizam este protocolo foram financiados pela Fundação Coração e AVC (G-18-0020952), pela Fundação Craig H. Neilsen (542675), pelo Conselho de Pesquisa em Ciências Naturais e Engenharia do Canadá (RGPIN-2014-05498) e pelo Ministério da Pesquisa, Inovação e Ciência, Ontário (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
