Catturare l'uso rappresentativo della mano a casa usando video egocentrici in individui con compromissione degli arti superiori
Summary
Viene proposto un protocollo per catturare la funzione naturale della mano di individui con disabilità della mano durante le loro routine quotidiane utilizzando una fotocamera egocentrica. L’obiettivo del protocollo è garantire che le registrazioni siano rappresentative dell’uso tipico della mano di un individuo durante le attività della vita quotidiana a casa.
Abstract
La compromissione della funzione della mano dopo lesioni neurologiche può avere un impatto importante sull’indipendenza e sulla qualità della vita. La maggior parte delle valutazioni degli arti superiori esistenti vengono effettuate di persona, il che non è sempre indicativo dell’uso della mano nella comunità. Sono necessari nuovi approcci per catturare la funzione della mano nella vita quotidiana per misurare il vero impatto degli interventi di riabilitazione. Il video egocentrico combinato con la visione artificiale per l’analisi automatizzata è stato proposto per valutare l’uso delle mani a casa. Tuttavia, ci sono limitazioni alla durata delle registrazioni continue. Presentiamo un protocollo progettato per garantire che i video ottenuti siano rappresentativi della routine quotidiana nel rispetto della privacy dei partecipanti.
Un programma di registrazione rappresentativo viene selezionato attraverso un processo collaborativo tra ricercatori e partecipanti, per garantire che i video catturino compiti e prestazioni naturali, pur essendo utili per la valutazione manuale. L’uso delle attrezzature e delle procedure è dimostrato ai partecipanti. Un totale di 3 ore di registrazioni video sono programmate nell’arco di due settimane. Per ridurre i problemi di privacy, i partecipanti hanno il pieno controllo per avviare e interrompere le registrazioni e l’opportunità di modificare i video prima di restituirli al team di ricerca. Vengono forniti promemoria, nonché chiamate di aiuto e visite a domicilio, se necessario.
Il protocollo è stato testato con 9 sopravvissuti all’ictus e 14 individui con lesioni del midollo spinale cervicale. I video ottenuti contenevano una varietà di attività, come la preparazione dei pasti, il lavaggio dei piatti e il lavoro a maglia. Sono stati ottenuti in media 3,11 ± 0,98 ore di video. I periodi di registrazione variavano da 12 a 69 d, a causa di malattie o eventi imprevisti in alcuni casi. I dati sono stati ottenuti con successo da ventidue partecipanti su 23, con 6 partecipanti che hanno richiesto assistenza agli investigatori durante il periodo di registrazione a casa. Il protocollo era efficace per la raccolta di video che contenevano preziose informazioni sulla funzione della mano a casa dopo lesioni neurologiche.
Introduction
La funzione della mano è un fattore determinante dell’indipendenza e della qualità della vita tra le popolazioni cliniche con compromissione degli arti superiori1,2. Catturare la funzione della mano di individui con disabilità della mano a casa è vitale per valutare i progressi della loro capacità di svolgere attività di vita quotidiana (ADL) durante e dopo la riabilitazione. La maggior parte delle valutazioni cliniche della funzione della mano sono condotte in un ambiente clinico o di laboratorio, piuttosto che a casa3,4. Le valutazioni cliniche della funzione della mano esistenti che cercano di catturare l’impatto sulle ADL a casa sono questionari e si basano su valutazioni soggettive auto-riferiti5,6,7. Una valutazione obiettiva per valutare l’impatto finale della riabilitazione sulla funzione della mano a casa non è ancora disponibile.
Negli ultimi anni, molte tecnologie indossabili sono state sviluppate e implementate per catturare la funzione degli arti superiori in ambienti reali. Sensori indossabili come accelerometri e unità di misura inerziale (ICU) sono stati comunemente usati per misurare i movimenti degli arti superiori nella vita quotidiana. Tuttavia, questi dispositivi in genere non distinguono se le epoche rilevate appartengono ai movimenti funzionali degli arti superiori8,9, definiti come movimenti intenzionali destinati a completare un compito desiderato. Ad esempio, alcuni sensori indossabili sono sensibili alla presenza di oscillazioni degli arti superiori durante la deambulazione, che non è un movimento funzionale dell’arto superiore. Inoltre, sebbene gli accelerometri da polso catturino i movimenti degli arti superiori, non possono catturare i dettagli della funzione della mano in ambienti reali. I guanti sensorizzati consentono di acquisire informazioni più dettagliate sulle manipolazioni delle mani10, ma possono essere ingombranti per le persone la cui funzione e sensazione della mano sono già compromesse. Sono stati proposti anche approcci indossabili per catturare i movimenti delle dita attraverso la magnetometria o gli accelerometriindossatidalle dita11, 12,13,ma l’interpretazione funzionale di tali movimenti rimane impegnativa14. Pertanto, sebbene i dispositivi indossabili precedentemente proposti siano piccoli e convenienti da usare, sono insufficienti per descrivere i dettagli e il contesto funzionale dell’uso manuale.
Le fotocamere indossabili sono state proposte per colmare queste lacune e catturare i dettagli della funzione della mano durante le ADL a casa per applicazioni di neuroriabilitazione15,16, 17,18,19. L’analisi automatizzata di video egocentrici utilizzando la visione artificiale ha un notevole potenziale per quantificare la funzione della mano nel contesto, fornendo informazioni sia sulle mani stesse che sui compiti svolti in ADLreali 20. D’altra parte, la durata delle registrazioni continue è in genere limitata a circa 1-1,5 ore da batteria, archiviazione e considerazioni di comfort. Qui, all’interno di questi vincoli, presentiamo un protocollo di raccolta video egocentrico destinato a ottenere dati che sono sia rappresentativi della vita quotidiana di un individuo che informativi per la valutazione della funzione della mano.
Protocol
Representative Results
Discussion
Abbiamo presentato un protocollo per la registrazione di video di ADL a casa utilizzando telecamere indossabili in individui con disabilità degli arti superiori, come cSCI e ictus. Il protocollo è flessibile e può essere diretto all’obiettivo di catturare le prestazioni della funzione della mano in ADL specifici o di monitorare i progressi della riabilitazione da remoto nelle persone che vivono a casa. Il paradigma della visione egocentrica ha un grande potenziale per il monitoraggio remoto della funzione della mano n…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Gli studi che utilizzano questo protocollo sono stati finanziati dalla Heart and Stroke Foundation (G-18-0020952), dalla Craig H. Neilsen Foundation (542675), dal Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) e dal Ministero della Ricerca, dell’Innovazione e della Scienza, Ontario (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
