Representatief handgebruik thuis vastleggen met behulp van egocentrische video bij personen met een beperking van de bovenste ledematen
Summary
Er wordt een protocol voorgesteld om de natuurlijke handfunctie van personen met handbeperkingen tijdens hun dagelijkse routines vast te leggen met behulp van een egocentrische camera. Het doel van het protocol is om ervoor te zorgen dat de opnames representatief zijn voor het typische handgebruik van een persoon tijdens activiteiten van het dagelijks leven thuis.
Abstract
Een verminderde handfunctie na neurologisch letsel kan een grote impact hebben op de onafhankelijkheid en kwaliteit van leven. De meeste bestaande beoordelingen van de bovenste ledematen worden persoonlijk uitgevoerd, wat niet altijd indicatief is voor handgebruik in de gemeenschap. Nieuwe benaderingen om de handfunctie in het dagelijks leven vast te leggen zijn nodig om de werkelijke impact van revalidatie-interventies te meten. Egocentrische video in combinatie met computervisie voor geautomatiseerde analyse is voorgesteld om handgebruik thuis te evalueren. Er zijn echter beperkingen aan de duur van continue opnames. We presenteren een protocol dat is ontworpen om ervoor te zorgen dat de verkregen video’s representatief zijn voor de dagelijkse routines met respect voor de privacy van de deelnemers.
Een representatief opnameschema wordt geselecteerd door middel van een samenwerkingsproces tussen de onderzoekers en deelnemers, om ervoor te zorgen dat de video’s natuurlijke taken en prestaties vastleggen, terwijl ze nuttig zijn voor handbeoordeling. Het gebruik van de apparatuur en procedures wordt gedemonstreerd aan de deelnemers. In totaal zijn er 3 uur aan video-opnames gepland over twee weken. Om privacyproblemen te verminderen, hebben deelnemers volledige controle over het starten en stoppen van opnames en de mogelijkheid om de video’s te bewerken voordat ze worden terugsturen naar het onderzoeksteam. Herinneringen worden verstrekt, evenals hulpoproepen en huisbezoeken indien nodig.
Het protocol werd getest met 9 overlevenden van een beroerte en 14 personen met cervicale dwarslaesie. De verkregen video’s bevatten een verscheidenheid aan activiteiten, zoals maaltijdbereiding, afwassen en breien. Er werden gemiddeld 3,11 ± 0,98 h video verkregen. De opnameperiodes varieerden van 12-69 d, in sommige gevallen als gevolg van ziekte of onverwachte gebeurtenissen. Gegevens werden met succes verkregen van tweeëntwintig van de 23 deelnemers, waarbij 6 deelnemers hulp van de onderzoekers nodig hadden tijdens de thuisopnameperiode. Het protocol was effectief voor het verzamelen van video’s met waardevolle informatie over de handfunctie thuis na neurologische verwondingen.
Introduction
Handfunctie is een determinant van onafhankelijkheid en kwaliteit van leven in klinische populaties met stoornissen in de bovenste ledematen1,2. Het vastleggen van de handfunctie van personen met handbeperkingen thuis is van vitaal belang voor het evalueren van de voortgang van hun vermogen om activiteiten van het dagelijks leven (ACL’s) uit te voeren tijdens en na revalidatie. De meeste klinische handfunctiebeoordelingen worden uitgevoerd in een klinische of laboratoriumomgeving, in plaats van thuis3,4. Bestaande klinische handfunctiebeoordelingen die de impact op ACL’s thuis proberen vast te leggen, zijn vragenlijsten en vertrouwen op subjectieve zelfgerapporteerde beoordelingen5,6,7. Een objectieve evaluatie om de uiteindelijke impact van revalidatie op de handfunctie thuis te beoordelen, is nog steeds niet beschikbaar.
In de afgelopen jaren zijn veel draagbare technologieën ontwikkeld en geïmplementeerd om de functie van de bovenste ledematen in echte omgevingen vast te leggen. Draagbare sensoren zoals versnellingsmeters en traagheidsmeeteenheden (ICU’s) worden vaak gebruikt om bewegingen van de bovenste ledematen in het dagelijks leven te meten. Deze apparaten maken echter meestal geen onderscheid of de gedetecteerde tijdperken behoren tot functionele bewegingen van de bovenste ledematen8,9, gedefinieerd als doelgerichte bewegingen die bedoeld zijn om een gewenste taak te voltooien. Sommige draagbare sensoren zijn bijvoorbeeld gevoelig voor de aanwezigheid van schommelingen van de bovenste ledematen tijdens het lopen, wat geen functionele beweging van de bovenste ledemaat is. Bovendien, hoewel pols gedragen versnellingsmeters bewegingen van de bovenste ledematen vastleggen, kunnen ze de details van de handfunctie in echte omgevingen niet vastleggen. Sensorhandschoenen maken het mogelijk om meer gedetailleerde informatie over handmanipulaties vast te leggen10, maar ze kunnen omslachtig zijn voor mensen van wie de handfunctie en het gevoel al zijn aangetast. Draagbare benaderingen zijn ook voorgesteld om vingerbewegingen vast te leggen door middel van magnetometrie of door de vinger gedragen versnellingsmeters11,12,13,maar de functionele interpretatie van die bewegingen blijft een uitdaging14. Hoewel eerder voorgestelde draagbare apparaten dus klein en gemakkelijk te gebruiken zijn, zijn ze onvoldoende om de details en functionele context van handgebruik te beschrijven.
Draagbare camera’s zijn voorgesteld om deze hiaten op te vullen en details van de handfunctie vast te leggen tijdens ACL’s thuis voor neurorevalidatietoepassingen15,16,17,18,19. Geautomatiseerde analyse van egocentrische video’s met behulp van computervisie heeft een aanzienlijk potentieel om de handfunctie in context te kwantificeren, door informatie te verstrekken over zowel de handen zelf als over de taken die in echte ACL’s worden uitgevoerd20. Aan de andere kant is de duur van continue opnames meestal beperkt tot ongeveer 1 tot 1,5 uur door overwegingen van batterij, opslag en comfort. Hier, binnen deze beperkingen, presenteren we een egocentrisch videoverzamelingsprotocol dat bedoeld is om gegevens te verkrijgen die zowel representatief zijn voor het dagelijks leven van een individu als informatief voor de evaluatie van handfuncties.
Protocol
Representative Results
Discussion
We presenteerden een protocol voor het opnemen van video’s van ABL’s thuis met behulp van draagbare camera’s bij personen met beperkingen van de bovenste ledematen, zoals cSCI en beroerte. Het protocol is flexibel en kan doelgericht zijn om de prestaties van de handfunctie in specifieke ACL’s vast te leggen of om de voortgang van revalidatie op afstand bij thuiswonende mensen te volgen. Het egocentrische visieparadigma heeft een groot potentieel voor het op afstand monitoren van de handfunctie bij personen die in de geme…
Divulgations
The authors have nothing to disclose.
Acknowledgements
De studies met behulp van dit protocol werden gefinancierd door de Heart and Stroke Foundation (G-18-0020952), de Craig H. Neilsen Foundation (542675), de Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) en het Ministerie van Onderzoek, Innovatie en Wetenschap, Ontario (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
