Fange representativ håndbruk hjemme ved hjelp av egosentrisk video hos personer med nedsatt øvre lem
Summary
En protokoll foreslås å fange naturlig håndfunksjon av personer med håndhemming under sine daglige rutiner ved hjelp av et egosentrisk kamera. Målet med protokollen er å sikre at opptakene er representative for en persons typiske håndbruk under dagliglivets aktiviteter hjemme.
Abstract
Nedsatt håndfunksjon etter nevrologiske skader kan ha stor innvirkning på uavhengighet og livskvalitet. De fleste eksisterende øvre lemvurderinger utføres personlig, noe som ikke alltid indikerer håndbruk i samfunnet. Nye tilnærminger for å fange håndfunksjon i dagliglivet er nødvendig for å måle den sanne effekten av rehabiliteringsintervensjoner. Egosentrisk video kombinert med datasyn for automatisert analyse er foreslått for å evaluere håndbruk hjemme. Det er imidlertid begrensninger i varigheten av kontinuerlige opptak. Vi presenterer en protokoll designet for å sikre at videoene som er oppnådd, er representative for daglige rutiner samtidig som vi respekterer deltakernes personvern.
En representativ registreringsplan velges gjennom en samarbeidsprosess mellom forskerne og deltakerne, for å sikre at videoene fanger opp naturlige oppgaver og ytelse, samtidig som de er nyttige for håndvurdering. Bruk av utstyr og prosedyrer er demonstrert for deltakerne. Totalt 3 timer videoopptak er planlagt over to uker. For å redusere personvernhensyn har deltakerne full kontroll til å starte og stoppe opptak, og muligheten til å redigere videoene før de returneres til forskerteamet. Påminnelser gis, samt hjelpesamtaler og hjemmebesøk om nødvendig.
Protokollen ble testet med 9 slag overlevende og 14 personer med cervical ryggmargsskade. Videoene som ble oppnådd inneholdt en rekke aktiviteter, for eksempel måltidsforberedelse, oppvask og strikking. I gjennomsnitt ble det oppnådd 3,11 ± 0,98 t video. Opptaksperiodene varierte fra 12-69 d, på grunn av sykdom eller uventede hendelser i noen tilfeller. Data ble innhentet fra 22 av 23 deltakere, og 6 deltakere trengte hjelp fra etterforskerne i løpet av hjemmeopptaksperioden. Protokollen var effektiv for å samle inn videoer som inneholdt verdifull informasjon om håndfunksjon hjemme etter nevrologiske skader.
Introduction
Håndfunksjon er en determinant for uavhengighet og livskvalitet på tvers av kliniske populasjoner med nedsatt øvre lemmer1,2. Å fange håndfunksjonen til personer med håndhemming hjemme er viktig for å evaluere fremdriften av deres evne til å utføre aktiviteter i dagliglivet (ACL) under og etter rehabilitering. De fleste kliniske håndfunksjonsvurderinger utføres i et klinisk eller laboratoriemiljø, i stedet for hjemme3,4. Eksisterende kliniske håndfunksjonsvurderinger som søker å fange opp virkningen på ADLer hjemme, er spørreskjemaer og er avhengige av subjektive selvrapporterte vurderinger5,6,7. En objektiv evaluering for å vurdere den endelige effekten av rehabilitering på håndfunksjon hjemme er fortsatt utilgjengelig.
De siste årene har mange bærbare teknologier blitt utviklet og implementert for å fange øvre lemfunksjon i virkelige miljøer. Bærbare sensorer som akselerometere og inertoelle måleenheter (IMUer) har ofte blitt brukt til å måle øvre lemmerbevegelser i dagliglivet. Disse enhetene skiller imidlertid vanligvis ikke ut om de oppdagede epokene tilhører funksjonelle øvre lembevegelser8,9, definert som målrettede bevegelser som er ment å fullføre en ønsket oppgave. For eksempel er noen bærbare sensorer følsomme for tilstedeværelsen av øvre lemsvingninger under turgåing, noe som ikke er en funksjonell bevegelse av øvre lem. Videre, selv om håndleddsslitte akselerometere fanger øvre lembevegelser, kan de ikke fange detaljene om håndfunksjon i virkelige miljøer. Sensoriserte hansker tillater å fange mer detaljert informasjon om håndmanipulasjoner10, men de kan være tungvint for personer hvis håndfunksjon og følelse allerede er svekket. Bærbare tilnærminger har også blitt foreslått for å fange fingerbevegelser gjennom magnetometri eller fingerslitte akselerometere11,12,13, men den funksjonelle tolkningen av disse bevegelsene forblir utfordrende14. Selv om tidligere foreslåtte bærbare enheter er små og praktiske å bruke, er de derfor utilstrekkelige til å beskrive detaljene og funksjonell kontekst for håndbruk.
Bærbare kameraer har blitt foreslått å fylle disse hullene og fange detaljer om håndfunksjon under ADLer hjemme for nevrorehabilitering applikasjoner15,16,17,18,19. Automatisert analyse av egosentriske videoer ved hjelp av datasyn har betydelig potensial til å kvantifisere håndfunksjon i kontekst, ved å gi informasjon både om hendene selv og om oppgavene som utføres i ekte ADLer20. På den annen side er varigheten av kontinuerlige opptak vanligvis begrenset til omtrent 1 til 1,5 timer ved batteri-, lagrings- og komforthensyn. Her, innenfor disse begrensningene, presenterer vi en egosentrisk videoinnsamlingsprotokoll som er ment å skaffe data som både er representativ for en persons daglige liv, samt informativ for håndfunksjonsevaluering.
Protocol
Representative Results
Discussion
Vi presenterte en protokoll for opptak av videoer av ADEL-er hjemme ved hjelp av bærbare kameraer hos personer med nedsatt øvre lemmer, for eksempel cSCI og slag. Protokollen er fleksibel og kan målrettes for å fange opp håndfunksjonsytelse i spesifikke ADLer eller for å spore fremdriften av rehabilitering eksternt hos personer som bor hjemme. Det egosentriske visjonsparadigmet har et stort potensial for fjernovervåking av håndfunksjon hos personer som bor i samfunnet, og for å optimalisere rehabilitering når f…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Studiene som brukte denne protokollen ble finansiert av Heart and Stroke Foundation (G-18-0020952), Craig H. Neilsen Foundation (542675), Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) og Ministry of Research, Innovation and Science, Ontario (ER16-12-013).
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
Riferimenti
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
