Aufnahme des repräsentativen Handgebrauchs zu Hause mit egozentrischem Video bei Personen mit Beeinträchtigung der oberen Extremitäten
Summary
Es wird ein Protokoll vorgeschlagen, um die natürliche Handfunktion von Personen mit Handbeeinträchtigungen während ihrer täglichen Routinen mit einer egozentrischen Kamera zu erfassen. Das Ziel des Protokolls ist es, sicherzustellen, dass die Aufzeichnungen repräsentativ für den typischen Handgebrauch einer Person bei Aktivitäten des täglichen Lebens zu Hause sind.
Abstract
Eine eingeschränkte Handfunktion nach neurologischen Verletzungen kann einen großen Einfluss auf die Unabhängigkeit und Lebensqualität haben. Die meisten bestehenden Untersuchungen der oberen Gliedmaßen werden persönlich durchgeführt, was nicht immer auf den Handgebrauch in der Gemeinschaft hinweist. Neuartige Ansätze zur Erfassung der Handfunktion im täglichen Leben sind erforderlich, um die tatsächlichen Auswirkungen von Rehabilitationsmaßnahmen zu messen. Egozentrisches Video in Kombination mit Computer Vision für die automatisierte Analyse wurde vorgeschlagen, um die Handnutzung zu Hause zu bewerten. Es gibt jedoch Einschränkungen für die Dauer kontinuierlicher Aufnahmen. Wir präsentieren ein Protokoll, das sicherstellen soll, dass die erhaltenen Videos repräsentativ für die täglichen Routinen sind und gleichzeitig die Privatsphäre der Teilnehmer respektieren.
Ein repräsentativer Aufzeichnungsplan wird durch einen kollaborativen Prozess zwischen den Forschern und den Teilnehmern ausgewählt, um sicherzustellen, dass die Videos natürliche Aufgaben und Leistungen erfassen und gleichzeitig für die Handbewertung nützlich sind. Die Verwendung der Geräte und Verfahren wird den Teilnehmern demonstriert. Insgesamt sind 3 h Videoaufnahmen über zwei Wochen geplant. Um Datenschutzbedenken zu reduzieren, haben die Teilnehmer die volle Kontrolle über das Starten und Stoppen von Aufnahmen und die Möglichkeit, die Videos zu bearbeiten, bevor sie an das Forschungsteam zurückgegeben werden. Erinnerungen werden zur Verfügung gestellt, sowie Hilfeanrufe und Hausbesuche, falls erforderlich.
Das Protokoll wurde mit 9 Schlaganfallüberlebenden und 14 Personen mit zervikaler Rückenmarksverletzung getestet. Die erhaltenen Videos enthielten eine Vielzahl von Aktivitäten wie Essenszubereitung, Geschirrspülen und Stricken. Es wurden durchschnittlich 3,11 ± 0,98 h Video erzielt. Die Aufzeichnungszeiträume variierten zwischen 12 und 69 d, aufgrund von Krankheit oder unerwarteten Ereignissen in einigen Fällen. Die Daten wurden erfolgreich von zweiundzwanzig von 23 Teilnehmern erhalten, wobei 6 Teilnehmer während der Aufzeichnungsphase zu Hause Unterstützung von den Ermittlern benötigten. Das Protokoll war effektiv, um Videos zu sammeln, die wertvolle Informationen über die Handfunktion zu Hause nach neurologischen Verletzungen enthielten.
Introduction
Die Handfunktion ist eine Determinante für Unabhängigkeit und Lebensqualität in klinischen Populationen mit Beeinträchtigungen der oberen Extremitäten1,2. Die Erfassung der Handfunktion von Personen mit Handbeeinträchtigungen zu Hause ist von entscheidender Bedeutung, um den Fortschritt ihrer Fähigkeit zur Durchführung von Aktivitäten des täglichen Lebens (ADLs) während und nach der Rehabilitation zu bewerten. Die meisten klinischen Handfunktionsbewertungen werden in einer klinischen oder Laborumgebung und nicht zu Hause durchgeführt3,4. Bestehende klinische Handfunktionsbewertungen, die versuchen, die Auswirkungen auf ADLs zu Hause zu erfassen, sind Fragebögen und stützen sich auf subjektive selbstberichtete Bewertungen5,6,7. Eine objektive Evaluierung zur Bewertung der endgültigen Auswirkungen der Rehabilitation auf die Handfunktion zu Hause ist noch nicht verfügbar.
In den letzten Jahren wurden viele tragbare Technologien entwickelt und implementiert, um die Funktion der oberen Gliedmaßen in realen Umgebungen zu erfassen. Tragbare Sensoren wie Beschleunigungssensoren und Trägheitsmesseinheiten (IMUs) wurden häufig verwendet, um Bewegungen der oberen Gliedmaßen im täglichen Leben zu messen. Diese Geräte unterscheiden jedoch typischerweise nicht, ob die erkannten Epochen zu den funktionellen Bewegungen der oberen Gliedmaßen8,9gehören, definiert als zielgerichtete Bewegungen, die dazu bestimmt sind, eine gewünschte Aufgabe zu erledigen. Zum Beispiel reagieren einige tragbare Sensoren empfindlich auf das Vorhandensein von Schwingungen der oberen Gliedmaßen während des Gehens, was keine funktionelle Bewegung der oberen Extremität ist. Obwohl am Handgelenk getragene Beschleunigungsmesser bewegungen der oberen Gliedmaßen erfassen, können sie die Details der Handfunktion in realen Umgebungen nicht erfassen. Sensorisierte Handschuhe ermöglichen es, detailliertere Informationen über Handmanipulationen zu erfassen10, aber sie können für Menschen, deren Handfunktion und Empfindung bereits beeinträchtigt sind, umständlich sein. Es wurden auch tragbare Ansätze vorgeschlagen, um Fingerbewegungen durch Magnetometrie oder fingergetragene Beschleunigungsmesser11,12,13zu erfassen, aber die funktionelle Interpretation dieser Bewegungen bleibt herausfordernd14. Obwohl zuvor vorgeschlagene tragbare Geräte klein und bequem zu bedienen sind, reichen sie nicht aus, um die Details und den funktionalen Kontext der Handnutzung zu beschreiben.
Tragbare Kameras wurden vorgeschlagen, um diese Lücken zu füllen und Details der Handfunktion während ADLs zu Hause für Neurorehabilitationsanwendungen zu erfassen15,16,17,18,19. Die automatisierte Analyse egozentrischer Videos mit Computer Vision hat ein erhebliches Potenzial, die Handfunktion im Kontext zu quantifizieren, indem sie Informationen sowohl über die Hände selbst als auch über die in realen ADLs ausgeführten Aufgaben liefert20. Auf der anderen Seite ist die Dauer kontinuierlicher Aufnahmen in der Regel durch Batterie-, Speicher- und Komfortüberlegungen auf etwa 1 bis 1,5 h begrenzt. Hier präsentieren wir innerhalb dieser Einschränkungen ein egozentrisches Videoerfassungsprotokoll, das datenbezieht, die sowohl repräsentativ für das tägliche Leben eines Individuums als auch informativ für die Bewertung der Handfunktion sind.
Protocol
Representative Results
Discussion
Wir haben ein Protokoll für die Aufnahme von Videos von ADLs zu Hause mit tragbaren Kameras bei Personen mit Beeinträchtigungen der oberen Extremitäten wie cSCI und Schlaganfall vorgestellt. Das Protokoll ist flexibel und kann zielgerichtet sein, um die Handfunktionsleistung in bestimmten ADLs zu erfassen oder den Fortschritt der Rehabilitation bei zu Hause lebenden Menschen aus der Ferne zu verfolgen. Das egozentrische Sehparadigma hat ein großes Potenzial für die Fernüberwachung der Handfunktion bei In der Gemein…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Die Studien, die dieses Protokoll verwenden, wurden von der Heart and Stroke Foundation (G-18-0020952), der Craig H. Neilsen Foundation (542675), dem Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) und dem Ministerium für Forschung, Innovation und Wissenschaft, Ontario (ER16-12-013) finanziert.
Materials
| Egocentric camera | GoPro Inc., CA, USA | GoPro Hero 4 and 5 | A camera that records from a first-person angle. |
| Battery chager and batteries | GoPro Inc., CA, USA | MAX Dual Battery Charger + Battery | Extra batteries for the camera and battery charger |
| Camera charger | GoPro Inc., CA, USA | Supercharger | This charger is connected to the camera directly without disassembling the camera frame. |
| Camera frame | GoPro Inc., CA, USA | The Frame | The hinge of the camera frame can be used to adjust the angle of view of the camera. |
| Headband for the camera | GoPro Inc., CA, USA | Head Strap + QuickClip | |
| SD card | SanDisk, CA, USA | 32GB microSD | |
| Tablet | ASUSTeK Computer Inc., Taiwan | ZenPad 8.0 Z380M | The tablet is installed with the GoPro App in order to connect with the camera. |
References
- Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors’ quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
- Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
- Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
- Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
- Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
- Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
- Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
- Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
- van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
- Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2 (2012).
- Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
- Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
- Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
- Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
- Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
- Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83 (2019).
- Tsai, M. -. F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
- Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
- Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
- Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
- Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).
