Summary
Ett objektivt mått på muskel funktioner är utmanande särskilt hos barn. Baserat på en kommersiellt tillgängliga digitala 3D-sensor, har en barnvänlig gaming test utvecklats för att bedöma övre extremiteterna funktion för kliniska prövningar.
Abstract
Progressiv och oåterkalleliga muskelatrofi karakteriserar Spinal muskelatrofi (SMA) och andra liknande sjukdom muskelsjukdomar. Objektiv bedömning av muskel funktioner är en eterisk och viktigt, även om utmanande, förutsättning för framgångsrika kliniska prövningar. Aktuella kliniska skattningsskalor hindra rörelse avvikelser vissa fördefinierade grovkorniga enskilda poster. Kinect-3D-sensorn har vuxit fram som en billig och portabel motion sensing teknik används för att fånga och spår människors rörlighet i många medicinska och forskningsområden. En ny metod med denna 3D-sensor har utvecklats och ett spel-liknande test var utformad för att objektivt mäta patienter med SMA övre extremiteterna funktion. På prototypen prov riktade gemensam rörelse förmåga. När du sitter i en virtuell scen, var patienten instrueras att utöka, flex och lyft hela armen för att nå och placera vissa objekt. Både kinematisk och spatiotemporal egenskaper övre extremiteterna rörlighet var extraheras och analyseras, t.ex., armbåge extension och flexion vinklar, hand hastighet och acceleration. Den första studien omfattade en liten kohort av 18 ambulanta SMA patienter och 19 och kön-åldersmatchade friska kontroller. En omfattande analys av armrörelse uppnåddes; dock fanns ingen signifikant skillnad mellan grupperna på grund av obalansen av patientens kapacitet och test svårigheten. Baserat på denna erfarenhet, en andra version av testet som består av en modifierad version av det första spelet med ökade svårigheter och en andra spel inriktning muskel uthållighet var utformad och genomförs. Det nya testet har inte utförts några patientgrupper ännu. Vårt arbete har visat den potentiella förmågan av 3D-sensor vid bedömningen av sådana muskelfunktion och föreslog en objektiv metod för att komplettera de kliniska skattningsskalorna.
Introduction
Övergripande bedömning av muskelfunktion är en kritisk utvärdering i många neuromuskulära sjukdomar och en viktig förutsättning för framgångsrika kliniska prövningar. Kliniska skattningsskalor används alltmer som ett standardiserat bedömningsinstrument och som en väletablerad resultat åtgärd1. Men de är starkt beroende av subjektiv bedömning av klinikerna och kan resultera i betydande variationer leder till inter - och intra-rater inkonsekvens2 eller genererat nummer som inte uppfyller kriterierna för exakta mätningar1. Dessutom många neuromuskulära sjukdomar till stor del påverkar barn och de flesta av dessa skattningsskalor är långa och tråkiga, som ålägga extra utmaningar. Ett exempel på en neuromuskulär sjukdom är Spinal muskelatrofi (SMA), vilket är en dödlig neuromuskulär sjukdom kännetecknas av progressiv muskel svaghet3. Beroende på de kliniska fenotyperna, vissa patienter lever med rullstolar (typ 2), och några kan stå och gå utan hjälpmedel (typ 3)4. Det finns en ökande efterfrågan på ett mer känsliga och objektiva bedömningsverktyg att mäta muskelfunktion när det gäller gemensam rörelse sortiment, muskelstyrka, muskeltrötthet och så vidare, för att spåra sjukdomsprogression och läkemedlet effekt.
De snabba framsteg i motion sensing teknik har gjort det möjligt att analysera rörelsen egenskaper på jämförelsevis låga kostnader, bland vilka värdet av 3D-sensorn (Kinect) i fånga hela kroppen rörelse på en markör-fri sätt allmänt har undersökts. Med hjälp av den integrera infraröda sensorn och de genomförda algoritmer för maskininlärning, är kroppen platserna för de spåra personerna slutsatsen genom 20 anatomiska landmärken kallas kroppens leder eller punkter, inklusive huvud, nacke, 3-dimensionell ståndpunkter händer, handleder, armbågar, axlar, ryggrad, höfter, knän, vrister och fötter5. Den temporal upplösningen är upp till 30 Hz, vilket är tillräckligt för de flesta fysiska rörelse med undantag av vissa patologiska motoriska symtom såsom skakningar. 3D-sensorn rumsliga noggrannhet har validerats i stor utsträckning med de mark sanningen6 eller gold standard, som är en markör-baserade 3-dimensionell rörelse analys system7,8,9,10 ,11,12. Bra samtidig validitet och reproducerbarhet har avslöjats av olika tester, särskilt från frontal Visa12 och för brutto rörelser7. För att objektivt bedöma den övre extremiteten funktionen för barn med SMA, vi utformat och genomfört ett spel-liknande test baserat på en 3D-sensor för att mäta förmågan att gemensam rörelse.
Protocol
Testet utfördes i en observationsstudie, longitudinell studie på University Children's Hospital i Basel (UKBB) med både vuxna och barn. Mer demografi och klinisk information om studien kan hittas i den tidigare publikationen13,14. Alla förfaranden har godkänts av den lokala etiska kommittén Ethikkomission UKBB och utfört enligt de principer som uttrycks i Helsingforsdeklarationen. Skriftligt informerat samtycke och efterlevnaden av studieprotokollet enligt internationella konferensen om harmonisering (ICH) och lokala bestämmelser tillhandahölls av alla ämnen eller de lagligen utsedda ombud för barn under rättsliga samtycke.
Obs: En prototyp spel ”garderob” som syftar till att mäta lederna utbud av rörelse var utformas och genomförs. Den exporterades sedan som ett körbart program som kan köras på alla Windows 8 eller högre operativsystem, så länge de nödvändiga 3D-sensor drivrutinerna installeras också. Prototyp spelet baserat på Kinect-sensorn v1 eller den andra versionen (se diskussion) på Kinect sensor v2 kan tillhandahållas på begäran (se kompletterande kodning filer).
1. inställning och beredning för test
- Installera 3D-sensorn (t.ex., Kinect) drivrutiner och designade programmet på datorn.
- Placera datorn på en lämplig yta, som ett bord, med en höjd av 0,5 - 1 meter.
- Placera 3D-enheten också på samma yta anpassas till mitten av datorn, så att höjden på 3D-kameran korrigeras genom tabellen om 0,5 - 1 meter över marken. Justera elevationsvinkel 3D-sensorn manuellt som behövs för att korrekt fånga motivet (se 2.4.2 nedan).
- Anslut alla kablar ordentligt, inklusive 3D-adaptern till datorn och strömkabeln till nätadaptern.
- Placera en Höj-och sänkbart stol framför bordet med datorn och 3D-sensor på ca 2 meter.
2. utför provningen
- Starta datorn och sätta på ljudet till en optimal volym. Om automatisk dataöverföring önskas, kontrollera Internet är ansluten.
- Instruera föremål att sitta på stolen.
- Starta programmet på datorn och ange ämnet ID på första sidan.
- Klicka på knappen ”START” på första sidan att inleda den andra sidan, som visar ”garderoben” spel:
- Observera figuren skelett (endast överkropp) på skärmen, som representerar kroppen av föremål framför en stor garderob. När figuren inte är sett, instruera föremål att vinka och flytta framåt och bakåt om han sitter i rullstol eller stå upp tills 3D-sensorn fångar personen.
- Läs instruktionerna på skärmen och justera avstånd, höjd och sidoläge på stolen och ämnet tills alla instruktioner är i grön teckensnitt.
Observera: Avstånd, höjd och sidoläge av stolen kan justeras av personen själv eller en hjälpare som ska kliva ur fältet efteråt. Om optimal höjd inte kan uppnås, manuellt justera elevationsvinkel för 3D-kameran. Den optimala positionen är 2 meter bort från enheten, med hals föremål visas mitt på skärmen. - Tryck på knappen tåg att starta träningspasset utan dataregistrering.
Obs: Om ämnet redan är bekant med spelet och vet vad du ska göra, tryck på knappen Starta direkt och hoppa över träningen. - Låt ämnet Följ instruktionerna på skärmen och utföra de följande rörelserna:
- Utöka den önskade arm (höger eller vänster) för att nå det flimrande virtuella objektet tills objektet i virtuella handen.
- Flex i samma arm och fysiskt röra de angivna punkterna på kroppen för att placera objektet.
- Fortsätta de arm extension och flexion rörelserna tills alla 20 objekt är nått och placeras.
Obs: Det finns två omgångar med 10 objekt i varje omgång. Inom en runda finns det 5 objekt på höger sida som kräver höger arm följt av 5 objekt på vänster sida som ställs i vänster arm. Detta avslutar träningspasset.
- Tryck på ”START” för att utföra samma uppgifter igen från början, som i steg 2.4.3, men denna tid inspelning platserna av 9 överkroppen pekar in i en krypterad fil. Spelet avslutas automatiskt genom antingen att placera alla 20 objekt eller när fördefinierade tiden (4 min) löper ut.
Obs: Det är också möjligt att avsluta spelet när som helst om ämnet är för svag eller eventuella andra situationer hända.
- In i sista sidan automatiskt som visar en spindel handling som anger lederna spänner från ”garderob” spelet.
- Avsluta spelet genom att trycka på knappen Avsluta eller upprepa testet genom att trycka på REPEAT -knappen.
3. efter test - hantering av data
- Spara det inspelade och krypterade data och loggfiler på hårddisken, och valfritt överföra via internet till en data analytiker. En detaljerad beskrivning av datahantering och analys har lämnats i en tidigare publikation13.
- Bekräfta den fullständighet och uppgifternas giltighet genom att kontrollera loggfilen och jämföra kliniska rapporter med 3D-posterna.
- Beräkna och extrahera 27 rörelse egenskaper som numeriska funktioner, till exempel gemensamma vinklar, hastighet och acceleration, hand sökvägens längd, kroppsrörelse ersättning, nås utrymme och så vidare.
- Beräkna, rita och välj funktionerna för att förstå och tolka 3D-sensordata samt när det gäller följande statistiska analys.
- Utföra PCA (Principal Komponentanalys), ANOVA (variansanalys), korrelation analys och linjär blandad effekt modeller som statistisk analys.
Representative Results
Med hjälp av proceduren som presenterats ovan, olika rörelse funktioner ritas och analys metoder utforskas för att få en helhetsförståelse av rörelser.
I figur 1ritas spår från de 9 överkropp punkterna begränsa till X och Y axlarna som representerar en 2-dimensionella projektion (X representerar horisontella position i ämnet, Y representerar vertikalt position medan Z är avståndet till 3-D sensor). Figur 1 visar vad 3D-sensorn faktiskt åtgärder, de rumsliga platserna av kroppen punkter. Genom juxtaposing en SMA patient och en frisk kontroll över de 4 besök, är det visat att både patient och kontroll slutfört uppgifter med klart igenkännlig banor. Det fanns vissa föremål-beroende egenskaper som bott konsekvent över alla besök, t.ex., banan för händerna på patienten. I jämförelse hade kontroll föremål relativt mindre stammen rörelse över tiden, vilket indikeras av mindre skaror av röda, gula och rosa linjer (head, hals och bål, respektive poäng). Ingen av de två ämnena visade osymmetrisk rörelse funktioner.
Figur 2 visar några representativa funktioner extraheras från tidsserien platser av punkterna som kroppen. Jämfört med figur 1, ger figur 2 en uppfattning om vilken potentiella information kan utvinnas och visualiseras från raw 3D-sensordata för att förstå de underliggande rörelse egenskaperna. Figur 2 en är en segmenterad händer spår tomt som anger armbåge extension och flexion faser av två rundor från ett enda ämne. Banan liknar sig själv ganska bra mellan de två rundorna. För de tre lägsta objekt, båda händerna tenderar att skjuta över målet, men detta är inte fallet för de övre två objekt. Figur 2 b tomter hand hastigheterna histogrammet (medan handen rör sig; i vilotillstånd är undantagna). Det finns ingen signifikant skillnad mellan vänster och höger hand för detta ämne. Figur 2 c visar totala sökvägen längderna av huvudet, halsen och bålen pekar, som kan betraktas som ett slags stammen ersättning rörelse per Objektplacering. För objekt 3 och 8, som är placerade i högre hörnet, stammen rörelsen är relativt större jämfört med andra positioner. Huvudet har dessutom flyttat mer självklart än de andra två punkterna. Siffror 2d, 2e, och 2f är boxplots visar den totala fördelningen från alla 4 besök för vissa funktioner. Endast de första sju patienterna med alla 4 besök visas för tydlighet. Figur 2 d visar den totala hand sökvägslängden dividerat med enskilda armlängd mäts av sensorn för att kompensera för skillnaden mellan föremål arm längd. Under rörelser utförs för att nå och placera objekt, är hand sökvägens längd omkring två gånger armlängd för ett objekt; Därför är den totala sökvägslängden för 20 objekt omkring 40 gånger armlängd. Uppenbara mellan föremål skillnader observeras, exempelvis i stammen ersättning rörelse mellan patienter 2 och 3 (figur 2e) eller i median hand hastighet mellan patienter 1 och 3 (figur 2f).
Full klinisk relaterade analys och resultat kan hittas i vår tidigare publikation13.
Figur 1 : Representativa trace tomter 9 överkroppen punkter under test De översta 4 Tomterna är från en SMA patient och botten 4 tomter är från en frisk kontroll. Denna siffra har ändrats från vårt tidigare publikation13. Klicka här för att se en större version av denna siffra.
Figur 2 : Representativa sammanfattande analysresultat: (a), (b), (c) är från ett enda ämne och (d), (e), f är sammanfattningen från de första 7 SMA patienterna med komplett 4 besök. I d, e och f, botten och toppen av rutan är de första och tredje kvartiler, och den vågräta linjen inuti lådan är medianen. Längderna på morrhåren (sträcker sig vertikala linjer från rutan) definieras som den lägsta punkten inom 1,5 interquartile spänner (IQR) av den lägre kvartilen, och den högsta punkten inom 1,5 IQR av den övre kvartilen. Diamanter representerar extremvärdena utanför morrhår. (a) segmenterade händer spår tomt. Heldragna linjer representerar armbåge förlängningsfasen när händerna nå ut för objekt medan streckade linjer representerar fasen armbåge flexion när händerna placera objekt på kroppen. Varje färg representerar objekten på samma position från de två omgångarna. (b) histogram av hand hastighet under extension och flexion rörelser. (c) total ersättning rörelse längder från huvudet, halsen och bålen Poäng för varje enskilt objekt. (d) Boxplot av totala hand bana sökvägslängden för höger och vänster händer respektive över 4 besök. Y-axeln visar den totala handen sökvägen längderna dividerat med de enskilda arm längderna. (e) Boxplot totala stammen ersättning rörlighet inklusive huvud, hals och överkropp pekar för rörelse från höger och vänster sida rörelse respektive över 4 besök. (f) Boxplot av median hand hastighet under rörelsen för höger och vänster händer respektive över 4 besök. Klicka här för att se en större version av denna siffra.
Discussion
Föreslagna Kinect-baserat bedömningen förutsatt ett objektivt och omfattande rörelse analys samtidigt som den ger en barnvänlig, billig och portabel lösning med avseende på traditionella kliniska skattningsskalor eller sofistikerade markör-baserade video system. Flera organ punkter undersöktes intensivt samtidigt med en gaming-test som varade mindre än 5 minuter, och många spatiotemporal och kinematisk egenskaper analyseras med hög noggrannhet inklusive hastighet, gemensamma vinklar och så vidare. Hela set-up och utbildningsinsatser var också mycket mindre krävande jämfört med skattningsskalor eller videosystem.
Det mest kritiska steget i denna strategi var testdesign. För att fånga de underliggande rörelse symtom, bör designade uppgiften omfatta motsvarande kapacitet spektrumet och undvika golv eller tak effekter. I exemplet med denna specifika indikation är de vanligaste fysiska symtomen av SMA muskelsvaghet, begränsat gemensamma utbud, muskelstelhet, trötthet och så vidare. Det föreslagna testet är lämpligt för dessa symtom som omfattar begränsade gemensamma spänna, som var typisk för SMA typ 2 patienter. Prototypen testades tyvärr bara som ett första försök i en planerad studie som rekryteras bara SMA typ 3-patienter. Eftersom kapaciteten hos dessa patienter var högre än vad det nuvarande testet kunde mäta (tak effekt), önskat resultat inte kan uppnås. För denna ambulanta patientgrupp, skulle muskel trötthet och kroppen överföring vara ett bättre mått.
Baserat på denna erfarenhet, en andra version av testet som består av en modifierad version av ”garderob” spelet och en ytterligare ”båt-rodd” spelet utformades. Den modifierade versionen av ”garderob” spelet har tre svårighetsgrader. I den första nivån placeras objekt nära kroppen så att ämnet inte behöver dra ut armen, vars mål är den svag patientgrupp, som bara kan sitta i rullstolen och inte fullt förlänga armarna utan stöd. I den andra nivån placeras objekt på ett avstånd av hela armen längd, som riktar sig till den patientgrupp som kan lyfta och förlänga armarna utan stöd. Den svåraste nivån placeras objekten något ur intervallet arm; ämnet måste därför flytta övre stammen som en förlängning. Den tredje nivån ger gruppen Ambulanta patienter där den axiella och proximala rörligheten mäts också. Under positionering fasen av spelet, armlängd i ämnet automatiskt mäts och sedan används för att beräkna placeringen av objekt i följande spel; Därför justeras svårighetsgrader automatiskt till individens förmåga. När kapacitet gränsen varje individs nås och objekt kan inte nås eller placeras, nivån kommer att hoppas över antingen automatiskt efter en viss tid, eller manuellt av operatören genom att trycka på knappen ”SKIP” på skärmen. ”Båt-rodd” spelet mål muskel uthållighet och det kräver ämnet för att upprepa en arm som rullande rörelse så snabbt som möjligt i 1 minut. I en framtida studie, är den andra versionen avsett att täcka patientens spektrumet från SMA typ 2 till typ 3, eftersom uppgifterna mäta kapaciteten hos patienter med begränsad arm rörelse förmåga att patienter med full arm funktion och begränsad axiell rörelse.
Den andra sidan av testdesign är övervägande av golvet effekten. På grund av den begränsade rumsliga och temporal upplösningen är 3D-sensorn bara kan fånga exakt brutto rörelser som promenader, arm viftande och så vidare. För fin rörelse krävs detektering, inklusive figur knacka eller hand svarvning, känsligare digitala enheter som mobiltelefoner eller handled wearables. Som diskuterats, är nyckeln för att lyckas med sådan ansökan att bygga upp rätt matchen mellan underliggande sjukdomssymtom, enhetsfunktioner och designade uppgift.
Några andra överväganden under testet designen inkluderar åldersgrupp, lärande effekt, språk och så vidare. Eftersom SMA drabbar främst barn, bör testet vara lika enkel och tydlig som möjligt samtidigt som en attraktiv gamification drag. I vår design användes tecknade figurer och handritade objekt. Uppgiften imiterade själv omklädningsrum beteendet som förvärvas vanligtvis av barn efter två eller tre år. Rörelser hölls enkel sådan att försökspersoner kunde förstå och genomföra testet efter en kort utbildning fas och läroeffekter undveks, som var mätt och diskuterade i vårt föregående publikation13.
När du utför testprotokollet och dataanalys, kan vissa problem uppstå på samma sätt till andra 3D-sensor program. Dessa problem inkluderar sunshine störningar, speciella kläder, mer än ett ämne i synfältet och oregelbundna provtagningstider. Vi hittade ett fall där ett ämne i svarta kläder inte upptäcktes av 3D-sensorn i ett soligt rum, även när motivet inte var direkt i solskenet. När mer än ett ämne visas och försvinner från synfältet, tilldelning av ID-nummer som detekteras skelett kan hoppa, vilka bördor analysen. Även om 3D-sensorn utgångar signalen på frekvensen 30 Hz i teorin, de faktiska resultaten kan ha luckor upp till hundra ms. därför, är det viktigt att spåra och exportera tidsstämpeln.
Vårt första test utfördes på den första versionen av 3D-sensorn, som för närvarande har ersatts av en andra version, och vår modifierade version genomförs baserat på denna andra version. De underliggande drivkrafterna är olika mellan versioner, och även application interface (API) har ändrats. Det finns inga andra signifikanta skillnader när du migrerar ansökan. Eftersom båda programversioner kan tillhandahållas fritt på begäran av författarna och sensor drivrutiner kan hämtas från webbplatsen för Kinect, är detta ingen oro för användaren.
Med hjälp av 3D-sensor, utvecklat vi en innovativ, kvantitativ och objektiv övre extremiteterna funktion Bedömningsverktyget införliva barnvänliga spel-liknande teknik. Möjligheten var utforskade och analyserade. Vårt arbete visat den potentiella kraften av 3D-sensor som ett alternativ och komplement till rörelse bedömning.
Disclosures
Författarna Xing Chen, Detlef Wolf, Juliane Siebourg-Polster, Christian tjeckiska, Omar Khwaja och Martin Strahm är anställda av F. Hoffmann-La Roche, som finansierade all forskningen i denna artikel.
Acknowledgments
Vi tackar Bastian Strahm för att delta i testet demonstration och Laura Aguiar för korrekturläsning Detta manuskript.
Materials
| Name | Company | Catalog Number | Comments |
| Microsoft Kinect for Windows v1 sensor | Microsoft | N/A | The first version of the test was developed on Kinect sensor v1 which is not sold any more. But the second version was developed on the Kinect sensor v2 which can be tested in a similar way by using Microsoft Kinect for Windows v2 sensor (GT3-00003) together with Microsoft Kinect Adapter (9J7-00009) |
| DELL XPS 2720 All-In-One PC with windows 8 operating system, 16G RAM, Intel Core i7 and 64-bits | DELL | N/A | In our setup, a All-in-one computer was used, but in fact any laptop or computer which fullfills the following requirements and a big screen for the subjects to see will work: windows 8 or higher operating system; 64-bit processor; dual-core 3.2 GHz or faster processor; dedicated USB 3.0 bus; 2 GB RAM |
References
- Hobart, J. C., Cano, S. J., Zajicek, J. P., Thompson, A. J. Rating scales as outcome measures for clinical trials in neurology: problems, solutions, and recommendations. Lancet Neurol. 6, 1094-1105 (2007).
- Cano, S. J., et al. Rasch analysis of clinical outcome measures in spinal muscular atrophy. Muscle Nerve. 49, 422-430 (2014).
- Monani, U. R., De Vivo, D. C. Neurodegeneration in spinal muscular atrophy: from disease phenotype and animal models to therapeutic strategies and beyond. Future Neurol. 9, 49-65 (2014).
- Kolb, S. J., Kissel, J. T.
- Shotton, J., et al. Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society. , 1297-1304 (2011).
- Plantard, P., Shum, H. P., Le Pierres, A. S., Multon, F. Validation of an ergonomic assessment method using Kinect data in real workplace conditions. Appl Ergon. , (2016).
- Galna, B., et al. Accuracy of the Microsoft Kinect sensor for measuring movement in people with Parkinson's disease. Gait Posture. 39, 1062-1068 (2014).
- Otte, K., et al. Accuracy and Reliability of the Kinect Version 2 for Clinical Measurement of Motor Function. PLoS One. 11, 0166532 (2016).
- Clark, R. A., et al. Reliability and concurrent validity of the Microsoft Xbox One Kinect for assessment of standing balance and postural control. Gait Posture. 42, 210-213 (2015).
- Milgrom, R., Foreman, M., Standeven, J., Engsberg, J. R., Morgan, K. A. Reliability and validity of the Microsoft Kinect for assessment of manual wheelchair propulsion. J Rehabil Res Dev. 53, 901-918 (2016).
- Bonnechere, B., et al. Validity and reliability of the Kinect within functional assessment activities: Comparison with standard stereophotogrammetry. Gait & Posture. 39, 593-598 (2014).
- Huber, M. E., Seitz, A. L., Leeser, M., Sternad, D. Validity and reliability of Kinect skeleton for measuring shoulder joint angles: a feasibility study. Physiotherapy. 101, 389-393 (2015).
- Chen, X., et al. Feasibility of Using Microsoft Kinect to Assess Upper Limb Movement in Type III Spinal Muscular Atrophy Patients. Plos One. 12, (2017).
- Bonati, U., et al. Longitudinal characterization of biomarkers for spinal muscular atrophy. Ann Clin Transl Neur. 4, 292-304 (2017).
