Utvärdering av en Smartphone-baserade Human Activity Recognition System i en Daily Living miljö

Summary

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

Ubiquitous analys har blivit ett engagerande forskningsområde på grund av allt kraftfullare, liten, låg kostnad computing och avkänning utrustning ^1. Övervakning rörlighet med hjälp av bärbara sensorer har genererat en hel del intresse, eftersom konsumentnivå mikroelektronik kan detektera rörelseegenskaper med hög noggrannhet ^1. Mänsklig verksamhet erkännande (HAR) med hjälp av bärbara sensorer är en ny forskningsområde, med förstudier utförts under 1980-talet och 1990-talet ^2-4.

Moderna smartphones innehåller nödvändiga sensorer och realtidsberäkningskapacitet till rörlighet aktivitet erkännande. Realtidsanalys på enheten medger näringsgrensindelningen och dataöverföring utan att användaren eller utredare ingripande. En smartphone med rörlighet analysprogram kunde ge fitness spårning, hälsoövervakning, falla upptäckt, hemma eller på jobbet automation, och självstyrande exercise program ^5. Smartphones kan anses tröghetsmätningsplattformar för att upptäcka mobilt arbete och mobila mönster hos människor, med hjälp av genererade matematiska signalfunktioner beräknade med ombord sensorutgångar ^6. Gemensamt har generation metoder inkluderar heuristisk, tidsdomänen, frekvensdomänen och wavelet analys baserade metoder ^7.

Moderna smartphone HAR system har visat hög förutsägelse noggrannhet vid detektering av viss verksamhet ^1,5,6,7. Dessa studier varierar i utvärderingsmetodik samt noggrannhet eftersom de flesta studier har sin egen utbildning set, miljö installation och datainsamlingsprotokoll. Känslighet, specificitet, noggrannhet, återkallelse, precision och F-Score används ofta för att beskriva förutsägelse kvalitet. Men, lite eller ingen information finns om metoder för "samtidig aktivitet" erkännande och utvärdering av förmågan att upptäcka aktivitetsändringar i realtid^1, för HAR system som försöker kategorisera flera aktiviteter. Bedömningsmetoder för HAR noggrannhet varierar kraftigt mellan studier. Oberoende av klassificeringen algoritm eller tillämpade funktioner, beskrivningar av guldmyntfoten utvärderingsmetoder är vaga för de flesta HAR forskning.

Aktivitet erkännande i en daglig livsmiljö har inte undersökts genomgripande. De flesta smartphone-baserade system aktivitetsigenkännings utvärderas på ett kontrollerat sätt, vilket leder till en utvärderingsprotokoll som kan vara fördelaktigt att algoritmen i stället realistiskt att en verklighetstrogen miljö. Inom utvärderingen systemet, deltagarna utför ofta bara de åtgärder som är avsedda för prediktion, snarare än att tillämpa ett stort utbud av realistiska aktiviteter för deltagaren att utföra följd, härma verkliga händelser.

Vissa smartphone HAR studier ^8,9 gruppera liknande aktiviteter tillsammans, såsom trappor och promenader, Men utesluta andra aktiviteter från datamängden. Förutsägelse noggrannhet därefter bestäms av hur väl algoritmen identifierade målgrupp aktiviteter. Dernbach et al. ⁹ hade deltagarna skriva verksamhet som de var på väg att köra innan du flyttar, avbryter kontinuerliga change of state övergångar. HAR systemet utvärderingar bör bedöma algoritmen medan deltagaren utför naturliga åtgärder i det dagliga livet inställning. Detta skulle möjliggöra en verklig utvärdering som replikerar daglig användning av programmet. En realistisk krets innehåller många förändringar-of-state samt en blandning av åtgärder som inte förutsägbara av systemet. En utredare kan sedan bedöma algoritmen svar på dessa ytterligare rörelser och därmed utvärdera algoritm robusthet till onormala rörelser.

Denna uppsats presenterar en Wearable Mobility Monitoring System (WMMS) utvärderingsprotokoll som använder en kontrollerad kurs som speglar verkliga dagliga livsmiljöer. WMMSUtvärderingen kan sedan göras under kontrollerade men realistiska förhållanden. I detta protokoll använder vi en tredje generationens WMMS som utvecklades vid universitetet i Ottawa och Ottawa Hospital Research Institute ^11-15. Den WMMS designades för smartphones med en tri-axlig accelerometer och gyroskop. Rörligheten algoritm står för användar variabilitet, åstadkommer en minskning av antalet falska positiva för förändringar-of-state identifiering, och ökar känsligheten i aktivitet kategorisering. Minimering falska positiva är viktigt eftersom WMMS utlöser kort videoklipp inspelning när aktivitetsändringar stats upptäcks, för sammanhangsberoende aktivitet utvärdering som ytterligare förbättrar WMMS klassificering. Onödig videoinspelning skapar ineffektivitet i lagring och användning av batteriet. Den WMMS algoritmen är strukturerad som en låg beräkningsinlärningsmodell och utvärderas med hjälp av olika prognosnivåer, där en ökning av förutsägelsenivån innebär en ökning i mängdenav igenkännbara åtgärder.

Protocol

Detta protokoll godkändes av Ottawa Health Science Network forskningsetik Board. 1. Förberedelse Ge deltagarna en översikt av forskningen, svara på frågor och få informerat samtycke. Spela deltagare egenskaper (t.ex. ålder, kön, längd, vikt, midja omkrets, ben höjd från den främre överlägsen iliaca ryggraden till den mediala fotknölen), identifieringskod, och datum på ett datablad. Se till att den andra smartphone som används för att fånga video är ins…

Representative Results

Studieprotokollet genomfördes med ett bekvämlighetsurval av femton arbetsföra deltagare vars genomsnittliga vikten var 68,9 (± 11,1) kg, höjd var 173,9 (± 11,4) cm, och ålder var 26 (± 9) år, rekryterades från Ottawa Hospital och University of Ottawa personal och studenter. En smartphone fångade sensordata med en variabel 40-50 Hz takt. Prov differenser är typiska för smartphone givare provtagning. En andra smartphone användes för att spela in digital video i 1280×720 (720p) upplösning. <p class="jov…

Discussion

Mänsklig aktivitet erkännande en bärbar system för rörlighet övervakning har fått mer uppmärksamhet under de senaste åren på grund av de tekniska framstegen inom bärbara datorer och smartphones och systematiska behov av kvantitativa resultatmått som hjälper till med kliniskt beslutsfattande och hälsa ingripande utvärdering. Den metod som beskrivs i detta dokument var effektivt för att utvärdera WMMS utveckling sedan aktivitets fel klassificeringskonstaterades att inte skulle ha funnits om ett brett utbu…

Materials

Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World – TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/