Evaluering av en smarttelefon-basert Menneskelig aktivitet Recognition System i en Daily Living Environment

Summary

A standardized evaluation method was developed for Wearable Mobility Monitoring Systems (WMMS) that includes continuous activities in a realistic daily living environment. Testing with a series of daily living activities can decrease activity recognition sensitivity; therefore, realistic testing circuits are encouraged for valid evaluation of WMMS performance.

Abstract

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that attempt to recognize user activities. Participants performed a pre-determined set of daily living actions within a continuous test circuit that included mobility activities (walking, standing, sitting, lying, ascending/descending stairs), daily living tasks (combing hair, brushing teeth, preparing food, eating, washing dishes), and subtle environment changes (opening doors, using an elevator, walking on inclines, traversing staircase landings, walking outdoors).

To evaluate WMMS performance on this circuit, fifteen able-bodied participants completed the tasks while wearing a smartphone at their right front pelvis. The WMMS application used smartphone accelerometer and gyroscope signals to classify activity states. A gold standard comparison data set was created by video-recording each trial and manually logging activity onset times. Gold standard and WMMS data were analyzed offline. Three classification sets were calculated for each circuit: (i) mobility or immobility, ii) sit, stand, lie, or walking, and (iii) sit, stand, lie, walking, climbing stairs, or small standing movement. Sensitivities, specificities, and F-Scores for activity categorization and changes-of-state were calculated.

The mobile versus immobile classification set had a sensitivity of 86.30% ± 7.2% and specificity of 98.96% ± 0.6%, while the second prediction set had a sensitivity of 88.35% ± 7.80% and specificity of 98.51% ± 0.62%. For the third classification set, sensitivity was 84.92% ± 6.38% and specificity was 98.17 ± 0.62. F1 scores for the first, second and third classification sets were 86.17 ± 6.3, 80.19 ± 6.36, and 78.42 ± 5.96, respectively. This demonstrates that WMMS performance depends on the evaluation protocol in addition to the algorithms. The demonstrated protocol can be used and tailored for evaluating human activity recognition systems in rehabilitation medicine where mobility monitoring may be beneficial in clinical decision-making.

Introduction

Allestedsnærværende sensing har blitt et engasjerende forskningsområde på grunn av stadig kraftigere, små, lave kostnader databehandling og sensing utstyr ^1. Mobilitet overvåking ved hjelp av bærbare sensorer har generert stor interesse siden forbruker-nivå mikroelektronikk er i stand til å oppdage bevegelsesegenskaper med høy nøyaktighet ^1. Menneskelig aktivitet gjenkjenning (HAR) ved hjelp av bærbare sensorer er en fersk forskningsområde, med foreløpige studier utført på 1980-tallet og 1990-tallet ^{2 – 4.}

Moderne smarttelefoner inneholder de nødvendige sensorer og real-time beregning evne til mobilitet aktivitet anerkjennelse. Sanntidsanalyse på enheten tillater aktivitet klassifisering og dataopplasting uten at brukeren eller etterforsker intervensjon. En smarttelefon med mobilitet analyse programvare kan gi fitness sporing, helseovervåkning, faller deteksjon, hjemme eller på jobb automatisering og selvadministrerende exercise-programmer ^5. Smarttelefoner kan betraktes treghet måle plattformer for påvisning mobile aktiviteter og mobile mønstre hos mennesker, ved hjelp genererte matematiske signal funksjoner kalkulert med ombord sensorutganger ^6. Felles generasjon metoder inkluderer heuristisk, tid-domene, frekvens-domene, og wavelet analyse baserte tilnærminger ^7.

Moderne smarttelefon HAR systemer har vist høye prediksjon nøyaktighet når det oppdages spesifiserte aktiviteter ^1,5,6,7. Disse studiene varierer i evalueringsmetodikk samt nøyaktighet ettersom de fleste studier har sitt eget treningssett, miljø oppsett, og datainnsamling protokollen. Sensitivitet, spesifisitet, nøyaktighet, husker, presisjon, og F-Score blir ofte brukt for å beskrive prediksjon kvalitet. Men lite eller ingen informasjon er tilgjengelig på metoder for "samtidig aktivitet" anerkjennelse og evaluering av evnen til å oppdage aktivitetsendringer i sanntid^1, for HAR systemer som forsøker å kategorisere flere aktiviteter. Vurderingsmetoder for HAR system nøyaktigheten varierer betydelig mellom studier. Uavhengig av klassifisering algoritme eller anvendt funksjoner, beskrivelser av gullstandarden evalueringsmetoder er vage for de fleste HAR forskning.

Aktivitet anerkjennelse i et levende miljø har ikke blitt grundig undersøkt. De fleste smartphone-basert aktivitet anerkjennelse systemer er vurdert på en kontrollert måte, fører til en evalueringsprotokoll som kan være en fordel å algoritmen fremfor realistiske til en real-world miljø. Innenfor sin evaluering ordningen, deltakerne utfører ofte bare de handlinger som er ment for prediksjon, heller enn å bruke et stort spekter av realistiske aktiviteter for deltakeren å utføre fortløpende, etterligne virkelige hendelser.

Noen smarttelefon HAR studerer ^8,9 gruppe lignende aktiviteter sammen, for eksempel trapper og gang, Men utelukker andre aktiviteter fra datasettet. Prediksjonsnøyaktigheten er da bestemt av hvor godt algoritmen identifisert målet aktiviteter. Dernbach et al. ^{9 hadde} deltakere skrive aktiviteten de var i ferd med å utføre før du flytter, avbryter kontinuerlig endring-av-tilstand overganger. HAR system evalueringer bør vurdere algoritmen mens deltakeren utfører naturlige handlinger i et levende miljø. Dette ville tillate en real-life evaluering som reproduserer daglig bruk av programmet. En realistisk krets omfatter mange endringer av staten, samt en blanding av handlinger ikke forutsigbare av systemet. En etterforsker kan deretter vurdere algoritmen respons på disse ekstra bevegelser, og dermed evaluere algoritmen robusthet til anomale bevegelser.

Dette notatet presenterer en Wearable Mobility Monitoring System (WMMS) evaluering protokoll som bruker en kontrollert kurs som gjenspeiler reelle daglige levende miljøer. WMMSevaluering kan da gjøres under kontrollerte, men realistiske forhold. I denne protokollen, bruker vi en tredje generasjons WMMS som ble utviklet ved University of Ottawa og Ottawa Hospital Research Institute ^11-15. Den WMMS er designet for smarttelefoner med en tri-akse akselerometer og gyroskop. Mobiliteten algoritme står for brukeren variasjon, gir en reduksjon i antall falske positiver for endringer av staten identifikasjon, og øker følsomheten i kategorisering aktivitet. Minimere falske positiver er viktig siden den WMMS utløser kort videoopptak når aktivitetsendringer tilstand blir oppdaget, for kontekstavhengig aktivitet evaluering som ytterligere forbedrer WMMS klassifisering. Unødvendig videoopptak skaper ineffektivitet Lagring og batteribruk. Den WMMS algoritmen er strukturert som en lav-beregningsmodell læring og evaluert ved å bruke forskjellige prediksjon nivåer, hvor en økning i forutsigelse nivå betegner en økning i mengdenav gjenkjennelige handlinger.

Protocol

Denne protokollen ble godkjent av Ottawa Health Science Network forskningsetikk Board. 1. Forberedelse Gi deltakerne en oversikt over forskning, svare på spørsmål, og få informert samtykke. Rekord deltaker egenskaper (f.eks, alder, kjønn, høyde, vekt, midje omkrets, leg høyde fra fremre overlegen iliaca ryggraden til den mediale malleol), identifikasjonskode og dato på en datablad. Sørg for at den andre smarttelefonen som brukes til å fange video er satt til min…

Representative Results

Studieprotokollen ble gjennomført med en praktisk prøve av femten fullbefarne deltakere som gjennomsnittsvekt var 68,9 (± 11.1) kg, høyde var 173,9 (± 11,4) cm, og alder var 26 (± 9) år, rekruttert fra The Ottawa Hospital og University of Ottawa ansatte og studenter. En smarttelefon fanget sensordata på en variabel 40-50 Hz rate. Samplingsfrekvens variasjoner er typisk for smartphone sensor prøvetaking. En annen smarttelefon ble brukt til å spille inn digital video på 1280×720 (720p) oppløsning. <p class…

Discussion

Menneskelig aktivitet anerkjennelse med en bærbar mobilitet overvåkingssystem har fått mer oppmerksomhet de siste årene på grunn av de tekniske fremskritt innen bærbar databehandling og smartphones og systema behov for kvantitative resultatmål som bidrar med klinisk beslutningstaking og helse intervensjon evaluering. Metodikken er beskrevet i denne artikkelen var effektivt for å evaluere WMMS utvikling siden aktivitetsklassifiserings ble funnet feil som ikke ville ha vært til stede hvis et bredt spekter av dagl…

Materials

Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World – TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/