Introduction
Повсеместный зондирования стал привлекательным направлением исследований в связи с все более и более мощным, небольшой, низкого вычислений затрат и чувствуя оборудование 1. Мониторинг Мобильность помощи носимых датчиков породила большой интерес, так как микроэлектроника потребительского уровня способны обнаруживать характеристики движения с высокой точностью 1. Признание Деятельность человека (HAR) с помощью носимых датчиков Недавнее область исследований, с предварительные исследования выполнены в 1980-х и 1990-х 2 - 4.
Современные смартфоны содержат необходимые датчики и возможности вычисления в режиме реального времени для распознавания активности мобильность. Анализ на устройстве в режиме реального времени позволяет классификации активности и загрузки данных без вмешательства пользователя или следователь. Смартфон с программным обеспечением для анализа мобильность может обеспечить фитнес отслеживание, мониторинг здоровья, падение обнаружения, дома или автоматизации работы и самоуправляемых exercisе программы 5. Смартфоны можно рассматривать инерционные платформы измерения для обнаружения мобильных деятельности и мобильные шаблоны на людях, используя созданные математические функции, рассчитанные сигнальные бортовыми выходов датчиков 6. Общей чертой методов поколения включают эвристики, во временной области, частотной области, и вейвлет-анализа на основе подходов 7.
Современные системы смартфона HAR показали высокие точности прогнозирования при обнаружении определенной деятельностью 1,5,6,7. Эти исследования варьируются в методологии оценки, а также точности, так как большинство исследований имеют свой собственный набор обучения, экологических настройку и протокол сбора данных. Чувствительность, специфичность, точность, напомним, точность и F-счет, как правило, используется для описания качества прогнозирования. Тем не менее, практически нет информации доступно по методам "одновременно деятельности» признания и оценки способности обнаруживать изменения активности в режиме реального времени1, для систем HAR, которые пытаются классифицировать ряд мероприятий. Методы оценки для точности системы HAR существенно различаются между исследованиями. Независимо от алгоритма классификации или прикладных функций, описания золотого стандарта методов оценки туманны для большинства исследований HAR.
Признание активность в повседневной среды обитания не широко изучаются. Большинство систем распознавания активности смартфон на основе оцениваются контролируемым образом, что приводит к протоколу оценки, что может быть выгодно алгоритма, а не реалистично к реальной среде. В их схеме оценки, участники часто выполняют только действия, предназначенные для прогнозирования, а не применяя широкий спектр реалистичных деятельности для участника выполнять последовательно, имитируя реальные события.
Некоторые смартфон HAR изучает 8,9 групповые подобные мероприятия вместе, например, лестницах и ходьба, Но исключает другие мероприятия из набора данных. Точность прогноза определяется тогда, как хорошо алгоритм определил целевые мероприятия. Дернбах др. 9 были участники пишут деятельность они собирались выполнить, прежде чем перейти, прерывая непрерывные изменения в другом штате переходы. Оценки системы HAR следует оценить алгоритм, а участник выполняет природные действия в повседневной обстановке в гостиной. Это позволит оценку реальной жизни, который воспроизводит ежедневного использования приложения. Реалистичная схема включает в себя множество изменений в другом штате, а также сочетание действий не предсказуемы в системе. Следователь может затем оценить отклик алгоритма к этим дополнительным движений, таким образом, оценки надежности алгоритма аномальных движений.
Эта статья представляет собой переносной системы мониторинга мобильности (WMMS) протокол оценки который использует управляемое курс, который отражает реальные ежедневные условий жизни. WMMSоценка может быть сделана при контролируемых условиях, но реальных. В этом протоколе, мы используем третьего поколения WMMS, которая была разработана в Университете Оттавы и Оттавы больницы научно-исследовательского института 11-15. WMMS был разработан для смартфонов с три-осевой акселерометр и гироскоп. Алгоритм мобильность приходится изменчивости пользователя, обеспечивает снижение количества ложных срабатываний для изменения правового государства идентификации и повышает чувствительность в деятельности категоризации. Минимизация ложных срабатываний важно, так как WMMS вызывает короткое запись видеоклипа, когда изменения деятельности государственных обнаружены, для контекстной оценки деятельности, что дополнительно улучшает WMMS классификации. Ненужные записи видео создает неэффективности хранения и использования батареи. Алгоритм WMMS структурирована в виде модели низкой вычислительной обучения и оценены с использованием различных уровней предсказание где увеличение уровня прогнозирования означает увеличение в размереиз узнаваемых действия.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Этот протокол был одобрен Советом Оттава Здоровье Наука сети по этике исследований.
1. Подготовка
- Предоставьте участникам наброски исследования, ответить на любые вопросы, и получить информированное согласие. Запись характеристики участник (например, возраст, пол, рост, вес, обхват талии, ноги высота от передней подвздошной ости к медиальной лодыжки), идентификационный код, и даты на листе данных. Убедитесь, что второй смартфон, который используется для захвата видео устанавливается по крайней мере, 30 кадров в секунду захвата.
- Надежно прикрепите телефонный кобуру к передней правой ремня или пояса трусов участника. Начните смартфон приложение, которое будет использоваться для сбора данных датчиков (т.е., регистрации данных или приложений WMMS) на измерительной смартфона мобильности и убедитесь, что приложение работает соответствующим образом. Поместите смартфон в кобуре, с задней части устройства (сзади каMera) наружу.
- Начните цифровую запись видео на второй смартфон. Для анонимности, записывать видео без сравнения, показывая лицо человека, но обеспечить, чтобы записать все переходы деятельности. Телефон может быть портативный.
2. Деятельность цепи
- Следуйте участника и видео их действия, на втором смартфоне, в то время как они выполняют следующие действия, сказанные следователем:
- Из положения стоя, встряхнуть смартфон для обозначения начала судебного разбирательства.
- Продолжить стоять в течение по крайней мере 10 сек. Это стоя фаза может быть использована для ориентации телефона калибровки 14.
- Прогулка на соседний стул и сесть.
- Встань и иди в 60 метрах к лифту.
- Стоять и ждать лифта, а затем пешком в лифт.
- Поднимитесь на лифте на второй этаж.
- Поверните и идти в домашних условиях.
- Прогулка в ванной и симогут накапливаться чистки зубов.
- Имитация расчесывать волосы.
- Имитация мытье рук.
- Сухие руки с помощью полотенца.
- Прогулка на кухню.
- Возьмите посуду со стойки и поместите их на прилавке.
- Заполните чайник с водой из кухонной раковины.
- Поставьте чайник на плите элемента.
- Поместите хлеб в тостере.
- Идите к столовой.
- Сядьте на обеденном столе.
- Имитация приема пищи на столе.
- Встаньте и идти назад к раковине.
- Смойте посуду и поместите их в стойку.
- Прогулка из кухни назад к лифту.
- Стоять и ждать лифта, а затем пешком в лифт.
- Поднимитесь на лифте на первый этаж.
- Прогулка 50 метров до лестничной клетки.
- Откройте дверь и войдите в лестничную клетку.
- Прогулка вверх по лестнице (13 ступенек, около посадки, 13 шагов).
- Откройте дверь на лестничную клетку в коридоре.
- Поверните направо и идите по коридору на 15 метров.
- Повернитесь и пешком 15 метров назад к лестнице.
- Откройте дверь и войдите в лестничную клетку.
- Спуститесь по лестнице (13 ступенек, около посадки, 13 шагов).
- Выйдите на лестничную и входите в комнату.
- Лягте на кровать.
- Встань и иди в 10 метрах к рампе.
- Прогулка вверх по пандусу, развернуться, затем вниз по рампе (20 метров).
- Продолжить ходить в зал и открыть дверь наружу.
- Прогулка 100 метров по асфальтированной пути.
- Повернитесь и идите обратно в комнату.
- Прогулка в комнату и стоять в начальной точке.
- Продолжить положение, а затем встряхнуть смартфон, чтобы указать конец судебного разбирательства.
3. Судебная Завершение
- Остановите видео записи смартфон и попросить участника снять и вернуть смартфон и кобуру. Остановите регистрацию данных или приложения WMMS на SMArtphone. Скопируйте файлы, приобретенные движения данных и видео файл из обоих телефонах на компьютер для последующей обработки.
4. Последующая обработка
- Синхронизация времени между видео и данных датчика сырья путем определения времени, когда начал дрожание действия. Это движение встряхивания соответствует отдельной акселерометр сигнала и видеокадра. Проверьте ошибки синхронизации путем вычитания время толчка конец с момента начала трясти, для датчиков и видео источников. Время различия должны быть похожи между двумя наборами данных.
- Определить фактические изменения в другом штате раз из золотого стандарта видео, записи разницу во времени с момента начала трясти в видеокадра при переходе между деятельностью. Используйте программное обеспечение для редактирования видео, чтобы получить синхронизацию с точностью до 0,033 сек (т.е., 30 кадров в секунду видео). Используйте программное обеспечение, чтобы WMMS сравнимые изменения в другом штате из данных датчиков.
- Создание двух наборов данных, одинс истинными деятельности, а второй с прогнозируемыми деятельности, маркируя деятельности для каждого видеокадра (основано на изменении государственной времени), а затем расчета прогнозируемой активности в каждый момент времени видеокадра с выхода WMMS. Для оценки производительности WMMS, рассчитать истинные, ложные положительные негативы, истинные негативов, ложных срабатываний между золотого стандарта деятельности и WMMS предсказал деятельности. Используйте эти параметры для расчета исходы чувствительность, специфичность и F-оценка мер.
Примечание: Установка допуска 3 окна данных по обе стороны окна анализируемого может быть использован для определения изменения в другом штате результатов, и 2 окна данных для результатов классификации. Например, с 1 секунда окна данных были использованы для WMMS в этом исследовании, 3 сек до и после текущего окна были рассмотрены так, что последовательные изменения в пределах этого допуска будут проигнорированы. Рассмотрение было то, что изменения состояния, которые происходят в менее чем 3 сек можно пренебречь валового HumaАнализ п движение, так как этих государств будет считаться временным.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Протокол исследования был проведен с удобством выборки пятнадцать трудоспособных участников, средний вес был 68,9 (± 11,1) кг, высота была 173,9 (± 11,4) см, а возраст 26 (± 9) лет, набранных из Оттавы больницы и Университет сотрудников и студентов в Оттаве. Смартфон захваченные данные датчика с переменной скоростью 40-50 Гц. Вариации Частота выборки характерны для отбора проб датчика смартфон. Второй смартфон используется для записи цифрового видео в 1280x720 (720p) разрешением.
Кобура была прикреплена к передней правой пояса участника или брюки без дальнейшей стандартизации месте. Это продемонстрировал естественный метод для размещения устройства в Конюх на бедре. С устройством, установленным в кобуре и запущенного приложения регистратора данных, каждый человек пересекли цепь один раз, на самостоятельный выбор темпа. Схема не была описана в заранее участник и исходящих деятельности былиговорил следователем последовательно в ходе судебного разбирательства.
WMMS состоял из принятия дерева с верхней и нижней граничных условиях, аналогичных работать Ву, и др. 13. Пересмотренный классификатор использовали 1 сек размер окна и функции от линейной сигнала ускорения (сумма диапазона, простой скользящей средней, сумма стандартного отклонения) и тяжести сигнала (разница в Y, дисперсия сумма в среднем разница) 15. Три комплекта классификации были рассчитаны для оценки: (I) или неподвижности мобильности, (II) сидеть, стоять, ложь, или ходьба, и (III) сидеть, стоять, ложь, ходьба, подъем по лестнице, или небольшой постоянной движения. Деятельность повседневной жизни были помечены как небольших движений. Типичные результаты приведены в таблице 1.
| Классификация | TP | FN | Теннесси | FP | Чувствительность (%) | Специфичность (%) | F1-счет (%) | ||||||||||||||
| Классификация набор 1 | 350 | 55 | 8701 | 91 | 86.30 ± 7.2 | 98.96 ± 0.6 | 86.17 ± 6.3 | ||||||||||||||
| Классификация набор 2 | 359 | 47 | 8660 | 131 | 88.35 ± 7.80 | 98.51 ± 0.62 | 80.19 ± 6.36 | ||||||||||||||
| Классификация набор 3 | 423 | 75 | 8540 | 159 | 98.17 ± 0.62 | 78.42 ± 5.96 | |||||||||||||||
| Классификация набор 1 | |||||||||||||||||||||
| Неподвижный на мобильный | 177 | 19 | |||||||||||||||||||
| Мобильная чтобы Иммобиле | 171 | 36 | |||||||||||||||||||
| Во время Mobile | 3990 | 73 | |||||||||||||||||||
| Во Иммобиле | 4711 | 18 | |||||||||||||||||||
| Классификация набор 2 | |||||||||||||||||||||
| Стенд ходить | 134 | 17 | |||||||||||||||||||
| Прогулка Стенд | 137 | 26 | |||||||||||||||||||
| Прогулка Сидеть | 29 | 0 | |||||||||||||||||||
| Сядьте ходить | 30 | 0 | |||||||||||||||||||
| Прогулка на Ли | 11 | 4 | |||||||||||||||||||
| Ли ходить | 15 | 0 | |||||||||||||||||||
| Во подставкой | 2 872 | 73 | |||||||||||||||||||
| Во Sit | 644 | 9 | |||||||||||||||||||
| Во Лжи | 447 | 9 | |||||||||||||||||||
| Во время прогулки | 4697 | 40 | |||||||||||||||||||
| Классификация набор 3 | |||||||||||||||||||||
| Стенд ходить | 70 | 7 | |||||||||||||||||||
| Прогулка Стенд | 74 | 14 | |||||||||||||||||||
| Прогулка Сидеть | 29 | 0 | |||||||||||||||||||
| Сядьте ходить | 30 | 0 | |||||||||||||||||||
| Прогулка на Ли | 15 | 0 | |||||||||||||||||||
| Ли ходить | 15 | 0 | |||||||||||||||||||
| Прогулка на небольшой ход | 68 | 7 | |||||||||||||||||||
| Небольшой ход ходить | 61 | 13 | |||||||||||||||||||
| 13 | 2 | ||||||||||||||||||||
| Лестницы ходить | 13 | 2 | |||||||||||||||||||
| Малый Переместить в небольшой ход | 35 | 30 | |||||||||||||||||||
| Во подставкой | 1 584 | 25 | |||||||||||||||||||
| Во Sit | 643 | 10 | |||||||||||||||||||
| Во Лжи | 447 | 15 | |||||||||||||||||||
| Во время прогулки | 4398 | 56 | |||||||||||||||||||
| Во Лестницы | 246 | 0 | |||||||||||||||||||
| Во время чистить зубы | 190 | 12 </ TD> | |||||||||||||||||||
| Во время расчесываются | 158 | 2 | |||||||||||||||||||
| Во время мыть руки | 152 | 6 | |||||||||||||||||||
| Во сухие руки | 119 | 4 | |||||||||||||||||||
| Во Move Блюда | 93 | 5 | |||||||||||||||||||
| Во время заливки Чайник | 190 | 5 | |||||||||||||||||||
| Во Toast хлеб | 70 | 1 | |||||||||||||||||||
| Во время мытья посуды | 250 | 18 | |||||||||||||||||||
Таблица 1. Результаты для изменения правового государства определения; в том числе, верных срабатываний (TP), ложноотрицательных (FN), правда негативов (TN) ложных срабатываний (ПС), общих изменений в другом штате, чувствительность, специфичность, ай F1-счет. Во время относится к TN и FP для изменений в другом штате в течение указанного действия.
Из таблицы 1, мобильный против неподвижны набор классификация имела чувствительность 86.30% ± 7,2% и специфичность 98.96% ± 0,6%, в то время как второй набор предсказания имели чувствительность 88.35% ± 7.80% и специфичность 98.51% ± 0,62% , Для третьего сета классификации, чувствительность была 84,92% ± 6,38%, а специфичность 98.17 ± 0.62. F1 оценки для первой, второй и третьей наборов классификации были 86,17 ± 6,3, 80,19 ± 6,36, а 78,42 ± 5,96, соответственно.
Рисунок 1. Изменения в другом штате чувствительность, специфичность и F1-счет для трех наборов классификации.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Признание Деятельность человека с носимых системы мониторинга мобильности получил больше внимания в последние годы из-за технических достижений в носимых компьютеров и смартфонов и систематических потребностей в количественных мер результатов, которые помогают с принятием решений и оценки клинической интервенции здоровья. Методология описана в этой статье было эффективным для оценки развития WMMS так активности ошибки классификации были найдены, что не было бы присутствовать, если широкий спектр деятельности в повседневной жизни и идущих сценариев не были включены в оценки.
Протокол оценки WMMS состоит из двух основных частей: сбор данных в реальных условиях, но контролируемых с сопровождающим золотой стандартный набор данных и пост-обработки данных. Цифровое видео является жизнеспособным решением для обеспечения стандартных данных при тестировании золота алгоритм предсказания WMMS через протокольных мероприятиях. Критические шаги в протоколеявляются (я), чтобы гарантировать, что стандартный видео золота захватывает дрожание смартфон, так как это позволяет синхронизацию стандартного видео золотой с данными, полученными от участников-носить телефон и (II), чтобы убедиться, что золотой стандарт видео записи все переходы выполнены участником пробного (т.е., человек записи золотого стандарта видео должно когда после участника пробного быть в правильном положении).
Протокол оценки включает пешеходные деятельности, ежедневный среды обитания, а также различные ландшафты и переходы. Все действия выполняются последовательно в то время как участник-смартфон носить непрерывно записывает данные из акселерометра, гироскопа, магнитометра и датчиков GPS, и второй смартфон используется для видео все мероприятия, выполняемые участников процесса. Протокол может быть изменен путем адаптации порядок деятельности, основанный на испытательном месте, до тех пор, как диапазон непрерывных исполненной повседневной деятельности АРе включены. Десять-пятнадцать минут требовалось для завершения цепи, в зависимости от участника. Во время пилотных испытаний, некоторые участники с ограниченными возможностями могли только завершить один цикл, поэтому один пробное тестирование следует рассматривать с некоторых групп населения, чтобы обеспечить полный набор данных.
Ограничения предложенного метода оценки WMMS том, что временные разрешения ограничены в видео с частотой кадров камеры, используемой для записи золотого стандарта компаратора видео и трудности при определении явное изменение правового государства времени из видео для повседневной жизни. Изменение по несколько кадров при идентификации изменения в другом штате приводит к различиям между золотом и стандартных WMMS результатов, которые могут быть из-за освещения деятельности начинают, а не WMMS ошибки. Допуск при каждом изменении в другом штате, где никакие сравнения сделаны, могут быть реализованы, чтобы помочь счета для этих расхождений.
Как правило, увеличение количествао деятельности, классифицируются и классификация трудности (т.е., лестницы, маленькие движения) снизил среднюю чувствительность, специфичность и счет F1. Это можно ожидать, так как увеличение числа мероприятий увеличивает шанс ложных срабатываний и ложных негативов. Протоколы оценки, которые используют только виды деятельности, которые выгодно алгоритма будет производить результаты, которые вводят в заблуждение, и вряд ли производить аналогичные результаты при оценке в реальных условиях. Следовательно, значение по отношению к существующим методам, что протокол приведет к более консервативным результатов для WMMS систем, чем предыдущие доклады в литературе. Тем не менее, результаты будут лучше отражать результаты на практике. Предложенный метод WMMS оценок может быть использован для оценки диапазон носимых технологий, которые измеряют или помочь человеческое движение.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
Авторы признают, Эван Beisheim, Николь Capela, Эндрю Херберт-Копли технической и сбора данных помощи. Финансирование проекта было получено от естественных наук и инженерного исследовательский совет Канады (NSERC) и BlackBerry Ltd., в том числе смартфонов, используемых в исследовании.
Materials
| Name | Company | Catalog Number | Comments |
| Smartphone or wearable measurement device | Blackberry | Z10 | |
| Smartphone for video recording | Blackberry | Z10 or 9800 | |
| Phone holster | Any | ||
| Data logger application for the smartphone | BlackBerry World - TOHRC Data Logger for BlackBerry 10 | http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA | |
| Wearable mobility measurement | Custom Blackberry 10 and Matlab software for mobility monitoring | http://www.irrd.ca/cag/smartphone/ | |
| Video editing or analysis software | Motion Analysis Tools | http://www.irrd.ca/cag/mat/ |
References
- Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
- Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
- Elsmore, T. F., Naitoh, P. Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , DTIC Online. (1993).
- Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. Measuring sleep by wrist actigraph. , DTIC Online. (1981).
- Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
- Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
- Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
- He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
- Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
- Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. 8th International Conference on Intelligent Environments (IE), , 214-221 (2012).
- Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
- Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, , EMBC. 5252-5255 (2011).
- Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
- Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
- Tundo, M. D. Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , Available from: http://www.ruor.uottawa.ca/handle/10393/30963 (2014).
