Оценка смартфон на базе человеческой деятельности системы распознавания в повседневной жизни окружающей среды

Summary

Для носимых систем мониторинга мобильности (WMMS) был разработан стандартизированный метод оценки, который включает в себя непрерывные действия в реалистичной повседневной жизни. Тестирование с серией повседневных действий может снизить чувствительность к распознаванию активности; поэтому для достоверной оценки производительности WMMS рекомендуется использовать реалистичные испытательные схемы.

Abstract

Метод оценки, включающий непрерывные действия в повседневной среде, был разработан для носимых систем мониторинга мобильности (WMMS), которые пытаются распознавать действия пользователей. Участники выполняли заранее определенный набор повседневных действий в рамках непрерывного тестового цикла, который включал в себя упражнения на мобильность (ходьба, стояние, сидение, лежание, подъем/спуск по лестнице), повседневные жизненные задачи (расчесывание волос, чистка зубов, приготовление пищи, прием пищи, мытье посуды) и незначительные изменения окружающей среды (открытие дверей, использование лифта, ходьба по подъемам, преодоление лестничных площадок, прогулка на открытом воздухе).

Чтобы оценить производительность WMMS на этой схеме, пятнадцать здоровых участников выполнили задания, держа смартфон в правом переднем тазу. Приложение WMMS использовало сигналы акселерометра смартфона и гироскопа для классификации состояний активности. Золотой стандартный набор данных для сравнения был создан путем видеозаписи каждого испытания и ручной регистрации времени начала активности. Данные золотого стандарта и WMMS анализировались в автономном режиме. Для каждого круга были рассчитаны три классификационных набора: (i) подвижность или неподвижность, ii) сидение, стояние, лежание или ходьба и (iii) сидение, стояние, лежание, ходьба, подъем по лестнице или небольшое движение стоя. Были рассчитаны чувствительность, специфичность и F-баллы для категоризации активности и изменений состояния.

Набор классификации мобильных и неподвижных устройств имел чувствительность 86,30% ± 7,2% и специфичность 98,96% ± 0,6%, в то время как второй набор прогнозов имел чувствительность 88,35% ± 7,80% и специфичность 98,51% ± 0,62%. Для третьего классификационного набора чувствительность составила 84,92% ± 6,38%, а специфичность — 98,17 ± 0,62. Результаты Формулы-1 в первом, втором и третьем классификационных наборах составили 86,17 ± 6,3, 80,19 ± 6,36 и 78,42 ± 5,96 соответственно. Это показывает, что производительность WMMS зависит не только от алгоритмов, но и от протокола оценки. Продемонстрированный протокол может быть использован и адаптирован для оценки систем распознавания человеческой активности в реабилитационной медицине, где мониторинг подвижности может быть полезен при принятии клинических решений.

Introduction

Повсеместный зондирования стал привлекательным направлением исследований в связи с все более и более мощным, небольшой, низкого вычислений затрат и чувствуя ^{оборудование} 1. Мониторинг Мобильность помощи носимых датчиков породила большой интерес, так как микроэлектроника потребительского уровня способны обнаруживать характеристики движения с высокой точностью ^1. Признание Деятельность человека (HAR) с помощью носимых датчиков Недавнее область исследований, с предварительные исследования выполнены в 1980-х и 1990-х ^{2 - 4.}

Современные смартфоны содержат необходимые датчики и возможности вычисления в режиме реального времени для распознавания активности мобильность. Анализ на устройстве в режиме реального времени позволяет классификации активности и загрузки данных без вмешательства пользователя или следователь. Смартфон с программным обеспечением для анализа мобильность может обеспечить фитнес отслеживание, мониторинг здоровья, падение обнаружения, дома или автоматизации работы и самоуправляемых exercisе программы ^5. Смартфоны можно рассматривать инерционные платформы измерения для обнаружения мобильных деятельности и мобильные шаблоны на людях, используя созданные математические функции, рассчитанные сигнальные бортовыми выходов датчиков ^6. Общей чертой методов поколения включают эвристики, во временной области, частотной области, и вейвлет-анализа на основе подходов ^7.

Современные системы смартфона HAR показали высокие точности прогнозирования при обнаружении определенной деятельностью ^1,5,6,7. Эти исследования варьируются в методологии оценки, а также точности, так как большинство исследований имеют свой собственный набор обучения, экологических настройку и протокол сбора данных. Чувствительность, специфичность, точность, напомним, точность и F-счет, как правило, используется для описания качества прогнозирования. Тем не менее, практически нет информации доступно по методам "одновременно деятельности» признания и оценки способности обнаруживать изменения активности в режиме реального времени^1, для систем HAR, которые пытаются классифицировать ряд мероприятий. Методы оценки для точности системы HAR существенно различаются между исследованиями. Независимо от алгоритма классификации или прикладных функций, описания золотого стандарта методов оценки туманны для большинства исследований HAR.

Признание активность в повседневной среды обитания не широко изучаются. Большинство систем распознавания активности смартфон на основе оцениваются контролируемым образом, что приводит к протоколу оценки, что может быть выгодно алгоритма, а не реалистично к реальной среде. В их схеме оценки, участники часто выполняют только действия, предназначенные для прогнозирования, а не применяя широкий спектр реалистичных деятельности для участника выполнять последовательно, имитируя реальные события.

Некоторые смартфон HAR изучает ^8,9 групповые подобные мероприятия вместе, например, лестницах и ходьба, Но исключает другие мероприятия из набора данных. Точность прогноза определяется тогда, как хорошо алгоритм определил целевые мероприятия. Дернбах др. ⁹ были участники пишут деятельность они собирались выполнить, прежде чем перейти, прерывая непрерывные изменения в другом штате переходы. Оценки системы HAR следует оценить алгоритм, а участник выполняет природные действия в повседневной обстановке в гостиной. Это позволит оценку реальной жизни, который воспроизводит ежедневного использования приложения. Реалистичная схема включает в себя множество изменений в другом штате, а также сочетание действий не предсказуемы в системе. Следователь может затем оценить отклик алгоритма к этим дополнительным движений, таким образом, оценки надежности алгоритма аномальных движений.

Эта статья представляет собой переносной системы мониторинга мобильности (WMMS) протокол оценки который использует управляемое курс, который отражает реальные ежедневные условий жизни. WMMSоценка может быть сделана при контролируемых условиях, но реальных. В этом протоколе, мы используем третьего поколения WMMS, которая была разработана в Университете Оттавы и Оттавы больницы научно-исследовательского института ^11-15. WMMS был разработан для смартфонов с три-осевой акселерометр и гироскоп. Алгоритм мобильность приходится изменчивости пользователя, обеспечивает снижение количества ложных срабатываний для изменения правового государства идентификации и повышает чувствительность в деятельности категоризации. Минимизация ложных срабатываний важно, так как WMMS вызывает короткое запись видеоклипа, когда изменения деятельности государственных обнаружены, для контекстной оценки деятельности, что дополнительно улучшает WMMS классификации. Ненужные записи видео создает неэффективности хранения и использования батареи. Алгоритм WMMS структурирована в виде модели низкой вычислительной обучения и оценены с использованием различных уровней предсказание где увеличение уровня прогнозирования означает увеличение в размереиз узнаваемых действия.

Protocol

Этот протокол был одобрен Советом Оттава Здоровье Наука сети по этике исследований.

1. Подготовка

1. Предоставьте участникам наброски исследования, ответить на любые вопросы, и получить информированное согласие. Запись характеристики участник (например, возраст, пол, рост, вес, обхват талии, ноги высота от передней подвздошной ости к медиальной лодыжки), идентификационный код, и даты на листе данных. Убедитесь, что второй смартфон, который используется для захвата видео устанавливается по крайней мере, 30 кадров в секунду захвата.
2. Надежно прикрепите телефонный кобуру к передней правой ремня или пояса трусов участника. Начните смартфон приложение, которое будет использоваться для сбора данных датчиков (т.е., регистрации данных или приложений WMMS) на измерительной смартфона мобильности и убедитесь, что приложение работает соответствующим образом. Поместите смартфон в кобуре, с задней части устройства (сзади каMera) наружу.
3. Начните цифровую запись видео на второй смартфон. Для анонимности, записывать видео без сравнения, показывая лицо человека, но обеспечить, чтобы записать все переходы деятельности. Телефон может быть портативный.

2. Деятельность цепи

1. Следуйте участника и видео их действия, на втором смартфоне, в то время как они выполняют следующие действия, сказанные следователем:
   1. Из положения стоя, встряхнуть смартфон для обозначения начала судебного разбирательства.
   2. Продолжить стоять в течение по крайней мере 10 сек. Это стоя фаза может быть использована для ориентации телефона калибровки ^14.
   3. Прогулка на соседний стул и сесть.
   4. Встань и иди в 60 метрах к лифту.
   5. Стоять и ждать лифта, а затем пешком в лифт.
   6. Поднимитесь на лифте на второй этаж.
   7. Поверните и идти в домашних условиях.
   8. Прогулка в ванной и симогут накапливаться чистки зубов.
   9. Имитация расчесывать волосы.
   10. Имитация мытье рук.
   11. Сухие руки с помощью полотенца.
   12. Прогулка на кухню.
   13. Возьмите посуду со стойки и поместите их на прилавке.
   14. Заполните чайник с водой из кухонной раковины.
   15. Поставьте чайник на плите элемента.
   16. Поместите хлеб в тостере.
   17. Идите к столовой.
   18. Сядьте на обеденном столе.
   19. Имитация приема пищи на столе.
   20. Встаньте и идти назад к раковине.
   21. Смойте посуду и поместите их в стойку.
   22. Прогулка из кухни назад к лифту.
   23. Стоять и ждать лифта, а затем пешком в лифт.
   24. Поднимитесь на лифте на первый этаж.
   25. Прогулка 50 метров до лестничной клетки.
   26. Откройте дверь и войдите в лестничную клетку.
   27. Прогулка вверх по лестнице (13 ступенек, около посадки, 13 шагов).
   28. Откройте дверь на лестничную клетку в коридоре.
   29. Поверните направо и идите по коридору на 15 метров.
   30. Повернитесь и пешком 15 метров назад к лестнице.
   31. Откройте дверь и войдите в лестничную клетку.
   32. Спуститесь по лестнице (13 ступенек, около посадки, 13 шагов).
   33. Выйдите на лестничную и входите в комнату.
   34. Лягте на кровать.
   35. Встань и иди в 10 метрах к рампе.
   36. Прогулка вверх по пандусу, развернуться, затем вниз по рампе (20 метров).
   37. Продолжить ходить в зал и открыть дверь наружу.
   38. Прогулка 100 метров по асфальтированной пути.
   39. Повернитесь и идите обратно в комнату.
   40. Прогулка в комнату и стоять в начальной точке.
   41. Продолжить положение, а затем встряхнуть смартфон, чтобы указать конец судебного разбирательства.

3. Судебная Завершение

1. Остановите видео записи смартфон и попросить участника снять и вернуть смартфон и кобуру. Остановите регистрацию данных или приложения WMMS на SMArtphone. Скопируйте файлы, приобретенные движения данных и видео файл из обоих телефонах на компьютер для последующей обработки.

4. Последующая обработка

1. Синхронизация времени между видео и данных датчика сырья путем определения времени, когда начал дрожание действия. Это движение встряхивания соответствует отдельной акселерометр сигнала и видеокадра. Проверьте ошибки синхронизации путем вычитания время толчка конец с момента начала трясти, для датчиков и видео источников. Время различия должны быть похожи между двумя наборами данных.
2. Определить фактические изменения в другом штате раз из золотого стандарта видео, записи разницу во времени с момента начала трясти в видеокадра при переходе между деятельностью. Используйте программное обеспечение для редактирования видео, чтобы получить синхронизацию с точностью до 0,033 сек (т.е., 30 кадров в секунду видео). Используйте программное обеспечение, чтобы WMMS сравнимые изменения в другом штате из данных датчиков.
3. Создание двух наборов данных, одинс истинными деятельности, а второй с прогнозируемыми деятельности, маркируя деятельности для каждого видеокадра (основано на изменении государственной времени), а затем расчета прогнозируемой активности в каждый момент времени видеокадра с выхода WMMS. Для оценки производительности WMMS, рассчитать истинные, ложные положительные негативы, истинные негативов, ложных срабатываний между золотого стандарта деятельности и WMMS предсказал деятельности. Используйте эти параметры для расчета исходы чувствительность, специфичность и F-оценка мер.
   Примечание: Установка допуска 3 окна данных по обе стороны окна анализируемого может быть использован для определения изменения в другом штате результатов, и 2 окна данных для результатов классификации. Например, с 1 секунда окна данных были использованы для WMMS в этом исследовании, 3 сек до и после текущего окна были рассмотрены так, что последовательные изменения в пределах этого допуска будут проигнорированы. Рассмотрение было то, что изменения состояния, которые происходят в менее чем 3 сек можно пренебречь валового HumaАнализ п движение, так как этих государств будет считаться временным.

Results

Протокол исследования был проведен с удобством выборки пятнадцать трудоспособных участников, средний вес был 68,9 (± 11,1) кг, высота была 173,9 (± 11,4) см, а возраст 26 (± 9) лет, набранных из Оттавы больницы и Университет сотрудников и студентов в Оттаве. Смартфон захваченные данные датчика с переменной скоростью 40-50 Гц. Вариации Частота выборки характерны для отбора проб датчика смартфон. Второй смартфон используется для записи цифрового видео в 1280x720 (720p) разрешением.

Кобура была...

Discussion

Признание Деятельность человека с носимых системы мониторинга мобильности получил больше внимания в последние годы из-за технических достижений в носимых компьютеров и смартфонов и систематических потребностей в количественных мер результатов, которые помогают с принятием решений и оценки клинической интервенции здоровья. Методология описана в этой статье было эффективным для оценки развития WMMS так активности ошибки классификации были найдены, что не было бы присутствовать, если широкий спектр деятельности в повседнев...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Смартфон или носимый измерительный прибор	Blackberry	Z10
Смартфон для записи видео	Blackberry	Z10 или 9800
Кобура для телефона	Любой
регистратор данных приложение для смартфона	BlackBerry World - TOHRC Data Logger для BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Носимое измерение мобильности	Пользовательское программное обеспечение Blackberry 10 и Matlab для мониторинга		http://www.irrd.ca/cag/smartphone/
Редактирование видео или программное обеспечение	для анализа Motion Analysis Tools		http://www.irrd.ca/cag/mat/