Evaluación de un sistema de reconocimiento de la actividad humana a base de Smartphone en una de Vida Diaria

Summary

Se desarrolló un método de evaluación estandarizado para los Sistemas de Monitoreo de Movilidad Portátil (WMMS) que incluye actividades continuas en un entorno de vida diaria realista. Las pruebas con una serie de actividades de la vida diaria pueden disminuir la sensibilidad de reconocimiento de actividades; por lo tanto, se recomiendan circuitos de prueba realistas para una evaluación válida del rendimiento del WMMS.

Abstract

Se desarrolló un método de evaluación que incluye actividades continuas en un entorno de la vida diaria para los Sistemas de Monitoreo de Movilidad Portátil (WMMS) que intentan reconocer las actividades del usuario. Los participantes realizaron un conjunto predeterminado de acciones de la vida diaria dentro de un circuito de prueba continuo que incluía actividades de movilidad (caminar, pararse, sentarse, acostarse, subir / bajar escaleras), tareas de la vida diaria (peinarse, cepillarse los dientes, preparar alimentos, comer, lavar los platos) y cambios sutiles del entorno (abrir puertas, usar un ascensor, caminar en pendientes, atravesar rellanos de escaleras, caminar al aire libre).

Para evaluar el rendimiento del WMMS en este circuito, quince participantes sanos completaron las tareas mientras llevaban un teléfono inteligente en la pelvis delantera derecha. La aplicación WMMS utilizó señales de acelerómetro y giroscopio de teléfonos inteligentes para clasificar los estados de actividad. Se creó un conjunto de datos de comparación de referencia mediante la grabación en vídeo de cada ensayo y el registro manual de las horas de inicio de la actividad. Los datos del estándar de oro y WMMS se analizaron fuera de línea. Se calcularon tres conjuntos de clasificación para cada circuito: (i) movilidad o inmovilidad, ii) sentado, parado, acostado o caminando, y (iii) sentado, parado, acostado, caminando, subiendo escaleras o pequeño movimiento de pie. Se calcularon sensibilidades, especificidades y puntuaciones F para la categorización de actividades y cambios de estado.

El conjunto de clasificación móvil frente a inmóvil tuvo una sensibilidad del 86,30% ± 7,2% y una especificidad del 98,96% ± 0,6%, mientras que el segundo conjunto de predicciones tuvo una sensibilidad del 88,35% ± 7,80% y una especificidad del 98,51% ± 0,62%. Para el tercer conjunto de clasificación, la sensibilidad fue del 84,92% ± del 6,38% y la especificidad del 98,17 ± 0,62. Las puntuaciones de F1 para el primer, segundo y tercer conjunto de clasificación fueron 86,17 ± 6,3, 80,19 ± 6,36 y 78,42 ± 5,96, respectivamente. Esto demuestra que el rendimiento del WMMS depende del protocolo de evaluación, además de de los algoritmos. El protocolo demostrado se puede utilizar y adaptar para evaluar los sistemas de reconocimiento de actividad humana en medicina de rehabilitación, donde la monitorización de la movilidad puede ser beneficiosa en la toma de decisiones clínicas.

Introduction

Detección Ubicua ha convertido en un área de investigación de acoplamiento debido a la cada vez más poderosa, pequeño, la computación de bajo costo y equipos de detección ^1. Monitoreo Movilidad utilizando sensores vestibles ha generado un gran interés desde la microelectrónica a nivel de los consumidores son capaces de detectar características de movimiento con alta precisión ^1. Reconocimiento de la actividad humana (HAR), utilizando sensores vestibles es un área reciente de investigación, con los estudios preliminares realizados en los años 1980 y 1990 ^2-4.

Smartphones modernos contienen los sensores necesarios y la capacidad de cálculo en tiempo real para el reconocimiento de la actividad de la movilidad. Análisis en tiempo real en el dispositivo permite la clasificación de la actividad y de la carga de datos sin intervención del usuario o investigador. Un smartphone con software de análisis de la movilidad podría proporcionar seguimiento gimnasio, vigilancia de la salud, la caída de detección, el hogar o la automatización del trabajo, y exercis autogestiónprogramas e ^5. Smartphones pueden considerarse plataformas de medición inercial para detectar actividades móviles y patrones móviles en los seres humanos, el uso de características de señal matemáticos generados calculados con salidas de los sensores a bordo ^6. Métodos de generación de características comunes incluyen heurística, el dominio del tiempo, dominio de la frecuencia, y los enfoques basados ​​en análisis ^wavelet-7.

Sistemas HAR smartphones modernos han demostrado una precisión alta de predicción al detectar actividades especificadas ^1,5,6,7. Estos estudios varían en la metodología de evaluación, así como la precisión ya que la mayoría de estudios tienen su propio conjunto de entrenamiento, la configuración del medio ambiente, y el protocolo de recogida de datos. La sensibilidad, la especificidad, la exactitud, el recuerdo, la precisión, y F es la puntuación se utilizan comúnmente para describir la calidad de predicción. Sin embargo, poco o nada de información está disponible en los métodos de reconocimiento "actividad concurrente" y la evaluación de la capacidad de detectar cambios en la actividad en tiempo real^1, para los sistemas de HAR que intentan categorizar varias actividades. Métodos de evaluación de HAR precisión del sistema varían considerablemente entre los estudios. Independientemente del algoritmo de clasificación o características aplicadas, las descripciones de los métodos de evaluación estándar de oro son vagos para más investigación HAR.

El reconocimiento de actividades en un ambiente de la vida diaria no ha sido ampliamente investigado. La mayoría de los sistemas de reconocimiento de la actividad basada en teléfonos inteligentes se evalúan de una manera controlada, dando lugar a un protocolo de evaluación que puede ser ventajoso para el algoritmo en lugar de realista para un entorno del mundo real. Dentro de su esquema de evaluación, los participantes suelen realizar sólo las acciones destinadas a la predicción, en lugar de aplicar una amplia gama de actividades realistas para el participante para realizar consecutivamente, imitando los acontecimientos de la vida real.

Algunos HAR teléfono inteligente estudia ^8,9 grupales actividades similares juntos, como escaleras y caminar, Pero excluir otras actividades del conjunto de datos. Precisión de la predicción se determina entonces por lo bien el algoritmo identifica las actividades de destino. Dernbach et al. ⁹ tenían los participantes escriben la actividad que estaban a punto de ejecutar antes de pasar, interrumpiendo transiciones continuas cambio-de-estado. Evaluaciones del sistema HAR deberían evaluar el algoritmo, mientras que el participante realiza acciones naturales en un entorno vida diaria. Esto permitiría una evaluación de la vida real que se replica el uso diario de la aplicación. Un circuito realista incluye muchos cambios del estado, así como una mezcla de acciones no predecibles por el sistema. Un investigador puede entonces evaluar la respuesta del algoritmo para estos movimientos adicionales, evaluando así la robustez del algoritmo para movimientos anómalos.

Este artículo presenta una Wearable Sistema de Control de la Movilidad (WMMS) protocolo de evaluación que utiliza un supuesto control que refleja los ambientes de la vida diaria de la vida real. WMMSevaluación puede entonces hacerse bajo condiciones controladas, pero realistas. En este protocolo, se utiliza un WMMS de tercera generación que se desarrolló en la Universidad de Ottawa y Ottawa Hospital Research Institute ^11-15. El WMMS fue diseñado para los teléfonos inteligentes con un acelerómetro de tres ejes y giroscopio. El algoritmo de la movilidad representa la variabilidad de usuario, proporciona una reducción en el número de falsos positivos para la identificación de los cambios del estado, y aumenta la sensibilidad de la actividad de categorización. Reducir al mínimo los falsos positivos es importante ya que el WMMS desencadena la grabación de videoclips cortos cuando se detectan cambios en la actividad del Estado, para la evaluación de la actividad sensible al contexto que mejora aún más la clasificación WMMS. Grabación de vídeo innecesario crea ineficiencias en el almacenamiento y uso de la batería. El algoritmo WMMS está estructurado como un modelo de bajo computacional aprendizaje y evaluó utilizando diferentes niveles de predicción, donde un aumento en el nivel de predicción representa un aumento en la cantidadacciones de reconocibles.

Protocol

Este protocolo fue aprobado por el Consejo de Ética de Investigación de Ottawa Red de Ciencias de la Salud.

1. Preparación

1. Proporcionar a los participantes con un resumen de la investigación, responder a cualquier pregunta, y obtener el consentimiento informado. Características de los participantes de grabación (por ejemplo, edad, sexo, altura, peso, circunferencia de la cintura, la altura de la pierna desde la anterior espina ilíaca ilíaca al maléolo medial), código de identificación, y la fecha en una hoja de datos. Asegúrese de que el segundo teléfono inteligente que se utiliza para capturar vídeo se establece en al menos un 30 fotogramas por segundo velocidad de captura.
2. Fije firmemente una funda de teléfono para cinturón o pantalón delante de la cintura el derecho del participante. Inicie la aplicación de teléfono inteligente que se utiliza para recoger los datos de los sensores (es decir, de registro de datos o aplicación WMMS) en el teléfono inteligente de medición movilidad y garantizar que la aplicación se ejecuta correctamente. Coloque el teléfono inteligente en la funda, con la parte posterior del dispositivo (ca traseraMera) hacia afuera.
3. Iniciar grabación de vídeo digital en un segundo teléfono inteligente. Para el anonimato, grabar el video de comparación sin mostrar la cara de la persona, pero asegurarse de registrar todas las transiciones de actividad. El teléfono puede ser de mano.

2. Actividad Circuito

1. Siga el participante y video de sus acciones, en el segundo teléfono inteligente, mientras realizan las siguientes acciones, pronunciadas por el investigador:
   1. Desde una posición de pie, agitar el teléfono inteligente para indicar el inicio del juicio.
   2. Continuar en reposo durante al menos 10 seg. Esta fase de pie se puede utilizar para la calibración orientación teléfono ^14.
   3. A pie de una silla cercana y sentarse.
   4. Ponte de pie y caminar 60 metros a un ascensor.
   5. Ponte de pie y esperar a que el ascensor y luego entrar en el ascensor.
   6. Tome el ascensor hasta el segundo piso.
   7. Gire y entrar en el entorno del hogar.
   8. Al entrar en el cuarto de baño y simular cepillarse los dientes.
   9. Simular peinarse.
   10. Simular el lavado de manos.
   11. Seque las manos con una toalla.
   12. A pie hasta la cocina.
   13. Tome los platos de un estante y colocarlos en el mostrador.
   14. Llene una tetera con agua del fregadero de la cocina.
   15. Coloque la olla en el elemento de estufa.
   16. Coloque el pan en una tostadora.
   17. A pie hasta el comedor.
   18. Sentarse en una mesa de comedor.
   19. Simular una comida en la mesa.
   20. Ponte de pie y caminar de regreso a la pileta de la cocina.
   21. Enjuague los platos y colocarlos en un estante.
   22. A pie desde la cocina hacia el ascensor.
   23. Ponte de pie y esperar a que el ascensor y luego entrar en el ascensor.
   24. Tome el ascensor hasta el primer piso.
   25. Caminar 50 metros a una escalera.
   26. Abra la puerta y entrar en el hueco de la escalera.
   27. Sube por las escaleras (13 escalones, alrededor de aterrizaje, 13 pasos).
   28. Abra la puerta de la escalera en el pasillo.
   29. Gire a la derecha y caminar por el pasillo de 15 metros.
   30. Date la vuelta y caminar 15 metros de nuevo a la escalera.
   31. Abra la puerta y entrar en el hueco de la escalera.
   32. Caminar por escaleras (13 escalones, alrededor de aterrizaje, 13 pasos).
   33. Salga de la escalera y entrar en una habitación.
   34. Acuéstese sobre una cama.
   35. Levántese y camine 10 metros a una rampa.
   36. Sube por la rampa, girar a su alrededor, luego por la rampa (20 metros).
   37. Continúe caminando por el pasillo y abrir la puerta hacia el exterior.
   38. Caminar 100 metros de la vía pavimentada.
   39. Date la vuelta y caminar de regreso a la habitación.
   40. Al entrar en la habitación y situarse en el punto de partida.
   41. Continuar en pie, y luego agitar el teléfono inteligente para indicar el final de la prueba.

3. Prueba de finalización

1. Detenga el teléfono inteligente de grabación de vídeo y pedir al participante para retirar y devolver el smartphone y funda. Detenga el registro de datos o aplicación WMMS en la smartphone. Copie los archivos de datos de movimiento adquiridos y el archivo de vídeo de los dos teléfonos a un ordenador para el procesamiento posterior.

4. Post-procesamiento

1. Sincronizar temporización entre el vídeo y los datos del sensor en bruto mediante la determinación del momento en que el movimiento de la acción comenzó. Este movimiento de sacudida corresponde a una señal del acelerómetro y el vídeo del marco distinta. Compruebe si hay error de sincronización restando el tiempo de batido de finales de la época sacudida inicial, para fuentes de datos de los sensores y vídeo. Diferencias de tiempo deben ser similares entre los dos conjuntos de datos.
2. Determinar los tiempos reales de cambio de estado del video estándar de oro registrando la diferencia de tiempo desde el momento en el movimiento de comienzo para el fotograma de vídeo en la transición entre las actividades. Utilice el software de edición de vídeo para obtener la sincronización dentro de 0.033 segundos (es decir, 30 fotogramas por segundo velocidad de vídeo). Utilice el software WMMS para generar cambios del estado comparables de los datos del sensor.
3. Generar dos conjuntos de datos, unocon actividades reales y la segunda con actividades previstas, mediante el etiquetado de la actividad para cada fotograma de vídeo (basado en el cambio de estado de temporización) y luego el cálculo de la actividad pronosticada en cada tiempo de fotograma de vídeo desde la salida WMMS. Para la evaluación del desempeño WMMS, calcule verdaderos positivos, falsos negativos, verdaderos negativos, falsos positivos entre la actividad del patrón oro y WMMS actividad predijo. Utilice estos parámetros para el cálculo de medidas de resultados de sensibilidad, especificidad, y F-score.
   Nota: Un valor de tolerancia de 3 ventanas de datos a cada lado de la ventana que se analiza se puede utilizar para determinar los resultados de cambio de estado, y 2 ventanas de datos para los resultados de clasificación. Por ejemplo, ya que se utilizaron 1 segundas ventanas de datos para la WMMS en este estudio, 3 seg antes y después de la ventana actual se examinaron de manera que se ignoran los cambios consecutivos dentro de esta tolerancia. La consideración fue que los cambios de estado que se producen en menos de 3 segundos se puede ignorar para huma brutoanálisis n movimiento, ya que estos estados sería considerado transitorio.

Results

El protocolo del estudio se realizó con una muestra de quince participantes aptos cuyo peso promedio fue 68,9 (± 11,1) kg, altura fue 173,9 (± 11,4) cm, y la edad fue de 26 (± 9) años, reclutados en el Hospital de Ottawa y la Universidad de Ottawa y personal de los estudiantes. Un smartphone capturado los datos del sensor a una tasa variable de 40 a 50 Hz. Variaciones del tipo de muestra son típicos para el muestreo del sensor smartphone. Un segundo teléfono inteligente se utiliza para grabar vídeo digital con una resol...

Discussion

Reconocimiento de la actividad humana con un sistema de monitoreo de movilidad portátil ha recibido más atención en los últimos años debido a los avances técnicos en computación y smartphones ponible y necesidades sistemáticas para medidas de resultados cuantitativos que ayuden en la toma de decisiones clínicas y la evaluación intervención de salud. La metodología descrita en este trabajo fue eficaz para evaluar el desarrollo WMMS ya que se encontraron errores de clasificación de actividades que no habrían estado presen...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Teléfono inteligente o dispositivo de medición portátil	Blackberry	Z10
Teléfono inteligente para grabación de video	Blackberry	Z10 o 9800
Funda de teléfono	Cualquier
aplicación de registro de datos para el teléfono inteligente	BlackBerry World - TOHRC Registrador de datos para BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Medición de movilidad portátil	Software personalizado de Blackberry 10 y Matlab para el monitoreo de		http://www.irrd.ca/cag/smartphone/
Edición de video o software de análisis	Motion Analysis Tools		http://www.irrd.ca/cag/mat/