Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Avaliação de um Sistema de Reconhecimento de Atividade Humana baseado em Smartphone em uma Vida Diária Ambiente

Published: December 11, 2015 doi: 10.3791/53004

Introduction

Sensoriamento Ubiquitous tornou-se uma área de pesquisa de contrato devido à cada vez mais poderosos,, computação de baixo custo pequeno e equipamento de um sensor. Monitoramento mobilidade usando sensores portáteis tem gerado um grande interesse desde a microeletrônica do consumidor-nível são capazes de detectar características de movimento com alta precisão 1. Reconhecimento atividade humana (HAR) usando sensores portáteis é uma área recente da pesquisa, com estudos preliminares realizados na década de 1980 e 1990 2-4.

Smartphones modernos contêm os sensores necessários e capacidade de computação em tempo real para o reconhecimento actividade de mobilidade. Análise em tempo real no dispositivo permite a classificação de atividades e fazer o upload de dados sem intervenção do usuário ou investigador. Um smartphone com software de análise de mobilidade poderia fornecer rastreamento de fitness, vigilância da saúde, queda de detecção, em casa ou trabalho de automação e auto-gestão exercise programas 5. Smartphones podem ser considerados plataformas de medição inercial para a detecção de actividades móveis e padrões móveis em humanos, usando recursos de sinais matemáticos gerados calculados com saídas de sensores a bordo 6. Métodos de geração de recursos comuns incluem heurística, no domínio do tempo, no domínio da freqüência, e wavelet abordagens baseadas em análise 7.

Sistemas de smartphones HAR modernos têm mostrado altas precisões de previsão ao detectar atividades especificadas 1,5,6,7. Esses estudos variam em metodologia de avaliação, bem como a precisão pois a maioria dos estudos tem seu próprio conjunto de treinamento, configuração ambiental, e protocolo de coleta de dados. A sensibilidade, especificidade, precisão, recall, precisão, e F-Score são comumente usados ​​para descrever a qualidade de previsão. No entanto, pouca ou nenhuma informação está disponível sobre os métodos de reconhecimento "atividade concorrente" e avaliação da capacidade de detectar mudanças de atividade em tempo real1, para sistemas de HAR que tentam categorizar diversas atividades. Métodos de avaliação para a precisão do sistema HAR variar substancialmente entre os estudos. Independentemente do algoritmo de classificação ou recursos aplicados, descrições de métodos de avaliação padrão ouro são vago para a maioria das pesquisas HAR.

Reconhecimento atividade em um ambiente de vida diária não tem sido extensivamente pesquisada. A maioria dos sistemas de reconhecimento de actividade à base de smartphones são avaliados de uma forma controlada, conduzindo a um protocolo de avaliação que pode ser vantajoso para o algoritmo em vez de realista para um ambiente do mundo real. Dentro de seu esquema de avaliação, os participantes muitas vezes executar apenas as ações pretendidas para a previsão, em vez de aplicar uma grande variedade de actividades realista para o participante para executar consecutivamente, imitando os eventos da vida real.

Alguns HAR smartphones estuda 8,9 grupo actividades semelhantes em conjunto, tais como escadas e caminhar, Mas excluem outras atividades a partir do conjunto de dados. Precisão da previsão é então determinado pela forma como o algoritmo identificou as atividades-alvo. Dernbach et al. 9 teve participantes escrever a atividade que eles estavam prestes a executar antes de se mudar, interrompendo transições contínuas de mudança de estado. Avaliações de sistemas de HAR devem avaliar o algoritmo enquanto o participante realiza ações naturais em um ambiente vida diária. Isso permitiria uma avaliação da vida real que replica o uso diário do pedido. Um circuito realista inclui muitas mudanças de estado, bem como uma combinação de acções não previsíveis pelo sistema. Um investigador pode então avaliar a resposta do algoritmo para esses movimentos adicionais, avaliando assim a robustez do algoritmo para movimentos anômalos.

Este trabalho apresenta um protocolo de avaliação Sistema de Monitoramento de Mobilidade Wearable (WMMS) que usa um campo controlado que reflete na vida real ambientes de vida diárias. WMMSavaliação pode então ser feita sob condições controladas, mas realistas. Neste protocolo, usamos uma WMMS de terceira geração que foi desenvolvido na Universidade de Ottawa e Ottawa Hospital Research Institute 11-15. O WMMS foi projetado para smartphones com um acelerômetro tri-eixo e giroscópio. O algoritmo de mobilidade representa variabilidade de utilizador, proporciona a redução do número de falsos positivos para a identificação de alterações de estado, e aumenta a sensibilidade na categorização actividade. Minimizando falsos positivos é importante uma vez que o WMMS dispara a gravação do clipe de vídeo curto quando são detectadas mudanças de estado de atividade, para avaliação da atividade sensível ao contexto que melhora ainda mais a classificação WMMS. Gravação de vídeo desnecessário cria ineficiências no armazenamento e uso da bateria. O algoritmo WMMS é estruturado como um modelo de baixo computacional aprendizagem e avaliada utilizando diferentes níveis de previsão, onde um aumento no nível de previsão significa um aumento na quantidadeações de reconhecível.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Este protocolo foi aprovado pelo Conselho de Ética em Pesquisa Ottawa Rede de Ciências da Saúde.

1. Preparação

  1. Proporcionar aos participantes um resumo da investigação, responder a quaisquer perguntas, e obter o consentimento informado. Características dos participantes de registro (por exemplo, idade, sexo, altura, peso, circunferência da cintura, altura da perna a partir da espinha ilíaca anterior superior ao maléolo medial), código de identificação, data e em uma folha de dados. Certifique-se de que o segundo smartphone que é usada para capturar vídeo está definida para pelo menos 30 quadros por segundo taxa de captura.
  2. Firmemente anexar um coldre de telefone para cinto ou calça de cintura frontal direito do participante. Inicie o aplicativo de smartphone que será usado para coletar os dados do sensor (ou seja, de registro de dados ou aplicativos WMMS) na medição de smartphones mobilidade e garantir que o aplicativo está sendo executado de forma apropriada. Colocar o smartphone no estojo, com a parte traseira do dispositivo (ca traseiraMera) voltado para fora.
  3. Iniciar a gravação de vídeo digital em um segundo smartphone. Para anonimato, gravar o vídeo de comparação sem mostrar o rosto da pessoa, mas garantir a gravar todas as transições de atividade. O telefone pode ser de mão.

2. Actividade Circuito

  1. Siga o participante e vídeo de suas ações, no segundo smartphone, enquanto eles executam as seguintes ações, ditas pelo investigador:
    1. A partir de uma posição de pé, agitar o smartphone para indicar o início do julgamento.
    2. Continuar em repouso durante pelo menos 10 seg. Esta fase de pé pode ser usado para a calibração orientação telefone 14.
    3. Caminhe até uma cadeira próxima e se sentar.
    4. Levante-se e caminhar 60 metros para um elevador.
    5. Levante-se e esperar o elevador e, em seguida, entrar no elevador.
    6. Pegue o elevador para o segundo andar.
    7. Virar e ir para o ambiente doméstico.
    8. Caminhe até o banheiro e simular escovar os dentes.
    9. Simule penteando o cabelo.
    10. Simular a lavagem das mãos.
    11. Seque as mãos com uma toalha.
    12. Caminhe até a cozinha.
    13. Tome pratos de um rack e coloque-os sobre o balcão.
    14. Encha uma chaleira com água da pia da cozinha.
    15. Coloque a chaleira no fogão elemento.
    16. Coloque o pão em uma torradeira.
    17. Caminhe até a sala de jantar.
    18. Sente-se em uma mesa da sala de jantar.
    19. Simular uma refeição à mesa.
    20. Levante-se e caminhar de volta para a pia da cozinha.
    21. Enxaguar os pratos e colocá-los em um rack.
    22. A pé da cozinha de volta ao elevador.
    23. Levante-se e esperar o elevador e, em seguida, entrar no elevador.
    24. Pegue o elevador para o primeiro andar.
    25. Andar 50 metros a uma escada.
    26. Abra a porta e entrar na escada.
    27. Subir escadas (13 passos, cerca de pouso, 13 passos).
    28. Abra a porta da escada para o corredor.
    29. Vire à direita e andar pelo corredor por 15 metros.
    30. Vire-se e andar 15 metros de volta para a escada.
    31. Abra a porta e entrar na escada.
    32. Descer as escadas (13 passos, cerca de pouso, 13 passos).
    33. Saia da escada e entra em uma sala.
    34. Deite-se de uma cama.
    35. Levante-se e caminhar 10 metros para uma rampa.
    36. Caminhe até a rampa, vire-se, em seguida, descer a rampa (20 metros).
    37. Continue caminhando para o corredor e abrir a porta para fora.
    38. Caminhe 100 metros da via pavimentada.
    39. Vire-se e caminhar de volta para o quarto.
    40. Entra na sala e ficar no ponto de partida.
    41. Continuar de pé, e, em seguida, agitar o smartphone para indicar o fim do julgamento.

3. Teste de Conclusão

  1. Parar a gravação de vídeo do smartphone e pedir ao participante para remover e retornar o smartphone e coldre. Parar o log de dados ou aplicação WMMS na smartphone. Copie os arquivos de dados de movimento adquiridos e do arquivo de vídeo de ambos os telefones a um computador para o pós-processamento.

4. Pós-processamento

  1. Sincronizar tempo entre o vídeo e os dados do sensor cru, determinando o tempo quando a ação começou trepidação. Este movimento de agitação corresponde a um sinal acelerômetro e vídeo moldura distinto. Verifique se há erro de sincronização subtraindo a hora de agitação de final do tempo shake de início, para fontes de dados de sensores e vídeo. As diferenças de tempo deve ser semelhante entre os dois conjuntos de dados.
  2. Determine os tempos reais de mudança de estado do vídeo padrão-ouro, registrando a diferença de tempo a partir do momento shake de começo para o quadro de vídeo na transição entre atividades. Use software de edição de vídeo para obter tempo para dentro de 0,033 sec (ou seja, 30 quadros por segundo taxa de vídeo). Use software WMMS para gerar mudanças de estado comparáveis ​​a partir dos dados do sensor.
  3. Gerar dois conjuntos de dados, umcom atividades verdadeiras e o segundo com actividades previstas, por marcação da actividade para cada quadro de vídeo (com base na mudança de estado de sincronismo) e calculando em seguida a actividade prevista, em cada tempo de quadro de vídeo a partir da saída WMMS. Para avaliação de desempenho WMMS, calcular verdadeiros positivos, falsos negativos, verdadeiros negativos, falsos positivos entre a atividade padrão-ouro e WMMS previu atividade. Use esses parâmetros para calcular medidas de desfechos sensibilidade, especificidade, e F-score.
    Nota: A definição de tolerância de 3 janelas de dados de cada lado da janela que está sendo analisado pode ser usado para determinar os resultados de mudança de estado, e 2 janelas de dados para os resultados de classificação. Por exemplo, desde 1 segundo janelas de dados foram utilizados para a WMMS neste estudo, 3 seg antes e depois da janela de corrente foram examinados de modo a que as alterações consecutivos dentro desta tolerância são ignorados. A consideração foi que as mudanças de estado que acontecem em menos de 3 segundos pode ser ignorado para huma brutaanálise de movimento n uma vez que estes estados seria considerado transitório.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

O protocolo do estudo foi realizado com uma amostra de conveniência de quinze participantes sãos cuja média de peso foi de 68,9 (± 11,1) kg, altura era de 173,9 (± 11,4) cm, ea idade foi de 26 (± 9) anos, recrutados a partir do Hospital de Ottawa e Universidade de Ottawa equipe e alunos. Um smartphone capturado dados do sensor a uma taxa de 40-50 Hz variável. Variações da taxa de amostra são típicos para a amostragem do sensor smartphone. Um segundo aparelho foi usado para gravar vídeo digital em 1280x720 (720p) resolução.

O coldre estava preso ao cinto frontal direito do participante ou calça sem maior normalização do local. Isto demonstrou um método natural para colocar o dispositivo no hostler no quadril. Com o dispositivo colocado no coldre ea aplicação data logger execução, cada pessoa percorrido o circuito uma vez, em um ritmo auto-selecionado. O circuito não foi descrito com antecedência para as atividades dos participantes e processo foramdito pelo investigador sequencialmente durante o julgamento.

O WMMS consistiu de uma árvore de decisão com condições de contorno superior e inferior, semelhante a trabalhar por Wu, et ai. 13. O classificador revista usou um tamanho e características janela 1 seg a partir do sinal de aceleração linear (soma do intervalo, média móvel simples, soma de desvio padrão) e sinal de gravidade (diferença para Y, diferença média soma variância) 15. Três conjuntos de classificação foram calculadas para a avaliação: (i) a mobilidade ou imobilidade, (ii) sentar, levantar, mentira, ou a pé, e (iii) sentar, levantar, mentira, caminhar, subir escadas, ou pequeno movimento de pé. Atividades da vida diária foram rotulados como pequenos movimentos. Os resultados representativos são mostrados na Tabela 1.

Classificação TP FN TN FP Sensibilidade (%) Especificidade (%) F1-Score (%)
Classificação Set 1 350 55 8701 91 86,30 ± 7,2 98,96 ± 0,6 86,17 ± 6,3
Classificação Set 2 359 47 8660 131 88,35 ± 7,80 98,51 ± 0,62 80,19 ± 6,36
Classificação Set 3 423 75 8540 159 98,17 ± 0,62 78,42 ± 5,96
Classificação Set 1
Immobile para celular 177 19
Mobile para Immobile 171 36
Durante Móvel 3990 73
Durante Immobile 4711 18
Classificação Set 2
Suporte para Caminhada 134 17
Caminhe até Levante 137 26
Caminhe até Sente- 29 0
Sente-se a andar 30 0
Caminhe para Lie 11 4
Lie to Walk 15 0
Durante suporte 2872 73
Durante Sit 644 9
Durante Lie 447 9
Durante Caminhada 4697 40
Classificação Set 3
Suporte para Caminhada 70 7
Caminhe até Levante 74 14
Caminhe até Sente- 29 0
Sente-se a andar 30 0
Caminhe para Lie 15 0
Lie to Walk 15 0
Caminhe para o movimento pequeno 68 7
Pequeno Mover para Caminhada 61 13
13 2
Escadas para Caminhada 13 2
Pequeno movimento para movimento pequeno 35 30
Durante suporte 1584 25
Durante Sit 643 10
Durante Lie 447 15
Durante Caminhada 4398 56
Durante Escadas 246 0
Durante Escova Dentes 190 12 </ td>
Durante Comb cabelo 158 2
Durante Lavar as mãos 152 6
Durante as mãos secas 119 4
Durante Mover Pratos 93 5
Durante Fill Chaleira 190 5
Durante Toast Bread 70 1
Durante lavar pratos 250 18

Tabela 1. Resultados para determinação de mudança de estado; incluindo, verdadeiros positivos (TP), falsos negativos (FN), verdadeiros negativos (TN) falsos positivos (FP), o total de alterações do estado, sensibilidade, especificidade, umand F1-Score. Durante refere-se a TN e FP para alterações do estado durante a ação especificada.

A partir da Tabela 1, o conjunto de classificação móvel contra imóvel tinha uma sensibilidade de 86,30% ± 7,2% e especificidade de 98,96% ± 0,6%, enquanto que o segundo conjunto previsão teve uma sensibilidade de 88,35% ± 7,80% e especificidade de 98,51% ± 0,62% . Para o terceiro set classificação, a sensibilidade foi de 84,92% ± 6,38% e especificidade foi de 98,17 ± 0,62. Pontuações F1 para o primeiro, segundo e terceiro conjuntos de classificação foram 86,17 ± 6,3, 80,19 ± 6,36 e 78,42 ± 5,96, respectivamente.

figura 1
Figura 1. Sensibilidade, especificidade e F1-Score Mudanças do estado para três conjuntos de classificação.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Reconhecimento atividade humana com um sistema de monitoramento de mobilidade wearable tem recebido mais atenção nos últimos anos devido aos avanços técnicos em computação e smartphones wearable e necessidades sistemáticas para medidas de resultados quantitativos que ajudam na tomada de decisão clínica e avaliação de intervenção em saúde. A metodologia descrita neste trabalho foi eficaz para avaliar o desenvolvimento WMMS desde foram encontrados erros de classificação de atividade que não estaria presente se uma ampla gama de atividades de vida diária e que andam cenários não tinham sido incluídos na avaliação.

O protocolo de avaliação WMMS consiste em duas partes principais: a aquisição de dados em condições realistas, mas controlados, com um conjunto de dados que acompanham padrão ouro estabelecidos e pós-processamento de dados. Vídeo digital era uma solução viável para o fornecimento de dados padrão ouro ao testar WMMS algoritmo previsões através das atividades de protocolo. Etapas críticas do protocolosão (i) para garantir que o padrão de vídeo ouro capta a vibração da aparelho uma vez que este permite a sincronização do vídeo padrão de ouro com os dados adquiridos a partir do telefone e desgastado-participante (ii) assegurar que os registos de vídeo padrão de ouro todas as transições realizada pela participante do estudo (ou seja, a pessoa que grava o padrão de vídeo-ouro deve estar na posição correcta quando o participante seguinte ensaio).

O protocolo de avaliação incorpora atividades de passeio, um ambiente de vida diária, e vários terrenos e transições. Todas as ações são feitas de forma consecutiva, enquanto um smartphone gasta-participante registra os dados continuamente de acelerômetro, giroscópio, magnetômetro, e sensores GPS, e um segundo aparelho é usado para vídeo todas as atividades realizadas pelo participante julgamento. O protocolo pode ser modificado através da adaptação da ordem de actividades com base no local de ensaio, desde que um conjunto de actividades realizadas-contínuas de ar vida diáriae incorporada. Dez a quinze minutos foi necessária para completar o circuito, de acordo com o participante. Durante os testes-piloto, alguns participantes com deficiência só poderia completar um ciclo, pois o teste único ensaio deve ser considerado com algumas populações de assegurar um conjunto de dados completo.

Limitações do método de avaliação proposto WMMS são que o timing resolução é limitada à taxa de quadros de vídeo da câmera usada para gravar o comparador de vídeo padrão-ouro e dificuldade em identificar distintas momento de mudança de estado de vídeo para as atividades da vida diária. Variação por vários quadros ao identificar um estado de mudança de conduz a diferenças entre os resultados gold-standard e WMMS que poderia ser devido à interpretação da atividade começar, em vez de erro WMMS. A tolerância em cada mudança de estado, onde não são feitas comparações, pode ser implementada para ajudar a explicar essas discrepâncias.

Geralmente, o aumento do númerode atividades que estão sendo classificados e a dificuldade de categorização (ou seja, escadas, pequenos movimentos) reduziu a média de sensibilidade, especificidade e pontuação F1. Isto pode ser antecipado, uma vez o aumento do número de actividades aumenta a possibilidade de falsos positivos e falsos negativos. Protocolos de avaliação que utilizam apenas as atividades que são vantajosas para o algoritmo irá produzir resultados que são equivocadas e não são susceptíveis de produzir resultados semelhantes quando avaliadas sob condições do mundo real. Daí, a importância no que diz respeito aos métodos existentes é que o protocolo irá resultar em resultados mais conservadores para sistemas WMMS do que os relatórios anteriores da literatura. No entanto, os resultados vão refletir melhor os resultados na prática. O método proposto de avaliações WMMS pode ser utilizado para avaliar uma variedade de tecnologias portáteis que medem ou ajudar o movimento humano.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Os autores reconhecem Evan Beisheim, Nicole Capela, Andrew Herbert-Copley de assistência técnica e recolha de dados. O financiamento do projecto foi recebido das Ciências Naturais e Council of Canada (NSERC) Pesquisa de Engenharia e BlackBerry Ltd., incluindo smartphones usados ​​no estudo.

Materials

Name Company Catalog Number Comments
Smartphone or wearable measurement device Blackberry Z10
Smartphone for video recording Blackberry Z10 or 9800
Phone holster Any
Data logger application for the smartphone BlackBerry World - TOHRC Data Logger for BlackBerry 10 http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement Custom Blackberry 10 and Matlab software for mobility monitoring http://www.irrd.ca/cag/smartphone/
Video editing or analysis software Motion Analysis Tools http://www.irrd.ca/cag/mat/

DOWNLOAD MATERIALS LIST

References

  1. Lara, O. D., Labrador, M. A. A Survey on Human Activity Recognition using Wearable Sensors. IEEE Communications Surveys Tutorials. 15 (3), 1192-1209 (2013).
  2. Foerster, F., Smeja, M., Fahrenberg, J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring. Computers in Human Behavior. 15 (5), 571-583 (1999).
  3. Elsmore, T. F., Naitoh, P. Monitoring Activity With a Wrist-Worn Actigraph: Effects of Amplifier Passband and threshold Variations. , DTIC Online. (1993).
  4. Kripke, D. F., Webster, J. B., Mullaney, D. J., Messin, S., Mason, W. Measuring sleep by wrist actigraph. , DTIC Online. (1981).
  5. Lockhart, J. W., Pulickal, T., Weiss, G. M. Applications of mobile activity recognition. Proceedings of the 2012 ACM Conference on Ubiquitous Computing. , 1054-1058 (2012).
  6. Incel, O. D., Kose, M., Ersoy, C. A Review and Taxonomy of Activity Recognition on Mobile Phones. BioNanoScience. 3 (2), 145-171 (2013).
  7. Yang, C. C., Hsu, Y. L. A Review of Accelerometry-Based Wearable Motion Detectors for Physical Activity Monitoring. Sensors. 10 (8), 7772-7788 (2010).
  8. He, Y., Li, Y. Physical Activity Recognition Utilizing the Built-In Kinematic Sensors of a Smartphone. International Journal of Distributed Sensor Networks. 2013, (2013).
  9. Vo, Q. V., Hoang, M. T., Choi, D. Personalization in Mobile Activity Recognition System using K-medoids Clustering Algorithm. International Journal of Distributed Sensor Networks. 2013, (2013).
  10. Dernbach, S., Das, B., Krishnan, N. C., Thomas, B. L., Cook, D. J. Simple and Complex Activity Recognition through Smart Phones. 8th International Conference on Intelligent Environments (IE), , 214-221 (2012).
  11. Hache, G., Lemaire, E. D., Baddour, N. Mobility change-of-state detection using a smartphone-based approach. IEEE International Workshop on Medical Measurements and Applications Proceedings (MeMeA). , 43-46 (2010).
  12. Wu, H. H., Lemaire, E. D., Baddour, N. Change-of-state determination to recognize mobility activities using a BlackBerry smartphone. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, , EMBC. 5252-5255 (2011).
  13. Wu, H., Lemaire, E. D., Baddour, N. Activity Change-of-state Identification Using a Blackberry Smartphone. Journal of Medical and Biological Engineering. 32 (4), 265-271 (2012).
  14. Tundo, M. D., Lemaire, E., Baddour, N. Correcting Smartphone orientation for accelerometer-based analysis. IEEE International Symposium on Medical Measurements and Applications Proceedings (MeMeA). , 58-62 (2013).
  15. Tundo, M. D. Development of a human activity recognition system using inertial measurement unit sensors on a smartphone. , Available from: http://www.ruor.uottawa.ca/handle/10393/30963 (2014).

Tags

Comportamento Edição 106 smartphone mobilidade monitoramento acelerômetro giroscópio atividades da vida diária
Avaliação de um Sistema de Reconhecimento de Atividade Humana baseado em Smartphone em uma Vida Diária Ambiente
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Lemaire, E. D., Tundo, M. D.,More

Lemaire, E. D., Tundo, M. D., Baddour, N. Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment. J. Vis. Exp. (106), e53004, doi:10.3791/53004 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter