A tecnologia vestível tem baixo custo e oferece monitoramento conveniente de dados fisiológicos. No entanto, a precisão e a confiabilidade desses dispositivos exigem uma avaliação cautelosa para garantir sua eficácia e segurança para os usuários. Este relatório descreve o processo de validação de um smartwatch comercial no monitoramento de dados fisiológicos e atividade física.
É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de método
Avaliando a precisão dos dados do smartwatch de fitness para monitoramento de atividade cardiovascular e física: um estudo de validação em saúde digital
Neste artigo
Resumo
Resumo
Este estudo tem como objetivo validar a precisão de smartwatches de fitness de baixo custo, comparando seus dados com medições padrão-ouro para parâmetros cardiovasculares e de atividade física. O estudo envolveu 50 indivíduos, 26 submetidos a testes de validação de frequência cardíaca, saturação de oxigênio no sangue (SpO2) e dados de sono contra polissonografia (PSG). Além disso, 24 indivíduos participaram do Teste de Caminhada de 3 Minutos (TC3) e da Subida de Escadas (SC), com contagem de passos validada em relação a cálculos manuais de vídeo. Os resultados não mostraram diferença significativa entre as medições do dispositivo e os valores padrão-ouro para sono superficial, sono profundo, tempo REM, frequência cardíaca média, frequência cardíaca mínima e SpO2. No entanto, o aparelho subestimou significativamente os passos contados manualmente (p = 0,009 (TC3); p = 0,012 (SC)), a duração total do sono (p = 0,004) e o tempo de vigília (p = 8,94 × 10-8), superestimando a frequência cardíaca máxima (p = 0,011). Essas descobertas destacam a importância da validação e interpretação precisas dos dados de dispositivos vestíveis em contextos clínicos. Dadas essas limitações, recomenda-se a exclusão das leituras do dispositivo em análises futuras para manter a confiabilidade dos dados e a integridade da pesquisa. Este estudo ressalta a necessidade de validação e melhoria contínuas da tecnologia vestível para garantir sua confiabilidade e eficácia na área da saúde.
Introdução
A tecnologia vestível cresceu em popularidade, tornando-se comum em várias partes da vida cotidiana1. Essas tecnologias, equipadas com sensores e algoritmos, transformaram a forma como os parâmetros fisiológicos são monitorados e interpretados, fornecendo aos usuários informações de saúde, rastreando exercícios e permitindo que os usuários tenham um estilo de vida mais saudável. A integração de inteligência artificial e reconhecimento de padrões, combinada com recursos cada vez mais populares, como recursos de realidade virtual e aumentada, não apenas aprimora a funcionalidade dos dispositivos vestíveis, mas também permite análise avançada de dados personalizados e uma experiência de usuário mais envolvente 2,3. À medida que os dispositivos vestíveis se tornam mais integrados às rotinas diárias, entender sua precisão e confiabilidade torna-se fundamental, especialmente em setores como monitoramento de desempenho esportivo e saúde.
Os wearables oferecem o benefício do registro de dados do paciente em tempo real para doenças crônicas, fornecendo informações valiosas para pacientes e profissionais de saúde. Métricas como atividade física, cronogramas de conversação e duração do sono podem ajudar a avaliar a gravidade de doenças como depressão, apneia do sono e doença de Parkinson 4,5,6. Tecnologias emergentes, como selos eletrônicos que monitoram glicose, frequência cardíaca e temperatura, estão passando por testes clínicos, ampliando ainda mais as possibilidades de wearables avançados em cuidados com a saúde7. Além disso, atletas e entusiastas do fitness utilizam tecnologia vestível para otimizar regimes de treinamento, rastrear métricas de desempenho e prevenir lesões 8,9. A integração da avaliação regular de parâmetros fisiológicos, dados de atividade e funcionalidades como o registro do eletrocardiograma despertou interesse em relação ao potencial dos wearables para auxiliar no diagnóstico e rastreamento de doenças cardiovasculares 8,10. Os gadgets vestíveis têm se mostrado promissores em aumentar a segurança no local de trabalho, melhorar o gerenciamento do estilo de vida e incutir hábitos mais saudáveis entre os usuários11.
Pulseiras de smartwatch de fitness, como a Xiaomi Mi Band, uma conhecida tecnologia vestível de baixo custo e um dos smartwatches mais usados globalmente12, têm sido aplicadas em uma variedade de aplicações, incluindo medicina, esportes e educação13. Por exemplo, a pesquisa utilizou smartwatches de fitness para monitorar os parâmetros fisiológicos de indivíduos mais velhos14,15, analisar o comportamento dos alunos durante a educação STEM13 e avaliar a atividade física em indivíduos16,17. Apesar de seu uso extensivo, existem dúvidas sobre a precisão e confiabilidade das medidas fornecidas por esses dispositivos. Inúmeras investigações tentaram validar as medidas obtidas da tecnologia vestível 12,18,19,20. Estudos anteriores investigaram a precisão da contagem de passos e a funcionalidade do monitoramento do sono, fornecendo informações sobre o desempenho dos dispositivos em uma ampla variedade de configurações e dados demográficos do usuário. No entanto, as pesquisas existentes indicam lacunas significativas no conhecimento, como achados contraditórios entre os estudos e validação insuficiente em relação a metodologias padrão-ouro, como a polissonografia 21,22,23.
O objetivo deste estudo é validar os dados obtidos dos smartwatches fitness e abordar a confiabilidade dos smartwatches fitness. O objetivo de avaliar a precisão do rastreamento do sono do dispositivo vestível e outras métricas relevantes, como frequência cardíaca, nível de oxigênio no sangue e etapas, é fornecer informações significativas sobre a adequação do dispositivo para aplicações clínicas e de pesquisa que exigem um alto nível de exatidão e precisão. O objetivo é contribuir para o crescente corpo de pesquisa sobre validação de tecnologia vestível por meio de metodologia rigorosa e análise estatística sólida, melhorando a capacidade de empregar essas ferramentas para melhores resultados de saúde e bem-estar.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Protocolo
O protocolo do estudo é aprovado pelo Conselho de Revisão de Ética do Centro Médico da Universiti Malaya (UMMC) (MREC No: 2021325-9983). O estudo de validação das medições do smartwatch fitness é dividido em três partes: (1) validação das medições do sono em relação ao padrão-ouro usando uma máquina PSG, (2) validação das medições de passos comparando cálculos manuais de gravações de vídeo e (3) análise de dados dos testes de validação.
1. Validação das medidas do sono em relação à polissonografia (PSG)
NOTA: O estudo é conduzido em um laboratório de sono controlado para minimizar interrupções externas. Antes do teste, todos os participantes foram informados em profundidade sobre o estudo e receberam a folha de informações do estudo antes da obtenção do consentimento informado por escrito. Todas as informações coletadas são mantidas anônimas.
- Certifique-se de que os participantes cheguem 1 hora antes do início do teste para a preparação necessária.
- Os participantes usam o smartwatch fitness em seu pulso não dominante.
- Fixe os participantes ao aparelho da máquina PSG de acordo com o manual do fabricante24.
NOTA: Use a colocação padronizada dos eletrodos PSG de acordo com o manual do fabricante para garantir o mínimo de desconforto aos participantes durante o sono. - Faça duas medições do nível de saturação de oxigênio no sangue (SpO2) usando o smartwatch fitness em decúbito dorsal.
- Certifique-se de que os participantes durmam no máximo 6 h.
NOTA: O pessoal técnico monitora a máquina PSG durante toda a duração do sono. - Faça duas medições de SpO2 usando o smartwatch fitness em decúbito dorsal depois que o participante estiver acordado.
- Exporte as tendências do sono da máquina PSG e do smartwatch fitness, ou seja, duração do sono profundo, duração do sono leve, tempo de movimentos rápidos dos olhos (REM) e duração do sono, frequência cardíaca (frequência cardíaca mínima, média, máxima) e SpO2 em um arquivo .csv. Consulte o manual do fabricante de cada dispositivo para saber como exportar os dados24,25.
- Prossiga para a seção 3 para análise de dados.
2. Validação de medições de passos do smartwatch fitness com cálculo manual a partir de gravações de vídeo
NOTA: Antes do teste, todos os participantes são informados em profundidade sobre o estudo e recebem a folha de informações do estudo antes que o consentimento informado por escrito seja obtido. Todas as informações coletadas são mantidas anônimas. Apenas participantes com boas condições de saúde e sem comprometimento na mobilidade são escolhidos para este teste de validação.
- Certifique-se de que os participantes usem o smartwatch de fitness em seu pulso não dominante e, por outro lado, segurem um smartphone para fins de gravação de vídeo de passos.
- Defina a contagem de passos no smartwatch fitness para zero. Comece a gravar no smartphone e peça ao participante que realize o teste do degrau conforme indicado no passo 2.3. Pare e salve a gravação. Registre o número de passos medidos no smartwatch de fitness.
- Certifique-se de que o participante conclua dois tipos de testes de degrau (i) teste 3MWT e (ii) teste SC.
- TC3: Certifique-se de que o participante caminhe em ritmo normal e constante por 3 min em uma superfície plana.
- Teste SC: Peça ao participante que suba dois lances de escada em ordem ascendente e descendente em um ritmo normal e constante.
- Reproduza a gravação e calcule o número de etapas da gravação de vídeo. Registre os dados em um arquivo .csv. Exporte a contagem de passos do smartwatch fitness para o mesmo arquivo. Consulte o manual do fabricante do smartwatch de fitness para saber como exportar os dados25.
- Prossiga para a seção 3 para análise de dados.
3. Análise dos dados dos testes de validação
NOTA: Neste protocolo, o pacote scipy.stats em Python foi usado para realizar todos os testes de análise, exceto o teste d de Cohen, onde o pacote pingouin foi utilizado. O código está no Arquivo Suplementar 1, onde cada etapa é mencionada na linha de comentário.
- Pacote de importação necessário para o espaço de trabalho do Python.
- Importe dados de medição para o espaço de trabalho do Python. Substitua o nome do arquivo measurement_data.csv por um nome de arquivo de sua escolha.
- Remova todos os valores vazios usando a função dropna() para cada dado de medição. Em seguida, execute o teste de normalidade de Shapiro-Wilk para determinar se os dados têm uma distribuição normal usando o pacote shapiro scipy.stats em Python.
- Execute o teste t de amostra emparelhado usando o pacote de ttest_rel scipy.stats em Python se os dados tiverem uma distribuição normal, caso contrário, execute Mann-Whitney Wilcoxon usando o pacote scipy.stats wilcoxon em Python. Se o resultado tiver um valor de p < 0,05, significa que há uma diferença significativa entre os dados de medição de ambos os instrumentos. No código, substitua measure1_toolA e measure1_toolB pelos respectivos nomes de coluna de sua escolha.
- Meça a magnitude da diferença entre os instrumentos por meio do tamanho do efeito usando o método d de Cohen. Uma saída de 0,2 indica um efeito pequeno, 0,5 um efeito moderado e 0,8 um efeito grande.
- Empregue a análise de Bland-Altman para avaliar a concordância entre dois instrumentos, como diferença média ou mediana, desvio padrão (DP) e IC 95% do viés. Plote a análise de Bland-Altman para facilitar a visualização da saída usando o pacote matplotlib.pyplot em Python.
- Repita a etapa 3.5 até a etapa 3.7 para cada par de dados de medição de ambos os instrumentos.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Resultados
A Tabela 1 mostra diferenças significativas (valor de p < 0,05) entre os dados do PSG e do smartwatch fitness durante a primeira parte do teste de validação. O smartwatch fitness superestimou o tempo de vigília (p < 0,001), subestimou a duração do sono (p = 0,004) e relatou uma frequência cardíaca máxima mais alta (p = 0,001). No entanto, não foram encontradas diferenças significativas entre a máquina PSG e o smartwatch fitness nas seguintes medições: tempo de sono raso, tempo de sono profundo, tem...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Discussão
Várias limitações do smartwatch fitness foram identificadas com base nos resultados mistos na análise de comparação. A alta variabilidade nas medições do smartwatch pode resultar de sua dependência de dados de movimento e frequência cardíaca, em vez de medidas mais detalhadas, como o eletroencefalograma (EEG) usado no PSG. O sono profundo e o tempo REM mostraram melhor concordância, o que sugere que o smartwatch fitness pode ser adequado para monitoramento geral do sono. No entanto, pode...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Divulgações
Os autores declaram que a pesquisa foi conduzida na ausência de qualquer compensação comercial ou financeira, patrocínio ou qualquer relacionamento com o fabricante do dispositivo que pudesse ser interpretado como um potencial conflito de interesses. As opiniões e descobertas expressas neste artigo são do próprio autor e são baseadas exclusivamente em sua experiência com o produto deste estudo.
Agradecimentos
Agradecemos ao neurotecnólogo do Laboratório de Neurologia do Centro Médico da Universidade da Malásia, pela ajuda e apoio na realização do teste para este estudo. Este trabalho foi apoiado pelo Centro de Pesquisa da UM (IIRG001C-2021IISS).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Sistema de Diagnóstico do Sono | Natus Neurologia & Compumedics | Referido no manuscrito como máquina PSG | |
| Xiaomi Mi Band 6 | Xiaomi | Referido no manuscrito como smartwatch de fitness |
Referências
- Sergueeva, K., Shaw, N., Lee, S. H. Understanding the barriers and factors associated with consumer adoption of wearable technology devices in managing personal health. Can J Adm Sci. 37 (1), 45-60 (2020).
- Xu, K., Lu, Y., Takei, K. Multifunctional skin-inspired flexible sensor systems for wearable electronics. Adv Mater Technol. 4 (3), 25(2019).
- Ates, H. C., et al. End-to-end design of wearable sensors. Nat Rev Mater. 7 (11), 887-907 (2022).
- Harrington, J., Schramm, P. J., Davies, C. R., Lee-Chiong, T. L. Jr An electrocardiogram-based analysis evaluating sleep quality in patients with obstructive sleep apnea. Sleep Breath. 17 (3), 1071-1078 (2013).
- Mccall, W. V. A rest-activity biomarker to predict response to SSRIs in major depressive disorder. J Psychiatr Res. 64, 19-22 (2015).
- High accuracy discrimination of Parkinson's disease participants from healthy controls using smartphones. Arora, S., et al. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, , (2014).
- Perry, T. Temporary tattoos can replace today's biomedical sensors. IEEE Spectr. 34, 84-85 (2015).
- Lehra, C., et al. Wearable applications in rugby for performance quantification and player health assessment: A brief review. IJKSS. 10 (2), 10(2022).
- Lacey, A., Whyte, E., O'keeffe, S., O'connor, S., Moran, K. A qualitative examination of the factors affecting the adoption of injury focused wearable technologies in recreational runners. PloS One. 17 (7), 22(2022).
- Binyamin, S. S., Hoque, M. R. Understanding the drivers of wearable health monitoring technology: An extension of the unified theory of acceptance and use of technology. Sustainability. 12 (22), 20(2020).
- Rao, P., Seshadri, D. R., Hsu, J. J. Current and potential applications of wearables in sports cardiology. Curr Treat Options Cardiovasc Med. 23 (10), 65(2021).
- Casado-Robles, C., Mayorga-Vega, D., Guijarro-Romero, S., Viciana, J. Validity of the xiaomi mi band 2, 3, 4 and 5 wristbands for assessing physical activity in 12-to-18-year-old adolescents under unstructured free-living conditions. Fit-person study. J Sports Sci Med. 2 (2), 196-211 (2023).
- Shapovalov, Y. B., et al. Using of personal smart tools in STEM education. Proceedings of the 1st Symposium on Advances in Educational Technology. 2, 192-207 (2020).
- Concheiro-Moscoso, P., et al. Use of the Xiaomi mi band for sleep monitoring and its influence on the daily life of older people living in a nursing home. Digit Health. 8, 20552076221121162(2022).
- Monitoring system for elderly health care using smart band, Raspberry Pi, and Node-Red. Ardiyanto, Y., Adi, K., Putra, K. T., Utomo, P. 2022 2nd International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, , (2022).
- Viciana, J., Casado-Robles, C., Guijarro-Romero, S., Mayorga-Vega, D. Are wrist-worn activity trackers and mobile applications valid for assessing physical activity in high school students? Wearfit study. J Sports Sci Med. 21 (3), 356-375 (2022).
- Hao, Y., Ma, X. -K., Zhu, Z., Cao, Z. -B. Validity of wrist-wearable activity devices for estimating physical activity in adolescents: Comparative study. JMIR Mhealth Uhealth. 9 (1), e18320(2021).
- Ameen, M. S., Cheung, L. M., Hauser, T., Hahn, M. A., Schabus, M. About the accuracy and problems of consumer devices in the assessment of sleep. Sensors. 19 (19), 4160(2019).
- Concheiro-Moscoso, P., et al. Quality of sleep data validation from the xiaomi mi band 5 against polysomnography: Comparison study. J Med Internet Res. 25, e42073(2023).
- Topalidis, P., et al. Evaluation of a low-cost commercial actigraph and its potential use in detecting cultural variations in physical activity and sleep. Sensors. 21 (11), 18(2021).
- Xu, H., Zheng, X., Jia, W., Yin, S. Chromatography/mass spectrometry-based biomarkers in the field of obstructive sleep apnea. Medicine. 94 (40), e1541(2015).
- Michaelson, P. G., Allan, P., Chaney, J., Mair, E. A. Validations of a portable home sleep study with twelve-lead polysomnography: Comparisons and insights into a variable gold standard. Ann Otol Rhinol Laryngol. 115 (11), 802-809 (2006).
- Berry, R. B., et al. Rules for scoring respiratory events in sleep: Update of the 2007 AASM manual for the scoring of sleep and associated events. J Clin Sleep Med. 08 (05), 597-619 (2012).
- Natus Neurology Incorporated. Nicoletone information for use. , https://natus.com/ (2024).
- Xiaomi Communications. Mi smart band 6 user manual. , At https://www.manualslib.com/manual/2629650/Xiaomi-Mi-Smart-Band-6.html (2021).
- De Zambotti, M., Cellini, N., Goldstone, A., Colrain, I. M., Baker, F. C. Wearable sleep technology in clinical and research settings. Med Sci Sports Exerc. 51 (7), 1538-1557 (2019).
- Meltzer, L. J., Montgomery-Downs, H. E., Insana, S. P., Walsh, C. M. Use of actigraphy for assessment in pediatric sleep research. Sleep Med Rev. 16 (5), 463-475 (2012).
- Paradiso, C., Colino, F., Liu, S. The validity and reliability of the mi band wearable device for measuring steps and heart rate. Int J Exerc Sci. 13 (4), 689-701 (2020).
- Benedetto, S., et al. Assessment of the fitbit charge 2 for monitoring heart rate. PloS One. 13 (2), e0192691(2018).
- Chow, H. -W., Yang, C. -C. Accuracy of optical heart rate sensing technology in wearable fitness trackers for young and older adults: Validation and comparison study. JMIR Mhealth Uhealth. 8 (4), e14707(2020).
- Jachymek, M., et al. Wristbands in home-based rehabilitation-validation of heart rate measurement. Sensors. 22 (1), 60(2021).
- Schalk, M., Schalk, I., Bauernhansl, T., Siegert, J., Schneider, U. Investigation of possible effects of wearing exoskeletons during welding on heart rate. Physiologia. 2 (3), 94-108 (2022).
- Bent, B., Goldstein, B. A., Kibbe, W. A., Dunn, J. P. Investigating sources of inaccuracy in wearable optical heart rate sensors. NPJ Digit Med. 3 (1), 18(2020).
- De Cocker, K. A., De Meyer, J., De Bourdeaudhuij, I. M., Cardon, G. M. Non-traditional wearing positions of pedometers: Validity and reliability of the Omron HJ-203-ED pedometer under controlled and free-living conditions. J Sci Med Sport. 15 (5), 418-424 (2012).
- Diaz, K. M., et al. Fitbit®: An accurate and reliable device for wireless physical activity tracking. Int J Cardiol. 185, 138-140 (2015).
- Mendes, M., Pala, A. Type I error rate and power of three normality tests. Inf Technol J. 2, 135-139 (2003).
- Costa, R. R., et al. Heart rate deflection point as an alternative to determining the anaerobic threshold in dyslipidaemic patients. Motriz: Rev Educ Fís. 25 (1), (2019).
- Roth, S., et al. Noninvasive evaluation of the hemodynamic status in patients after heart transplantation or left ventricular assist device implantation. PloS One. 17 (10), e0275977(2022).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Reimpressões e permissões
