La tecnología portátil tiene un bajo costo y ofrece un monitoreo conveniente de los datos fisiológicos. Sin embargo, la precisión y fiabilidad de estos dispositivos requiere una evaluación cautelosa para garantizar su eficacia y seguridad para los usuarios. Este informe describe el proceso de validación de un reloj inteligente comercial en el seguimiento de datos fisiológicos y de actividad física.
Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.
Artículo de método
Evaluación de la precisión de los datos de los relojes inteligentes de fitness para el seguimiento de la actividad cardiovascular y física: un estudio de validación en salud digital
En este artículo
Resumen
Resumen
Este estudio tiene como objetivo validar la precisión de los relojes inteligentes de fitness de bajo costo comparando sus datos con las mediciones de referencia para los parámetros cardiovasculares y de actividad física. El estudio incluyó a 50 sujetos, 26 de los cuales se sometieron a pruebas de validación de frecuencia cardíaca, saturación de oxígeno en sangre (SpO2) y datos de sueño frente a polisomnografía (PSG). Además, 24 sujetos participaron en la prueba de caminata de 3 minutos (3MWT) y en la subida de escaleras (SC), con recuentos de pasos validados contra cálculos manuales de video. Los resultados no mostraron diferencias significativas entre las mediciones del dispositivo y los valores estándar de oro para el sueño superficial, el sueño profundo, el tiempo REM, la frecuencia cardíaca media, la frecuencia cardíaca mínima y la SpO2. Sin embargo, el dispositivo subestimó significativamente los pasos contados manualmente (p = 0,009 (3MWT); p = 0,012 (SC)), la duración total del sueño (p = 0,004) y el tiempo de vigilia (p = 8,94 × 10-8) mientras sobreestimó la frecuencia cardíaca máxima (p = 0,011). Estos hallazgos ponen de manifiesto la importancia de una validación e interpretación precisas de los datos de los dispositivos portátiles en contextos clínicos. Dadas estas limitaciones, se recomienda excluir las lecturas del dispositivo en análisis futuros para mantener la fiabilidad de los datos y la integridad de la investigación. Este estudio subraya la necesidad de una validación y mejora continuas de la tecnología portátil para garantizar su fiabilidad y eficacia en la atención sanitaria.
Introducción
La tecnología portátil ha crecido en popularidad, convirtiéndose en algo común en varias partesde la vida cotidiana. Estas tecnologías, equipadas con sensores y algoritmos, han transformado la forma en que se monitorean e interpretan los parámetros fisiológicos, proporcionando a los usuarios información de salud, rastreando los entrenamientos y permitiendo a los usuarios tener un estilo de vida más saludable. La integración de la inteligencia artificial y el reconocimiento de patrones, combinada con características cada vez más populares como las funciones de realidad virtual y aumentada, no solo mejora la funcionalidad de los dispositivos portátiles, sino que también permite un análisis de datos personalizado avanzado y una experiencia de usuario más atractiva 2,3. A medida que los dispositivos portátiles se integran más en las rutinas diarias, comprender su precisión y confiabilidad se vuelve primordial, especialmente en industrias como la monitorización del rendimiento deportivo y la atención médica.
Los wearables ofrecen el beneficio del registro de datos de pacientes en tiempo real para enfermedades crónicas, lo que proporciona información invaluable tanto para los pacientes como para los profesionales de la salud. Métricas como la actividad física, los plazos de conversación y la duración del sueño pueden ayudar a evaluar la gravedad de enfermedades como la depresión, la apnea del sueño y la enfermedad de Parkinson 4,5,6. Las tecnologías emergentes, como los sellos electrónicos que controlan la glucosa, la frecuencia cardíaca y la temperatura, se están sometiendo a pruebas clínicas, lo que amplía aún más las posibilidades de los dispositivos portátiles avanzados en healtchcare7. Además, los atletas y los entusiastas del fitness utilizan la tecnología portátil para optimizar los regímenes de entrenamiento, realizar un seguimiento de las métricas de rendimiento y prevenir lesiones 8,9. La integración de la evaluación periódica de los parámetros fisiológicos, los datos de actividad y funcionalidades como el registro de electrocardiogramas ha despertado el interés por el potencial de los wearables para ayudar en el diagnóstico y seguimiento de las enfermedades cardiovasculares 8,10. Los dispositivos portátiles han demostrado ser prometedores para mejorar la seguridad en el lugar de trabajo, mejorar la gestión del estilo de vida e inculcar hábitos más saludables entre los usuarios11.
Las correas de los relojes inteligentes de fitness, como la Xiaomi Mi Band, una conocida tecnología portátil de bajo costo y uno de los relojes inteligentes más utilizados a nivel mundial12, se han aplicado en una variedad de aplicaciones, incluidas la medicina, el deporte y la educación13. Por ejemplo, la investigación ha utilizado relojes inteligentes de fitness para monitorear los parámetros fisiológicos de las personas mayores14,15, analizar el comportamiento de los estudiantes durante la educación STEM13 y evaluar la actividad física en las personas16,17. A pesar de su amplio uso, existen preguntas continuas sobre la precisión y confiabilidad de las medidas proporcionadas por estos dispositivos. Numerosas investigaciones han intentado validar las mediciones obtenidas de la tecnología wearable 12,18,19,20. Estudios anteriores investigaron la precisión del conteo de pasos y la funcionalidad de la monitorización del sueño, proporcionando información sobre el rendimiento de los dispositivos en una amplia gama de entornos y datos demográficos de los usuarios. Sin embargo, las investigaciones existentes indican lagunas significativas en el conocimiento, como hallazgos contradictorios entre los estudios y una validación insuficiente frente a metodologías de referencia como la polisomnografía 21,22,23.
El propósito de este estudio es validar los datos obtenidos de los relojes inteligentes de fitness y abordar la confiabilidad de los relojes inteligentes de fitness. El objetivo de evaluar la precisión del seguimiento del sueño del dispositivo portátil y otras métricas relevantes, como la frecuencia cardíaca, el nivel de oxígeno en sangre y los pasos, es proporcionar información significativa sobre la idoneidad del dispositivo para aplicaciones clínicas y de investigación que requieren un alto nivel de exactitud y precisión. Con ello se pretende contribuir al creciente cuerpo de investigación sobre la validación de la tecnología wearable a través de una metodología rigurosa y un análisis estadístico sólido, mejorando en última instancia la capacidad de emplear estas herramientas para obtener mejores resultados de salud y bienestar.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Protocolo
El protocolo del estudio está aprobado por la Junta de Revisión de Ética del Centro Médico de la Universidad Malaya (UMMC) (MREC No: 2021325-9983). El estudio de validación de las mediciones de los relojes inteligentes de fitness se divide en tres partes: (1) validación de las mediciones del sueño con respecto al estándar de oro utilizando una máquina PSG, (2) validación de las mediciones de pasos mediante la comparación de cálculos manuales de grabaciones de video y (3) análisis de datos de las pruebas de validación.
1. Validación de las mediciones del sueño frente a la polisomnografía (PSG)
NOTA: El estudio se lleva a cabo en un laboratorio de sueño controlado para minimizar las interrupciones externas. Antes de la prueba, todos los participantes fueron informados en profundidad sobre el estudio y se les proporcionó la hoja de información del estudio antes de obtener el consentimiento informado por escrito. Toda la información recopilada se mantiene anónima.
- Asegúrese de que los participantes lleguen 1 hora antes de que comience la prueba para la preparación necesaria.
- Los participantes llevan el reloj inteligente de fitness en su muñeca no dominante.
- Fije los participantes al aparato de la máquina PSG de acuerdo con el manual del fabricante24.
NOTA: Utilice la colocación estandarizada de los electrodos PSG según el manual del fabricante para garantizar una molestia mínima a los participantes durante el sueño. - Realice dos mediciones del nivel de saturación de oxígeno en sangre (SpO2) con el reloj inteligente de fitness en posición supina.
- Asegúrese de que los participantes duerman durante un máximo de 6 horas.
NOTA: El personal técnico monitorea la máquina PSG durante todo el tiempo de sueño. - Tome dos mediciones de SpO2 usando el reloj inteligente de fitness en posición supina después de que el participante esté despierto.
- Exporte las tendencias de sueño tanto de la máquina PSG como del reloj inteligente de fitness, es decir, la duración del sueño profundo, la duración del sueño ligero, el tiempo de movimientos oculares rápidos (REM) y la duración del sueño, la frecuencia cardíaca (frecuencia cardíaca mínima, media, máxima) y SpO2, a un archivo .csv. Consulte el manual del fabricante de cada dispositivo para saber cómo exportar los datos24,25.
- Continúe con la sección 3 para el análisis de datos.
2. Validación de las mediciones de pasos del smartwatch fitness con cálculo manual a partir de grabaciones de vídeo
NOTA: Antes de la prueba, todos los participantes reciben información detallada sobre el estudio y se les proporciona la hoja de información del estudio antes de obtener el consentimiento informado por escrito. Toda la información recopilada se mantiene anónima. Solo los participantes con buenas condiciones de salud y sin problemas de movilidad son elegidos para esta prueba de validación.
- Por otro lado, asegúrese de que los participantes usen el reloj inteligente de fitness en su muñeca no dominante y, por otro lado, sostengan un teléfono inteligente para grabar videos de pasos.
- Establezca el recuento de pasos en el reloj inteligente de fitness a cero. Comience a grabar en el teléfono inteligente y haga que el participante realice la prueba de pasos como se indica en el paso 2.3. Detenga y guarde la grabación. Registre el número de pasos medidos en el reloj inteligente de fitness.
- Asegúrese de que el participante complete dos tipos de pruebas de pasos: (i) 3MWT y (ii) pruebas SC.
- 3MWT: Asegúrese de que el participante camine a un ritmo normal y constante durante 3 minutos sobre una superficie plana.
- Prueba SC: Pida al participante que tome dos tramos de escaleras en orden ascendente y descendente a un ritmo normal y constante.
- Vuelva a reproducir la grabación y calcule el número de pasos de la grabación de video. Registre los datos en un archivo .csv. Exporte los recuentos de pasos del reloj inteligente de fitness al mismo archivo. Consulte el manual del fabricante del reloj inteligente de fitness sobre cómo exportar los datos25.
- Continúe con la sección 3 para el análisis de datos.
3. Análisis de los datos de las pruebas de validación
NOTA: En este protocolo, se utilizó el paquete scipy.stats en Python para realizar todas las pruebas de análisis, excepto la prueba d de Cohen, donde se utilizó el paquete pingouin en su lugar. El código se encuentra en el Archivo Complementario 1, donde se menciona cada paso en la línea de comentarios.
- Se requiere importar el paquete en el espacio de trabajo de Python.
- Importe los datos de medición en el espacio de trabajo de Python. Reemplace el nombre de archivo measurement_data.csv por un nombre de archivo de su elección.
- Elimine los valores vacíos utilizando la función dropna() para cada dato de medición. A continuación, realice la prueba de normalidad de Shapiro-Wilk para determinar si los datos tienen una distribución normal utilizando el paquete scipy.stats shapiro en Python.
- Realice una prueba t de muestra emparejada utilizando el paquete de ttest_rel scipy.stats en Python si los datos tienen una distribución normal, de lo contrario, realice Mann-Whitney Wilcoxon utilizando el paquete scipy.stats wilcoxon en Python. Si el resultado tiene un valor p < 0,05, significa que hay una diferencia significativa entre los datos de medición de ambos instrumentos. En el código, reemplace measure1_toolA y measure1_toolB por los nombres de columna respectivos de su elección.
- Mida la magnitud de la diferencia entre instrumentos a través del tamaño del efecto utilizando el método d de Cohen. Una salida de 0,2 indica un efecto pequeño, 0,5 un efecto moderado y 0,8 un efecto grande.
- Emplee el análisis de Bland-Altman para evaluar la concordancia entre dos instrumentos, como la diferencia de medias o medianas, la desviación estándar (DE) y el IC del 95% del sesgo. Trace el análisis de Bland-Altman para facilitar la visualización de la salida utilizando el paquete matplotlib.pyplot en Python.
- Repita el paso 3.5 hasta el paso 3.7 para cada par de datos de medición de ambos instrumentos.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Resultados
La Tabla 1 muestra diferencias significativas (valor p < 0,05) entre los datos de PSG y el smartwatch de fitness durante la primera parte de la prueba de validación. El reloj inteligente de fitness sobreestimó el tiempo de vigilia (p < 0,001), subestimó la duración del sueño (p = 0,004) e informó una frecuencia cardíaca máxima más alta (p = 0,001). Sin embargo, no se encontraron diferencias significativas entre la máquina PSG y el smartwatch fitness en las siguientes mediciones: tiempo de sueño sup...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Discusión
Se identificaron varias limitaciones del reloj inteligente de fitness en función de los resultados mixtos en el análisis comparativo. La alta variabilidad en las mediciones del reloj inteligente puede deberse a su dependencia de los datos de movimiento y frecuencia cardíaca en lugar de medidas más detalladas, como el electroencefalograma (EEG) utilizado en el PSG. El sueño profundo y el tiempo REM mostraron una mejor concordancia, lo que sugiere que el reloj inteligente de fitness puede ...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Divulgaciones
Los autores declaran que la investigación se llevó a cabo en ausencia de cualquier compensación comercial o financiera, patrocinio o cualquier relación con el fabricante del dispositivo que pudiera interpretarse como un posible conflicto de intereses. Las opiniones y hallazgos expresados en este artículo son propios del autor y se basan únicamente en su experiencia con el producto de este estudio.
Agradecimientos
Agradecemos al neurotecnólogo del Laboratorio de Neurología del Centro Médico de la Universidad de Malaya por la ayuda y el apoyo en la realización de la prueba para este estudio. Este trabajo contó con el apoyo del Centro de Investigación de la UM (IIRG001C-2021IISS).
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Materiales
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Sistema de diagnóstico del sueño | Natus Neurología & Compumedics | Referido en el manuscrito como máquina PSG | |
| Xiaomi Mi Band 6 | Xiaomi | Referido en el manuscrito como reloj inteligente de fitness |
Referencias
- Sergueeva, K., Shaw, N., Lee, S. H. Understanding the barriers and factors associated with consumer adoption of wearable technology devices in managing personal health. Can J Adm Sci. 37 (1), 45-60 (2020).
- Xu, K., Lu, Y., Takei, K. Multifunctional skin-inspired flexible sensor systems for wearable electronics. Adv Mater Technol. 4 (3), 25(2019).
- Ates, H. C., et al. End-to-end design of wearable sensors. Nat Rev Mater. 7 (11), 887-907 (2022).
- Harrington, J., Schramm, P. J., Davies, C. R., Lee-Chiong, T. L. Jr An electrocardiogram-based analysis evaluating sleep quality in patients with obstructive sleep apnea. Sleep Breath. 17 (3), 1071-1078 (2013).
- Mccall, W. V. A rest-activity biomarker to predict response to SSRIs in major depressive disorder. J Psychiatr Res. 64, 19-22 (2015).
- High accuracy discrimination of Parkinson's disease participants from healthy controls using smartphones. Arora, S., et al. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, , (2014).
- Perry, T. Temporary tattoos can replace today's biomedical sensors. IEEE Spectr. 34, 84-85 (2015).
- Lehra, C., et al. Wearable applications in rugby for performance quantification and player health assessment: A brief review. IJKSS. 10 (2), 10(2022).
- Lacey, A., Whyte, E., O'keeffe, S., O'connor, S., Moran, K. A qualitative examination of the factors affecting the adoption of injury focused wearable technologies in recreational runners. PloS One. 17 (7), 22(2022).
- Binyamin, S. S., Hoque, M. R. Understanding the drivers of wearable health monitoring technology: An extension of the unified theory of acceptance and use of technology. Sustainability. 12 (22), 20(2020).
- Rao, P., Seshadri, D. R., Hsu, J. J. Current and potential applications of wearables in sports cardiology. Curr Treat Options Cardiovasc Med. 23 (10), 65(2021).
- Casado-Robles, C., Mayorga-Vega, D., Guijarro-Romero, S., Viciana, J. Validity of the xiaomi mi band 2, 3, 4 and 5 wristbands for assessing physical activity in 12-to-18-year-old adolescents under unstructured free-living conditions. Fit-person study. J Sports Sci Med. 2 (2), 196-211 (2023).
- Shapovalov, Y. B., et al. Using of personal smart tools in STEM education. Proceedings of the 1st Symposium on Advances in Educational Technology. 2, 192-207 (2020).
- Concheiro-Moscoso, P., et al. Use of the Xiaomi mi band for sleep monitoring and its influence on the daily life of older people living in a nursing home. Digit Health. 8, 20552076221121162(2022).
- Monitoring system for elderly health care using smart band, Raspberry Pi, and Node-Red. Ardiyanto, Y., Adi, K., Putra, K. T., Utomo, P. 2022 2nd International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, , (2022).
- Viciana, J., Casado-Robles, C., Guijarro-Romero, S., Mayorga-Vega, D. Are wrist-worn activity trackers and mobile applications valid for assessing physical activity in high school students? Wearfit study. J Sports Sci Med. 21 (3), 356-375 (2022).
- Hao, Y., Ma, X. -K., Zhu, Z., Cao, Z. -B. Validity of wrist-wearable activity devices for estimating physical activity in adolescents: Comparative study. JMIR Mhealth Uhealth. 9 (1), e18320(2021).
- Ameen, M. S., Cheung, L. M., Hauser, T., Hahn, M. A., Schabus, M. About the accuracy and problems of consumer devices in the assessment of sleep. Sensors. 19 (19), 4160(2019).
- Concheiro-Moscoso, P., et al. Quality of sleep data validation from the xiaomi mi band 5 against polysomnography: Comparison study. J Med Internet Res. 25, e42073(2023).
- Topalidis, P., et al. Evaluation of a low-cost commercial actigraph and its potential use in detecting cultural variations in physical activity and sleep. Sensors. 21 (11), 18(2021).
- Xu, H., Zheng, X., Jia, W., Yin, S. Chromatography/mass spectrometry-based biomarkers in the field of obstructive sleep apnea. Medicine. 94 (40), e1541(2015).
- Michaelson, P. G., Allan, P., Chaney, J., Mair, E. A. Validations of a portable home sleep study with twelve-lead polysomnography: Comparisons and insights into a variable gold standard. Ann Otol Rhinol Laryngol. 115 (11), 802-809 (2006).
- Berry, R. B., et al. Rules for scoring respiratory events in sleep: Update of the 2007 AASM manual for the scoring of sleep and associated events. J Clin Sleep Med. 08 (05), 597-619 (2012).
- Natus Neurology Incorporated. Nicoletone information for use. , https://natus.com/ (2024).
- Xiaomi Communications. Mi smart band 6 user manual. , At https://www.manualslib.com/manual/2629650/Xiaomi-Mi-Smart-Band-6.html (2021).
- De Zambotti, M., Cellini, N., Goldstone, A., Colrain, I. M., Baker, F. C. Wearable sleep technology in clinical and research settings. Med Sci Sports Exerc. 51 (7), 1538-1557 (2019).
- Meltzer, L. J., Montgomery-Downs, H. E., Insana, S. P., Walsh, C. M. Use of actigraphy for assessment in pediatric sleep research. Sleep Med Rev. 16 (5), 463-475 (2012).
- Paradiso, C., Colino, F., Liu, S. The validity and reliability of the mi band wearable device for measuring steps and heart rate. Int J Exerc Sci. 13 (4), 689-701 (2020).
- Benedetto, S., et al. Assessment of the fitbit charge 2 for monitoring heart rate. PloS One. 13 (2), e0192691(2018).
- Chow, H. -W., Yang, C. -C. Accuracy of optical heart rate sensing technology in wearable fitness trackers for young and older adults: Validation and comparison study. JMIR Mhealth Uhealth. 8 (4), e14707(2020).
- Jachymek, M., et al. Wristbands in home-based rehabilitation-validation of heart rate measurement. Sensors. 22 (1), 60(2021).
- Schalk, M., Schalk, I., Bauernhansl, T., Siegert, J., Schneider, U. Investigation of possible effects of wearing exoskeletons during welding on heart rate. Physiologia. 2 (3), 94-108 (2022).
- Bent, B., Goldstein, B. A., Kibbe, W. A., Dunn, J. P. Investigating sources of inaccuracy in wearable optical heart rate sensors. NPJ Digit Med. 3 (1), 18(2020).
- De Cocker, K. A., De Meyer, J., De Bourdeaudhuij, I. M., Cardon, G. M. Non-traditional wearing positions of pedometers: Validity and reliability of the Omron HJ-203-ED pedometer under controlled and free-living conditions. J Sci Med Sport. 15 (5), 418-424 (2012).
- Diaz, K. M., et al. Fitbit®: An accurate and reliable device for wireless physical activity tracking. Int J Cardiol. 185, 138-140 (2015).
- Mendes, M., Pala, A. Type I error rate and power of three normality tests. Inf Technol J. 2, 135-139 (2003).
- Costa, R. R., et al. Heart rate deflection point as an alternative to determining the anaerobic threshold in dyslipidaemic patients. Motriz: Rev Educ Fís. 25 (1), (2019).
- Roth, S., et al. Noninvasive evaluation of the hemodynamic status in patients after heart transplantation or left ventricular assist device implantation. PloS One. 17 (10), e0275977(2022).
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Reimpresiones y permisos
Etiquetas
