需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

评估智能健身手表在心血管和身体活动监测中的数据准确性:一项数字健康领域的验证研究

2K 次观看

DOI:

10.3791/67674

2025年2月21日

本文内容

摘要

可穿戴技术成本较低,且便于对生理数据进行监测。然而,这些设备的准确性和可靠性需要谨慎评估,以确保其对用户的有效性和安全性。本报告描述了一款商用智能手表在监测生理数据和身体活动方面的验证过程。

摘要

本研究旨在通过将低成本健身智能手表的数据与心血管和身体活动参数的金标准测量值进行比较,验证其准确性。研究共招募了50名受试者,其中26名接受了心率、血氧饱和度(SpO2)和睡眠数据的验证测试,并以多导睡眠图(PSG)作为对照。此外,另有24名受试者参与了3分钟步行试验(3MWT)和爬楼梯试验(SC),其步数通过手动视频计数进行验证。结果显示,在浅睡眠、深睡眠、REM睡眠时间、平均心率、最低心率和SpO2方面,设备测量值与金标准值之间无显著差异。然而,该设备显著低估了人工计数的步数(p = 0.009(3MWT);p = 0.012(SC))、总睡眠持续时间(p = 0.004)和清醒时间(p = 8.94 × 10-8),同时高估了最大心率(p = 0.011)。这些发现强调了在临床环境中对可穿戴设备数据进行准确验证和解读的重要性。鉴于这些局限性,建议在未来的分析中排除该设备的读数,以保持数据的可靠性和研究的完整性。本研究凸显了持续验证和改进可穿戴技术的必要性,以确保其在医疗保健中的可靠性与有效性。

引言

可穿戴技术的普及程度日益增长,已逐渐融入日常生活的各个方面1。这些技术配备了传感器和算法,改变了生理参数的监测与解读方式,为用户提供健康信息、追踪锻炼情况,并帮助用户实现更健康的生活方式。人工智能与模式识别的整合,结合虚拟现实和增强现实等日益流行的功能,不仅提升了可穿戴设备的功能性,还实现了高级个性化数据分析以及更具吸引力的用户体验2,3。随着可穿戴设备越来越多地融入日常活动,了解其准确性和可靠性变得至关重要,尤其是在运动表现监测和医疗保健等行业中。

可穿戴设备能够实时记录慢性病患者的数据,为患者和医疗专业人员提供宝贵的信息。诸如身体活动、对话时间线和睡眠持续时间等指标有助于评估抑郁症、睡眠呼吸暂停和帕金森病等疾病的严重程度4,5,6。新兴技术(如用于监测葡萄糖水平、心率和体温的电子贴片)正在接受临床测试,进一步拓展了先进可穿戴设备在医疗保健领域的应用前景7。此外,运动员和健身爱好者也利用可穿戴技术来优化训练方案、追踪运动表现指标并预防运动损伤8,9。常规生理参数监测、活动数据采集以及心电图记录等功能的整合,引发了人们对可穿戴设备在心血管疾病诊断与追踪中潜在价值的广泛关注8,10。可穿戴设备在提升工作场所安全性、改善生活方式管理以及帮助用户建立更健康的生活习惯方面已展现出良好的应用前景11

诸如小米手环(Xiaomi Mi Band)等健身智能手表腕带,作为一种知名的低成本可穿戴技术,是全球使用最广泛的智能手表之一12,已被应用于医学、体育和教育等多个领域13。例如,已有研究利用健身智能手表监测老年人的生理参数14,15,分析STEM教育过程中学生的行为13,以及评估个体的体力活动水平16,17。尽管这些设备应用广泛,但其测量结果的精确性和可靠性仍存在持续的疑问。大量研究已尝试对可穿戴技术获取的测量数据进行验证12,18,19,20。先前的研究已探讨了计步准确性和睡眠监测功能,揭示了这些设备在多种使用环境和用户群体中的性能表现。然而,现有研究仍显示出显著的知识空白,例如不同研究之间的结论相互矛盾,以及缺乏与多导睡眠图(polysomnography)等金标准方法进行充分的对比验证21,22,23

本研究旨在验证从健身智能手表获取的数据,并评估健身智能手表的可靠性。通过评价可穿戴设备在睡眠追踪准确性以及其他相关指标(如心率、血氧水平和步数)方面的表现,旨在深入揭示该设备在需要高准确性和精确度的临床及科研应用中的适用性。本研究希望通过严谨的方法学和扎实的统计分析,为可穿戴技术验证领域的不断发展的研究体系做出贡献,最终提升利用这些工具改善健康状况和促进福祉的能力。

访问受限。请登录或开始试用以查看此内容。

方案

本研究方案已获得马来亚大学医学中心(UMMC)伦理审查委员会批准(MREC 编号:2021325-9983)。健身智能手表测量的验证研究分为三个部分:(1)使用多导睡眠图(PSG)设备作为金标准,验证睡眠测量结果;(2)通过视频录像的手动计数比对,验证步数测量结果;(3)对验证测试进行数据分析。

1. 采用多导睡眠图(PSG)验证睡眠测量结果

注意:本研究在受控的睡眠实验室中进行,以尽量减少外界干扰。测试前,所有参与者均接受了关于研究的详细说明,并在签署书面知情同意书之前收到了研究信息表。所收集的所有信息均予以匿名处理。

  1. 确保受试者在测试开始前 1 小时到达,以完成必要的准备工作。
  2. 受试者将健身智能手表佩戴于非优势手腕上。
  3. 根据制造商手册将受试者连接至多导睡眠图(PSG)设备24
    注意:按照制造商手册中规定的标准位置放置 PSG 电极,以确保受试者在睡眠期间不适感最小。
  4. 让受试者处于仰卧位,使用健身智能手表测量两次血氧饱和度(SpO2)。
  5. 确保受试者睡眠时间最长不超过 6 小时。
    注意:技术人员需在整个睡眠过程中持续监控 PSG 设备。
  6. 受试者清醒后,再次处于仰卧位,使用健身智能手表测量两次 SpO2。
  7. 将多导睡眠图(PSG)设备和健身智能手表的睡眠趋势数据导出为 .csv 文件,包括深睡眠时长、浅睡眠时长、快速眼动(REM)时间、总睡眠时长、心率(最低、平均、最高心率)以及 SpO2,。具体导出方法请参考各设备的制造商手册24,25
  8. 进入第 3 节进行数据分析。

2. 使用视频记录的手动计数验证智能手表步数测量的准确性

注意:测试前,所有参与者均会接受关于研究的详细说明,并在签署书面知情同意书之前收到研究信息表。所收集的所有信息将保持匿名。仅选择健康状况良好且无行动障碍的参与者进行本次验证测试。

  1. 确保受试者将健身智能手表佩戴在非优势手腕上,另一只手持智能手机用于录制步行视频。
  2. 将健身智能手表的步数计数归零。启动智能手机的录制功能,让受试者按照步骤2.3所述进行步数测试。停止录制并保存视频文件。记录健身智能手表测量到的步数。
  3. 确保受试者完成两种类型的步数测试:(i) 3分钟步行测试(3MWT)和 (ii) 上下楼梯测试(SC测试)。
    1. 3MWT:确保受试者在平坦地面上以正常且稳定的速度行走3分钟。
    2. SC测试:让受试者以正常且稳定的速度上下两段楼梯。
  4. 回放录制视频,根据视频计算实际步数,并将数据记录到 .csv 文件中。同时将健身智能手表记录的步数导出至同一文件。具体导出方法请参考健身智能手表制造商提供的使用手册25
  5. 进入第3节进行数据分析。

3. 验证试验的数据分析

注意:在本方案中,除 Cohen d 检验使用 pingouin 软件包外,其余所有分析检验均使用 Python 中的 scipy.stats 软件包完成。代码见补充文件1,每一步均在注释行中予以说明。

  1. 将所需的包导入 Python 工作空间。
  2. 将测量数据导入 Python 工作空间。将文件名 measurement_data.csv 替换为所选的文件名。
  3. 使用 dropna() 函数去除每组测量数据中的空值。然后,使用 Python 中的 scipy.stats shapiro 包执行 Shapiro-Wilk 正态性检验,以确定数据是否符合正态分布。
  4. 如果数据符合正态分布,则使用 Python 中的 scipy.stats ttest_rel 包执行配对样本 t 检验;否则,使用 Python 中的 scipy.stats wilcoxon 包执行 Mann-Whitney Wilcoxon 检验。如果结果的 p 值 < 0.05,则表明两种仪器的测量数据之间存在显著差异。在代码中,将 measure1_toolAmeasure1_toolB 替换为相应的列名。
  5. 通过 Cohen d 方法计算效应量,以评估仪器间差异的大小。输出值为 0.2 表示小效应,0.5 表示中等效应,0.8 表示大效应。
  6. 采用 Bland-Altman 分析评估两种仪器之间的一致性,包括均值或中位数差异、标准差(SD)以及偏差的 95% 置信区间(CI)。使用 Python 中的 matplotlib.pyplot 包绘制 Bland-Altman 图,以便直观展示分析结果。
  7. 对两种仪器的每一对测量数据重复执行步骤 3.5 至步骤 3.7。

访问受限。请登录或开始试用以查看此内容。

结果

表1 显示,在验证测试的第一阶段,多导睡眠图(PSG)与健身智能手表的数据之间存在显著差异(p值 < 0.05)。健身智能手表高估了清醒时间(p < 0.001),低估了睡眠时长(p = 0.004),并报告了更高的最大心率(p = 0.001)。然而,PSG设备与健身智能手表在以下测量指标上未发现显著差异:浅睡眠时间、深睡眠时间、快速眼动(REM)时间、平均心率、最低心率以及血氧饱和度。此外,Cohen d分析表明,这些观察结果具有可信度,效应量范围为小到中等(小于0.4)。

多导睡眠图(PSG),均值 ± 标准差;(95% 置信区间)健康智能手表,均值 ± 标准差;(95% 置信区间)t 值

访问受限。请登录或开始试用以查看此内容。

讨论

根据对比分析中的混合结果,发现了健身智能手表的若干局限性。智能手表测量值的高变异性可能源于其依赖运动和心率数据,而非更详细的测量方法,例如多导睡眠图(PSG)中使用的脑电图(EEG)。深度睡眠和快速眼动睡眠时间的测量结果一致性较好,这表明健身智能手表可能适用于常规睡眠监测。然而,其在临床诊断(如详细的睡眠阶段分析)中可能并不可靠。

此外,一个显著的发现是,健身智能手表对WASO时间的低估比PSG测量结果短49分钟(p < 0.0005),这一结果与Conchiero-Moscoso等人的先前研究一致,该研究发现早期一款健身智能手表的前代型号对WASO低估了31分钟(p = 0.005)19。类似地,Ameen等人发现另一款前代型号对WASO低估了33.57分钟,同时对TST高估了69.64分钟18。这一局限性可能源于其依赖体动记录仪(actigraph),后者常用于健身设备中检测身体运动,而其默认的觉醒阈值可能无法准确反映真实的睡眠-觉醒模式27...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明,本研究是在没有任何商业或经济补偿、赞助,以及与设备制造商之间可能被视为潜在利益冲突的关系的情况下进行的。本文所表达的观点和研究结果均为作者个人观点,完全基于他们在本研究中使用该产品的经验得出。

致谢

感谢马来亚大学医学中心神经科实验室的神经技术员在本研究测试实施过程中提供的帮助与支持。本工作由马来亚大学研究中心(IIRG001C-2021IISS)资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
睡眠诊断系统 Natus Neurology & Compumedics文稿中称为 PSG 仪器
Xiaomi Mi Band 6Xiaomi文稿中称为健身智能手表

参考文献

  1. Sergueeva, K., Shaw, N., Lee, S. H. Understanding the barriers and factors associated with consumer adoption of wearable technology devices in managing personal health. Can J Adm Sci. 37 (1), 45-60 (2020).
  2. Xu, K., Lu, Y., Takei, K. Multifunctional skin-inspired flexible sensor systems for wearable electronics. Adv Mater Technol. 4 (3), 25(2019).
  3. Ates, H. C., et al. End-to-end design of wearable sensors. Nat Rev Mater. 7 (11), 887-907 (2022).
  4. Harrington, J., Schramm, P. J., Davies, C. R., Lee-Chiong, T. L. Jr An electrocardiogram-based analysis evaluating sleep quality in patients with obstructive sleep apnea. Sleep Breath. 17 (3), 1071-1078 (2013).
  5. Mccall, W. V. A rest-activity biomarker to predict response to SSRIs in major depressive disorder. J Psychiatr Res. 64, 19-22 (2015).
  6. High accuracy discrimination of Parkinson's disease participants from healthy controls using smartphones. Arora, S., et al. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, , (2014).
  7. Perry, T. Temporary tattoos can replace today's biomedical sensors. IEEE Spectr. 34, 84-85 (2015).
  8. Lehra, C., et al. Wearable applications in rugby for performance quantification and player health assessment: A brief review. IJKSS. 10 (2), 10(2022).
  9. Lacey, A., Whyte, E., O'keeffe, S., O'connor, S., Moran, K. A qualitative examination of the factors affecting the adoption of injury focused wearable technologies in recreational runners. PloS One. 17 (7), 22(2022).
  10. Binyamin, S. S., Hoque, M. R. Understanding the drivers of wearable health monitoring technology: An extension of the unified theory of acceptance and use of technology. Sustainability. 12 (22), 20(2020).
  11. Rao, P., Seshadri, D. R., Hsu, J. J. Current and potential applications of wearables in sports cardiology. Curr Treat Options Cardiovasc Med. 23 (10), 65(2021).
  12. Casado-Robles, C., Mayorga-Vega, D., Guijarro-Romero, S., Viciana, J. Validity of the xiaomi mi band 2, 3, 4 and 5 wristbands for assessing physical activity in 12-to-18-year-old adolescents under unstructured free-living conditions. Fit-person study. J Sports Sci Med. 2 (2), 196-211 (2023).
  13. Shapovalov, Y. B., et al. Using of personal smart tools in STEM education. Proceedings of the 1st Symposium on Advances in Educational Technology. 2, 192-207 (2020).
  14. Concheiro-Moscoso, P., et al. Use of the Xiaomi mi band for sleep monitoring and its influence on the daily life of older people living in a nursing home. Digit Health. 8, 20552076221121162(2022).
  15. Monitoring system for elderly health care using smart band, Raspberry Pi, and Node-Red. Ardiyanto, Y., Adi, K., Putra, K. T., Utomo, P. 2022 2nd International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, , (2022).
  16. Viciana, J., Casado-Robles, C., Guijarro-Romero, S., Mayorga-Vega, D. Are wrist-worn activity trackers and mobile applications valid for assessing physical activity in high school students? Wearfit study. J Sports Sci Med. 21 (3), 356-375 (2022).
  17. Hao, Y., Ma, X. -K., Zhu, Z., Cao, Z. -B. Validity of wrist-wearable activity devices for estimating physical activity in adolescents: Comparative study. JMIR Mhealth Uhealth. 9 (1), e18320(2021).
  18. Ameen, M. S., Cheung, L. M., Hauser, T., Hahn, M. A., Schabus, M. About the accuracy and problems of consumer devices in the assessment of sleep. Sensors. 19 (19), 4160(2019).
  19. Concheiro-Moscoso, P., et al. Quality of sleep data validation from the xiaomi mi band 5 against polysomnography: Comparison study. J Med Internet Res. 25, e42073(2023).
  20. Topalidis, P., et al. Evaluation of a low-cost commercial actigraph and its potential use in detecting cultural variations in physical activity and sleep. Sensors. 21 (11), 18(2021).
  21. Xu, H., Zheng, X., Jia, W., Yin, S. Chromatography/mass spectrometry-based biomarkers in the field of obstructive sleep apnea. Medicine. 94 (40), e1541(2015).
  22. Michaelson, P. G., Allan, P., Chaney, J., Mair, E. A. Validations of a portable home sleep study with twelve-lead polysomnography: Comparisons and insights into a variable gold standard. Ann Otol Rhinol Laryngol. 115 (11), 802-809 (2006).
  23. Berry, R. B., et al. Rules for scoring respiratory events in sleep: Update of the 2007 AASM manual for the scoring of sleep and associated events. J Clin Sleep Med. 08 (05), 597-619 (2012).
  24. Natus Neurology Incorporated. Nicoletone information for use. , https://natus.com/ (2024).
  25. Xiaomi Communications. Mi smart band 6 user manual. , At https://www.manualslib.com/manual/2629650/Xiaomi-Mi-Smart-Band-6.html (2021).
  26. De Zambotti, M., Cellini, N., Goldstone, A., Colrain, I. M., Baker, F. C. Wearable sleep technology in clinical and research settings. Med Sci Sports Exerc. 51 (7), 1538-1557 (2019).
  27. Meltzer, L. J., Montgomery-Downs, H. E., Insana, S. P., Walsh, C. M. Use of actigraphy for assessment in pediatric sleep research. Sleep Med Rev. 16 (5), 463-475 (2012).
  28. Paradiso, C., Colino, F., Liu, S. The validity and reliability of the mi band wearable device for measuring steps and heart rate. Int J Exerc Sci. 13 (4), 689-701 (2020).
  29. Benedetto, S., et al. Assessment of the fitbit charge 2 for monitoring heart rate. PloS One. 13 (2), e0192691(2018).
  30. Chow, H. -W., Yang, C. -C. Accuracy of optical heart rate sensing technology in wearable fitness trackers for young and older adults: Validation and comparison study. JMIR Mhealth Uhealth. 8 (4), e14707(2020).
  31. Jachymek, M., et al. Wristbands in home-based rehabilitation-validation of heart rate measurement. Sensors. 22 (1), 60(2021).
  32. Schalk, M., Schalk, I., Bauernhansl, T., Siegert, J., Schneider, U. Investigation of possible effects of wearing exoskeletons during welding on heart rate. Physiologia. 2 (3), 94-108 (2022).
  33. Bent, B., Goldstein, B. A., Kibbe, W. A., Dunn, J. P. Investigating sources of inaccuracy in wearable optical heart rate sensors. NPJ Digit Med. 3 (1), 18(2020).
  34. De Cocker, K. A., De Meyer, J., De Bourdeaudhuij, I. M., Cardon, G. M. Non-traditional wearing positions of pedometers: Validity and reliability of the Omron HJ-203-ED pedometer under controlled and free-living conditions. J Sci Med Sport. 15 (5), 418-424 (2012).
  35. Diaz, K. M., et al. Fitbit®: An accurate and reliable device for wireless physical activity tracking. Int J Cardiol. 185, 138-140 (2015).
  36. Mendes, M., Pala, A. Type I error rate and power of three normality tests. Inf Technol J. 2, 135-139 (2003).
  37. Costa, R. R., et al. Heart rate deflection point as an alternative to determining the anaerobic threshold in dyslipidaemic patients. Motriz: Rev Educ Fís. 25 (1), (2019).
  38. Roth, S., et al. Noninvasive evaluation of the hemodynamic status in patients after heart transplantation or left ventricular assist device implantation. PloS One. 17 (10), e0275977(2022).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

Bland Altman