Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Beoordeling van de nauwkeurigheid van fitness-smartwatchgegevens voor het monitoren van cardiovasculaire en fysieke activiteit: een validatieonderzoek naar digitale gezondheid

2K weergaven

⸱

DOI:

10.3791/67674

⸱

21 februari 2025

 ,  ,  ,  ,  , 
1Department of Artificial Intelligence, Faculty of Computer Science and Information Technology, Universiti Malaya, 2Bioinformatics Institute, Agency for Science, Technology and Research, 3Division of Infectious Diseases, Department of Medicine, Faculty of Medicine, Universiti Malaya, 4Division of Neurology, Department of Medicine, Faculty of Medicine, Universiti Malaya

In dit artikel

Samenvatting

Draagbare technologie heeft lage kosten en biedt gemakkelijke monitoring van fysiologische gegevens. De nauwkeurigheid en betrouwbaarheid van deze apparaten vereisen echter een zorgvuldige beoordeling om hun effectiviteit en veiligheid voor gebruikers te garanderen. Dit rapport beschrijft het validatieproces van een commerciële smartwatch bij het monitoren van fysiologische gegevens en fysieke activiteit.

Samenvatting

Deze studie heeft tot doel de nauwkeurigheid van goedkope fitness-smartwatches te valideren door hun gegevens te vergelijken met gouden standaardmetingen voor cardiovasculaire en fysieke activiteitsparameters. Aan de studie namen 50 proefpersonen deel, waarvan er 26 validatietests ondergingen voor hartslag, zuurstofverzadiging in het bloed (SpO2) en slaapgegevens tegen polysomnografie (PSG). Daarnaast namen 24 proefpersonen deel aan de 3-Minute Walk Test (3MWT) en Traplopen (SC), waarbij het aantal stappen werd gevalideerd aan de hand van handmatige videoberekeningen. De resultaten toonden geen significant verschil tussen de metingen van het apparaat en de gouden standaardwaarden voor oppervlakkige slaap, diepe slaap, REM-tijd, gemiddelde hartslag, minimale hartslag en SpO2. Het apparaat onderschatte echter aanzienlijk de handmatig getelde stappen (p = 0,009 (3MWT); p = 0,012 (SC)), de totale slaapduur (p = 0,004) en de wektijd (p = 8,94 × 10-8) terwijl de maximale hartslag werd overschat (p = 0,011). Deze bevindingen benadrukken het belang van nauwkeurige validatie en interpretatie van gegevens over draagbare apparaten in klinische contexten. Gezien deze beperkingen wordt aanbevolen om de metingen van het apparaat in toekomstige analyses uit te sluiten om de betrouwbaarheid van de gegevens en de onderzoeksintegriteit te behouden. Deze studie onderstreept de noodzaak van voortdurende validatie en verbetering van draagbare technologie om de betrouwbaarheid en effectiviteit ervan in de gezondheidszorg te waarborgen.

Inleiding

Draagbare technologie is in populariteit gegroeid en is gemeengoed geworden in verschillende delen van het dagelijks leven1. Deze technologieën, uitgerust met sensoren en algoritmen, hebben de manier veranderd waarop fysiologische parameters worden gecontroleerd en geïnterpreteerd, waardoor gebruikers gezondheidsinformatie krijgen, trainingen worden gevolgd en gebruikers een gezondere levensstijl kunnen hebben. De integratie van kunstmatige intelligentie en patroonherkenning, gecombineerd met steeds populairder wordende functies zoals virtual en augmented reality-functies, verbetert niet alleen de functionaliteit van draagbare apparaten, maar maakt ook geavanceerde gepersonaliseerde gegevensanalyse en een boeiendere gebruikerservaring mogelijk 2,3. Naarmate draagbare apparaten meer geïntegreerd raken in de dagelijkse routines, wordt het van het grootste belang om hun nauwkeurigheid en betrouwbaarheid te begrijpen, vooral in sectoren zoals het monitoren van sportprestaties en de gezondheidszorg.

Wearables bieden het voordeel van real-time registratie van patiëntgegevens voor chronische ziekten, wat onschatbare inzichten biedt voor zowel patiënten als zorgprofessionals. Statistieken zoals fysieke activiteit, gesprekstijdlijnen en slaapduur kunnen helpen bij het beoordelen van de ernst van ziekten zoals depressie, slaapapneu en de ziekte van Parkinson 4,5,6. Opkomende technologieën, zoals elektronische stempels die glucose, hartslag en temperatuur meten, ondergaan klinische tests, waardoor de mogelijkheden van geavanceerde wearables inde gezondheidszorg 7 verder worden uitgebreid. Bovendien gebruiken atleten en fitnessliefhebbers draagbare technologie om trainingsregimes te optimaliseren, prestatiestatistieken bij te houden en blessures te voorkomen 8,9. De integratie van regelmatige evaluatie van fysiologische parameters, activiteitsgegevens en functionaliteiten zoals het opnemen van elektrocardiogrammen heeft interesse gewekt voor het potentieel van wearables om te helpen bij de diagnose en het volgen van hart- en vaatziekten 8,10. Draagbare gadgets zijn veelbelovend gebleken bij het verbeteren van de veiligheid op de werkplek, het verbeteren van levensstijlbeheer en het bijbrengen van gezondere gewoonten bij gebruikers11.

Fitness smartwatch-bandjes, zoals de Xiaomi Mi Band, een bekende goedkope draagbare technologie en een van de meest gebruikte smartwatches ter wereld12, zijn toegepast in een verscheidenheid aan toepassingen, waaronder geneeskunde, sport en onderwijs13. Onderzoek heeft bijvoorbeeld gebruik gemaakt van fitness-smartwatches voor het monitoren van de fysiologische parameters van oudere personen14,15, het analyseren van het gedrag van studenten tijdens STEM-onderwijs13 en het beoordelen van fysieke activiteit bij personen16,17. Ondanks hun uitgebreide gebruik zijn er voortdurende vragen over de precisie en betrouwbaarheid van de maatregelen van deze apparaten. Talrijke onderzoeken hebben geprobeerd de metingen te valideren die zijn verkregen met draagbare technologie 12,18,19,20. Eerdere studies onderzochten de nauwkeurigheid van het tellen van stappen en de functionaliteit van slaapmonitoring, en gaven inzicht in de prestaties van de apparaten in een breed scala aan instellingen en demografische gegevens van gebruikers. Het bestaande onderzoek wijst echter op aanzienlijke hiaten in de kennis, zoals tegenstrijdige bevindingen in onderzoeken en onvoldoende validatie aan de hand van gouden standaardmethodologieën zoals polysomnografie 21,22,23.

Het doel van deze studie is om de gegevens van fitness-smartwatches te valideren en de betrouwbaarheid van fitness-smartwatches aan te pakken. Het doel van het evalueren van de nauwkeurigheid van het bijhouden van de slaap van het draagbare apparaat en andere relevante statistieken zoals hartslag, zuurstofgehalte in het bloed en stappen, is om belangrijke inzichten te verschaffen in de geschiktheid van het apparaat voor klinische en onderzoekstoepassingen die een hoge mate van nauwkeurigheid en precisie vereisen. Dit is bedoeld om bij te dragen aan het groeiende aantal onderzoeken naar de validatie van draagbare technologie door middel van een rigoureuze methodologie en solide statistische analyse, waardoor uiteindelijk het vermogen wordt verbeterd om deze tools te gebruiken voor betere gezondheidsresultaten en welzijn.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

Het onderzoeksprotocol is goedgekeurd door de Ethics Review Board van het Universiti Malaya Medical Center (UMMC) (MREC-nr.: 2021325-9983). De validatiestudie van fitness-smartwatch-metingen is opgedeeld in drie delen: (1) validatie van slaapmetingen ten opzichte van de gouden standaard met behulp van een PSG-machine, (2) validatie van stapmetingen door handmatige berekeningen van video-opnames te vergelijken, en (3) data-analyse van de validatietests.

1. Validatie van slaapmetingen aan de hand van polysomnografie (PSG)

OPMERKING: Het onderzoek wordt uitgevoerd in een gecontroleerd slaaplaboratorium om externe verstoringen tot een minimum te beperken. Voorafgaand aan de test werden alle deelnemers uitgebreid geïnformeerd over het onderzoek en kregen ze het studie-informatieblad voordat schriftelijke geïnformeerde toestemming werd verkregen. Alle verzamelde informatie wordt anoniem gehouden.

  1. Zorg ervoor dat de deelnemers 1 uur voor aanvang van de test aanwezig zijn voor de nodige voorbereiding.
  2. Deelnemers dragen de fitness-smartwatch om hun niet-dominante pols.
  3. Bevestig de deelnemers aan het apparaat van de PSG-machine volgens de handleiding van de fabrikant24.
    NOTITIE: Gebruik de gestandaardiseerde plaatsing van PSG-elektroden volgens de handleiding van de fabrikant om minimaal ongemak voor de deelnemers tijdens de slaap te garanderen.
  4. Voer twee metingen uit van het zuurstofverzadigingsniveau in het bloed (SpO2) met behulp van de fitness-smartwatch in rugligging.
  5. Zorg ervoor dat de deelnemers maximaal 6 uur slapen.
    OPMERKING: Technisch personeel houdt de PSG-machine gedurende de slaapduur in de gaten.
  6. Voer twee metingen van SpO2 uit met behulp van de fitness-smartwatch in rugligging nadat de deelnemer wakker is.
  7. Exporteer slaaptrends van zowel de PSG-machine als de fitness-smartwatch, d.w.z. diepe slaapduur, lichte slaapduur, REM-tijd (rapid eye movements) en slaapduur, hartslag (minimum, gemiddelde, maximale hartslag) en SpO2 naar een .csv bestand. Raadpleeg de handleiding van de fabrikant van elk apparaat voor informatie over het exporteren van de gegevens24,25.
  8. Ga verder naar sectie 3 voor gegevensanalyse.

2. Validatie van stepmetingen van fitness-smartwatches met handmatige berekening op basis van video-opnames

OPMERKING: Voorafgaand aan de test worden alle deelnemers uitgebreid geïnformeerd over het onderzoek en krijgen ze het studie-informatieblad voordat schriftelijke geïnformeerde toestemming wordt verkregen. Alle verzamelde informatie wordt anoniem gehouden. Alleen deelnemers met een goede gezondheidstoestand en geen beperking in mobiliteit worden geselecteerd voor deze validatietest.

  1. Zorg ervoor dat deelnemers de fitness-smartwatch om hun niet-dominante pols dragen en houd aan de andere kant een smartphone vast voor het opnemen van video's in de voetstap.
  2. Zet het aantal stappen op de fitness-smartwatch op nul. Begin met opnemen op de smartphone en laat de deelnemer de stappentest uitvoeren zoals aangegeven in stap 2.3. Stop de opname en sla deze op. Registreer het aantal gemeten stappen in de fitness smartwatch.
  3. Zorg ervoor dat de deelnemer twee soorten stappentests voltooit: (i) 3MWT- en (ii) SC-tests.
    1. 3MWT: Zorg ervoor dat de deelnemer gedurende 3 minuten in een normaal en gestaag tempo op een vlakke ondergrond loopt.
    2. SC-test: Laat de deelnemer twee trappen nemen in stijgende en dalende volgorde in een normaal en gestaag tempo.
  4. Speel de opname opnieuw af en bereken het aantal stappen van de video-opname. Leg de gegevens vast in een .csv bestand. Exporteer het aantal stappen van de fitness-smartwatch naar hetzelfde bestand. Raadpleeg de handleiding van de fabrikant van de fitness-smartwatch voor informatie over het exporteren van de gegevens25.
  5. Ga verder naar sectie 3 voor gegevensanalyse.

3. Data-analyse van de validatietests

OPMERKING: In dit protocol werd het scipy.stats-pakket in Python gebruikt om alle analysetests uit te voeren, behalve de Cohen d-test, waar in plaats daarvan het pingouin-pakket werd gebruikt. De code staat in aanvullend bestand 1, waar elke stap wordt vermeld in de commentaarregel.

  1. Importpakket vereist in de werkruimte van Python.
  2. Importeer meetgegevens in de werkruimte van de Python. Vervang de bestandsnaam measurement_data.csv door een bestandsnaam naar keuze.
  3. Verwijder lege waarden met behulp van de dropna() functie voor elke meetgegevens. Voer vervolgens de Shapiro-Wilk-normaliteitstest uit om te bepalen of de gegevens een normale verdeling hebben met behulp van het scipy.stats shapiro-pakket in Python.
  4. Voer een gepaarde voorbeeld-t-test uit met behulp van het scipy.stats-ttest_rel-pakket in Python als gegevens een normale verdeling hebben, anders voert u Mann-Whitney Wilcoxon uit met behulp van het scipy.stats wilcoxon-pakket in Python. Als het resultaat een p-waarde < 0,05 heeft, betekent dit dat er een significant verschil is tussen de meetgegevens van beide instrumenten. Vervang in de code measure1_toolA en measure1_toolB door de respectievelijke kolomnamen naar keuze.
  5. Meet de grootte van het verschil tussen instrumenten via effectgrootte met behulp van de Cohen d-methode. Een output van 0,2 duidt op een klein effect, 0,5 op een matig effect en 0,8 op een groot effect.
  6. Gebruik de Bland-Altman-analyse om de overeenkomst tussen twee instrumenten te beoordelen, zoals het gemiddelde of mediane verschil, de standaarddeviatie (SD) en 95% BI van de bias. Plot de Bland-Altman-analyse voor eenvoudige visualisatie van de uitvoer met behulp van het matplotlib.pyplot-pakket in Python.
  7. Herhaal stap 3.5 tot en met stap 3.7 voor elk paar van de meetgegevens van beide instrumenten.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Tabel 1 toont significante verschillen (p-waarde < 0,05) tussen de gegevens van PSG en de fitness-smartwatch tijdens het eerste deel van de validatietest. De fitness-smartwatch overschatte de wektijd (p < 0,001), onderschatte de slaapduur (p = 0,004) en rapporteerde een hogere maximale hartslag (p = 0,001). Er werden echter geen significante verschillen gevonden tussen de PSG-machine en de fitness-smartwatch in de volgende metingen: ondiepe slaaptijd, diepe slaaptijd, RE...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Op basis van de gemengde resultaten in de vergelijkingsanalyse werden verschillende beperkingen van de fitness-smartwatch vastgesteld. De grote variabiliteit in de metingen van de smartwatch kan het gevolg zijn van het feit dat hij vertrouwt op bewegings- en hartslaggegevens in plaats van op meer gedetailleerde metingen, zoals het elektro-encefalogram (EEG) dat in PSG wordt gebruikt. Diepe slaap en REM-tijd kwamen beter overeen, wat suggereert dat de fitness-smartwatch geschikt kan zijn ...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs verklaren dat het onderzoek is uitgevoerd zonder enige commerciële of financiële compensatie, sponsoring of enige relatie met de fabrikant van het apparaat die zou kunnen worden opgevat als een mogelijk belangenconflict. De meningen en bevindingen in dit artikel zijn van de auteur en zijn uitsluitend gebaseerd op hun ervaring met het product uit dit onderzoek.

Dankbetuigingen

We danken de neurotechnoloog van het Neurology Lab, University of Malaya Medical Center, voor de hulp en ondersteuning bij het uitvoeren van de test voor deze studie. Dit werk werd ondersteund door het UM Research Center (IIRG001C-2021IISS).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Slaapdiagnosesysteem Natus Neurology & CompumedicsIn het manuscript vermeld als PSG-apparaat
Xiaomi Mi Band 6XiaomiIn het manuscript vermeld als fitness-smartwatch

Referenties

  1. Sergueeva, K., Shaw, N., Lee, S. H. Understanding the barriers and factors associated with consumer adoption of wearable technology devices in managing personal health. Can J Adm Sci. 37 (1), 45-60 (2020).
  2. Xu, K., Lu, Y., Takei, K. Multifunctional skin-inspired flexible sensor systems for wearable electronics. Adv Mater Technol. 4 (3), 25(2019).
  3. Ates, H. C., et al. End-to-end design of wearable sensors. Nat Rev Mater. 7 (11), 887-907 (2022).
  4. Harrington, J., Schramm, P. J., Davies, C. R., Lee-Chiong, T. L. Jr An electrocardiogram-based analysis evaluating sleep quality in patients with obstructive sleep apnea. Sleep Breath. 17 (3), 1071-1078 (2013).
  5. Mccall, W. V. A rest-activity biomarker to predict response to SSRIs in major depressive disorder. J Psychiatr Res. 64, 19-22 (2015).
  6. High accuracy discrimination of Parkinson's disease participants from healthy controls using smartphones. Arora, S., et al. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, , (2014).
  7. Perry, T. Temporary tattoos can replace today's biomedical sensors. IEEE Spectr. 34, 84-85 (2015).
  8. Lehra, C., et al. Wearable applications in rugby for performance quantification and player health assessment: A brief review. IJKSS. 10 (2), 10(2022).
  9. Lacey, A., Whyte, E., O'keeffe, S., O'connor, S., Moran, K. A qualitative examination of the factors affecting the adoption of injury focused wearable technologies in recreational runners. PloS One. 17 (7), 22(2022).
  10. Binyamin, S. S., Hoque, M. R. Understanding the drivers of wearable health monitoring technology: An extension of the unified theory of acceptance and use of technology. Sustainability. 12 (22), 20(2020).
  11. Rao, P., Seshadri, D. R., Hsu, J. J. Current and potential applications of wearables in sports cardiology. Curr Treat Options Cardiovasc Med. 23 (10), 65(2021).
  12. Casado-Robles, C., Mayorga-Vega, D., Guijarro-Romero, S., Viciana, J. Validity of the xiaomi mi band 2, 3, 4 and 5 wristbands for assessing physical activity in 12-to-18-year-old adolescents under unstructured free-living conditions. Fit-person study. J Sports Sci Med. 2 (2), 196-211 (2023).
  13. Shapovalov, Y. B., et al. Using of personal smart tools in STEM education. Proceedings of the 1st Symposium on Advances in Educational Technology. 2, 192-207 (2020).
  14. Concheiro-Moscoso, P., et al. Use of the Xiaomi mi band for sleep monitoring and its influence on the daily life of older people living in a nursing home. Digit Health. 8, 20552076221121162(2022).
  15. Monitoring system for elderly health care using smart band, Raspberry Pi, and Node-Red. Ardiyanto, Y., Adi, K., Putra, K. T., Utomo, P. 2022 2nd International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, , (2022).
  16. Viciana, J., Casado-Robles, C., Guijarro-Romero, S., Mayorga-Vega, D. Are wrist-worn activity trackers and mobile applications valid for assessing physical activity in high school students? Wearfit study. J Sports Sci Med. 21 (3), 356-375 (2022).
  17. Hao, Y., Ma, X. -K., Zhu, Z., Cao, Z. -B. Validity of wrist-wearable activity devices for estimating physical activity in adolescents: Comparative study. JMIR Mhealth Uhealth. 9 (1), e18320(2021).
  18. Ameen, M. S., Cheung, L. M., Hauser, T., Hahn, M. A., Schabus, M. About the accuracy and problems of consumer devices in the assessment of sleep. Sensors. 19 (19), 4160(2019).
  19. Concheiro-Moscoso, P., et al. Quality of sleep data validation from the xiaomi mi band 5 against polysomnography: Comparison study. J Med Internet Res. 25, e42073(2023).
  20. Topalidis, P., et al. Evaluation of a low-cost commercial actigraph and its potential use in detecting cultural variations in physical activity and sleep. Sensors. 21 (11), 18(2021).
  21. Xu, H., Zheng, X., Jia, W., Yin, S. Chromatography/mass spectrometry-based biomarkers in the field of obstructive sleep apnea. Medicine. 94 (40), e1541(2015).
  22. Michaelson, P. G., Allan, P., Chaney, J., Mair, E. A. Validations of a portable home sleep study with twelve-lead polysomnography: Comparisons and insights into a variable gold standard. Ann Otol Rhinol Laryngol. 115 (11), 802-809 (2006).
  23. Berry, R. B., et al. Rules for scoring respiratory events in sleep: Update of the 2007 AASM manual for the scoring of sleep and associated events. J Clin Sleep Med. 08 (05), 597-619 (2012).
  24. Natus Neurology Incorporated. Nicoletone information for use. , https://natus.com/ (2024).
  25. Xiaomi Communications. Mi smart band 6 user manual. , At https://www.manualslib.com/manual/2629650/Xiaomi-Mi-Smart-Band-6.html (2021).
  26. De Zambotti, M., Cellini, N., Goldstone, A., Colrain, I. M., Baker, F. C. Wearable sleep technology in clinical and research settings. Med Sci Sports Exerc. 51 (7), 1538-1557 (2019).
  27. Meltzer, L. J., Montgomery-Downs, H. E., Insana, S. P., Walsh, C. M. Use of actigraphy for assessment in pediatric sleep research. Sleep Med Rev. 16 (5), 463-475 (2012).
  28. Paradiso, C., Colino, F., Liu, S. The validity and reliability of the mi band wearable device for measuring steps and heart rate. Int J Exerc Sci. 13 (4), 689-701 (2020).
  29. Benedetto, S., et al. Assessment of the fitbit charge 2 for monitoring heart rate. PloS One. 13 (2), e0192691(2018).
  30. Chow, H. -W., Yang, C. -C. Accuracy of optical heart rate sensing technology in wearable fitness trackers for young and older adults: Validation and comparison study. JMIR Mhealth Uhealth. 8 (4), e14707(2020).
  31. Jachymek, M., et al. Wristbands in home-based rehabilitation-validation of heart rate measurement. Sensors. 22 (1), 60(2021).
  32. Schalk, M., Schalk, I., Bauernhansl, T., Siegert, J., Schneider, U. Investigation of possible effects of wearing exoskeletons during welding on heart rate. Physiologia. 2 (3), 94-108 (2022).
  33. Bent, B., Goldstein, B. A., Kibbe, W. A., Dunn, J. P. Investigating sources of inaccuracy in wearable optical heart rate sensors. NPJ Digit Med. 3 (1), 18(2020).
  34. De Cocker, K. A., De Meyer, J., De Bourdeaudhuij, I. M., Cardon, G. M. Non-traditional wearing positions of pedometers: Validity and reliability of the Omron HJ-203-ED pedometer under controlled and free-living conditions. J Sci Med Sport. 15 (5), 418-424 (2012).
  35. Diaz, K. M., et al. Fitbit®: An accurate and reliable device for wireless physical activity tracking. Int J Cardiol. 185, 138-140 (2015).
  36. Mendes, M., Pala, A. Type I error rate and power of three normality tests. Inf Technol J. 2, 135-139 (2003).
  37. Costa, R. R., et al. Heart rate deflection point as an alternative to determining the anaerobic threshold in dyslipidaemic patients. Motriz: Rev Educ Fís. 25 (1), (2019).
  38. Roth, S., et al. Noninvasive evaluation of the hemodynamic status in patients after heart transplantation or left ventricular assist device implantation. PloS One. 17 (10), e0275977(2022).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Tags

Validatie van fitness smartwatchcardiovasculaire monitoringvergelijking met polysomnografiezuurstofsaturatie in het bloedhartslagmetinganalyse van slaapfasenvalidatie van stappentellingBland Altman analysedrieminutenlooptest
Beoordeling van de nauwkeurigheid van fitness-smartwatchgegevens voor het monitoren van cardiovasculaire en fysieke activiteit: een validatieonderzoek naar digitale gezondheid
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.