La tecnologia indossabile ha un costo contenuto e offre un comodo monitoraggio dei dati fisiologici. Tuttavia, l'accuratezza e l'affidabilità di questi dispositivi richiedono una valutazione cauta per garantirne l'efficacia e la sicurezza per gli utenti. Questo rapporto descrive il processo di convalida di uno smartwatch commerciale nel monitoraggio dei dati fisiologici e dell'attività fisica.
È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.
Articolo metodologico
Valutazione dell'accuratezza dei dati degli smartwatch fitness per il monitoraggio dell'attività cardiovascolare e fisica: uno studio di convalida in Digital Health
In questo articolo
Sommario
Abstract
Questo studio mira a convalidare l'accuratezza degli smartwatch per il fitness a basso costo confrontando i loro dati con le misurazioni gold standard per i parametri cardiovascolari e di attività fisica. Lo studio ha arruolato 50 soggetti, 26 sottoposti a test di convalida per la frequenza cardiaca, la saturazione di ossigeno nel sangue (SpO2) e i dati sul sonno rispetto alla polisonnografia (PSG). Inoltre, 24 soggetti hanno partecipato al 3-Minute Walk Test (3MWT) e alla salita delle scale (SC), con conteggi dei passi convalidati rispetto a calcoli video manuali. I risultati non hanno mostrato differenze significative tra le misurazioni del dispositivo e i valori gold standard per sonno superficiale, sonno profondo, tempo REM, frequenza cardiaca media, frequenza cardiaca minima e SpO2. Tuttavia, il dispositivo ha sottostimato in modo significativo i passi contati manualmente (p = 0,009 (3MWT); p = 0,012 (SC)), la durata totale del sonno (p = 0,004) e il tempo di veglia (p = 8,94 × 10-8), sovrastimando la frequenza cardiaca massima (p = 0,011). Questi risultati evidenziano l'importanza di una convalida e di un'interpretazione accurate dei dati dei dispositivi indossabili in contesti clinici. Date queste limitazioni, si consiglia di escludere le letture del dispositivo nelle analisi future per mantenere l'affidabilità dei dati e l'integrità della ricerca. Questo studio sottolinea la necessità di una convalida e di un miglioramento continui della tecnologia indossabile per garantirne l'affidabilità e l'efficacia nel settore sanitario.
Introduzione
La tecnologia indossabile è cresciuta in popolarità, diventando un luogo comune in vari aspetti della vita quotidiana1. Queste tecnologie, dotate di sensori e algoritmi, hanno trasformato il modo in cui i parametri fisiologici vengono monitorati e interpretati, fornendo agli utenti informazioni sulla salute, monitorando gli allenamenti e consentendo agli utenti di avere uno stile di vita più sano. L'integrazione dell'intelligenza artificiale e del riconoscimento dei modelli, combinata con funzionalità sempre più popolari come le funzionalità di realtà virtuale e aumentata, non solo migliora la funzionalità dei dispositivi indossabili, ma consente anche un'analisi avanzata dei dati personalizzata e un'esperienza utente più coinvolgente 2,3. Man mano che i dispositivi indossabili diventano più integrati nella routine quotidiana, comprenderne l'accuratezza e l'affidabilità diventa fondamentale, soprattutto in settori come il monitoraggio delle prestazioni sportive e la sanità.
I dispositivi indossabili offrono il vantaggio della registrazione in tempo reale dei dati dei pazienti per le malattie croniche, fornendo informazioni preziose sia per i pazienti che per gli operatori sanitari. Metriche come l'attività fisica, i tempi di conversazione e la durata del sonno possono aiutare a valutare la gravità di malattie come la depressione, l'apnea notturna e il morbo di Parkinson 4,5,6. Le tecnologie emergenti, come i timbri elettronici che monitorano il glucosio, la frequenza cardiaca e la temperatura, sono in fase di test clinici, ampliando ulteriormente le possibilità dei dispositivi indossabili avanzati nell'assistenza sanitaria7. Inoltre, gli atleti e gli appassionati di fitness utilizzano la tecnologia indossabile per ottimizzare i regimi di allenamento, monitorare le metriche delle prestazioni e prevenire gli infortuni 8,9. L'integrazione della valutazione regolare dei parametri fisiologici, dei dati di attività e di funzionalità come la registrazione dell'elettrocardiogramma ha suscitato interesse per il potenziale dei dispositivi indossabili di aiutare nella diagnosi e nel monitoraggio delle malattie cardiovascolari 8,10. I gadget indossabili si sono dimostrati promettenti nel migliorare la sicurezza sul posto di lavoro, migliorare la gestione dello stile di vita e instillare abitudini più sane tra gli utenti11.
I cinturini per smartwatch per il fitness, come la Xiaomi Mi Band, una nota tecnologia indossabile a basso costo e uno degli smartwatch più utilizzati a livello globale12, sono stati applicati in una varietà di applicazioni, tra cui medicina, sport e istruzione13. Ad esempio, la ricerca ha utilizzato gli smartwatch per il fitness per monitorare i parametri fisiologici degli individui più anziani14,15, analizzare il comportamento degli studenti durante l'istruzione STEM13 e valutare l'attività fisica negli individui16,17. Nonostante il loro ampio utilizzo, ci sono dubbi sulla precisione e l'affidabilità delle misure fornite da questi dispositivi. Numerose indagini hanno tentato di convalidare le misure ottenute dalla tecnologia indossabile 12,18,19,20. Studi precedenti hanno studiato l'accuratezza del conteggio dei passi e la funzionalità del monitoraggio del sonno, fornendo informazioni sulle prestazioni dei dispositivi in un'ampia gamma di impostazioni e dati demografici degli utenti. Tuttavia, la ricerca esistente indica lacune significative nelle conoscenze, come risultati contraddittori tra gli studi e una convalida insufficiente rispetto alle metodologie gold standard come la polisonnografia 21,22,23.
Lo scopo di questo studio è convalidare i dati ottenuti dagli smartwatch per il fitness e affrontare l'affidabilità degli smartwatch per il fitness. L'obiettivo di valutare l'accuratezza del monitoraggio del sonno del dispositivo indossabile e altre metriche rilevanti come la frequenza cardiaca, il livello di ossigeno nel sangue e i passi è quello di fornire informazioni significative sull'idoneità del dispositivo per applicazioni cliniche e di ricerca che richiedono un alto livello di accuratezza e precisione. Ciò ha lo scopo di contribuire al crescente corpo di ricerca sulla convalida della tecnologia indossabile attraverso una metodologia rigorosa e una solida analisi statistica, migliorando in ultima analisi la capacità di impiegare questi strumenti per ottenere migliori risultati di salute e benessere.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Protocollo
Il protocollo di studio è approvato dall'Ethics Review Board dell'Universiti Malaya Medical Centre (UMMC) (MREC n.: 2021325-9983). Lo studio di convalida delle misurazioni degli smartwatch per il fitness è diviso in tre parti: (1) convalida delle misurazioni del sonno rispetto al gold standard utilizzando una macchina PSG, (2) convalida delle misurazioni dei passi confrontando i calcoli manuali delle registrazioni video e (3) analisi dei dati dei test di convalida.
1. Validazione delle misurazioni del sonno rispetto alla polisonnografia (PSG)
NOTA: Lo studio è condotto in un laboratorio del sonno controllato per ridurre al minimo le interruzioni esterne. Prima del test, tutti i partecipanti sono stati informati in modo approfondito sullo studio e hanno ricevuto il foglio informativo dello studio prima di ottenere il consenso informato scritto. Tutte le informazioni raccolte sono mantenute anonime.
- Assicurati che i partecipanti arrivino 1 ora prima dell'inizio del test per la preparazione necessaria.
- I partecipanti indossano lo smartwatch fitness al polso non dominante.
- Fissare i partecipanti all'apparecchio della macchina PSG secondo il manuale del produttore24.
NOTA: Utilizzare un posizionamento standardizzato degli elettrodi PSG secondo il manuale del produttore per garantire il minimo disagio ai partecipanti durante il sonno. - Effettua due misurazioni del livello di saturazione di ossigeno nel sangue (SpO2) utilizzando lo smartwatch fitness in posizione supina.
- Assicurati che i partecipanti dormano per un massimo di 6 ore.
NOTA: Il personale tecnico monitora la macchina PSG per tutta la durata del sonno. - Effettua due misurazioni di SpO2 utilizzando lo smartwatch fitness in posizione supina dopo che il partecipante è sveglio.
- Esporta le tendenze del sonno sia dalla macchina PSG che dallo smartwatch per il fitness, ad esempio la durata del sonno profondo, la durata del sonno leggero, il tempo di movimenti oculari rapidi (REM) e la durata del sonno, la frequenza cardiaca (minima, media, massima) e SpO2, in un file .csv. Fare riferimento al manuale del produttore di ciascun dispositivo su come esportare i dati24,25.
- Procedere alla sezione 3 per l'analisi dei dati.
2. Convalida delle misurazioni dei passi dello smartwatch fitness con calcolo manuale da registrazioni video
NOTA: Prima del test, tutti i partecipanti vengono informati in modo approfondito sullo studio e viene fornita la scheda informativa dello studio prima di ottenere il consenso informato scritto. Tutte le informazioni raccolte sono mantenute anonime. Per questo test di convalida vengono scelti solo i partecipanti con buone condizioni di salute e nessuna compromissione della mobilità.
- Assicurati che i partecipanti indossino lo smartwatch fitness al polso non dominante e tengano in mano uno smartphone per la registrazione video dei passi, d'altra parte.
- Imposta il conteggio dei passi sullo smartwatch fitness su zero. Avviare la registrazione sullo smartphone e chiedere al partecipante di eseguire lo step test come indicato al punto 2.3. Arrestare e salvare la registrazione. Registra il numero di passi misurati nello smartwatch fitness.
- Assicurarsi che il partecipante completi due tipi di test a gradini (i) 3MWT e (ii) test SC.
- 3MWT: Assicurati che il partecipante cammini a un ritmo normale e costante per 3 minuti su una superficie piana.
- Test SC: Chiedi al partecipante di fare due rampe di scale in ordine ascendente e discendente a un ritmo normale e costante.
- Riproduci la registrazione e calcola il numero di passaggi dalla registrazione video. Registra i dati in un file .csv. Esporta il conteggio dei passi dallo smartwatch fitness nello stesso file. Fare riferimento al manuale del produttore dello smartwatch fitness per informazioni su come esportare i dati25.
- Procedere alla sezione 3 per l'analisi dei dati.
3. Analisi dei dati dei test di validazione
NOTA: In questo protocollo, il pacchetto scipy.stats in Python è stato utilizzato per eseguire tutti i test di analisi tranne il test di Cohen d, dove è stato invece utilizzato il pacchetto pingouin . Il codice si trova nel file supplementare 1, dove ogni passaggio è menzionato nella riga dei commenti.
- Importare il pacchetto richiesto nell'area di lavoro di Python.
- Importa i dati di misurazione nell'area di lavoro di Python. Sostituisci il nome del file measurement_data.csv con un nome file a tua scelta.
- Rimuovere eventuali valori vuoti utilizzando la funzione dropna() per ogni dato di misurazione. Quindi, esegui il test di normalità Shapiro-Wilk per determinare se i dati hanno una distribuzione normale utilizzando il pacchetto shapiro scipy.stats in Python.
- Esegui il t-test di esempio accoppiato utilizzando il pacchetto di ttest_rel scipy.stats in Python se i dati hanno una distribuzione normale, altrimenti, esegui Mann-Whitney Wilcoxon utilizzando il pacchetto scipy.stats wilcoxon in Python. Se il risultato ha un valore p < 0,05, significa che c'è una differenza significativa tra i dati di misurazione di entrambi gli strumenti. Nel codice sostituire measure1_toolA e measure1_toolB con i rispettivi nomi di colonna desiderati.
- Misurare l'entità della differenza tra gli strumenti tramite la dimensione dell'effetto utilizzando il metodo Cohen d. Un output di 0,2 indica un effetto piccolo, 0,5 un effetto moderato e 0,8 un effetto grande.
- Utilizza l'analisi di Bland-Altman per valutare l'accordo tra due strumenti, come la differenza media o mediana, la deviazione standard (SD) e il 95% di CI del bias. Traccia l'analisi di Bland-Altman per una facile visualizzazione dell'output utilizzando il pacchetto matplotlib.pyplot in Python.
- Ripetere il passaggio 3.5 fino al passaggio 3.7 per ogni coppia di dati di misurazione di entrambi gli strumenti.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Risultati
La tabella 1 mostra differenze significative (valore p < 0,05) tra i dati di PSG e lo smartwatch fitness durante la prima parte del test di convalida. Lo smartwatch fitness ha sovrastimato il tempo di sveglia (p < 0,001), ha sottostimato la durata del sonno (p = 0,004) e ha riportato una frequenza cardiaca massima più elevata (p = 0,001). Tuttavia, non sono state riscontrate differenze significative tra la macchina PSG e lo smartwatch fitness nelle seguenti misurazioni: tempo di sonno superficiale,...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Discussione
Diversi limiti dello smartwatch per il fitness sono stati identificati sulla base dei risultati contrastanti nell'analisi comparativa. L'elevata variabilità nelle misurazioni dello smartwatch può derivare dalla sua dipendenza dai dati di movimento e frequenza cardiaca piuttosto che da misure più dettagliate, come l'elettroencefalogramma (EEG) utilizzato nel PSG. Il sonno profondo e il tempo REM hanno mostrato una migliore concordanza, il che suggerisce che lo smartwatch per il fitness po...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Dichiarazioni
Gli autori dichiarano che la ricerca è stata condotta in assenza di qualsiasi compenso commerciale o finanziario, sponsorizzazione o qualsiasi relazione con il produttore del dispositivo che possa essere interpretata come un potenziale conflitto di interessi. Le opinioni e i risultati espressi in questo articolo sono dell'autore e si basano esclusivamente sulla sua esperienza con il prodotto di questo studio.
Ringraziamenti
Ringraziamo il neurotecnologo del Laboratorio di Neurologia, Centro Medico dell'Università della Malesia, per l'aiuto e il supporto nella conduzione del test per questo studio. Questo lavoro è stato supportato dal Centro di ricerca UM (IIRG001C-2021IISS).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Sistema diagnostico del sonno | Neurologia Natus & Compumedics | Indicato nel manoscritto come PSG machine | |
| Xiaomi Mi Band 6 | Xiaomi | Indicato nel manoscritto come fitness smartwatch |
Riferimenti
- Sergueeva, K., Shaw, N., Lee, S. H. Understanding the barriers and factors associated with consumer adoption of wearable technology devices in managing personal health. Can J Adm Sci. 37 (1), 45-60 (2020).
- Xu, K., Lu, Y., Takei, K. Multifunctional skin-inspired flexible sensor systems for wearable electronics. Adv Mater Technol. 4 (3), 25(2019).
- Ates, H. C., et al. End-to-end design of wearable sensors. Nat Rev Mater. 7 (11), 887-907 (2022).
- Harrington, J., Schramm, P. J., Davies, C. R., Lee-Chiong, T. L. Jr An electrocardiogram-based analysis evaluating sleep quality in patients with obstructive sleep apnea. Sleep Breath. 17 (3), 1071-1078 (2013).
- Mccall, W. V. A rest-activity biomarker to predict response to SSRIs in major depressive disorder. J Psychiatr Res. 64, 19-22 (2015).
- High accuracy discrimination of Parkinson's disease participants from healthy controls using smartphones. Arora, S., et al. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, Italy, , (2014).
- Perry, T. Temporary tattoos can replace today's biomedical sensors. IEEE Spectr. 34, 84-85 (2015).
- Lehra, C., et al. Wearable applications in rugby for performance quantification and player health assessment: A brief review. IJKSS. 10 (2), 10(2022).
- Lacey, A., Whyte, E., O'keeffe, S., O'connor, S., Moran, K. A qualitative examination of the factors affecting the adoption of injury focused wearable technologies in recreational runners. PloS One. 17 (7), 22(2022).
- Binyamin, S. S., Hoque, M. R. Understanding the drivers of wearable health monitoring technology: An extension of the unified theory of acceptance and use of technology. Sustainability. 12 (22), 20(2020).
- Rao, P., Seshadri, D. R., Hsu, J. J. Current and potential applications of wearables in sports cardiology. Curr Treat Options Cardiovasc Med. 23 (10), 65(2021).
- Casado-Robles, C., Mayorga-Vega, D., Guijarro-Romero, S., Viciana, J. Validity of the xiaomi mi band 2, 3, 4 and 5 wristbands for assessing physical activity in 12-to-18-year-old adolescents under unstructured free-living conditions. Fit-person study. J Sports Sci Med. 2 (2), 196-211 (2023).
- Shapovalov, Y. B., et al. Using of personal smart tools in STEM education. Proceedings of the 1st Symposium on Advances in Educational Technology. 2, 192-207 (2020).
- Concheiro-Moscoso, P., et al. Use of the Xiaomi mi band for sleep monitoring and its influence on the daily life of older people living in a nursing home. Digit Health. 8, 20552076221121162(2022).
- Monitoring system for elderly health care using smart band, Raspberry Pi, and Node-Red. Ardiyanto, Y., Adi, K., Putra, K. T., Utomo, P. 2022 2nd International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, , (2022).
- Viciana, J., Casado-Robles, C., Guijarro-Romero, S., Mayorga-Vega, D. Are wrist-worn activity trackers and mobile applications valid for assessing physical activity in high school students? Wearfit study. J Sports Sci Med. 21 (3), 356-375 (2022).
- Hao, Y., Ma, X. -K., Zhu, Z., Cao, Z. -B. Validity of wrist-wearable activity devices for estimating physical activity in adolescents: Comparative study. JMIR Mhealth Uhealth. 9 (1), e18320(2021).
- Ameen, M. S., Cheung, L. M., Hauser, T., Hahn, M. A., Schabus, M. About the accuracy and problems of consumer devices in the assessment of sleep. Sensors. 19 (19), 4160(2019).
- Concheiro-Moscoso, P., et al. Quality of sleep data validation from the xiaomi mi band 5 against polysomnography: Comparison study. J Med Internet Res. 25, e42073(2023).
- Topalidis, P., et al. Evaluation of a low-cost commercial actigraph and its potential use in detecting cultural variations in physical activity and sleep. Sensors. 21 (11), 18(2021).
- Xu, H., Zheng, X., Jia, W., Yin, S. Chromatography/mass spectrometry-based biomarkers in the field of obstructive sleep apnea. Medicine. 94 (40), e1541(2015).
- Michaelson, P. G., Allan, P., Chaney, J., Mair, E. A. Validations of a portable home sleep study with twelve-lead polysomnography: Comparisons and insights into a variable gold standard. Ann Otol Rhinol Laryngol. 115 (11), 802-809 (2006).
- Berry, R. B., et al. Rules for scoring respiratory events in sleep: Update of the 2007 AASM manual for the scoring of sleep and associated events. J Clin Sleep Med. 08 (05), 597-619 (2012).
- Natus Neurology Incorporated. Nicoletone information for use. , https://natus.com/ (2024).
- Xiaomi Communications. Mi smart band 6 user manual. , At https://www.manualslib.com/manual/2629650/Xiaomi-Mi-Smart-Band-6.html (2021).
- De Zambotti, M., Cellini, N., Goldstone, A., Colrain, I. M., Baker, F. C. Wearable sleep technology in clinical and research settings. Med Sci Sports Exerc. 51 (7), 1538-1557 (2019).
- Meltzer, L. J., Montgomery-Downs, H. E., Insana, S. P., Walsh, C. M. Use of actigraphy for assessment in pediatric sleep research. Sleep Med Rev. 16 (5), 463-475 (2012).
- Paradiso, C., Colino, F., Liu, S. The validity and reliability of the mi band wearable device for measuring steps and heart rate. Int J Exerc Sci. 13 (4), 689-701 (2020).
- Benedetto, S., et al. Assessment of the fitbit charge 2 for monitoring heart rate. PloS One. 13 (2), e0192691(2018).
- Chow, H. -W., Yang, C. -C. Accuracy of optical heart rate sensing technology in wearable fitness trackers for young and older adults: Validation and comparison study. JMIR Mhealth Uhealth. 8 (4), e14707(2020).
- Jachymek, M., et al. Wristbands in home-based rehabilitation-validation of heart rate measurement. Sensors. 22 (1), 60(2021).
- Schalk, M., Schalk, I., Bauernhansl, T., Siegert, J., Schneider, U. Investigation of possible effects of wearing exoskeletons during welding on heart rate. Physiologia. 2 (3), 94-108 (2022).
- Bent, B., Goldstein, B. A., Kibbe, W. A., Dunn, J. P. Investigating sources of inaccuracy in wearable optical heart rate sensors. NPJ Digit Med. 3 (1), 18(2020).
- De Cocker, K. A., De Meyer, J., De Bourdeaudhuij, I. M., Cardon, G. M. Non-traditional wearing positions of pedometers: Validity and reliability of the Omron HJ-203-ED pedometer under controlled and free-living conditions. J Sci Med Sport. 15 (5), 418-424 (2012).
- Diaz, K. M., et al. Fitbit®: An accurate and reliable device for wireless physical activity tracking. Int J Cardiol. 185, 138-140 (2015).
- Mendes, M., Pala, A. Type I error rate and power of three normality tests. Inf Technol J. 2, 135-139 (2003).
- Costa, R. R., et al. Heart rate deflection point as an alternative to determining the anaerobic threshold in dyslipidaemic patients. Motriz: Rev Educ Fís. 25 (1), (2019).
- Roth, S., et al. Noninvasive evaluation of the hemodynamic status in patients after heart transplantation or left ventricular assist device implantation. PloS One. 17 (10), e0275977(2022).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Ristampe e permessi
