Method Article

Sistema computerizzato di test adattivo della valutazione funzionale del colpo

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Qui, presentiamo un protocollo per sviluppare il sistema computerizzato di test adattivo della valutazione funzionale del colpo (CAT-FAS). Il CAT-FAS è in grado di valutare contemporaneamente quattro funzioni (funzioni motorie due [arti superiori e inferiori], controllo posturale e attività di base della vita quotidiana) con sufficiente affidabilità e l'efficienza amministrativa.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il sistema computerizzato di test adattivo della valutazione funzionale del colpo (CAT-FAS) in grado di valutare contemporaneamente quattro funzioni (funzioni motorie delle estremità superiori e inferiori, controllo posturale e attività di base della vita quotidiana) con sufficiente affidabilità e l'efficienza amministrativa. CAT, un metodo di misura moderna, mira a fornire una stima attendibile del livello di candidato della funzione rapidamente. CAT amministra solo pochi elementi cui difficoltà elemento corrispondono al livello di un candidato di funzione e, quindi, gli elementi amministrati del gatto possono fornire informazioni sufficienti per valutare in modo affidabile livello del candidato di funzione in tempi brevi. Il CAT-FAS è stato sviluppato attraverso quattro fasi: (1) determinare la banca voce, (2) determinare le regole d'arresto, (3) convalida la CAT-FAS e (4) creazione di una piattaforma di amministrazione online. I risultati di questo studio indicano che il CAT-FAS ha sufficiente efficienza amministrativa (numero medio di elementi = 8,5) e affidabilità (Rasch affidabilità a livello di gruppo: 0.88 - 0.93; livello individuale Rasch affidabilità: ≥ 70% dei pazienti ha avuto Rasch affidabilità Punteggio ≥ 0.90) per valutare simultaneamente quattro funzioni in pazienti con ictus. Inoltre, poiché il gatto-FAS è un test computerizzato, il CAT-FAS ha tre ulteriori vantaggi: il calcolo automatico dei punteggi, l'immediata archiviazione dei dati e il facile esportazione dei dati. Questi vantaggi del CAT-FAS sarà utili alla gestione dei dati per clinici e ricercatori.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Disfunzioni delle estremità superiori e inferiori (UE e LE), controllo posturale e attività di base della vita quotidiana (BADL) sono importanti sequele di ictus1,2,3. La valutazione di queste quattro funzioni in pazienti con ictus è fondamentale per i clinici valutare i livelli dei pazienti delle disfunzioni, impostare piani e gli obiettivi di trattamento e monitorare le traiettorie longitudinale di queste funzioni.

La valutazione di Fugl-Meyer (FM),4 la scala di valutazione posturale per il colpo pazienti (PASS),5 e il Barthel Index (BI)6 hanno buone proprietà psicometriche per valutare le funzioni motorie, controllo posturale e BADL, UE/LE rispettivamente, in pazienti con ictus7,8,9. Tuttavia, il totale di 72 elementi da queste tre misure ostacola la possibilità di valutare tutte e tre le misure all'interno di una sessione terapeutica limitata nel tempo. Un metodo più efficiente di prova è garantito. Computerizzata adaptive test (CAT) è un metodo di misura moderna. Rispetto ai metodi di misura convenzionali, CAT fornisce una stima più attendibile del livello di candidato di funzione in molto meno tempo10,11,12. Nei metodi di misurazione convenzionale, ogni candidato riceve lo stesso modulo di prova (o set di oggetti), in cui molti elementi sono troppo difficile o troppo facile per il candidato. Questi elementi forniscono informazioni limitate per stimare il livello di candidato di funzione e sono dispendiose per soggetti esaminati. Al contrario, nel gatto, ogni candidato ottiene un set di item su misura, in cui il livello di difficoltà degli elementi selezionati soddisfa il livello di funzione dell'esaminando. Perché questi elementi sono su misura per quel particolare candidato, CAT è in grado di fornire una stima più attendibile del livello di candidato di funzione con meno elementi e, quindi, in molto meno tempo. Vengono illustrati i passaggi dello sviluppo CAT in supplementari File 1: Appendice 1.

Perché CAT promette valutazioni affidabili ed efficienti, il CAT-FAS è stato sviluppato per migliorare l'efficienza amministrativa delle tre misure precedentemente utilizzati (FM, PASS e BI)13. Questo articolo descrive lo sviluppo e l'amministrazione del CAT-FAS. Questo protocollo fornisce informazioni per i ricercatori a sviluppare i loro gatti e potenziali utenti del CAT-FAS per amministrarlo. Ci rivolgiamo anche di forza e debolezza del CAT-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo protocollo di studio è stato approvato da un comitato di revisione istituzionale locale, e tutti i pazienti hanno dato il consenso informato.

1. sviluppo del gatto-FAS

  1. Recuperare il secondario e dati crittografati da FAS studiano14 per condurre simulazioni (supplementari File 1: Appendice 2).
    Nota: Nello studio, un totale di 301 pazienti sono stati reclutati froma reparto di riabilitazione di un centro medico e valutati a 14 d dopo l'inizio del colpo. Fra i 301 pazienti, 262 pazienti sono stati valutati ripetutamente a 30 d dopo l'inizio del colpo. Lo studio ha arruolato pazienti che hanno avuti (1) una diagnosi di ictus, (2) primo inizio del colpo, (3) inizio del colpo all'interno di 14 d prima ospedalizzazione, (4) la capacità di seguire i comandi e (5) la capacità di dare consenso informato personalmente o per delega. Sono stati esclusi i pazienti che hanno avuti altre malattie importanti. In ogni sessione di valutazione, i pazienti sono stati valutati con la FM, PASS e BI da un terapista occupazionale ben addestrato (supplementari File 1: appendici 3-5).
    1. Stabilire la banca voce del gatto-FAS adottando la banca voce del FAS (supplementari File 1: appendice 2A).
      Nota: La banca di elemento dispone di elementi sufficienti adatta il Rasch credito parziale modello15,16 e copre una vasta gamma di difficoltà elemento. La banca di elemento contiene 58 oggetti (supplementari File 1: Appendice 3) selezionati dalla FM-UE (26 articoli), FM-LE (11 articoli), passare (12 elementi) e BI (nove elementi).
    2. Recuperare le difficoltà di voce di tutti gli elementi in banca elemento dal FAS studiano (supplementari File 1: appendice 2A -articolo di difficoltà).
      Nota: Ogni elemento in elemento banca ha una serie di parametri per rappresentare la difficoltà dell'elemento (cioè, difficoltà di elemento), che sono stimati dal modello parziale credito Rasch. Il CAT-FAS utilizza le difficoltà di elemento (1) selezionare elementi con difficoltà su misura per livello del candidato della funzione (punto 1.3.3) e (2) stimare il livello del candidato della funzione (punto 1.3.5).
    3. Recuperare le risposte di ciascun paziente (ad es., 0, 1 o 2 punti) per gli elementi della banca elemento del FAS (supplementari File 1: Appendice 2B).
      Nota: In precedenti studi14, tutti gli elementi della banca elemento del FAS sono stati somministrati ai pazienti. In questo studio di simulazione, queste risposte dei pazienti erano estratto e utilizzate come le risposte simulate (pazienti non sono stati amministrati da CAT-FAS) agli elementi del CAT-FAS (punto 1.3.4).
    4. Recuperare la distribuzione di capacità (cioè, la deviazione standard [SD] dei punteggi) dei pazienti in quattro funzioni (BADL, controllo posturale e UE/LE funzioni motorie; File supplementari 1: Appendice 2 C).
      Nota: Le abilità dei pazienti in quattro funzioni sono i punteggi finali della valutazione della banca elemento (supplementari File 1: Appendice 2C). I punteggi (e SD dei punteggi) delle quattro funzioni sono stimati in un precedente studio14 dal modello Rasch credito parziale, sulla base delle risposte dei pazienti per ciascun elemento (punto 1.1.3). In questo studio, la deviazione standard dei punteggi è recuperata e utilizzata come informazione preventiva per calcolare l'affidabilità del CAT-FAS (punto 1.3.6).
  2. Determinare gli algoritmi operativi del CAT-FAS (supplementari File 1: Appendice 7).
    1. Adottare il metodo massimo a posteriori (mappa) per stimare i punteggi di ogni paziente delle quattro funzioni con Newton-Raphson iterazione17.
    2. Utilizzare il criterio della D-ottimalità per la voce selezione18. Dalla sponda di elemento per l'amministrazione viene selezionato un elemento con la massima determinante della matrice informazione di Fisher.
    3. Adottare 10 insiemi di candidato di fermare le regole per esplorare le proprietà della simulazione tramite CAT-FAS (supplementari File 1: Appendice 8).
      Nota: I primi cinque candidati set "raggiungono criterio di aumento (LRI) affidabilità limitata" (cioè, un LRI < 0,001, < 0,005, < 0,010, < 0.015 o < 0.020). Gli altri set di cinque candidati sono "raggiungendo criterio LRI o soglia di affidabilità" (cioè, un Rasch affidabilità ≥ 0.90, accoppiato con i suddetti criteri LRI cinque). il LRI e soglia di affidabilità sono frequentemente adottati arresto regole in gatti13,17.
  3. Esplorare l'affidabilità della misura e l'efficienza (numero di elementi necessari per l'amministrazione) dei CAT-FAS tramite passaggi 1.3.1 a 1.3.11 di simulazione (Figura 1).
    Nota: supplementari File 1: Appendice 9 Mostra la schermata del software.
    1. Utilizzare un set di regole di interruzione specificato (cioè, dal primo ai set ultimo candidato di fermare le regole che sono al punto 1.2.3, successivamente) per esplorare le proprietà del gatto-FAS (Figura 1A).
    2. Impostare i punteggi di CAT-FAS iniziali delle quattro funzioni (BADL, controllo posturale, funzione motoria UE e LE funzione motoria) su 0 per pazienti specificati (cioè, dal primo all'ultimo paziente nei dati, successivamente; Figura 1B,C).
    3. Adattivo selezionare un elemento con la massima determinante della matrice informazione di Fisher (cioè, il criterio di ottimalità D) dalla sponda di elemento per l'amministrazione (Figura 1).
      Nota: La matrice di informazioni di ogni elemento è calcolata in base sui punteggi di un paziente di quattro funzioni e difficoltà dell'elemento (dal punto 1.1.2). Per garantire che il CAT-FAS amministra almeno un elemento in ogni funzione/dominio, i primi quattro elementi del CAT-FAS sono selezionati da quattro funzioni.
    4. Ottenere la risposta del paziente all'elemento selezionato dal punto 1.1.3 (Figura 1E).
    5. Contemporaneamente valutare i punteggi CAT-FAS (ed errori standard [SEs] dei punteggi) delle quattro funzioni utilizzando il metodo di mappa con un processo iterativo di Newton-Raphson (Figura 1F). 19 durante il processo iterativo di Newton-Raphson, rinnovare i punteggi e SEs delle quattro funzioni in ogni iterazione, finché non è soddisfatto il criterio di convergenza. Convergenza si verifica quando le differenze nei punteggi tra due iterazioni consecutive sono < 0,001.
    6. Contare il numero di elementi che sono amministrati, salvare i punteggi di CAT-FAS Ultima rinnovata (e SEs) e calcolare l'affidabilità di Rasch livello individuale di ciascuna funzione utilizzando la seguente formula:
      1 - ([SE2 di passaggio 1.3.5] / [SD2 delle partiture di passaggio 1.1.4]).
    7. Calcolare il LRI utilizzando l'ultimo rinnovata affidabilità di livello individuale Rasch (passo 1.3.6) meno che della stima precedente (Figura 1).
    8. Verifica se il set specificato (ad esempio, il primo set di candidati) di fermare le regole viene soddisfatta (Figura 1 H). In caso contrario, ripetere i passaggi 1.3.3 - 1.3.8 finché non viene soddisfatta il set specificato di fermare le regole. In questo caso, salvare l'ultima rinnovata CAT-FAS punteggi (e SEs) come i punteggi finali CAT-FAS (e SEs).
    9. Ripetere i passaggi 1.3.2 a 1.3.8 fino a quando le amministrazioni di tutti i pazienti sono completati (Figura 1I).
    10. Terminare la simulazione del CAT-FAS con lo specifico insieme di regole di fermare e salvare i risultati della simulazione (Figura 1J).
      Nota: I risultati devono includere (1) la finale CAT-FAS punteggi (e SEs) delle quattro funzioni, (2) il numero di elementi necessari per completare la CAT-FAS, (3) l'affidabilità di Rasch di ogni paziente (cioè, livello individuale Rasch affidabilità) e (4) il affidabilità di Rasch media di tutti i pazienti.
    11. Ripetere i passaggi da 1.3.1 a 1.3.11 per esplorare le proprietà del gatto-FAS con altri set di candidati di fermare le regole fino a quando tutti i set di candidati di fermare le regole sono esplorati (Figura 1 K).
  4. Selezionare il set finale di fermare le regole per il CAT-FAS secondo l'affidabilità media Rasch di ≥ 0.90 in almeno tre funzioni e gli elementi medio dell'amministrazione di ≤10.0.
  5. Sviluppare una piattaforma di amministrazione online per il CAT-FAS scrivendo un programma per computer per creare un sito Web (supplementari File 1: Appendice 10).

2. l'amministrazione del CAT-FAS

  1. Collegare il dispositivo elettronico dell'esaminatore (ad es., personal computer, tablet o smartphone) per la piattaforma di amministrazione online del CAT-FAS utilizzando un browser internet.
  2. Login per il sistema di amministrazione (supplementari File 1: Appendice 11).
  3. Fare clic su gestione dei dati per accedere ai dati dal precedente esaminandi (supplementari File 1: Appendice 12).
  4. Fare clic su nuovo candidato per creare un account per un candidato nuovo inserendo il nome e il numero ID del candidato.
  5. Selezionare un candidato e fare clic su Start (supplementari File 1: Appendice 13).
  6. Fare clic su nuova valutazione per creare una nuova valutazione o fare clic su risultati per esaminare i risultati di precedenti valutazioni del candidato.
  7. Amministrare gli elementi mostrati sullo schermo per il candidato (supplementari File 1: Appendice 14).
  8. Vota l'esaminando le prestazioni o le risposte facendo clic sulla scala di valutazione visualizzata nella parte inferiore dello schermo (supplementari File 1: Appendice 14).
  9. Spiegare i risultati del CAT-FAS per il candidato, tra cui i T-score con un intervallo di 95%, la truppa di percentile di T-score e l'affidabilità delle quattro funzioni del gatto-FAS. Questi risultati sono calcolati e visualizzati automaticamente da CAT-FAS (supplementari File 1: appendice 15).
  10. Fare clic su OK e tornare alla pagina di gestione dei dati .

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I risultati della simulazione ha mostrato che i set di 10 candidati di fermare le regole avevano sufficiente affidabilità media di Rasch (0,86 - 0.95) e varia l'efficienza amministrativa (il numero medio di elementi = 6.4-17,5). Considerando il compromesso tra affidabilità e l'efficienza amministrativa, il set di LRI < 0.010 è stato selezionato come il set ottimale di fermare le regole per il CAT-FAS a causa della sua affidabilità sufficienti media Rasch (0.88 - 0,93, ...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I risultati qui presentati hanno mostrato che il CAT-FAS somministrato circa il 10% degli elementi nei test originale (il numero medio di elementi utilizzati in CAT-FAS: 8,5 items vs test originali: 72 oggetti). Questi risultati indicano che il CAT-FAS ha buona efficienza amministrativa. I risultati sono stati in linea con gli studi precedenti, che ha riferito che un gatto amministrato solo circa 10 elementi o meno per valutare la funzione sociale, equilibrio o attività della vita quotidiana in pazienti con ictu...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno nulla a rivelare.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio è stato sostenuto da borse di ricerca dal Ministero della scienza e tecnologia (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
ComputerQualsiasiCompatibile con i software elencati di seguito
Software MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Software di calcolo numerico, utilizzato nella sezione 1 del protocollo (passaggio 1.3)
Kit di sviluppo JavaOraclehttps://www.oracle.com/java/Linguaggio di programmazione, utilizzato nella sezione 1 del protocollo (passaggio 1.5)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles