Method Article

Système informatisé de test adaptatif d’évaluation fonctionnelle de l’AVC

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nous présentons ici un protocole visant à développer le système de test informatisé adaptatif de l’évaluation fonctionnelle de l’AVC (CAT-FAS). Les CAT-FAS peuvent évaluer simultanément quatre fonctions (deux fonctions motrices [extrémités supérieures et inférieures], le contrôle postural et les activités courantes de la vie quotidienne) avec une fiabilité suffisante et l’efficacité administrative.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Le système de test informatisé adaptatif de l’évaluation fonctionnelle de l’AVC (CAT-FAS) peut évaluer simultanément quatre fonctions (fonctions motrices des membres supérieurs et inférieurs, le contrôle postural et les activités courantes de la vie quotidienne) avec suffisamment la fiabilité et l’efficacité administrative. CAT, une méthode de mesure modernes, vise à fournir une estimation fiable du niveau fonctionnel de la personne examinée rapidement. CAT administre seulement quelques éléments, dont les difficultés point correspondent niveau d’un candidat de fonction et, par conséquent, les éléments administrés de chat peuvent fournir suffisamment d’information pour estimer de façon fiable niveau du candidat fonctionnel en peu de temps. Les CAT-FAS a été développé par le biais de quatre étapes : (1) détermination de la banque de l’ordre du jour, (2) déterminer les règles d’arrêt, (3) validant les CAT-FAS et (4) établir une plate-forme d’administration en ligne. Les résultats de cette étude indiquent que les chat-FAS a efficacité administrative suffisante (nombre moyen d’éléments = 8,5) et fiabilité (groupe et niveau fiabilité Rasch : 0.88 - 0,93 ; individuelles Rasch fiabilité : ≥70 % des patients avaient Rasch fiabilité ≥0.90 partition) à évaluer simultanément quatre fonctions chez des patients atteints d’accident vasculaire cérébral. En outre, parce que les chat-FAS est un test informatisé, les CAT-FAS a trois avantages supplémentaires : le calcul automatique des scores, le stockage immédiat des données et l’exportation facile des données. Ces avantages du CAT-FAS sera bénéfiques pour la gestion des données pour les cliniciens et les chercheurs.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dysfonctionnements des membres supérieurs et inférieurs (UE et LE), le contrôle postural et les activités courantes de la vie quotidienne (BADL) sont les principales séquelles d’AVC1,2,3. L’évaluation de ces quatre fonctions chez des patients atteints d’accident vasculaire cérébral est fondamentale pour les cliniciens évaluer les niveaux des patients des dysfonctionnements, définir les plans et objectifs du traitement et de surveiller les trajectoires longitudinales de ces fonctions.

L’évaluation Fugl-Meyer (FM),4 à l’échelle d’évaluation posturale d’AVC les patients (PASS),5 et l' Index de Barthel (BI)6 ont de bonnes propriétés psychométriques pour évaluer les fonctions motrices, contrôle postural et BADL, UE/LE respectivement, chez les patients atteints de maladies7,8,9. Toutefois, le montant total de 72 éléments de ces trois mesures fait obstacle à la possibilité d’évaluer les trois mesures dans une session thérapeutique limitée dans le temps. Une méthode plus efficace de test est justifiée. Informatisé adaptatif essais (CAT) est une méthode de mesure modernes. Par rapport aux méthodes de mesure conventionnels, CAT fournit une estimation plus fiable du niveau de la personne examinée de jouent beaucoup moins temps10,11,12. Dans les méthodes de mesure conventionnels, chaque candidat reçoit la même forme de test (ou point fixe), dans laquelle de nombreux éléments sont trop difficiles ou trop facile pour le candidat. Ces éléments fournissent peu d’information pour estimer le niveau fonctionnel de la personne examinée et sont gourmandes en temps pour les candidats. En revanche, chez chat, chaque candidat obtient un ensemble d’items sur mesure, pour lesquels le niveau de difficulté des éléments sélectionnés remplit le niveau de la fonction de la personne examinée. Parce que ces éléments sont adaptés pour ce candidat particulier, CAT peut fournir une estimation plus fiable du niveau fonctionnel de la personne examinée avec moins d’éléments et, ainsi, en beaucoup moins de temps. Les étapes du développement de la CAT sont affichés dans supplémentaire 1 fichier : appendice 1.

Parce que CAT promet des évaluations fiables et efficaces, les CAT-FAS a été développé afin d’améliorer l’efficacité administrative des trois mesures précédemment utilisées (FM, PASS et BI)13. Cet article décrit le développement et l’administration des CAT-FAS. Ce protocole fournit des informations pour les chercheurs à développer leurs chats et pour les utilisateurs éventuels des CAT-FAS pour l’administrer. Nous abordons également les forces et les faiblesses des CAT-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce protocole de l’étude a été approuvée par un comité d’examen de l’établissement local, et tous les patients ont donné un consentement éclairé.

1. développement du CAT-FAS

  1. Récupérer l’image secondaire et étudient les données chiffrées des FAS14 pour faire des simulations (supplémentaire 1 fichier : annexe 2).
    Remarque : Dans l’étude, un total de 301 patients ont été recrutés froma ward de réhabilitation d’un centre médical et évaluée à 14 jours après le début de la course. Parmi les 301 patients, 262 patientes étaient à plusieurs reprises évaluées à 30 j après le début de la course. L’étude a recruté les patients qui avaient reçu (1) un diagnostic d’accident vasculaire cérébral, (2) apparition d’accident vasculaire cérébral, (3) début de la course au bout de 14 jours avant l’hospitalisation, (4) la capacité de suivre les commandes et (5) la possibilité de donner leur consentement éclairé, personnellement ou par procuration. Les patients qui avaient des autres grandes maladies étaient exclus. À chaque session d’évaluation, les patientes ont été évaluées avec le FM, PASS et BI par un ergothérapeute bien formé (supplémentaire 1 fichier : annexes 3-5).
    1. Création de la banque de l’ordre du jour du CAT-FAS en adoptant la banque point du FAS (supplémentaire 1 fichier : annexe 2 a).
      Remarque : La point de la Banque a suffisamment d’éléments adapter le modèle de crédit partiel Rasch15,16 et couvre un large éventail de difficultés d’ordre du jour. La banque de l’élément contient des 58 éléments (supplémentaire 1 fichier : annexe 3) choisis parmi le FM-UE (26 points), FM-LE (11 points), passer (12 points) et BI (neuf points).
    2. Récupérer les difficultés du point de tous les éléments dans la banque de l’élément des FAS étudient (supplémentaire 1 fichier : annexe 2 a -point de difficulté).
      Remarque : Chaque élément dans la banque de la poste a un ensemble de paramètres pour décrire la difficulté de la question (c.-à-d., difficultés d’ordre du jour), qui sont estimés par le modèle de Rasch crédit partiel. Les CAT-FAS utilise les point des difficultés pour sélectionner des éléments avec des difficultés adaptées au niveau de la personne examinée de fonction (étape 1.3.3) (1) et (2) estimation niveau fonctionnel (étape 1.3.5) de la personne examinée.
    3. Récupérer les réponses de chaque patient (p. ex., 0, 1 ou 2 points) pour les éléments de la banque de la poste du FAS (supplémentaire 1 fichier : annexe 2 b).
      Remarque : Dans les précédentes études14, tous les éléments de la banque de la poste du FAS ont été administrés aux patients. Dans cette étude de simulation, ces réponses des patients ont été récupérés et utilisés comme les réactions simulées (patients n’ont pas reçu par les CAT-FAS) aux éléments des CAT-FAS (étape 1.3.4).
    4. Récupérer la répartition de la capacité (c'est-à-dire, l’écart [et] des scores) des patients dans les quatre fonctions (BADL, contrôle postural et UE/LE fonctions motrices ; Fichier supplémentaire 1 : annexe 2C).
      Remarque : Les capacités des patients dans les quatre fonctions sont les résultats finaux de l’évaluation de la banque de la poste (supplémentaire 1 fichier : annexe 2C). Les scores (et SD des scores) des quatre fonctions sont estimés dans une précédente étude14 par le modèle de Rasch crédit partiel, fondé sur les réponses des patients à chaque élément (étape 1.1.3). Dans cette étude, le SD des scores est récupérée et utilisée comme information préalable pour calculer la fiabilité des CAT-FAS (étape 1.3.6).
  2. Déterminer les algorithmes opérationnels du CAT-FAS (supplémentaire 1 fichier : annexe 7).
    1. Adopter la méthode de maximum a posteriori (carte) pour estimer les scores de chaque patient des quatre fonctions avec itération de Newton-Raphson17.
    2. Utiliser le critère d’optimalité-D pour la sélection de point18. Un élément avec le déterminant maximal de la matrice d’information de Fisher est sélectionné dans la banque de point pour l’administration.
    3. Adopter 10 ensembles de candidat d’arrêter des règles pour explorer les propriétés de la simulation de via CAT-FAS (supplémentaire 1 fichier : annexe 8).
      Remarque : Les ensembles de cinq premiers candidats sont « atteindre critère d’augmentation (LRI) fiabilité limitée » (c'est-à-direun LRI 0,001 <, < 0,005, 0,010 <, < 0,015 ou < 0,020). Les autres ensembles de cinq candidats sont « atteindre critère LRI ou seuil de fiabilité » (c'est-à-direun Rasch fiabilité ≥ 0,90, associés aux cinq critères susmentionnés LRI). Le LRI et le seuil de fiabilité sont fréquemment adoptées arrêt règles chats13,17.
  3. Explorez la fiabilité de la mesure et l’efficacité (nombre d’éléments nécessaires pour l’administration) des CAT-FAS par étapes 1.3.1 à 1.3.11 de simulation (Figure 1).
    Remarque : supplémentaire 1 fichier : annexe 9 montre la capture d’écran du logiciel.
    1. Utilisez un ensemble de règles d’arrêt (c'est-à-direde la première pour les derniers jeux de candidat d’arrêter des règles qui sont à l’étape 1.2.3, successivement) pour explorer les propriétés des CAT-FAS (Figure 1 a).
    2. Les scores de CAT-FAS initiales des quatre fonctions (BADL, le contrôle postural, la fonction motrice UE et LE fonctionnement du moteur) la valeur 0 pour les patients spécifiés (c'est-à-diredu premier au dernier patient dans les données, successivement ; Figure 1 b,C).
    3. Adaptable, sélectionnez un élément avec le maximum déterminant de la matrice d’information de Fisher (c.-à-d., le critère d’optimalité-D) de la banque de point pour l’administration (Figure 1).
      Remarque : La matrice de l’information de chaque article est calculée sur base des scores des quatre fonctions et difficultés de l’élément (à l’étape 1.1.2) du patient. Pour vous assurer que les chat-FAS gère au moins un élément dans chaque fonction/domaine, les quatre premiers éléments du CAT-FAS sont sélectionnés parmi les quatre fonctions.
    4. Obtenir la réponse du patient à l’élément sélectionné à l’étape 1.1.3 (Figure 1E).
    5. En même temps estimer les scores CAT-FAS (et les erreurs-types [SEs] des scores) des quatre fonctions à l’aide de la méthode de la carte avec un processus itératif de Newton-Raphson (Figure 1F). 19 au cours du processus itératif de Newton-Raphson, renouveler les scores et SEs quatre fonctions de chaque itération jusqu'à ce que le critère de convergence est rempli. Convergence se produit lorsque les différences de scores entre deux itérations consécutives sont < 0,001.
    6. Compter le nombre d’éléments qui sont administrés, d’enregistrer les scores de CAT-FAS latest renouvelée (et SEs) et calculer la fiabilité de Rasch individuelles de chaque fonction en utilisant la formule suivante :
      1 - ([SE2 d’étape 1.3.5] / [SD2 des notes d’étape 1.1.4]).
    7. Calculer le LRI utilisant le dernier renouvelé fiabilité de Rasch individuelles (étape 1.3.6) moins que l’estimation précédente (Figure 1).
    8. Vérifiez si l’ensemble spécifié (par exemple, la première série de candidat) d’arrêter des règles est remplie (Figure 1 H). Si ce n’est pas le cas, répétez les étapes 1.3.3 - 1.3.8 jusqu'à rencontre l’ensemble de règles d’arrêt spécifié. Dans l’affirmative, conservez le dernier renouvelé CAT-FAS scores (et SEs) comme les notes finales de CAT-FAS (et SEs).
    9. Répétez les étapes 1.3.2 à 1.3.8 jusqu'à ce que les administrations de tous les patients sont terminées (Figure 1I).
    10. Terminer la simulation du CAT-FAS avec l’ensemble spécifique de règles d’arrêt et enregistrer les résultats de la simulation (Figure 1J).
      NOTE : Les résultats devraient inclure (1) la finale CAT-FAS scores (et SEs) des quatre fonctions, (2) le nombre d’éléments nécessaires pour achever les CAT-FAS, (3) la fiabilité de Rasch de chaque patient (p. ex., fiabilité de Rasch individuelles) et (4) fiabilité de Rasch moyenne de tous les patients.
    11. Répétez les étapes 1.3.1 à 1.3.11 pour explorer les propriétés des CAT-AF avec d’autres ensembles de candidat d’arrêter des règles jusqu'à ce que tous les jeux de candidat d’arrêter des règles soient explorées (Figure 1 K).
  4. Sélectionnez l’ensemble final d’arrêter des règles pour les CAT-FAS selon la fiabilité moyenne de Rasch de ≥0.90 dans au moins trois fonctions et les éléments moyennes d’administration de la ≤10.0.
  5. Développer une plate-forme d’administration en ligne pour les CAT-FAS en écrivant un programme informatique pour établir un site Web (supplémentaire 1 fichier : annexe 10).

2. administration du CAT-FAS

  1. Connecter les appareils électroniques de l’examinateur (p. ex., ordinateur, tablette ou smartphone) à la plate-forme d’administration en ligne du FAS-CAT à l’aide d’un navigateur internet.
  2. Ouvrez une session le système d’administration (supplémentaire 1 fichier : appendice 11).
  3. Cliquez sur gestion de données pour accéder aux données de candidats aux examens précédents (supplémentaire 1 fichier : annexe 12).
  4. Cliquez sur nouveau candidat pour créer un compte pour un nouveau candidat en saisissant du candidat nom et numéro d’identification.
  5. Sélectionner un candidat, puis cliquez sur Start (supplémentaire 1 fichier : annexe 13).
  6. Cliquez sur nouvelle évaluation pour créer une nouvelle évaluation ou cliquez sur résultats pour examiner les résultats d’évaluations antérieures de l’examiné.
  7. Administrer les éléments affichés à l’écran pour le candidat (supplémentaire 1 fichier : Annexe 14).
  8. Taux de performance de la personne examinée ou les réponses en cliquant sur l’échelle de cotation affiché au bas de l’écran (supplémentaire 1 fichier : Annexe 14).
  9. Expliquer les résultats des CAT-FAS pour le candidat, y compris les scores T avec un intervalle de 95 %, les rangs centiles des T-notes et la fiabilité des quatre fonctions des CAT-FAS. Ces résultats sont calculés et affiche automatiquement par les CAT-FAS (supplémentaire 1 fichier : appendice 15).
  10. Cliquez sur OK et retournez à la page de gestion des données .

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les résultats de la simulation a montré que les ensembles de 10 candidats d’arrêter les règles avaient une fiabilité suffisante de Rasch moyenne (0,86 - 0,95) et varié l’efficacité administrative (le nombre moyen d’éléments = 6,4 à 17,5). Considérant le compromis entre la fiabilité et l’efficacité administrative, l’ensemble des LRI 0,010 < a été choisi comme l’ensemble optimal d’arrêter des règles pour les CAT-FAS en raison de sa fiabilité suffisante de Rasch moyenne (...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les résultats présentés ici montrent que les CAT-FAS administré environ 10 % des points dans les tests de l’originales (le nombre moyen d’éléments utilisés dans les CAT-FAS : 8,5 points contre les tests originaux : 72 points). Ces résultats indiquent que les chat-FAS a bonne efficacité administrative. Les résultats ont été conformes aux études précédentes, qui ont signalé qu’un chat administrées seulement environ 10 articles ou moins pour évaluer la fonction sociale, l’équilibre ou activités de la vie quotidienn...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs n’ont rien à divulguer.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cette étude a été financée par des subventions de recherche de la ministère de la Science et la technologie (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
OrdinateurN’importe lequelCompatible avec les logiciels répertoriés ci-dessous
Logiciel MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Logiciel de calcul numérique, utilisé dans la section 1 du protocole (étape 1.3)
Kit de développement JavaOraclehttps://www.oracle.com/java/Langage de programmation, utilisé dans la section 1 du protocole (étape 1.5)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles