Method Article

Sistema de prueba adaptativa automatizada de valoración funcional del movimiento

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aquí, presentamos un protocolo para desarrollar el sistema prueba adaptante automatizado de la evaluación funcional de movimiento (CAT-FAS). El gato-FAS pueden evaluar simultáneamente cuatro funciones (dos funciones motoras [extremidades superiores e inferiores], control postural y actividades básicas de la vida diaria) con suficiente fiabilidad y eficiencia administrativa.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

El sistema computarizado de prueba adaptante de la evaluación funcional de movimiento (CAT-FAS) puede evaluar simultáneamente cuatro funciones (funciones motoras de las extremidades superiores e inferiores, control postural y actividades básicas de la vida diaria) con suficiente confiabilidad y eficiencia administrativa. GATO, un método de medición moderna, tiene como objetivo proporcionar una estimación confiable del nivel de la candidata de función rápidamente. GATO administra sólo unos pocos artículos cuyas dificultades artículo coincida con el del nivel de funcionamiento de un examinando y, así, los objetos administrados de gato pueden proporcionar datos suficientes para estimar confiablemente nivel del examinando de función en corto tiempo. El gato-FAS fue desarrollado a través de cuatro pasos: (1) determinar el punto banco (2) determinar las reglas de parada, (3) validación de las CAT-FAS y (4) establecimiento de una plataforma de administración en línea. Los resultados de este estudio indican que el gato-FAS tiene suficiente eficacia administrativa (número promedio de artículos = 8.5) y fiabilidad (nivel de grupo Rasch fiabilidad: 0.88 - 0.93; nivel individual Rasch fiabilidad: ≥70% de pacientes tenían confiabilidad de Rasch puntuación ≥0. 90) para evaluar simultáneamente cuatro funciones en pacientes con accidente cerebrovascular. Además, porque el gato-FAS es un examen basado en computadora, el gato-FAS tiene tres ventajas adicionales: el cálculo automático de puntajes, el almacenamiento inmediato de los datos y la exportación fácil de datos. Estas ventajas de las CAT-FAS será beneficiosas para la administración de datos para los clínicos e investigadores.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Trastornos de las extremidades superiores e inferiores (UE y LE), control postural y actividades básicas de la vida diaria (BADL) son secuelas importantes de ictus1,2,3. La evaluación de estas cuatro funciones en pacientes con ictus es fundamental para los médicos a evaluar niveles de pacientes de disfunciones, planes y metas de tratamiento y seguimiento de las trayectorias longitudinales de estas funciones.

La evaluación de Fugl-Meyer (FM),4 la escala de evaluación Postural para accidente cerebrovascular pacientes (PASS),5 y el índice de Barthel (BI)6 tienen buenas propiedades psicométricas para evaluar la motricidad UE/LE, control postural y BADL, respectivamente, en pacientes con accidente cerebrovascular7,8,9. Sin embargo, el total de 72 elementos de estas tres medidas impide la viabilidad de evaluar las tres medidas dentro de una sesión terapéutica de tiempo limitado. Se autoriza un método de prueba más eficiente. Prueba adaptante automatizada (CAT) es un método de medición moderno. Comparado con métodos de medición convencionales, CAT proporciona una estimación más fiable del nivel de la candidata de la función en mucho menos tiempo10,11,12. En métodos de medición convencionales, cada examinando recibe el mismo formulario de prueba (o artículo establece), en el que muchos artículos son demasiado difícil o demasiado fácil para el examinando. Estos artículos proporcionan información limitada para la estimación del nivel de funcionamiento del examinando y son mucho tiempo para los examinados. En cambio, en gato, cada candidata obtiene un set de objetos a medida, en el que el nivel de dificultad de los elementos seleccionados cumple con el nivel de función de la candidata. Porque estos elementos son a medida para ese sujeto particular, gato puede proporcionar una estimación más confiable de nivel del examinando de función con menos artículos y, por tanto, en mucho menos tiempo. Se muestran los pasos de desarrollo de gato en 1 archivo complementario: Anexo 1.

Porque gato promete evaluaciones confiables y eficientes, las FAS CAT fue desarrollado para mejorar la eficiencia administrativa de las tres medidas utilizadas anteriormente (FM, PASS y BI)13. Este papel describe el desarrollo y la administración del gato-FAS. Este protocolo proporciona información a los investigadores a desarrollar sus gatos y para los usuarios potenciales de las CAT-FAS que la administre. También nos dirigimos a las fortalezas y debilidades de las CAT-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo de estudio fue aprobado por una Junta de revisión institucional local, y todos los pacientes dieron consentimiento informado.

1. desarrollo de las CAT-FAS

  1. Recuperar la secundaria y estudian de datos cifrados de las FAS14 para llevar a cabo simulaciones (1 archivo complementario: Anexo 2).
    Nota: En el estudio, un total de 301 pacientes fueron reclutados desde un pabellón de rehabilitación de un centro médico y evaluó a 14 d después del inicio del movimiento. Entre los 301 pacientes 262 pacientes repetidamente se evaluaron a 30 d después del inicio del movimiento. El estudio reclutó pacientes que tenían (1) un diagnóstico de accidente cerebrovascular, (2) primer inicio de movimiento, (3) aparición de accidente cerebrovascular dentro de 14 días antes de la hospitalización, (4) la capacidad de seguir órdenes y (5) la capacidad de dar consentimiento informado personalmente o por poder. Se excluyeron los pacientes que tenían otras enfermedades importantes. En cada sesión de evaluación, se evaluaron pacientes con la FM, el paso y la BI por un terapeuta ocupacional calificado (archivo complementario 1: anexos 3-5).
    1. Establecer el artículo Banco de gato-FAS adoptando el Banco producto de las FAS (1 archivo complementario: Anexo 2A).
      Nota: El elemento Banco tiene suficiente ajuste de Rasch parcial de crédito modelo15,16 y cubre una amplia gama de dificultades del tema. El Banco artículo contiene 58 artículos (archivo complementario 1: Apéndice 3) seleccionados de la FM-UE (26 artículos), FM-LE (11 artículos), pasar (12 ítems) y BI (nueve items).
    2. Recuperar el estudio de las dificultades del tema de todos los elementos en el Banco de item de las FAS (1 archivo complementario: Anexo 2A -dificultad del artículo).
      Nota: Cada elemento en el Banco de elemento tiene un conjunto de parámetros para describir la dificultad del tema (es decir, las dificultades del tema), que se calcula por el modelo de crédito parcial de Rasch. El gato-FAS utiliza las dificultades del tema (1) seleccionar elementos con dificultades adaptadas nivel de la candidata de la función (paso 1.3.3) y (2) estimación del nivel de funcionamiento (paso 1.3.5) del examinando.
    3. Recuperar las respuestas de cada paciente (p. ej., 0, 1 o 2 puntos) a los elementos del Banco objeto de las FAS (1 archivo complementario: Anexo 2B).
      Nota: En anteriores estudios14, todos los elementos del artículo Banco del FAS fueron administrados a los pacientes. En este estudio de simulación, estas respuestas de los pacientes han obtenido y utilizado como las respuestas simuladas (pacientes no fueron administrados por el gato-FAS) a los artículos de las CAT-FAS (paso 1.3.4).
    4. Recuperar la distribución de la capacidad (es decir, la desviación estándar [SD] de los resultados) de los pacientes en las cuatro funciones (BADL, control postural y motricidad UE/LE; Archivo complementario 1: Anexo 2 C).
      Nota: Las capacidades de los pacientes en las cuatro funciones son las puntuaciones finales de la evaluación del Banco artículo (1 archivo complementario: Anexo 2C). La puntuaciones y SD de las puntuaciones de las cuatro funciones se calcula en un anterior estudio14 por el modelo de crédito parcial de Rasch, basado en las respuestas de los pacientes a cada elemento (paso 1.1.3). En este estudio, el SD de las puntuaciones es obtenido y utilizado como información previa para calcular la fiabilidad de las CAT-FAS (paso 1.3.6).
  2. Determinar los algoritmos operacionales de las CAT-FAS (1 archivo complementario: Anexo 7).
    1. Adoptar el método máximo a posteriori (mapa) para la estimación de puntuaciones de cada paciente de las cuatro funciones de iteración de Newton-Raphson17.
    2. Utilizar el criterio de optimalidad de D para la selección de artículo18. Se selecciona un elemento con el máximo factor determinante de la matriz de información de Fisher del Banco artículo para administración.
    3. Adoptar 10 sets de candidato de detener reglas para explorar las propiedades de la CAT-FAS a través de simulación (1 archivo complementario: Anexo 8).
      Nota: Los cinco primeros candidatos conjuntos están "llegando a criterio de aumento (LRI) fiabilidad limitada" (es decir, un LRI < 0.001, < 0.005, < 0.010, < 0.015 o < 0.020). Los otros cinco candidatos conjuntos están "llegando a criterio LRI o umbral de confiabilidad" (es decir, una Rasch fiabilidad ≥ 0,90, emparejados con los cinco criterios antes mencionados de LRI). El LRI y el umbral de confiabilidad se adoptan con frecuencia dejar reglas de gatos13,17.
  3. Explorar la fiabilidad de la medición y la eficiencia (número de elementos necesarios para la administración) de las CAT-FAS mediante pasos 1.3.1 a 1.3.11 de la simulación (figura 1).
    Nota: 1 archivo complementario: Anexo 9 muestra la captura de pantalla del software.
    1. Utilice un conjunto específico de detener las reglas (es decir, desde los primeros a los últimos conjuntos de candidato de detener las reglas que están en paso 1.2.3, sucesivamente) a explorar las propiedades de las CAT-FAS (figura 1A).
    2. Las puntuaciones de gato-FAS iniciales de las cuatro funciones (BADL, control postural, función motora de la UE y función motora LE) se establece en 0 para los pacientes especificados (es decir, desde el primer al último paciente en los datos, sucesivamente; Figura 1B,C).
    3. Adaptativa, seleccione un elemento con el máximo factor determinante de la matriz de información de Fisher (es decir, el criterio de optimalidad D) del Banco artículo para administración (figura 1).
      Nota: La matriz de información de cada elemento se calcula basándose en los resultados de un paciente de las cuatro funciones y dificultad del elemento (de paso 1.1.2). Para asegurarse de que el gato-FAS administra al menos un elemento en cada dominio de la función, los cuatro primeros elementos de las FAS de gato son seleccionados de las cuatro funciones.
    4. Obtener la respuesta del paciente al elemento seleccionado en el paso 1.1.3 (Figura 1E).
    5. Al mismo tiempo estimar el gato-FAS partituras y errores estándar [SEs] de las puntuaciones de las cuatro funciones utilizando el método del mapa con un proceso iterativo de Newton-Raphson (Figura 1F). 19 durante el proceso iterativo de Newton-Raphson, renovar los puntajes y SEs de las cuatro funciones en cada iteración hasta que se cumple el criterio de convergencia. Convergencia se produce cuando las diferencias en las puntuaciones entre dos iteraciones consecutivas son < 0.001.
    6. Contar el número de elementos que se administran, guardar los resultados de CAT-FAS último renovado (y SEs) y calcular la fiabilidad de Rasch de nivel individual de cada función mediante la fórmula siguiente:
      1 - (SE2 de paso 1.3.5 / [SD2 de las puntuaciones de paso 1.1.4]).
    7. Calcular el LRI utiliza el último renovado Rasch fiabilidad a nivel de individuo (paso 1.3.6) menos que la estimación anterior (figura 1).
    8. Compruebe si el conjunto especificado (por ejemplo, el primer grupo de candidatos) de detener las reglas se cumple (figura 1 H). Si no, repita los pasos 1.3.3 - 1.3.8 hasta que se cumple el conjunto especificado de detener las reglas. Si es así, salvar el último renovado gato-FAS partituras (y SEs) como las puntuaciones finales CAT-FAS (SEs).
    9. Repita los pasos 1.3.2 a 1.3.8 hasta las administraciones de todos los pacientes completen (figura 1I).
    10. Terminar la simulación de las CAT-FAS con el conjunto específico de detener las reglas y guardar los resultados de la simulación (Figura 1J).
      Nota: Los resultados deben incluir (1) la final CAT-FAS partituras y SEs de las cuatro funciones, (2) el número de elementos necesarios para completar el gato-FAS, (3) la fiabilidad de Rasch de cada paciente (es decir, Rasch fiabilidad a nivel de individuo) y (4) promedio de Rasch fiabilidad de todos los pacientes.
    11. Repita los pasos 1.3.1 a 1.3.11 para explorar las propiedades de las FAS de gato con otros conjuntos de candidato de detener las reglas hasta que todos los conjuntos de candidato de detener las reglas son exploraron (figura 1 K).
  4. Seleccione el conjunto final de reglas de parada para los FAS de gato según la fiabilidad media de Rasch de ≥0. 90 en al menos tres funciones y los elementos media de administración de ≤10. 0.
  5. Desarrollar una plataforma de administración en línea para el gato-FAS por escrito un programa de computadora para establecer un sitio web (1 archivo complementario: Anexo 10).

2. administración del gato-FAS

  1. Conecte el dispositivo electrónico del examinador (por ejemplo, ordenador, tablet o smartphone) a la plataforma de administración en línea de las FAS de gato usando un navegador de internet.
  2. Inicie sesión el sistema de administración (1 archivo complementario: Anexo 11).
  3. Haga clic en Administración de datos para acceso a los datos de anteriores examinados (1 archivo complementario: Anexo 12).
  4. Haga clic en nueva candidata para crear una cuenta para un nuevo sujeto ingresando nombre y número de identificación del examinando.
  5. Seleccione un examinado y haga clic en Inicio (1 archivo complementario: Anexo 13).
  6. Haga clic en nueva evaluación para crear una nueva evaluación o haga clic en resultados para revisar los resultados de evaluaciones anteriores del examinando.
  7. Administrar los artículos mostrados en la pantalla para el examinando (1 archivo complementario: Anexo 14).
  8. Tasa de rendimiento o respuestas de la candidata haciendo clic en la escala de clasificación se muestra en la parte inferior de la pantalla (1 archivo complementario: Anexo 14).
  9. Explicar los resultados del gato-FAS para el examinado, incluyendo las puntuaciones T con un intervalo de 95%, los rangos percentiles de las puntuaciones T y la fiabilidad de las cuatro funciones de las CAT-FAS. Estos resultados se calculan y muestran automáticamente por el gato-FAS (1 archivo complementario: Anexo 15).
  10. Haga clic en Aceptar y volver a la página de gestión de datos .

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los resultados de la simulación demostraron que los conjuntos de 10 candidatos de detener las reglas tenían suficiente fiabilidad media de Rasch (0.86 - 0.95) y eficiencia administrativa (el número promedio de elementos = 17.5 6.4). Teniendo en cuenta el equilibrio entre fiabilidad y eficiencia administrativa, el conjunto de LRI < 0.010 fue seleccionado como el conjunto óptimo de reglas de parada para el gato-FAS debido a su confiabilidad promedio suficiente de Rasch (...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los resultados presentados demostraron que el gato-FAS administraron cerca de 10% de los ítems de las pruebas originales (el número promedio de artículos usados en el gato-FAS: 8.5 artículos contra las pruebas originales: 72 artículos). Estos resultados indican que el gato-FAS tiene buena eficacia administrativa. Los resultados están en consonancia con estudios anteriores, que informaron de que un gato administrado solamente cerca de 10 artículos o menos para evaluar función social, equilibrio o actividades de l...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los autores no tienen nada que revelar.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudio fue apoyado por becas de investigación del Ministerio de ciencia y tecnología (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
OrdenadorCualquieraCompatible con el software que se enumera a continuación
Software de MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Software de computación numérica, que se utiliza en la Sección de Protocolo 1 (Paso 1.3)Kit de
desarrollo JavaOraclehttps://www.oracle.com/java/Lenguaje de programación, que se utiliza en la Sección 1 de Protocolo (Paso 1.5)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles