Method Article

Sistema de teste adaptativo computadorizado de avaliação funcional do curso

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aqui, apresentamos um protocolo para desenvolver o sistema de teste adaptativo informatizado da avaliação funcional do curso (CAT-FAS). Os CAT-FAS simultaneamente podem avaliar quatro funções (duas funções motoras [extremidades superiores e inferiores], controle postural e atividades básicas de vida diária) com suficiente confiabilidade e eficiência administrativa.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O sistema informatizado de teste adaptativo da avaliação funcional do curso (CAT-FAS) simultaneamente pode avaliar quatro funções (funções motoras das extremidades superiores e inferiores, controle postural e atividades básicas de vida diária) com suficiente confiabilidade e eficiência administrativa. CAT, um método de medição moderno, visa proporcionar uma estimativa confiável do nível da o examinando função rapidamente. CAT administra apenas alguns itens cujas dificuldades item coincidir com o nível do examinando uma função e, assim, os itens administrados de gato podem fornecer informações suficientes para estimar confiavelmente a nível do examinando de função em um curto espaço de tempo. Os CAT-FAS foi desenvolvido através de quatro etapas: (1) determinar o item de banco, (2) determinar as regras de parada, (3) Validando os CAT-FAS e (4) estabelecer uma plataforma de administração on-line. Os resultados deste estudo indicam que o CAT-FAS tem suficiente eficiência administrativa (número médio de itens = 8,5) e confiabilidade (grupo nível de confiabilidade de Rasch: 0,88 - 0.93; nível de indivíduo Rasch confiabilidade: ≥70% dos pacientes tinham confiabilidade Rasch escore ≥ 0.90) para avaliar simultaneamente quatro funções em pacientes com acidente vascular cerebral. Além disso, porque os gato-FAS é um teste baseado em computador, os CAT-FAS tem três vantagens adicionais: o cálculo automático de partituras, o imediato de armazenamento de dados e a fácil exportação de dados. Estas vantagens do CAT-FAS será benéficas para gerenciamento de dados para clínicos e investigadores.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Disfunções das extremidades superiores e inferiores (UE e LE), controle postural e atividades básicas de vida diária (BADL) são grandes sequelas de acidente vascular cerebral1,2,3. A avaliação dessas quatro funções em pacientes com AVC é fundamental para os clínicos avaliar os níveis dos pacientes de disfunções, definir planos e objetivos do tratamento e monitorar as trajetórias longitudinais dessas funções.

A avaliação de Fugl-Meyer (FM),4 a escala de Avaliação Postural para acidente vascular cerebral pacientes (PASS),5 e o índice de Barthel (BI)6 têm boas propriedades psicométricas para avaliar as funções motoras, controle postural e BADL, UE/LE respectivamente, em pacientes com AVC7,8,9. No entanto, o total de 72 itens a partir destas três medidas impede a viabilidade de avaliar todas as três medidas dentro de uma sessão terapêutica limitada no tempo. Um método mais eficiente de teste é garantido. Testes adaptativos computadorizado (CAT) são um método de medição moderno. Em comparação com métodos convencionais de medição, CAT fornece uma estimativa mais confiável do nível da o examinando função em muito menos tempo10,11,12. Em métodos de medição convencional, cada examinando recebe a mesma forma de teste (ou item define), em que muitos itens são muito difíceis ou muito fácil para o examinando. Esses itens fornecem informações limitadas para estimar o nível da o examinando função e consomem tempo para examinandos. Em contraste, no CAT, cada examinando Obtém um conjunto de item costurado, em que o nível de dificuldade dos itens selecionados cumpre a função de nível do examinando. Porque estes itens são adaptados para esse determinado examinando, CAT pode fornecer uma estimativa mais confiável do nível da o examinando função com menos itens e, assim, em muito menos tempo. As etapas de desenvolvimento de CAT são mostradas em arquivo complementar 1: Apêndice 1.

Porque CAT promete avaliações confiáveis e eficientes, os CAT-FAS foi desenvolvido para melhorar a eficiência administrativa das três medidas anteriormente utilizadas (FM, PASS e BI)13. Este trabalho descreve o desenvolvimento e administração do CAT-FAS. Este protocolo fornece informações para pesquisadores desenvolver seus gatos e potenciais utilizadores do CAT-FAS para administrá-lo. Também abordamos os pontos fortes e fracos do CAT-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo de estudo foi aprovado por um Conselho de revisão institucional local, e todos os pacientes deram consentimento informado.

1. desenvolvimento do CAT-FAS

  1. Recuperar o secundário e dados criptografados de FAS estudar14 para realizar simulações (complementar arquivo 1: anexo 2).
    Nota: No estudo, um total de 301 pacientes foram recrutados froma ala de reabilitação de um centro médico e avaliados em 14 d após início do curso. Entre os 301 pacientes, 262 pacientes foram avaliados repetidamente em 30 d após início do curso. O estudo recrutou os pacientes que tiveram (1) o diagnóstico de acidente vascular cerebral, (2) primeiro início de acidente vascular cerebral, (3) início de AVC dentro d 14 antes de internação, (4) a capacidade de seguir comandos e (5) a capacidade de dar consentimento informado, pessoalmente ou por procuração. Foram excluídos pacientes que tinham outras doenças importantes. Em cada sessão de avaliação, os pacientes foram avaliados com o FM, BI e passe por uma terapeuta ocupacional bem treinada (complementar arquivo 1: apêndices 3-5).
    1. Estabelecer o item banco do CAT-FAS adotando o item banco do FAS (complementar arquivo 1: anexo 2A).
      Nota: O item banco tem itens suficientes caber o modelo de crédito parcial do Rasch15,16 e abrange uma ampla gama de dificuldades de item. O banco de item contém 58 itens (complementar arquivo 1: Apêndice 3) selecionados a partir do FM-UE (26 itens), FM-LE (11 itens), passar (12 itens) e BI (nove itens).
    2. Recuperar as item dificuldades de todos os itens no item banco de FAS estudar (complementar arquivo 1: Apêndice 2A -dificuldade de Item).
      Nota: Cada item no banco de dados item possui um conjunto de parâmetros que descrevem a dificuldade do item (ou seja, dificuldades de item), que são estimadas pelo modelo de crédito parcial de Rasch. Os CAT-FAS usa as dificuldades do item (1) selecionar itens com dificuldades adaptadas ao nível do examinando de função (etapa 1.3.3) e (2) estimar o nível da o examinando função (etapa 1.3.5).
    3. Recuperar respostas de cada paciente (por exemplo, 0, 1 ou 2 pontos) para os itens do item banco do FAS (complementar arquivo 1: anexo 2B).
      Nota: Em anteriores estudos14, todos os itens do item banco do FAS foram administrados aos pacientes. Neste estudo de simulação, estas respostas dos pacientes foram recuperadas e usadas como as respostas simuladas (pacientes não foram administrados pelo CAT-FAS) para os itens do CAT-FAS (etapa 1.3.4).
    4. Recuperar a distribuição de capacidade (ou seja, o desvio-padrão dos escores [SD]) dos pacientes nas quatro funções (BADL, controle postural e funções motoras UE/LE; Arquivo complementar 1: Apêndice 2 C).
      Nota: As habilidades dos pacientes nas quatro funções são a pontuação final da avaliação do item banco (complementar arquivo 1: Apêndice 2C). O golo (e SD dos escores) das quatro funções são estimados em um anterior estudo14 pelo modelo de crédito parcial de Rasch, com base nas respostas dos pacientes para cada item (etapa 1.1.3). Neste estudo, o SD das pontuações é recuperada e usada como informação prévia para calcular a confiabilidade do CAT-FAS (etapa 1.3.6).
  2. Determinar os algoritmos operacionais do CAT-FAS (complementar arquivo 1: anexo 7).
    1. Adote o método máximo a posteriori (mapa) para estimar os resultados de cada paciente das quatro funções com Newton-Raphson iteração17.
    2. Use o critério de D-Optimalidade para a seleção de item18. Um item com o máximo determinante da matriz de informação de Fisher é selecionado do banco item para a administração.
    3. Adotar 10 conjuntos de candidato de impedir que regras para explorar as propriedades da simulação através do CAT-FAS (complementar arquivo 1: Apêndice 8).
      Nota: Os conjuntos de cinco primeiros candidatos são "atingindo critério de aumento (LRI) confiabilidade limitada" (ou seja, um LRI < 0,001, < 0.005, < 0,010, < 0.015 ou < 0.020). Os outros conjuntos de cinco candidatos são "atingindo critério LRI ou limite de confiabilidade" (ou seja, uma confiabilidade de Rasch ≥ 0,90, combinado com os cinco critérios LRI acima mencionados). A LRI e limiar de confiabilidade são frequentemente adotados parando regras em gatos13,17.
  3. Explore a confiabilidade da medição e a eficiência (número de itens necessários para a administração) dos CAT-FAS através de passos 1.3.1 para 1.3.11 de simulação (Figura 1).
    Nota: arquivo complementar 1: Apêndice 9 mostra a captura de tela do software.
    1. Usar um conjunto especificado de parar as regras (ou seja, desde o primeiro para os últimos conjuntos de candidato de impedir as regras que estão na etapa 1.2.3, sucessivamente) para explorar as propriedades do CAT-FAS (figura 1A).
    2. Definir as pontuações de CAT-FAS iniciais das quatro funções (BADL, controle postural, função motora UE e LE função motora) para 0 para pacientes especificados (ou seja, do primeiro ao último paciente nos dados, sucessivamente; Figura 1B,C).
    3. Adaptativamente, selecione um item com o máximo determinante da matriz de informações de Fisher (ou seja, o critério de optimalidade-D) do item banco para administração (Figura 1).
      Nota: A matriz de informações de cada item é calculada com base na pontuação do paciente das quatro funções e dificuldade do item (da etapa 1.1.2). Para garantir que o CAT-FAS administra pelo menos um item em cada função/domínio, seleccionam-se os quatro primeiros itens do CAT-FAS do quatro funções.
    4. Obter a resposta do paciente para o item selecionado da etapa 1.1.3 (Figura 1E).
    5. Simultaneamente Estime o CAT-FAS partituras (e erros-padrão [SEs] dos escores) das quatro funções usando o método do mapa com um processo iterativo de Newton-Raphson (Figura 1F). 19 durante o processo iterativo de Newton-Raphson, renove as contagens e SEs das quatro funções em cada iteração até que o critério de convergência seja atendido. Convergência ocorre quando as diferenças de escores entre duas iterações consecutivas são < 0,001.
    6. Contar o número de itens que são administrados, salvar o último renovada golo de CAT-FAS (SEs) e calcular a confiabilidade de Rasch nível individual de cada função usando a seguinte fórmula:
      1 - ([SE2 da etapa 1.3.5] / [SD2 das pontuações da etapa 1.1.4]).
    7. Calcular o LRI usando a última renovada confiabilidade de Rasch nível individual (etapa 1.3.6) menos que a estimativa anterior (Figura 1).
    8. Verifique se o conjunto especificado (por exemplo, o primeiro conjunto de candidato) de impedir que regras for atendida (Figura 1 H). Se não, repita os passos 1.3.3 - 1.3.8 até o conjunto especificado de impedir regras seja atendido. Em caso afirmativo, salve o último renovada CAT-FAS partituras (e SEs) como o último golo de CAT-FAS (e SEs).
    9. Repita etapas 1.3.2 para 1.3.8 até as administrações de todos os pacientes são concluídas (Figura 1I).
    10. Terminar a simulação do CAT-FAS com o conjunto específico de regras a parar e salvar os resultados da simulação (Figura 1J).
      Nota: Os resultados devem incluir (1) o final CAT-FAS partituras (e SEs) das quatro funções, (2) o número de itens necessários para completar os CAT-FAS, (3) a confiabilidade de Rasch de cada paciente (ou seja, confiabilidade de Rasch nível individual) e (4) o confiabilidade de Rasch média de todos os pacientes.
    11. Repita etapas 1.3.1 para 1.3.11 para explorar as propriedades do CAT-FAS com outros conjuntos de candidato de regras vamos parar até que todos os conjuntos de candidato de impedir que regras são exploraram (Figura 1 K).
  4. Selecione o conjunto final de parar as regras para as CAT-FAS, de acordo com a média confiabilidade de Rasch de ≥ 0.90 pelo menos três funções e os itens de médios da administração de ≤10.0.
  5. Desenvolver uma plataforma de administração on-line para os CAT-FAS escrevendo um programa de computador para estabelecer um website (complementar arquivo 1: anexo 10).

2. administração do CAT-FAS

  1. Conecte o dispositivo eletrônico do examinador (por exemplo, computador, tablet ou smartphone) para a plataforma de administração on-line do CAT-FAS usando um navegador da internet.
  2. Acesse o sistema de administração (complementar arquivo 1: apêndice 11).
  3. Clique em Gerenciamento de dados para acessar dados de examinandos anteriores (complementar arquivo 1: Apêndice 12).
  4. Clique em novo examinando para criar uma conta para um novo examinando inserindo o nome e número de identificação do examinando.
  5. Selecione um examinando e clique em Iniciar (complementar arquivo 1: Apêndice 13).
  6. Clique em nova avaliação para criar uma nova avaliação ou clique em resultados para analisar os resultados de avaliações anteriores do examinando.
  7. Administrar os itens mostrados na tela para o examinando (complementar arquivo 1: apêndice 14).
  8. Taxa de desempenho do examinando ou respostas clicando a escala de classificação mostrada na parte inferior da tela (complementar arquivo 1: apêndice 14).
  9. Explica os resultados do CAT-FAS para o examinando, incluindo os T-scores com um intervalo de 95%, as fileiras de percentil de T-pontuações e a fiabilidade das quatro funções do CAT-FAS. Estes resultados são calculados e mostrados automaticamente pelo CAT-FAS (complementar arquivo 1: Apêndice 15).
  10. Clique Okey e retornar para a página de Gerenciamento de dados .

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os resultados da simulação mostraram que os conjuntos de 10 candidatos de impedir regras tinham suficiente confiabilidade média de Rasch (0.86 - 0,95) e variou de eficiência administrativa (o número médio de itens = 6,4-17,5). Considerando o trade-off entre a confiabilidade e a eficiência administrativa, o conjunto de LRI < 0,010 foi selecionado como o conjunto ideal de parar as regras para as CAT-FAS por causa de sua confiabilidade suficiente de Rasch média (0,88 - 0,...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os resultados aqui apresentados mostraram que o CAT-FAS administrada cerca de 10% dos itens nos testes originais (o número médio de itens usados em CAT-FAS: 8.5 itens vs os testes originais: 72 itens). Estes resultados indicam que o CAT-FAS tem boa eficiência administrativa. Os resultados foram em consonância com estudos anteriores, que relataram que um gato administrada apenas cerca de 10 itens ou menos para avaliar a função social, o equilíbrio ou atividades da vida diária em pacientes com AVC

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada para divulgar.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo foi suportado por bolsas de investigação do Ministério da ciência e tecnologia (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
ComputadorQualquerCompatível com o software listado abaixo
Software MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Software de computação numérica, que é usado na Seção 1 do Protocolo (Etapa 1.3)
Java Development KitOraclehttps://www.oracle.com/java/Linguagem de programação, que é usada na Seção 1 do Protocolo (Etapa 1.5)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles