需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

脑卒中功能评估的计算机自适应测试系统

5.6K 次观看

⸱

DOI：

10.3791/58137

⸱

2019年1月7日

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

本文内容

摘要

本文介绍了一种用于开发脑卒中功能评估计算机自适应测试系统（CAT-FAS）的实验方案。CAT-FAS 能够以足够的信度和管理效率，同时评估四项功能：两项运动功能（上肢和下肢）、姿势控制以及基本日常生活活动能力。

摘要

脑卒中功能评估的计算机自适应测试系统（CAT-FAS）能够以足够的信度和施测效率，同时评估四项功能（上肢和下肢的运动功能、姿势控制以及基本日常生活活动能力）。计算机自适应测试（CAT）是一种现代测量方法，旨在快速提供受试者功能水平的可靠估计。CAT仅施测少数几个项目难度与受试者功能水平相匹配的题目，因此能够在短时间内通过少量题目提供足够信息，以可靠地估计受试者的功能水平。CAT-FAS的开发经历了四个步骤：（1）确定题库，（2）确定停止规则，（3）验证CAT-FAS的性能，以及（4）建立在线施测平台。本研究结果表明，CAT-FAS在同时评估脑卒中患者四项功能方面具有足够的施测效率（平均题目数量 = 8.5）和信度（群体水平Rasch信度：0.88 - 0.93；个体水平Rasch信度：≥70%的患者Rasch信度得分≥0.90）。此外，由于CAT-FAS为基于计算机的测试，其还具备三个额外优势：自动计算得分、数据即时存储以及数据易于导出。这些优势将有助于临床医生和研究人员的数据管理。

引言

上肢和下肢（UE和LE）功能障碍、姿势控制障碍以及基本日常生活活动能力（BADL）障碍是脑卒中后主要的后遗症1,2,3。对脑卒中患者这四项功能的评估，是临床医生评价患者功能障碍程度、制定治疗目标与方案以及监测这些功能长期变化轨迹的基础。

Fugl-Meyer 评估量表（FM）4、卒中患者姿势评估量表（PASS）5 和巴氏指数（BI）6 分别在评估卒中患者的上肢/下肢运动功能、姿势控制能力和基本日常生活活动能力（BADL）方面具有良好的心理测量学特性7,8,9。然而，这三个量表共包含72个条目，使得在时间有限的治疗疗程中完成全部三项评估变得难以实施。因此，亟需一种更为高效的测试方法。计算机化自适应测试（CAT）是一种现代测量方法。与传统测量方法相比，CAT 能够在更短时间内提供对受试者功能水平更可靠的估计10,11,12。在传统测量方法中，每位受试者接受相同的测试形式（或条目集合），其中许多条目对受试者而言可能过于困难或过于简单。这些条目在估计受试者功能水平时提供的信息有限，且耗费受试者大量时间。相比之下，在 CAT 中，每位受试者获得个性化的条目集合，所选条目的难度水平与其功能水平相匹配。由于这些条目是针对特定受试者量身定制的，CAT 能够使用更少的条目、从而在更短的时间内提供对受试者功能水平更可靠的估计。CAT 的开发步骤详见 补充文件1：附录1。

由于计算机自适应测试（CAT）能够提供可靠且高效的评估，因此开发了CAT-FAS，以提高此前使用的三种测量工具（FM、PASS和BI）的管理效率13。本文介绍了CAT-FAS的开发与实施方法，为研究人员开发自己的CAT测试以及潜在用户实施CAT-FAS提供参考信息。我们还讨论了CAT-FAS的优势与局限性。

访问受限。请登录或开始试用以查看此内容。

方案

本研究方案已获得当地机构审查委员会批准，所有患者均签署了知情同意书。

1. CAT-FAS 的开发

  1. 从FAS研究中提取次要和加密数据14 进行模拟（补充文件1：附录2).
    注意：本研究共招募了301名来自某医疗中心康复病房的患者，并在卒中发病后14天进行评估。其中，262名患者在卒中发病后30天接受了重复评估。纳入标准为：（1）确诊为卒中；（2）首次发病；（3）卒中发病时间在住院前14天内；（4）具备遵从指令的能力；（5）能够亲自或由代理人签署知情同意书。患有其他重大疾病的患者被排除在外。每次评估均由经过良好培训的作业治疗师使用FM、PASS和BI对患者进行评估。补充文件1：附录3-5).
    1. 建立 题库 采用FAS的题库对CAT-FAS进行修订补充文件1：附录2A).
      注意：题库包含足够多符合 Rasch 部分给分模型的题目15,16 涵盖广泛的项目难度。项目库包含58个项目（补充文件1：附录3从FM-UE（26项）、FM-LE（11项）、PASS（12项）和BI（9项）中选出。
    2. 从FAS研究中获取题库中所有题目的项目难度补充文件1：附录2A - 题目难度
      注意：题库中的每道题目都有一组参数用于描述题目的难度即，项目难度），这些参数通过Rasch部分给分模型进行估计。CAT-FAS利用项目难度：（1）选择与受试者功能水平相匹配的项目（步骤1.3.3）；（2）估计受试者的功能水平（步骤1.3.5）。
    3. 获取每位患者的应答（例如，0、1 或 2 分）分配给 FAS 项目库中的各个条目补充文件1：附录2B).
      注意：在以往的研究中14，向患者施用了FAS题库中的所有条目。在本模拟研究中，这些患者的回答被提取并用作对CAT-FAS条目的模拟回答（未向患者实际施用CAT-FAS）（步骤1.3.4）。
    4. 获取能力分布（即， 患者在四项功能（基本日常生活活动能力、姿势控制及上肢/下肢运动功能）评分的标准差（SD）； 补充文件1：附录2C).
      注意：患者在这四项功能方面的能力是项目库评估的最终得分补充文件1：附录2C）。这四项功能的得分（及得分的标准差）已在先前的一项研究中进行估算。14 基于患者对每个条目的回答，采用Rasch部分给分模型进行分析（步骤1.1.3）。在本研究中，提取得分的标准差（SD）并将其作为先验信息，用于计算CAT-FAS的信度（步骤1.3.6）。
  2. 确定 CAT-FAS 的操作算法（补充文件1：附录7).
    1. 采用最大值 事后 采用牛顿-拉夫森迭代法估算每位患者四项功能得分的（MAP）方法17.
    2. 使用D-最优性准则进行项目筛选18从题库中选择费雪信息矩阵行列式最大的项目进行施测。
    3. 采用10组候选停用规则以探究CAT-FAS的特性 通过 模拟补充文件1：附录8).
      注意：前五组候选集合为 "达到有限可靠性提升（LRI）标准" (即，一种LRI < 0.001, < 0.005, < 0.010, < 0.015，或 < 0.020）。其余五个候选集合为 "达到LRI标准或可靠性阈值" (即，Rasch信度≥0.90，并结合上述五项LRI标准）。LRI及信度阈值常被用作计算机自适应测验（CAT）中的终止规则13,17.
  3. 探究 CAT-FAS 的测量信度和效率（施测所需的项目数量） 通过 模拟的步骤 1.3.1 至 1.3.11图1).
    注意： 补充文件1：附录9 显示软件的截图。
    1. 使用一组特定的终止规则（即，从第1.2.3步中的第一组到最后一组候选停止规则，依次探索CAT-FAS的性质（图1A).
    2. 将指定患者的四项功能（BADL、姿势控制、上肢运动功能和下肢运动功能）的初始 CAT-FAS 评分设为 0即从数据中的第一位患者到最后一位患者，依次进行； 图1B,C).
    3. 自适应地选择 Fisher 信息矩阵行列式最大的项目（即，D-最优性标准）从题库中选取题目进行施测（图1D).
      注意：每个题目的信息矩阵是根据患者在四项功能上的得分以及题目的难度（来自步骤1.1.2）计算得出的。为确保CAT-FAS在每个功能/领域中至少呈现一个题目，CAT-FAS的前四个题目分别从四个功能中各选取一个。
    4. 获取患者对步骤 1.1.3 中所选项目 的反应图1E).
    5. 使用极大后验估计（MAP）方法，结合迭代牛顿-拉夫逊过程，同时估计四种功能的 CAT-FAS 得分及其得分的标准误（SE）。图1F).19 在迭代的牛顿-拉夫逊过程中，每轮迭代均需更新四个函数的得分及其标准误，直至满足收敛准则。当连续两次迭代之间的得分差异小于指定阈值时，即认为达到收敛。 <0.001.
    6. 统计所施测项目的数量，保存最新更新的 CAT-FAS 得分（及标准误），并使用以下公式计算每个功能的个体水平 Rasch 信度：
      1 - ([SE2 步骤1.3.5] / [SD2 [步骤1.1.4的评分]
    7. 使用最近一次更新的个体层面Rasch信度（步骤1.3.6）减去前一次估计的信度，计算LRI图1G).
    8. 检查指定的集合（例如，满足第一候选组）的停止规则（图1H）。若未满足，则重复步骤 1.3.3 - 1.3.8，直至达到预设的终止规则。若已满足，则将最新更新的 CAT-FAS 得分（及标准误）保存为最终的 CAT-FAS 得分（及标准误）。
    9. 重复步骤 1.3.2 至 1.3.8，直至完成所有患者的给药图1I).
    10. 使用特定的终止规则完成 CAT-FAS 的模拟，并保存模拟结果（图1J).
      注意：结果应包括（1）四项功能的最终 CAT-FAS 得分（及标准误），（2）完成 CAT-FAS 所需的题目数量，（3）每位患者的 Rasch 信度即，个体层面的Rasch信度），以及（4）所有患者的平均Rasch信度。
    11. 重复步骤 1.3.1 至 1.3.11，以探究 CAT-FAS 在其他候选停止规则集下的特性，直至所有候选停止规则集均被评估完毕（图1K).
  4. 根据CAT-FAS在至少三个功能领域的平均Rasch信度≥0.90，以及平均施测项目数≤10.0，选定最终的终止规则组合。
  5. 开发CAT-FAS的在线施测平台，通过编写计算机程序建立网站（补充文件1：附录10).

2. CAT-FAS 的施测

  1. 连接检查者的电子设备（例如，个人电脑、平板电脑或智能手机）通过网络浏览器连接至 CAT-FAS 在线管理平台。
  2. 登录管理系统（补充文件1：附录11).
  3. 点击 数据管理 以获取先前受试者的数据（补充文件1：附录12).
  4. 点击 新受试者 通过输入被试者的姓名和身份证号码，为新被试者创建账户。
  5. 选择一名受试者并点击 开始 (补充文件1：附录13).
  6. 点击 新评估 创建新评估，或单击“结果”以查看被试者先前评估的结果。
  7. 向受试者呈现屏幕上显示的项目（补充文件1：附录14).
  8. 通过点击屏幕底部显示的评分量表，对被试者的表现或回答进行评分补充文件1：附录14).
  9. 向受试者解释CAT-FAS的结果，包括T分数及其95%置信区间、T分数的百分位排名，以及CAT-FAS四项功能的信度。这些结果由CAT-FAS自动计算并显示补充文件1：附录15).
  10. 点击 好的 并返回到 数据管理 页

访问受限。请登录或开始试用以查看此内容。

结果

模拟结果显示，10组候选终止规则均具有足够的平均Rasch信度（0.86 - 0.95），且管理效率各异（平均题项数 = 6.4 - 17.5）。综合考虑信度与管理效率之间的权衡，最终选择LRI < 0.010作为CAT-FAS的最优终止规则组合，因其具备足够的平均Rasch信度（0.88 - 0.93，见表1）、个体水平的Rasch信度（≥70%的患者Rasch信度≥0.90）以及良好的管理效率（平均题项数 = 8.5，见表2）。

CAT-FAS 模拟流程图，展示患者数据提取、条目选择及评分过程。
<...

访问受限。请登录或开始试用以查看此内容。

讨论

本文展示的结果表明，CAT-FAS 使用的题目数量约为原始测验的 10%（CAT-FAS 平均使用题目数量：8.5 道） 与 原始测试：72个项目）。这些结果表明，CAT-FAS具有良好的施测效率。研究结果与既往研究一致，既往研究报道，计算机自适应测试（CAT）仅需施测约10个或更少的项目，即可评估卒中患者的社会功能、平衡能力或日常生活活动能力。10,11,20CAT-FAS 具有良好的管理效率，在减少患者和临床医生的时间与负担方面具有巨大潜力。

CAT-FAS的平均Rasch信度为0.88–0.93，超过70%的患者Rasch信度≥0.90。这些结果表明，CAT-FAS在脑卒中患者中具有良好的Rasch信度。CAT-FAS良好的Rasch信度可归因于两个因素：合理的题库设计以及多维性特征。首先，CAT-FAS的题库包含58个条目，涵盖了每个领域广泛的功能水平范围

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本研究由科技部研究基金（105-2314-B-002 -015 -MY3）资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
计算机任意与下文所列软件兼容
MATLAB 软件The MathWorks Inc.http://www.mathworks.com/products/matlab/数值计算软件，用于实验方案第1节（步骤1.3）
Java 开发工具包Oraclehttps://www.oracle.com/java/编程语言，用于实验方案第1节（步骤1.5）

参考文献

  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

卒中功能评估项目库开发终止规则验证在线施测平台Rasch信度分析上肢功能下肢功能姿势控制评估日常生活活动能力
脑卒中功能评估的计算机自适应测试系统
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。