Summary
本文提出了一种开发脑卒中功能评估 (CAT-FAS) 计算机自适应测试系统的协议。CAT-FAS 可以同时评估四个功能 (两个运动功能 (上肢和下肢)、姿势控制和日常生活的基本活动), 具有足够的可靠性和行政效率。
Abstract
脑卒中功能评估 (CAT-FAS) 的计算机自适应测试系统可以同时评估四个功能 (上肢和下肢的运动功能、姿势控制和日常生活的基本活动), 并充分可靠性和行政效率。cat 是一种现代的测量方法, 旨在快速对考生的功能水平进行可靠的估计。cat 只管理几个项目, 其项目困难与考生的职能水平相匹配, 因此, cat 的管理项目可以提供足够的信息, 在短时间内可靠地估计考生的功能水平。CAT-FAS 是通过四个步骤开发的: (1) 确定物料库, (2) 确定停止规则, (3) 验证 CAT-FAS; (4) 建立在线管理平台。本研究结果表明, CAT-FAS 具有足够的管理效率 (平均项目数量 = 8.5) 和可靠性 (群级拉什可靠性: 0.88-0.88; 个人级拉什可靠性: ≥70% 的患者具有 rschh 可靠性评分≥0.90), 同时评估脑卒中患者的四种功能。此外, 由于 sat-fas 是一种基于计算机的测试, 因此 CAT-FAS 还有三个额外的优点: 自动计算分数、立即存储数据和轻松导出数据。CAT-FAS 的这些优势将有利于临床医生和研究人员的数据管理。
Introduction
上肢和下肢功能障碍 (ue 和 le)、姿势控制和日常生活基本活动 (badl) 是中风1、2、3 的主要后遗症。评估脑卒中患者的这四种功能对于临床医生评估患者的功能障碍程度、设定治疗目标和计划以及监测这些功能的纵向轨迹至关重要。
fugl-meyer 评估 (fm),4中风患者的体位评估量表 (pass),5和 barthel 指数 (bi) 6 具有良好的心理测量特性, 以评估 uele 运动功能, 姿势控制, 和 bardel,分别为脑卒中患者7,8,9。然而, 这三项措施总共有72个项目妨碍了在有时限的治疗会议上评估所有三项措施的可行性。需要一种更有效的测试方法。计算机自适应测试 (cat) 是一种现代测量方法。与传统的测量方法相比, cat 在更短的时间内对考生的功能水平进行了更可靠的估计。在传统的测量方法中, 每个考生都会收到相同的测试表 (或项目集), 其中许多项目对考生来说太难或太容易了。这些项目为估计考生的功能水平提供了有限的信息, 对考生来说是耗时的。相反, 在 cat 中, 每个考生都会得到一个量身定制的项目集, 其中所选项目的难度级别与考生的功能水平一致。由于这些项目是为特定考生量身定制的, cat 可以用更少的项目对考生的功能水平进行更可靠的估计, 从而减少得多。cat 开发的步骤见补充文件 1: 附录 1.
由于禁止酷刑委员会承诺进行可靠和有效的评估, 因此制定了 cat-fas, 以提高以前使用的三项措施 (fm、pass 和 bi)13的行政效率。本文介绍了 CAT-FAS 的发展和管理。该协议为研究人员开发其 cat 提供了信息, 并为 CAT-FAS 的潜在用户提供了管理这些信息的信息。我们还解决了 CAT-FAS 的长处和短处。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
这项研究方案得到了当地机构审查委员会的批准, 所有患者都给予了知情同意。
1. CAT-FAS 的发展
- 从 fas 研究14中检索辅助和加密数据,以进行模拟(补充文件 1: 附录 2)。
注: 在这项研究中, 共有301例患者在一个医疗中心的康复病房被招募, 并在中风发作后14天进行评估。在301例患者中, 262 例患者在中风发作后30岁时反复评估。本研究招募了 (1) 有中风诊断的患者, (2) 中风首发, (3) 住院前14天内发病的患者, (4) 服从命令的能力, (5) 亲自或代理给予知情同意的能力。患有其他重大疾病的患者被排除在外。在每次评估中, 由训练有素的职业治疗师对患者进行 fm、pass 和 bi 评估 (补充文件 1: 附录 3-5)。- 采用 fas 的物料库 (补充文件 1:附录 2a)建立 CAT-FAS 的物料库。
注: 项目银行有足够的项目适合拉什部分信贷模式 15, 16, 并涵盖广泛的项目困难。项目库包含从 fm-ue (26个项目)、fm-le (11个项目)、pass (12个项目) 和 bi (9个项目) 中选出的58个项目 (补充文件 1:附录 3)。 - 从 fas 研究中检索物料库中所有项目的项目困难 (补充文件 1:附录 2a-项目困难)。
注: 物料库中的每个物料都有一组参数来描述物料的难度 (即物料困难), 这些参数由 rrch 部分信用模型估计。CAT-FAS 使用项目困难来 (1) 根据考生的功能水平 (步骤 1.3.3) 选择有困难的项目; (2) 估计考生的功能水平 (步骤 1.3.5)。 - 检索每个患者对 fas 物料库的项目的响应 (例如, 0、1或 2点) (补充文件 1: 附录 2b)。
注: 在以前的研究14中, fas 项目库的所有项目都被管理给病人。在这项模拟研究中, 这些患者的反应被检索并用作模拟反应 (患者不是由 CAT-FAS 给药) 的项目的 sat-fas (步骤 1.3.4)。 - 检索四种功能 (badl、姿势控制和 uele 运动功能) 患者的能力分布 (即分数的标准偏差 [sd]);补充文件 1: 附录 2c)。
注: 患者在四个功能中的能力是项目库评估的最终分数 (补充文件 1: 附录 2c)。这四个功能的分数 (和分数的 sd) 是在以前的研究14中估计的 rsch 部分信用模型, 根据患者对每个项目的反应 (步骤 1.1.3)。在本研究中, 检索分数的 sd, 并将其用作先验信息, 以计算 CAT-FAS (步骤 1.3.6) 的可靠性。
- 采用 fas 的物料库 (补充文件 1:附录 2a)建立 CAT-FAS 的物料库。
- 确定 CAT-FAS 的操作算法 (补充文件 1:附录 7)。
- 采用最大后验(map) 方法, 使用 Newton-Raphson 迭代17估计四个功能中每个患者的分数.
- 对项目选择18使用 d-优化性的条件.从物料库中选择具有 fisher 信息矩阵最大行列式的项进行管理。
- 采用10套候选停止规则,通过模拟探索 CAT-FAS 的属性 (补充文件 1: 附录 8)。
注: 前五个候选集是 "达到有限的可靠性增加 (lri) 标准" (即lri < 0.001、< 0.005、< 0.010、< 0.010 或 < 0.010)。其他五个候选集是 "达到 lri 标准或可靠性阈值" (即, rasch 可靠性≥0.90, 与上述五个 lri 标准相匹配)。在 cat13、17中, 经常采用 lri 和可靠性阈值。
- 通过1.3.1 到1.3.11 模拟的步骤, 探索 cat-fs 的测量可靠性和效率 (管理所需的项目数) (图 1)。
注:补充文件 1: 附录 9显示了软件的屏幕截图。- 使用一组指定的停止规则 (即, 从步骤1.2.3 中的第一组到最后一组停止规则) 来探索 CAT-FAS 的属性 (图 1a)。
- 为指定的患者 (即数据中的第一个患者到最后一个患者, 将四个功能 (badl、姿势控制、ue 运动功能和 le 运动功能) 的初始CAT-FAS 分数设置为 0;图 1 b、c)。
- 从物料库中自适应地选择具有 fisher 信息矩阵最大行列式的项目 (即d-优化标准) (图 1d)。
注: 每个项目的信息矩阵是根据患者的四个功能的分数和项目的难度 (从步骤 1.1.2) 计算的。为确保 CAT-FAS 在每个函数域中至少管理一个项目, 从四个函数中选择了 CAT-FAS 的前四个项目。 - 从步骤 1.1.3 (图 1e) 获取患者对所选项目的响应。
- 使用 map 方法与迭代 Newton-Raphson 过程 (图 1f), 同时估计四个函数的 CAT-FAS 分数 (和标准错误 (分数的 ses)。19在迭代牛顿-拉斐逊过程中, 在满足收敛准则之前, 在每次迭代中更新四个函数的分数和 se。当两个连续迭代之间的分数差异为 & & lt;0.001 时, 就会发生收敛性。
- 计算所管理的项目数, 保存最新更新的 CAT-FAS 分数 (和 se), 并使用以下公式计算每个函数的个人级别 rasch 可靠性:
1-([步骤1.3.5 的 se 2 ]/[步骤1.1.4 分数的sd 2])。 - 使用最后一次更新的个人级 rsch 可靠性 (步骤 1.3.6) 减去以前的估计 (图 1g) 计算 lri。
- 检查是否满足指定的停止规则集 (例如, 第一个候选集) (图 1h)。如果没有, 请重复步骤 1.3.3-1.3.8, 直到满足指定的停止规则集。如果是这样, 请将最新更新的 CAT-FAS 分数 (和 ses) 保存为最终的 CAT-FAS 分数 (和 ses)。
- 重复步骤 1.3.2 1.3.8, 直到所有患者的管理完成 (图 1i)。
- 用一组特定的停止规则完成对 CAT-FAS 的仿真, 并保存模拟结果 (图 1j)。
注: 结果应包括 (1) 四种功能的最终 sat-fas 分数 (和 se), (2) 完成 sat-fas 所需的项目数量, (3) 每个患者的 rach 可靠性 (即个人级 rsch 可靠性), 以及 (4)所有患者的平均拉什可靠性。 - 重复步骤 1.3.1 1.3.11, 以探索与其他候选停止规则集的属性, 直到探索所有候选停止规则集 (图 1k)。
- 根据至少三个函数中≥0.90 的平均 rsch 可靠性和≤10.0 的平均给药项目, 选择 CAT-FAS 的最终停止规则集。
- 通过编写计算机程序建立网站, 为 CAT-FAS 开发一个在线管理平台 (补充文件 1:附录 10)。
2. CAT-FAS 的行政管理
- 使用互联网浏览器将审查员的电子设备 (如个人电脑、平板电脑或智能手机) 连接到 CAT-FAS 的在线管理平台。
- 登录到管理系统 (补充文件 1: 附录 11)。
- 单击 "数据管理" 以访问以前考生的数据 (补充文件 1:附录 12)。
- 单击"新考生", 输入考生姓名和身份证号码, 为新考生创建帐户。
- 选择考生, 然后单击"开始" (补充文件 1:附录 13)。
- 单击 "新建评估" 以创建新评估, 或单击 "结果" 查看考生以前评估的结果。
- 将屏幕上显示的项目管理给考生 (补充文件 1:附录 14)。
- 点击屏幕底部显示的评分表 (补充文件 1:附录 14), 对考生的表现或回答进行评分。
- 向考生解释 CAT-FAS 的结果, 包括间隔为95% 的 t 分数、t-分数的百分位数以及 CAT-FAS 四种功能的可靠性。这些结果由 CAT-FAS 自动计算和显示 (补充文件 1:附录 15)。
- 单击"确定"并返回到"数据管理" 页。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
仿真结果表明, 10 套候选停止规则具有足够的平均 rschh 可靠性 (0.86-0.95) 和不同的行政效率 (平均项目数 = 6.4-17.5)。考虑到可靠性和行政效率之间的权衡, 由于这样做, 由于 rashch 的平均可靠性足够 (0.88–0.93, 见表 1), 选择了一套lri < 0.010 作为 CAT-FAS 的最佳停止规则集. )、个人级拉什可靠性 (≥70% 的患者具有≥0.90 的拉什可靠性) 和行政效率 (项目平均数量 = 8.5, 见表 2)。
图 1: 探索 CAT-FAS 性能的过程通过仿真分析.此图显示了探索 sat-fas 的测量可靠性和效率 (管理所需项目数) 的过程, 其中包括10套候选停止规则。请点击这里查看此图的较大版本.
| 平均 | 可靠性≥0.90 的患者百分比 | |
| CAT-FAS | ||
| ue 电机功能 | 0.88 | 69。8 |
| le 电机功能 | 0。9 | 76。2 |
| 姿势控制 | 0.93 | 88。6 |
| 巴迪尔 | 0。9 | 78。9 |
| 物料库 (58 项) | ||
| ue 电机功能 | 0。9 | 6.9。4 |
| le 电机功能 | 0.92 | 77。4 |
| 姿势控制 | 0.96 | 96 |
| 巴迪尔 | 0.94 | 93。4 |
| ue: 上肢;le: 下肢;巴迪尔: 日常生活的基本活动 | ||
表 1: CAT-FAS 的 rashch 可靠性.对于 sat-fas, 四个函数的平均 rsch 可靠性从0.88 到0.88 不等, 而在 rsch 可靠性≥0.90 的参与者中, 个人水平的 rsch 可靠性为≥70%。
| 平均 | 范围 | 使用5–10项的患者百分比 | 使用的患者百分比 | |
| > 10件商品 | ||||
| CAT-FAS | 8。8 | ~ 4-13 | 66。4 | 19。5 |
表 2: CAT-FAS 的效率 (项目数目).行政管理所需的平均物品数量为8.5。大多数参与者 (66.4%) 使用5-10 项进行了评估。
补充文件 1.请点击此处下载此文件.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
这里给出的结果表明, 在最初的测试中, CAT-FAS 管理了大约10% 的项目 (在 CAT-FAS 中使用的平均项目数: 8.5 项与原始测试中使用的项目数:72 项)。这些结果表明, CAT-FAS 具有良好的行政效率。研究结果与此前的研究一致, 此前的研究报告称, cat 只管理了大约10个项目或更少的项目, 以评估中风患者的社会功能、平衡或日常生活活动 10、11、20.CAT-FAS 具有良好的行政效率, 具有很大的潜力, 可以减少患者和临床医生的时间和负担。
CAT-FAS 的平均 r前夕可靠性为 0.88-0.93, 70% 以上的患者的 r前夕数可靠性≥0.90。这些结果揭示了在脑卒中患者中, CAT-FAS 具有良好的拉什可靠性。CAT-FAS 具有良好的 r前夕可靠性, 可归因于两个因素: 声音项目库和多维特性。首先, CAT-FAS 的物料库包含58个项目, 涵盖每个域的广泛功能级别14。物料库的足够项目覆盖可以提供足够的信息来可靠地估计考生的功能水平。其次, cat-fas 是一个多维 cat (即cat-fas 的四个域), 在该区域中, 患者在任何域上的项目响应都可用于通过考虑相关性同时估计所有四个域中患者的能力 (分数)在所有域之间。在以前关于开发多维 cat21、22的研究中, 已证明了多维 cat的这一特点可以提高 rasch 的可靠性。具有良好 r城乡可靠性的 CAT-FAS 可用于精确校准患者的四个功能 (uele 运动功能、姿势控制和 badl) 的水平, 但随机测量误差有限。
此外, 由于 sat-fas 是一种基于计算机的测试, 因此 CAT-FAS 还有三个额外的优点: 自动计算分数、立即存储数据和轻松导出数据。分数的自动计算节省了审查员的时间, 减少了得分错误。数据的即时存储提高了对考生在这四个功能中的纵向变化进行监控的效率。数据的轻松导出提高了处理电子病历的效率, 在临床医生和患者之间共享管理结果, 并对数据进行分析以供研究。CAT-FAS 的这些优势提高了临床医生和研究人员的数据管理的整体效率。
结果表明, 具有不同停止规则集的 CAT-FAS 在行政效率和可靠性方面表现出不同的性能。一般来说, 行政效率和可靠性之间存在权衡关系。例如, 与rsch可靠性0.≥90或lri < 0.001 相比, rri < 0.001集具有更高的可靠性和更低的管理效率. lri < 0.010 集具有足够的管理效率和足够的可靠性, 因此被选定为 CAT-FAS 的最后一组停止规则。如果潜在用户需要 sat-fas 具有更高的管理效率或可靠性, 他们可以选择另一组停止规则来管理 CAT-FAS。
CAT-FAS 的前四个项目是在四个域中的每个域中选择的。此设计可以防止在多维 cat 中可能发生的意外情况。意外情况是, 在不管理该域中的任何项的情况下, 可以估计多 cd 的域的分数。出现意外情况的原因是, 多维 cat 可以使用 (1) 其他域的分数和 (2) 域之间的相关性来估计域的分数, 而不管理任何项目15。相反, CAT-FAS 的前四个项目的项目选择规则承诺至少管理每个域中的一个项目。因此, CAT-FAS 可以提供更具代表性的信息来估计患者的四种功能。
注意到了 CAT-FAS 的三个局限性。首先, 管理的培训时间可能很长, 因为潜在用户必须熟悉物料库中的58个项目, 以及说明和评级标准。其次, CAT-FAS 的四个域不能单独管理。第三, 这里给出的结果是模拟研究, 而不是脑卒中患者的 CAT-FAS 的实际管理。因此, 结果可能与实际行政部门的结果有些不同。今后需要对 CAT-FAS 进行实地测试。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项研究得到了科学和技术部研究赠款 (105-2314-b-002-015-my3) 的支持。
Materials
| Name | Company | Catalog Number | Comments |
| Computer | Any | Compatible with software listed below | |
| MATLAB software | The MathWorks Inc. | http://www.mathworks.com/products/matlab/ | Numerical computing software, which is used in the Protocol Section 1 (Step 1.3) |
| Java Development Kit | Oracle | https://www.oracle.com/java/ | Programming language, which is used in the Protocol Section 1 (Step 1.5) |
References
- Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
- Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
- Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
- Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
- Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
- Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
- Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
- Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
- Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
- Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
- Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
- Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
- Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
- Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
- Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
- Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
- Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
- Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
- Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
- Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
- Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
- Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).
