Summary
ここでは、ストローク (猫-FAS) の機能評価のコンピューター適応型テスト システムを開発するためのプロトコルを提案する.猫 FAS は、十分な信頼性と管理効率 (2 モーター関数 [上下肢]、姿勢制御、および毎日の生活の基本的な活動) の 4 つの機能を同時に評価できます。
Abstract
ストローク (猫-FAS) の機能評価のコンピューター適応型テスト システムは同時が十分な 4 つの機能 (運動機能と下肢上部、姿勢制御、および毎日の生活の基本的な活動) を評価できます。信頼性と管理効率。猫、近代的な測定法は、急速に機能の受験者レベルの信頼できる見積もりを提供を目指しています。猫管理のみいくつかの項目を項目困難度関数の受験者のレベルに一致し、したがって、猫の管理項目が確実に短時間で関数の受験者のレベルを推定するのに十分な情報を提供できます。猫 FAS は、4 つのステップを通じて開発された: (1) 項目銀行を決定する、(2) 停止ルールの決定、(3) 猫-FAS の検証、(4) オンライン管理のプラットフォームを確立します。本研究の結果は、猫 FAS が十分な行政効率を持っていることを示す (平均品目数 = 8.5) と信頼性 (グループ レベル ラッシュ信頼性: 0.88 - 0.93; 個人レベル ラッシュ信頼性: 患者の 70% がラッシュの信頼性スコア ≥0.90) 脳卒中患者の 4 つの機能を同時に評価します。また、猫 FAS は、コンピュータ ベースのテストは、猫 FAS には 3 つの付加的な利点: スコア、データの即時のストレージとデータの容易なエクスポートを自動的に計算します。猫 FAS のこれらの利点は、臨床医および研究者のためのデータ管理に有益になります。
Introduction
上下肢 (UE とル)、姿勢制御、および日常生活 (BADL) の基本的な活動の機能不全は、ストローク1,2,3の主な後遺症です。脳卒中患者のこれらの 4 つの機能の評価、機能不全の患者のレベルを評価、治療目標と計画を設定する臨床医のための基本的なこれらの関数の縦の軌道を監視します。
Fugl-meyer 評価 (FM)、4ストローク (パス) の患者、5 Barthel Index (BI)6の姿勢評価尺度がある UE/ル運動機能、姿勢制御および BADL、評価し良好な心理特性ストローク7,8,9の患者でただし、これらの 3 つの施策から 72 項目の合計は、期間限定の治療セッション内ですべての 3 つの対策を評価する可能性を妨げます。効率的なテスト方法は保証されます。コンピューター適応型テスト (CAT) は、近代的な測定方法です。猫は従来の測定方法と比較して、はるかに少ない時間の10、11,12関数の受験者のレベルのより信頼性の高い推定値を提供します。従来の測定方法で各受験者に同じテスト フォームを受け取る (または項目を設定します)、多くの項目が余りに困難または受験生があまりにも簡単であります。これらの項目は関数の受験者のレベルを推定するため限られた情報を提供する、時間のかかる受験者は。対照的に、猫は、各受験者には、合わせた項目のセットは、選択した項目の難しさのレベルが、受験生の関数のレベルを満たしているを取得します。これらのアイテムは、その特定の受験生のため、ので猫は少ないアイテムで、したがって、はるかに少ない時間で関数の受験者のレベルのより信頼性の高い推定値を提供できます。猫の発展のステップのとおり補足ファイル 1: 付録 1。
猫は、信頼性と効率性の評価を約束ため猫 FAS は以前の 3 つの施策 (FM、パス、および BI)13の行政効率を改善するために開発されました。本稿では、開発と猫 FAS の管理について説明します。このプロトコルは、彼らの猫を開発する研究者とそれを管理する猫 FAS の将来のユーザーのための情報を提供します。また長所と猫 FAS の弱点に取り組みます。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
この研究のプロトコルはローカル施設内審査委員会によって承認された、すべての患者は、インフォームド コンセントを与えた。
1. 猫 FAS の開発
- セカンダリを取得し、FAS から暗号化されたデータ研究シミュレーションを実施する14 (補足ファイル 1: 付録 2)。
注: 研究では、301 患者の合計された医療センターの募集からリハビリテーション病棟、脳卒中発症後 14 d で評価。301 患者 262 患者は繰り返し脳卒中発症後 30 d で評価しました。研究は、(1) (3) プロキシによって入院、(4) のコマンドに従う能力、(5) または個人的にインフォームド・コンセントを与える能力の前に 14 d 内で脳卒中の発症、(2) 脳卒中の初発脳卒中の診断を受けた患者を募集しました。その他の主要な疾患をもった患者は除外しました。各査定セッション患者が FM、パス、BI とよく訓練された療法士によって評価された (補足ファイル 1: 付録 3 5)。- FAS の項目銀行の採用により猫 FAS の項目銀行を設立 (補足ファイル 1: 付録 2 a)。
注: 項目銀行ラッシュ部分的な信用モデル15,16に合う十分な項目を持つ、項目困難度の広い範囲をカバーします。項目銀行には 58 項目が含まれています (補足ファイル 1: 付録 3) FM UE から選択 (26 項目)、FM ル (11 項目) を渡す (12 項目) と BI (9 項目)。 - FAS から項目銀行のすべてのアイテムの項目困難度研究取得 (補足ファイル 1: 付録 2 a -項目の難しさ)。
注: 項目銀行の各項目ラッシュ部分的な信用モデルによって推定される (すなわち、項目難しさ)、項目の難易度を表現するためのパラメーターのセットがあります。猫 FAS は、(1) 困難な関数 (ステップ 1.3.3) の受験者のレベルに合わせた項目を選択する項目困難度を使用し、(2) 関数 (ステップ 1.3.5) の受験者のレベルを推定します。 - FAS の項目銀行の項目にそれぞれの患者の応答 (例えば、0、1、または 2 ポイントの) を取得 (補足ファイル 1: 付録 2 b)。
注: 以前研究14, FAS の項目銀行のすべての項目が、患者に投与しました。このシミュレーション研究の患者のこれらの応答取得され、猫 FAS (ステップ 1.3.4) の項目にシミュレートされた応答 (患者は猫 FAS によって管理されたではない) として使用します。 - 4 つの機能 (BADL、姿勢制御、および UE/ル モーター機能の患者の能力分布を (すなわちスコアの標準偏差 [SD]) を取得します。1 の補足ファイル: 付録 2 C)。
注: 4 つの機能で患者の能力、アイテム銀行評価の最終的なスコア (補足ファイル 1: 付録 2 C)。(ステップ 1.1.3) の各項目に患者の応答に基づいてラッシュの部分的な信用モデルによる以前の研究14では、4 つの機能のスコア (とスコアの SD) を見積もります。本研究ではスコアの SD が取得され、事前情報として猫 FAS (ステップ 1.3.6) の信頼性を計算するために使用します。
- FAS の項目銀行の採用により猫 FAS の項目銀行を設立 (補足ファイル 1: 付録 2 a)。
- 猫 FAS の動作アルゴリズムを決定 (補足ファイル 1: 付録 7)。
- ニュートン Raphson のイテレーション17と 4 つの機能の各患者のスコアの推定最大は事後(地図表示) 法を採用します。
- 項目選択18D 最適性の基準を使用します。フィッシャーの情報行列の最大の決定要因を持つ項目は、管理のための項目バンクから選択されます。
- シミュレーションによる猫 FAS のプロパティを探索するためのルールを停止する 10 の候補セットを採用 (補足ファイル 1: 付録 8)。
注: 最初の 5 つの候補セット」に達している限られた信頼性向上 (LRI) 基準」(すなわちLRI < 0.020 や < 0.015、< 0.010 0.005 < < 0.001)。その他の 5 つの候補セット」に達している LRI 基準または信頼性のしきい値"(すなわち、Rasch 信頼性 ≥ 0.90、前述の 5 つの LRI 基準と共に)。猫13,17のルールを停止する、LRI と信頼性のしきい値が多く採用されています。
- 測定の信頼性および効率 (管理に必要な項目の数) を探るシミュレーション (図 1) の手順 1.3.1 に 1.3.11を介して猫 FAS の。
注:ファイルの補足 1: 付録 9ソフトウェアのスクリーン ショットを示しています。- 停止規則の指定されたセットを使用して (すなわち、最初から連続してステップ 1.2.3 である規則を停止する最後の候補セットする) 猫 FAS (図 1 a) のプロパティを探索します。
- 指定した患者の 4 つの機能 (BADL、姿勢制御、UE の運動機能、ル運動機能) の初期の猫 FAS スコアを 0 に設定 (つまり、最初から、データの最後の患者に引き続いて;図 1 b、C)。
- 適応的管理 (図 1) のための項目バンクから (すなわち、D 最適性の規準)、フィッシャー情報行列の最大の決定要因の項目を選択します。
注: 各項目の情報行列はの 4 つの機能 (ステップ 1.1.2) から項目の難しさ、患者のスコアに基づいて計算されます。猫 FAS が関数/ドメインごとに少なくとも 1 つの項目を管理するためには、4 つの機能から猫 FAS の最初の 4 つの項目が選択されます。 - 1.1.3 (図 1E) のステップから選択した項目の患者の応答を取得します。
- 同時に反復ニュートン ・ ラプソン法プロセス (図 1 階) 地図メソッドを使用して 4 つの関数の猫 FAS スコア (とスコアの標準誤差 [SEs]) を見積もります。19ニュートン ・ ラプソン法の反復の中に、更新スコアと各繰り返しで 4 つの機能の SEs の収束条件が満たされるまで。収束が起こるとき、2 つの連続したイテレーションのスコアの違いは、< 0.001。
- 管理されている項目の数をカウント、保存、最新リニューアル猫 FAS スコア (SEs)、次の数式を使用して各関数の各レベルのラッシュの信頼性を計算します。
1-([SE2ステップ 1.3.5 の]/[ステップ 1.1.4 のスコアの SD2 ])。 - 最後を使用して LRI 更新個人レベルのラッシュの信頼性 (ステップ 1.3.6) を計算する (図 1) の前の推定のマイナス。
- チェック (図 1 H) に会ったかどうか停止規則の指定されたセット (例えば、最初の候補セット) です。されていない場合は、1.3.3 - 1.3.8 停止規則の指定されたセットが満たされるまでの手順を繰り返します。もしそうなら、最新リニューアル猫 FAS スコア (と保存 SEs) と猫 FAS の最終スコア (SEs)。
- 1.3.2 に 1.3.8 すべての患者の投与までの手順を完了 (図 1I) を繰り返します。
- 停止規則の特定のセットを持つ猫 FAS のシミュレーションを完了し、(図 1 j) シミュレーションの結果を保存します。
メモ: 結果する必要があります、(1) 最終猫 FAS スコア (SEs) の 4 つの機能、(2) 猫-FAS (3) (すなわち、各レベルのラッシュ信頼性) 各患者のラッシュ信頼性を完了するために必要なアイテムの数、および (4)すべての患者の平均のラッシュの信頼性。 - 1.3.1 に 1.3.11 の手順、ルールを停止するまでのルールを停止するすべての候補セットが他の候補セット猫 FAS の特性を調べる検討 (図 1 K) を繰り返します。
- 少なくとも 3 つの関数の ≥0.90 の平均ラッシュ信頼性と ≤10.0 の管理の平均の項目によると猫 FAS のルールを停止する最終的なセットを選択します。
- ホームページを開設するためのコンピュータ プログラムを書くことによって猫 FAS のオンライン管理プラットフォームを開発 (補足ファイル 1: 付録 10)。
2. 猫 FAS の管理
- インターネット ブラウザーを使用して猫 FAS のオンライン管理プラットフォームに審査官の電子デバイス (例えばパソコン、タブレット、またはスマート フォン) を接続します。
- 管理システムにログイン (補足ファイル 1: 付録 11)。
- 以前の受験者からデータにアクセスするデータ管理をクリックして (補足ファイル 1: 付録 12)。
- 新しい受験生受験者の名前と ID 番号を入力して新しい受験用のアカウントを作成するをクリックします。
- 受験を選択し、[スタート] ボタン (補足ファイル 1: 付録 13)。
- 新しい評価結果を以前の受験者の評価の結果を確認するをクリックを新しい評価を作成またはをクリックします。
- 受験者には、画面上に表示される項目を管理 (補足ファイル 1: 付録 14)。
- 画面の下部に示されている評価尺度をクリックして受験者のパフォーマンスや応答を評価 (補足ファイル 1: 付録 14)。
- 受験生の 95% の区間、T スコアの百分位数のランク、猫 FAS の 4 つの機能の信頼性、T スコアを含むに猫 FAS の結果を説明します。これらの結果が計算され、猫 FAS によって自動的に表示されます (補足ファイル 1: 付録 15)。
- [Ok]をクリックして、データの管理] ページに戻ります。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
シミュレーションの結果、規則を停止する 10 候補セットが十分な平均ラッシュ信頼性を持っていたこと (0.86 - 0.95) と管理効率の変化 (平均品目数 = 6.4 17.5)。信頼性と管理効率のセットとの間のトレードオフを考慮したLRI < 0.010猫 FAS のルールを停止するラッシュの十分な平均の信頼性のための最適なセットとして選ばれた (0.88 - 0.93、の表 1 を参照してください。)、個人レベルのラッシュの信頼性 (患者の 70% は ≥0.90 のラッシュ信頼性を持っていた) と行政効率化 (平均項目数 = 8.5、表 2を参照)。
図 1: 猫 FAS のパフォーマンスを調べるプロセス経由でシミュレーション解析します。この図は測定の信頼性および効率 (管理に必要な項目の数) を探索のプロセス ルールを停止の 10 候補を猫 FAS の。この図の拡大版を表示するのにはここをクリックしてください。
| 平均 | 信頼性 ≥ 0.90 患者の % | |
| 猫 FAS | ||
| UE の運動機能 | 0.88 | 69.8 |
| ル運動機能 | 0.9 | 76.2 |
| 姿勢制御 | 0.93 | 88.6 |
| BADL | 0.9 | 78.9 |
| 項目銀行 (58 件) | ||
| UE の運動機能 | 0.9 | 69.4 |
| ル運動機能 | 0.92 | 77.4 |
| 姿勢制御 | 0.96 | 96 |
| BADL | 0.94 | 93.4 |
| UE: 上肢;ル: 下肢;BADL: 毎日の生活の基本的な活動 | ||
表 1: 猫 FAS のラッシュ信頼性。猫-FAS 〜 0.93 0.88 平均ラッシュ 4 つの機能性および個人レベルのラッシュ信頼性 ≥0.90 ラッシュ信頼性を持つ参加者の 70% を示しています。
| 平均 | 範囲 | % の患者の 5-10 のアイテムを使用して | 使用して患者の % | |
| > 10 項目 | ||||
| 猫 FAS | 8.5 | 〜 4 13 | 66.4 | 19.5 |
表 2: 猫 FAS の効率 (項目数).管理に必要な項目の数の平均値は 8.5 です。(66.4%) のほとんどの参加者は、5-10 の項目を使用して評価されました。
1 の補足ファイル。このファイルをダウンロードするここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
ここで示した結果を示した猫 FAS が元のテストの項目の約 10% を管理 (猫 FAS で使用される項目の平均数: 8.5 項目対元のテスト: 72 項目)。猫 FAS が効率の良い管理を持っていることが示唆されました。結果報告のみ約 10 項目を猫に投与前の調査に伴いされた以下のストローク10、11,20患者における日常生活活動やバランス、社会的機能を評価します。猫-FAS、管理効率の良いを持っていることは患者と臨床医の両方の時間と負担を削減する大きな可能性を秘めてをいます。
猫 FAS の平均のラッシュの信頼性は、0.88 - 0.93、および患者の 70% は ≥0.90 のラッシュ信頼性を持っていたよりもより多くだった。これらの結果は、脳卒中患者の猫 FAS の良いラッシュ信頼性を明らかにします。猫 FAS の良いラッシュ信頼性は 2 つの要因に起因することができます: [サウンド] 項目銀行と多次元の特徴。まず、猫 FAS の項目バンクには14それぞれのドメインの機能レベルの広い範囲をカバーする 58 のアイテムが含まれます。項目銀行の十分な品目の補充は、確実に関数の受験者のレベルを推定するのに十分な情報を提供できます。第二に、猫 FAS は、多次元の猫 (すなわち、猫 FAS の 4 つのドメイン)、患者の項目応答の任意のドメインを使用できる患者の能力を同時に推定する (スコア) の相関関係を考慮したすべての 4 つのドメインのすべてのドメイン。多次元の猫のこの機能は、多次元の猫21,22の以前の研究でラッシュの信頼性を向上させる実証されています。ラッシュ信頼性の良い猫 FAS を使用して、限られたランダムな測定誤差と 4 つの機能 (UE/ル運動機能、姿勢制御、および BADL) の患者のレベルを正確に調整できます。
また、猫 FAS は、コンピュータ ベースのテストは、猫 FAS には 3 つの付加的な利点: スコア、データの即時ストレージとデータの容易なエクスポートの自動計算。スコアの自動計算は、審査時間を節約し、得点にミスを低減します。データの即時ストレージ受験者の 4 つの機能の縦断的推移を監視の効率が向上します。データの容易なエクスポート電子医療記録を処理、臨床医と患者の間に管理結果の共有と研究データの分析の効率が向上します。猫 FAS のこれらの利点は、臨床医および研究者のためのデータ管理の全体的な効率を向上させます。
ここで示された結果は、猫 FAS 停止規則の異なるセットを使用の管理の効率と信頼性の異なる性能を示したことを明らかにしました。一般的には、管理の効率と信頼性のトレードオフの関係が見つかりました。たとえば、一連のLRI < 0.001高い信頼性を有し、 Rasch 信頼性 ≥ 0.90のセットと比較して低い管理効率またはLRI < 0.020。セットLRI < 0.010猫 FAS のルールを停止する最終的なセットとして選ばれたので十分な行政の効率化と十分な信頼性を持っていた。将来のユーザーが、管理効率や信頼性猫 FAS 場合猫 FAS を管理するためのルールを停止するの別のセットを選択できます。
猫 FAS の最初の 4 つの項目は、それぞれ 4 つのドメインの選択されました。このデザインは、多次元の猫で発生する不測の事態を防ぐことができます。不測の事態は、多次元猫のドメインのスコアがそのドメインからすべての項目を管理することがなく推定することです。多次元の猫は任意項目なしドメインのスコアを予測するドメイン間で (1) (2) の相関関係とその他のドメインのスコアを使用できるために不測の事態が発生する15を管理されています。対照的に、各ドメインから少なくとも 1 つの項目の最初の 4 項目約束の猫 FAS の項目選択ルールを管理しています。したがって、猫 FAS は、患者の 4 つの機能を推定する代表的な情報を提供できます。
猫 FAS の 3 つの制限が気づかれます。まず、見込みユーザー項目銀行の 58 項目と手順と評価基準を理解するため、管理のトレーニング時間が長くなる可能性があります。第二に、猫 FAS の 4 つのドメインを個別に管理できません。第三に、ここで示された結果は脳卒中患者の猫 FAS の実際の運営ではなくシミュレーション研究からだった。そのため、結果は、実際の管理のものと多少異なってあります。猫 FAS のフィールド テストは、将来的に保証されています。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者が明らかに何もありません。
Acknowledgments
本研究は、科学技術省から研究助成金によって支えられた (105-2314-B-002-015-MY3)。
Materials
| Name | Company | Catalog Number | Comments |
| Computer | Any | Compatible with software listed below | |
| MATLAB software | The MathWorks Inc. | http://www.mathworks.com/products/matlab/ | Numerical computing software, which is used in the Protocol Section 1 (Step 1.3) |
| Java Development Kit | Oracle | https://www.oracle.com/java/ | Programming language, which is used in the Protocol Section 1 (Step 1.5) |
References
- Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
- Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
- Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
- Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
- Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
- Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
- Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
- Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
- Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
- Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
- Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
- Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
- Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
- Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
- Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
- Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
- Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
- Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
- Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
- Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
- Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
- Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).
