Method Article

Компьютеризированная адаптивного тестирования системы функциональной оценки хода

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Здесь мы представляем протокол для разработки Компьютеризированная адаптивного тестирования системы функциональной оценки хода (CAT-FAS). CAT-ФАС может одновременно оценить четыре функции (две моторные функции [верхних и нижних конечностей], постурального контроля и основные мероприятия повседневной жизни) с достаточной надежностью и административной эффективности.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Компьютеризированная адаптивного система тестирования функциональной оценки хода (CAT-ФАС) одновременно может оценить четыре функции (двигательные функции верхних и нижних конечностей, постурального контроля и основные мероприятия повседневной жизни) с достаточной надежность и административной эффективности. КОШКА, современные измерения метод, стремится обеспечить достоверную оценку уровня испытуемого функции быстро. CAT управляет только несколько пунктов, в которых элемент трудности матч испытуемого уровень функции, и, таким образом, управляемых элементов кошка может обеспечить достаточную информацию, чтобы достоверно оценить испытуемого уровень функции в короткое время. CAT-FAS был разработан через четыре этапа: (1) определение элемента банк, (2) определение правил остановки, (3) проверка CAT-FAS и (4) создание платформы онлайн администрации. Результаты этого исследования показывают, что кошка-ФАС имеет достаточную административную эффективность (среднее количество элементов = 8,5) и надежность (Группа уровень надежности Rasch: 0.88 - 0,93; индивидуальном уровне Rasch надежность: ≥70% пациентов имели Rasch надежность Оценка ≥0.90) одновременно оценить четыре функции у больных с инсультом. Кроме того, потому что кошка-FAS компьютерный тест, CAT-ФАС имеет три дополнительные преимущества: Автоматический расчет баллов, немедленное хранения данных и легко экспорта данных. Эти преимущества CAT-ФАС будет полезным для управления данными для врачей и исследователей.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Дисфункций верхних и нижних конечностей (UE и LE), постурального контроля и основные мероприятия повседневной жизни (BADL) являются крупные следы инсульта1,2,3. Оценка этих четырех функций у больных с инсультом имеет основополагающее значение для клиницистов, оценить уровни пациентов дисфункций, цели лечения и планы и мониторинга продольной траекторий этих функций.

Оценки Fugl-Майер (FM),4 постуральной шкалы налогообложения для инсульта пациентов (PASS),5 и Бартель индекс (BI)6 имеют хорошие психометрические свойства для оценки UE/LE двигательные функции, постурального контроля и BADL, соответственно у больных с ход7,8,9. Однако в общей сложности 72 предметов из этих трех мер препятствует возможности оценки все три меры внутри врем лимитированную терапевтической сессии. Более эффективный метод тестирования является оправданным. Компьютеризированная адаптивного тестирования (CAT) — это метод современные измерения. По сравнению с обычными измерения методами, CAT обеспечивает более надежную оценку испытуемого уровня функции в гораздо меньше времени по10,,1112. В методы обычного измерения каждый испытуемый получает ту же форму тестирования (или элемент задает), в котором многие элементы являются слишком трудно или слишком легко для испытуемого. Эти элементы предоставляют ограниченную информацию для оценки испытуемого уровень функции и много времени для испытуемых. В отличие от этого в Кот, каждый испытуемый получает набор с учетом пункта, в котором уровень сложности выбранных элементов соответствует уровень функция испытуемый. Потому что эти элементы, предназначенные для этого конкретного испытуемого, кошка может обеспечить более достоверную оценку уровня испытуемого функции с меньшим количеством элементов и, таким образом, в гораздо меньше времени. Показаны этапы развития CAT дополнительный файл 1: приложение 1.

Потому что кошка обещает надежной и эффективной оценки, CAT-FAS была разработана для повышения административной эффективности три меры, ранее используемые (FM, перевал и BI)13. Этот документ описывает развитие и управление Кот-ФАС. Этот протокол предоставляет информацию для исследователей, чтобы развивать их кошки и для потенциальных пользователей CAT-FAS для его администрирования. Мы также обращаемся, сильные и слабые стороны в Кот-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол исследования был одобрен Советом местного институционального обзора, и дал всем пациентам информированного согласия.

1. развитие Кот FAS

  1. Получить среднее и зашифрованных данных от ФАС исследования14 проводить моделирование (дополнительный файл 1: Добавление 2).
    Примечание: В исследовании, в общей сложности 301 пациентов были набранных ФРОМА Уорд реабилитации медицинского центра и оценены на 14 d после наступления инсульта. Среди пациентов, 301 262 больных были неоднократно оценены на 30 d после наступления инсульта. Исследование на работу пациентов, которые (1) диагноз инсульта, (2) первого наступления инсульта, (3) начало инсульта в течение 14 d до госпитализации, (4 возможность следовать команды и (5) возможность дать осознанное согласие, лично или по доверенности. Пациенты, которые имели других основных заболеваний были исключены. В каждой оценке сессии, пациенты были оценены с FM, перевал и BI хорошо подготовленных трудотерапии (дополнительный файл 1: приложения 3-5).
    1. Создание элемента банк CAT-ФАС, приняв пункт Банк ФАС (дополнительный файл 1: Приложение 2A).
      Примечание: Пункт Банк имеет достаточные элементы подходят Rasch частичные кредитные модель15,16 и охватывает широкий спектр пункт трудности. Банк элемент содержит элементы, 58 (дополнительный файл 1: Добавление 3) из FM-UE (26 наименований), FM-Ле (11 единиц), ПЕРЕДАВАТЬ (12 единиц) и BI (9 элементов).
    2. Восстановить пункт трудности всех элементов пункта Банк от ФАС исследование (дополнительный файл 1: Приложение 2A -пункт трудности).
      Примечание: Каждый элемент в элемент Банк имеет набор параметров изображать сложности элемента (то есть, элемент трудности), которые оцениваются в частичные кредитные модели Rasch. CAT-FAS использует трудности пункт (1) выберите элементы с трудностями, с учетом уровня испытуемого функции (шаг 1.3.3) и (2) оценить испытуемого уровень функции (шаг 1.3.5).
    3. Получить ответы каждого пациента (например, 0, 1 или 2 точки) к пунктам повестки дня банка ФАС (дополнительный файл 1: добавление 2B).
      Примечание: В предыдущих исследований14, все элементы пункта банка ФАС вводили пациентам. В этом исследовании моделирование эти ответы пациентов были извлечены и используется в качестве имитации ответы (пациенты были не в ведении CAT-FAS) элементы CAT-FAS (шаг 1.3.4).
    4. Получить способность распределения (т.е., стандартное отклонение [SD] баллов) пациентов в четырех функций (BADL, постурального контроля и UE/LE двигательных функций; Дополнительный файл 1: приложение 2 C).
      Примечание: Способности пациентов в четырех функций являются окончательной оценки оценки банка пункт (дополнительный файл 1: приложение 2C). Баллы (и SD баллов) из четырех функций оцениваются в предыдущем исследовании14 Rasch частичные кредитные модели, основанной на ответы пациентов для каждого элемента (шаг 1.1.3). В этом исследовании SD оценки извлекается и используется в качестве предварительной информации для расчета надежности CAT-FAS (шаг 1.3.6).
  2. Определить алгоритмы CAT-FAS (дополнительный файл 1: Добавление 7).
    1. Принять Максимальная a posteriori (карта) метод для оценки каждого пациента десятки четырех функций с Ньютона-Рафсона итерации17.
    2. Используйте критерий D-оптимальности для выбора пункта18. Из пункта банка для администрации выбран элемент с максимальной определитель матрицы информации Фишера.
    3. Принимать 10 комплектов кандидат остановки правила для изучения свойств Кот-FAS через моделирование (дополнительный файл 1: Добавление 8).
      Примечание: Первые пять кандидатов наборы «достигают ограниченной надежностью увеличение (НСИ) критерий» (т.е., НСИ < 0,001, < 0,005, < 0,010, < 0,015 или < 0,020). Другие наборы пять кандидатов «достигают НСИ критерий или порог надежности» (т.е., Rasch надежности ≥ 0.90, в паре с вышеупомянутых пяти критериев НСИ). НСИ и порог надежности часто принимаются остановки правила в кошки13,17.
  3. Исследуйте измерения надежности и эффективности (количество предметов, необходимых для администрирования) CAT-FAS через шаги 1.3.1 для 1.3.11 моделирования (рис. 1).
    Примечание: дополнительный файл 1: Добавление 9 показывает скриншот программного обеспечения.
    1. Использовать указанный набор правил остановки (т.е., от первого до последний кандидат наборы остановки правила, которые находятся на этапе 1.2.3, последовательно) для изучения свойств Кот-FAS (рис. 1A).
    2. Первоначальный CAT-FAS десятки четырех функций (BADL, постурального контроля, UE двигательной функции и LE моторики) присвоено значение 0 для указанного пациентов (т.е., от первого до последнего пациента в данных, последовательно; Рисунок 1B,C).
    3. Адаптивное выберите элемент с максимальной определитель матрицы информации Фишера (то есть, критерий оптимальности D) из пункта банка для администрации (рис. 1 d).
      Примечание: Информационной матрицы каждого элемента рассчитывается на основе оценки пациента четырех функций и сложности элемента (из шага 1.1.2). Чтобы гарантировать, что CAT-FAS управляет по крайней мере одного элемента в каждом домене/функция, первых четырех пунктов CAT-FAS выбираются из четырех функций.
    4. Получения ответа пациента для выбранного элемента из шага 1.1.3 (Рисунок 1E).
    5. Одновременно оцените CAT-FAS баллов (и стандартные ошибки [СЭС] баллов) из четырех функций, с помощью метода MAP с итеративный процесс Ньютона-Рафсона (Рисунок 1F). 19 в процессе итеративной Ньютона-Рафсона, возобновить баллы и SEs четырех функций в каждой итерации до тех пор, пока Критерий сходимости. Совпадение происходит, когда различия в баллах в двух последовательных итераций < 0,001.
    6. Подсчитать количество элементов, которые находятся в ведении, сохранить Последнее возобновление CAT-FAS баллов (и СЭС) и рассчитать индивидуальном уровне Rasch надежность каждой функции, используя следующую формулу:
      1 - ([SE2 шага 1.3.5] / [SD2 десятки шаг 1.1.4]).
    7. Рассчитать НСИ, используя последний вновь индивидуальном уровне надежности Rasch (шаг 1.3.6) минус что предыдущие оценки (Рисунок 1 g).
    8. Проверка того, является ли указанный набор (например, первый набор кандидата) остановки правила встретился (рис. 1 H). Если нет, то повторите шаги 1.3.3 - 1.3.8 до тех пор, пока указанный набор остановки правила выполнены. Если это так, сохраните Последнее возобновление CAT-FAS баллов (и СЭС) а окончательной оценки CAT-FAS (SEs).
    9. Повторите шаги 1.3.2 для 1.3.8 до тех пор, пока все пациенты администраций являются завершения (Рисунок 1I).
    10. Закончить моделирование CAT-ФАС с конкретным набором правил остановки и сохраните результаты моделирования (Рисунок 1J).
      Примечание: Результаты должны включать (1) окончательный CAT-FAS баллов (и SEs) из четырех функций, (2 количество элементов, необходимых для завершения CAT-ФАС, (3) Rasch надежность каждого пациента (то есть, индивидуальном уровне Rasch надежности) и (4 средняя надежность Rasch всех пациентов.
    11. Повторите шаги 1.3.1 для 1.3.11 для изучения свойств Кот-ФАС с другими наборами кандидат остановки правила до тех пор, пока все наборы кандидат остановки правила являются изучены (рис. 1 K).
  4. Выберите конечный набор остановки правила для CAT-ФАС согласно средняя надежность Rasch ≥0.90 в по крайней мере три функции и среднее элементов управления ≤10.0.
  5. Развивать платформу онлайн администрации для CAT-ФАС, написав компьютерную программу для создания веб-сайта (дополнительный файл 1: Добавление 10).

2. Администрация CAT-FAS

  1. Подключите экзаменатор электронное устройство (например, персональный компьютер, планшет или смартфон) к платформе онлайн администрации CAT-ФАС, с помощью Интернет-браузера.
  2. Войдите в систему администрации (дополнительный файл 1: Приложение 11).
  3. Нажмите кнопку Управление данными для доступа к данным из предыдущих испытуемых (дополнительный файл 1: Добавление 12).
  4. Щелкните новый претендент для создания учетной записи для нового испытуемого, введя имя и идентификационный номер испытуемого.
  5. Выберите обследуемого и нажмите кнопку начать (дополнительный файл 1: Добавление 13).
  6. Щелкните новую оценку для создания новой оценки или нажмите кнопку результаты для обзора результатов предыдущих оценок испытуемого.
  7. Администрировать элементы, отображаемые на экране, чтобы тестируемый (дополнительный файл 1: Добавление 14).
  8. Оцените производительность или ответов испытуемого, нажав рейтинговой шкале показано в нижней части экрана (дополнительный файл 1: Добавление 14).
  9. Объясните результаты CAT-FAS испытуемого, в том числе Т-баллов с 95% интервал, ряды процентиль Т-баллов и надежностей четырех функций CAT-ФАС. Эти результаты рассчитываются и отображаются автоматически CAT-ФАС (дополнительный файл 1: Приложение 15).
  10. Нажмите кнопку ОК и вернитесь на страницу управления данными .

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Результаты моделирования показали, что 10 кандидат наборы правил остановки достаточно средняя надежность Rasch (0,86 - 0,95) и разнообразных административной эффективности (среднее количество элементов = 6.4-17,5). Учитывая компромисс между надежностью и административной эффективности, набор НСИ < 0,010 был выбран оптимальный набор остановки правила для CAT-FAS из-за его достаточно средняя надежность Rasch (0,88 - 0,93, см Таблица 1 ), индивидуальном у...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Здесь представлены результаты показали, что кошка-FAS осуществляется около 10% элементов в первоначальных испытаний (среднее количество предметов, используемых в CAT-ФАС: 8.5 пунктов против первоначальных испытаний: 72 элементы). Эти результаты показывают, что кошка-ФАС имеет хорошие административной эффективности. Результаты были в соответствии с предыдущими исследованиями, которые сообщили, что кошка под только около 10 пунктов или меньше, чтобы оценить социальную функцию, баланс или мероприятий повседневной ж...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы не имеют ничего сообщать.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование было поддержано научно-исследовательских грантов от министерства науки и технологии (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
КомпьютерЛюбой:Совместимый с программным обеспечением, перечисленным ниже
: Программное обеспечение MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Программное обеспечение для численных вычислений, которое используется в разделе протокола 1 (шаг 1.3)
Java Development KitOracle https://www.oracle.com/java/язык программирования, который используется в разделе протокола 1 (шаг 1.5)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles