Method Article

Bilgisayarlı Adaptive test sistemi işlevsel değerlendirme inme

DOI:

10.3791/58137

⸱

January 7th, 2019

 ,  ,  ,  , 
1School of Occupational Therapy, College of Medicine, National Taiwan University, 2Research Center for Psychological and Educational Testing, National Taiwan Normal University, 3Department of Occupational Therapy, College of Medicine, Fu Jen Catholic University, 4Department of Physical Medicine and Rehabilitation, National Taiwan University Hospital, 5Department of Occupational Therapy, College of Medical and Health Science, Asia University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Burada, inme (kedi-FAS) işlevsel değerlendirme bilgisayarlı adaptive test sistemi geliştirmek için bir protokol mevcut. KEDİ-FAS aynı anda dört işlevleri (iki motor işlevlerinin [üst ve alt ekstremitelerde], postür denetim ve temel günlük yaşam aktivitelerinin) yeterli güvenilirlik ve yönetim verimliliği ile değerlendirir.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Kontur (kedi-FAS) işlevsel değerlendirme bilgisayarlı adaptive test sistemi aynı anda dört fonksiyonları (üst ve alt ekstremitelerde, postür denetim ve temel günlük yaşam aktivitelerinin motor fonksiyonları) ile yeterli değerlendirebilir güvenilirlik ve yönetim verimliliği. KEDİ, modern ölçüm yöntemi, güvenilir bir tahmin fonksiyonunun cebabı'nın düzeyinin hızla sunmayı amaçlamaktadır. KEDİ yalnızca birkaç öğe işlev bir cebabı'nın düzeyinde olan madde zorluklar maç yönetir ve böylece, kedi yönetilen öğeleri cebabı'nın düzey işlev kısa sürede güvenilir bir şekilde tahmin etmek için yeterli bilgi sağlar. KEDİ-FAS dört adım adım geliştirilmiştir: (1) madde banka belirlenmesi, (2) durdurma kuralları belirleme, (3) kedi-FAS doğrulanıyor ve (4) bir platform online yönetim kurulması. Bu çalışmanın sonuçları kedi-FAS yeterli yönetimsel verimliliği olmadığını belirtmek (ortalama öğe sayısı 8,5 =) ve güvenilirlik (grup düzeyi Rasch güvenilirlik: 0,88 - 0.93; birey düzeyinde Rasch güvenilirlik: Hastaların ≥70% vardı Rasch güvenilirlik skor ≥0.90) aynı anda inmeli hastalarda dört işlevleri değerlendirmek için. Buna ek olarak, kedi-FAS bilgisayar tabanlı sınav olduğundan, kedi-FAS yoktur üç ek avantajlar: otomatik hesaplama puanları, hemen veri depolama ve kolay veri verme. Bu kedi-FAS avantajları klinisyenler ve araştırmacılar için veri yönetimi için yararlı olacaktır.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Üst ve alt ekstremitelerde (UE ve LE), postür denetim ve günlük yaşam (BADL) temel faaliyetleri işlev bozuklukları kontur1,2,3büyük sekeller vardır. İnmeli hastalarda dört bu işlevlerin değerlendirilmesi işlev bozuklukları hastaların düzeylerini değerlendirmek, tedavi hedefleri ve planları klinisyenler için esastır ve bu işlevlerin boyuna yörüngeleri izlemek.

Fugl-Meyer değerlendirme (FM),4 kontur hastalar (PASS),5 ve6 Barthel dizin (BI) Postural değerlendirme ölçeği UE/LE motor fonksiyonları, postür denetim ve BADL değerlendirmek için iyi psikometrik özellikleri var, sırasıyla, hastalarda inme7,8,9. Ancak, bu üç önlemleri gelen 72 maddelerin toplam tüm üç önlemleri zaman-mahdut tedavi oturum içinde değerlendirilmesi fizibilite engellemektedir. Daha verimli bir test yöntemi garanti kapsamındadır. Bilgisayarlı adaptive (CAT) test modern ölçüm yöntemidir. Geleneksel ölçüm yöntemleri ile karşılaştırıldığında, kedi fonksiyonunu kullanabilirsiniz çok daha az saat10,11,12cebabı'nın düzeyinin daha güvenilir bir tahmin sağlar. Geleneksel ölçüm yöntemleri, her cebabı aynı sınama formu alır (veya madde ayarlar), birçok bileşen çok zor ya da cebabı için çok kolay olan. Bu öğeler işlev düzeyini cebabı'nın tahmin etmek için sınırlı bilgi sağlamak ve zaman yoğun examinees için. Buna ek olarak, kedi, her cebabı seçili öğeleri zorluk derecesine cebabı işlev düzeyini karşılayan bir özel öğe kümesini alır. Çünkü bu öğeleri için belirli o cebabı uyarlanır, kedi bir daha güvenilir tahmin işlev düzeyini cebabı'nın daha az öğe ile ve bu nedenle çok kısa sürede sağlayabilir. KEDİ geliştirme adımları gösterilmektedir ek dosya 1: ek 1.

KEDİ güvenilir ve verimli değerlendirmeler vaat ediyor çünkü kedi-FAS daha önce kullanılan üç önlemleri (FM, PASS ve BI)13idari verimliliğini artırmak için geliştirilmiştir. Bu kağıt geliştirme ve kedi-FAS yönetimini açıklar. Bu iletişim kuralı için onların CATs geliştirmek araştırmacılar ve kediyi yönetileceği FAS potansiyel kullanıcıları için bilgi sağlar. Biz de güçlü ve zayıf yönlerini kedi-FAS adresi.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma protokolü yerel kurumsal İnceleme Kurulu tarafından kabul edildi ve tüm hastalar onay verdi.

1. kedi-FAS gelişimi

  1. İkincil almak ve FAS şifreli verileri çalışma simülasyonlar yapmak için14 (ek dosya 1: ek 2).
    Not: Çalışma, Toplam 301 hastaların işe froma rehabilitasyon ward bir tıp merkezinin vardı ve kontur başlangıçlı sonra 14 d değerlendirildi. 301 hastaları arasında 262 hastalar tekrar tekrar kontur başlangıçlı sonra 30 d değerlendirildi. Çalışma (1) bir tanı kontur, kontur (2) ilk başlangıcı, (3) kontur yatış, komutları takip yeteneği (4) ve (5) yeteneği bizzat ya da onay vermek için vekil tarafından önce 14 d içinde başlangıcı olan hastalarda işe. Diğer önemli hastalıklar olan hastalar dışlandı. Her değerlendirme oturum hasta FM, PASS ve bı iyi eğitimli bir mesleki terapist tarafından değerlendirildi (ek dosya 1: Appendices 3-5).
    1. FAS madde Bankası benimseyerek kedi-FAS Madde banka kurmak (ek dosya 1: ek 2A).
      Not: Madde banka Rasch kısmi kredi modeli15,16 uygun yeterli öğe vardır ve öğe zorluklar geniş bir alanı kapsamaktadır. Madde banka 58 bileşen içerir (ek dosya 1: ek 3)--dan FM UE seçili (26 bileşen), FM-LE (11 öğe), pas (12 öğe) ve BI (9 öğeler).
    2. FAS madde bankadan tüm öğelerin öğe zorluklar eğitim alma (ek dosya 1: ek 2A -madde zorluk).
      Not: Her madde madde bankada Rasch kısmi kredi modeli tarafından tahmin edilen maddenin (Örneğin, madde zorluklar), zorluk tasvir parametreleri belirledi. KEDİ-FAS (1) işlevi (adım 1.3.3) cebabı'nın seviyesine uygun zorluklarla öğeleri seçmek için öğe zorluklar kullanır ve (2) cebabı'nın düzey işlev (adım 1.3.5) tahmin ediyoruz.
    3. FAS madde Bankası öğeleri için her hastanın yanıt (Örneğin, 0, 1 veya 2 puan) almak (ek dosya 1: ek 2B).
      Not: önceki çalışmalar14' te, hastalara FAS madde Bankası tüm öğeleri idare. Bu simülasyon çalışmada, hastaların bu yanıt alındı ve kedi-FAS (adım 1.3.4) öğeleri simüle yanıtlarını (hasta değil yönetilen tarafından kedi-FAS) kullanılıyor.
    4. Yetenek dağılımı (Yani, puanlarının standart sapma [SD]) (BADL, postür denetim ve UE/LE motor işlevlerinin; dört işlevleri hastalarda almak Ek dosya 1: ek 2 C).
      Not: Dört işlevleri hastalarda yeteneklerini değerlendirmesi madde bankanın son puanları vardır (ek dosya 1: ek 2C). Dört işlevleri puanları (ve SD puanlarının) bir önceki çalışmada14 ' te hastaların yanıt her öğeye (adım 1.1.3) dayalı Rasch kısmi kredi modeli tarafından tahmin edilir. Bu çalışmada, SD puanlarının alındı ve ön bilgi kedi-FAS (adım 1.3.6) güvenilirliğini hesaplanmasında kullanılacak.
  2. KEDİ-FAS operasyonel algoritmaları belirler (ek dosya 1: ek 7).
    1. Her hastanın puanları Newton-Raphson yineleme17ile dört fonksiyonların tahmin etmek için en fazla sonsal (Harita) yönteminin benimsenmesi.
    2. D-optimum kriteri madde seçimi18için kullanın. En büyük belirleyici bir öğeyle Fisher bilgi matris öğesi banka yönetim için seçilir.
    3. KEDİ-FAS simülasyon yoluyla özelliklerini keşfetmek için kurallar durdurmak 10 aday set evlat edinmek (ek dosya 1: ek 8).
      Not: İlk beş aday setleri "sınırlı güvenilirlik artış (LRI) ölçüt ulaşan" (yani, bir LRI < 0,001, < 0.005, < 0.010, < 0,015 veya < 0.020). Diğer beş aday setleri "ulaşan LRI ölçüt veya eşik güvenilirlik" (yani, bir Rasch güvenilirlik ≥ 0.90, söz konusu beş LRI kriterleri ile eşleştirilmiş). LRI ve güvenilirlik eşiğinde sık kediler13,17kurallar durdurma kabul edilir.
  3. Ölçüm güvenilirlik ve verimlilik (Yönetim için gereken madde numarası) keşfetmek kedi-FAS üzerinden adımları 1.3.1-1.3.11 simülasyon (Şekil 1).
    Not: ek dosya 1: ek 9 yazılım ekran gösterir.
    1. Kuralları durdurma belirtilen kümesi kullanın (yani, ilk adım 1.2.3, art arda olan kurallar durdurma son aday kümelerine) kedi-FAS (Şekil 1A) özelliklerini keşfetmek için.
    2. İlk kedi-FAS puanları (BADL, postür denetim, UE motor fonksiyon ve LE motor işlevleri) dört fonksiyonların belirtilen hastalar için 0 olarak ayarlayın (Örneğin, ilk veri, son hastası için sırayla; Şekil 1B,C).
    3. Uyarlanabilir şekilde madde banka Yönetim (Şekil 1 d) için en fazla belirleyici bir öğeyle Fisher bilgi Matrix (yani, D-optimum kriteri) seçin.
      Not: Bilgi matris her öğenin dört işlevleri ve maddenin zorluk (Kimden adım 1.1.2) bir hastanın puanları hesaplanır. KEDİ-FAS her işlev/etki alanında en az bir öğe yönetir emin olmak için kedi-FAS ilk dört öğeleri dört işlevlerden seçilir.
    4. Seçili öğeye hastanın yanıtından adım 1.1.3 (Şekil 1E) edinin.
    5. Aynı anda dört fonksiyonların bir yinelemeli Newton-Raphson işlem (Şekil 1F) ile harita yöntemiyle kedi-FAS puanları (ve puanlarının standart hataları [SEs]) tahmin ediyoruz. 19 yakınsama kriteri tanışana kadar puanları ve her yineleme dört fonksiyonların SEs yinelemeli Newton-Raphson işlemi sırasında yenilemek. Yakınsama oluşur puanlarında iki ardışık yinelemeler arasındaki farklar < 0,001.
    6. Yönetilen öğelerin sayısını, en son yenilenen kedi-FAS puanları (ve SEs) kaydedin ve birey düzeyinde Rasch güvenilirlik her işlev aşağıdaki formülü kullanarak hesaplar:
      1 - ([SE2 adım 1.3.5] / [SD2 adım 1.1.4 puanları]).
    7. Son kullanarak LRI yenilenmiş birey düzeyinde Rasch güvenilirlik (adım 1.3.6) hesaplamak eksi bu önceki tahmin (Şekil 1G).
    8. Kontrol kuralları durdurma belirtilen kümesi (Örneğin, ilk aday kümesi) olup (Şekil 1 H) bir araya geldi. Eğer değilse, adımları 1.3.3 - kuralları durdurma belirlenen tanışana kadar 1.3.8 yineleyin. Eğer öyleyse, en son yenilenen kedi-FAS puanları (ve SEs) son kedi-FAS puanları (ve SEs) olarak kaydedin.
    9. Tüm hastalar idareleri olana 1.3.8 1.3.2 merdiven (Şekil 1I) yineleyin.
    10. KEDİ-FAS simülasyon kuralları durdurma belirli kümesi ile bitirmek ve simülasyon (Şekil 1J) sonuçlarını kaydetme.
      Not: Sonuçları (1 son kedi-FAS puanları (SEs) (2) (3) (yani, birey düzeyinde Rasch güvenilirlik) her hastanın Rasch güvenilirliğini kedi-FAS tamamlamak için gereken öğe sayısını dört fonksiyonların, içermelidir ve (4) Tüm hastaların ortalama Rasch güvenilirlik.
    11. KEDİ-FAS özellikleri kuralları durdurma tüm aday kümeleri kadar kuralları durdurma diğer aday ayarlar ile keşfetmek için adımları 1.3.1-1.3.11 (Şekil 1 K) araştırdı yineleyin.
  4. KEDİ-FAS göre ≥0.90 en az üç işlevi içinde ortalama Rasch güvenilirliğini ve ≤10.0 İdaresi ortalama öğeleri için kurallar durdurma son set seçin.
  5. Bir Web sitesi kurmak için bir bilgisayar programı yazarak kedi-FAS için bir online yönetim platformu geliştirmek (ek dosya 1: ek 10).

2. Yönetim kedi-FAS

  1. Sınav elektronik aygıtı (Örneğin, kişisel bilgisayar, tablet veya smartphone) bir Internet tarayıcısı kullanarak kedi-FAS online yönetim platformu bağlayın.
  2. Oturum yönetim sistemi (ek dosya 1: ek 11).
  3. Önceki examinees verilere erişmek için veri yönetimi ' ni (ek dosya 1: ek 12).
  4. Cebabı'nın adı ve kimlik numarası girerek yeni bir cebabı için bir hesap oluşturmak için Yeni cebabı ' ı tıklatın.
  5. Bir cebabı seçin ve Başlat ' ı tıklatın (ek dosya 1: ek 13).
  6. Yeni değerlendirme sonuçları cebabı'nın önceki değerlendirme sonuçlarını gözden geçirmek için yeni bir değerlendirme oluşturmak için tıklatın.
  7. Cebabı ekranda gösterilen öğeler yönetmek (ek dosya 1: ek 14).
  8. Cebabı'nın performansı veya Yanıt ekranın alt kısmında gösterilen Derecelendirme ölçeği tıklayarak oranı (ek dosya 1: ek 14).
  9. T-skor ile % 95 aralığı, T-skor yüzdebirlik saflarına ve reliabilities kedi-FAS dört fonksiyonları da dahil olmak üzere cebabı, kedi-FAS sonuçlarını açıklamak. Bu sonuçlar hesaplanır ve otomatik olarak kedi-FAS tarafından gösterilen (ek dosya 1: ek 15).
  10. Tamam ' ı tıklatın ve veri yönetimi sayfasına geri dönün.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Simülasyon sonuçlarını kuralları durdurmak 10 aday kümeleri yeterli ortalama Rasch güvenilirlik olduğunu göstermiştir (0.86 - 0,95) ve yönetim verimliliği çeşitli (öğe ortalama sayısı 6.4-17,5 =). Güvenilirlik ve yönetim verimliliği, küme arasındaki dengelemeyi dikkate alınarak LRI < 0.010 en uygun belirlenen kuralları kedi-FAS için yeterli ortalama Rasch güvenilirlik nedeniyle durdurma seçildi (0,88 - 0.93, bkz: Tablo 1 ), birey düzeyinde Rasch güveni...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

KEDİ-FAS öğeleri özgün testlerinde % 10'u idare burada sunulan sonuçlar gösterdi (kedi-FAS içinde kullanılan öğeleri ortalama sayısı: 8.5 öğeleri vs orijinal testleri: 72 bileşen). Bu bulgular kedi-FAS iyi yönetim verimliliği olduğunu göstermektedir. Bir kedi sadece yaklaşık 10 bileşen yönetilen bildirdi önceki çalışmalar doğrultusunda sonuçlar alındı veya sosyal işlev, denge veya kontur10,11,20olan hastalarda günlük ya...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar ifşa gerek yok.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma Bakanlığı Bilim ve teknoloji araştırma hibe tarafından desteklenmiştir (105-2314-B-002-015-MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
BilgisayarHerhangi Aşağıdalistelenen yazılımlarla uyumlu
MATLAB yazılımıThe MathWorks Inc.http://www.mathworks.com/products/matlab/Protokol Bölüm 1'de (Adım 1.3) kullanılan sayısal hesaplama yazılımıJava
Development KitOraclehttps://www.oracle.com/java/Protokol Bölüm 1'de (Adım 1.5) kullanılan programlama dili)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles