Method Article

Komputerowy System Testowania Adaptacyjnego Oceny Funkcjonalnej Udaru Mózgu

DOI:

10.3791/58137

January 7th, 2019

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tutaj prezentujemy protokół do opracowania skomputeryzowanego adaptacyjnego systemu testowania funkcjonalnej oceny udaru mózgu (CAT-FAS). CAT-FAS może jednocześnie oceniać cztery funkcje (dwie funkcje motoryczne [kończyny górne i dolne], kontrolę postawy i podstawowe czynności życia codziennego) z wystarczającą niezawodnością i wydajnością administracyjną.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Komputerowy adaptacyjny system testowania funkcjonalnej udaru mózgu (CAT-FAS) może jednocześnie oceniać cztery funkcje (funkcje motoryczne kończyn górnych i dolnych, kontrolę postawy i podstawowe czynności życia codziennego) z wystarczającą niezawodnością i wydajnością administracyjną. CAT, nowoczesna metoda pomiarowa, ma na celu zapewnienie wiarygodnego oszacowania poziomu funkcjonowania badanego. CAT podaje tylko kilka pozycji, których trudności z pozycjami odpowiadają poziomowi funkcji badanego, a zatem podawane pozycje CAT mogą dostarczyć wystarczających informacji, aby wiarygodnie oszacować poziom funkcji badanego w krótkim czasie. CAT-FAS został opracowany w czterech etapach: (1) określenie banku pozycji, (2) określenie zasad zatrzymywania, (3) walidacja CAT-FAS oraz (4) ustanowienie platformy administracji online. Wyniki tego badania wskazują, że CAT-FAS ma wystarczającą sprawność administracyjną (średnia liczba pozycji = 8,5) i niezawodność (niezawodność Rascha na poziomie grupy: 0,88 - 0,93; niezawodność Rascha na poziomie indywidualnym: ≥70% pacjentów miało wynik wiarygodności Rascha ≥0,90), aby jednocześnie ocenić cztery funkcje u pacjentów z udarem. Ponadto, ponieważ CAT-FAS jest testem komputerowym, CAT-FAS ma trzy dodatkowe zalety: automatyczne obliczanie wyników, natychmiastowe przechowywanie danych i łatwy eksport danych. Te zalety CAT-FAS będą korzystne dla zarządzania danymi dla klinicystów i badaczy.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dysfunkcje kończyn górnych i dolnych (UE i LE), kontrola postawy i podstawowe czynności życia codziennego (BADL) są głównymi następstwami udaru1,2,3. Ocena tych czterech funkcji u pacjentów z udarem mózgu ma fundamentalne znaczenie dla klinicystów w ocenie poziomu dysfunkcji pacjentów, ustalaniu celów i planów leczenia oraz monitorowaniu podłużnych trajektorii tych funkcji.

Ocena Fugla-Meyera (FM),4 Skala Oceny Postawy dla pacjentów po udarze mózgu (PASS),5 i Barthel Index (BI)6 mają dobre właściwości psychometryczne do oceny funkcji motorycznych UE/LE, kontroli postawy i BADL, odpowiednio, u pacjentów z udarem mózgu7,8,9. Jednak łączna liczba 72 pozycji z tych trzech wskaźników utrudnia ocenę wszystkich trzech wskaźników w ramach ograniczonej w czasie sesji terapeutycznej. Uzasadniona jest bardziej wydajna metoda testowania. Komputerowe testy adaptacyjne (CAT) to nowoczesna metoda pomiaru. W porównaniu z konwencjonalnymi metodami pomiaru, CAT zapewnia bardziej wiarygodne oszacowanie poziomu funkcji badanego w znacznie krótszym czasie10,11,12. W konwencjonalnych metodach pomiarowych każdy zdany otrzymuje ten sam formularz testowy (lub zestawy elementów), w którym wiele elementów jest zbyt trudnych lub zbyt łatwych dla zdającego. Pozycje te dostarczają ograniczonych informacji do oszacowania poziomu funkcjonowania osoby badanej i są czasochłonne dla zdających. Natomiast w CAT każdy zdający otrzymuje dopasowany zestaw przedmiotów, w którym poziom trudności wybranych pozycji spotyka się z poziomem funkcji osoby zdanej. Ponieważ elementy te są dostosowane do konkretnego badanego, CAT może zapewnić bardziej wiarygodne oszacowanie poziomu funkcji badanego przy użyciu mniejszej liczby elementów, a tym samym w znacznie krótszym czasie. Etapy opracowywania CAT są przedstawione w pliku uzupełniającym 1: Dodatek 1.

Ponieważ CAT obiecuje wiarygodne i efektywne oceny, CAT-FAS został opracowany w celu poprawy efektywności administracyjnej trzech poprzednio używanych miar (FM, PASS i BI)13. W artykule opisano rozwój i administrację systemu CAT-FAS. Protokół ten dostarcza informacji dla badaczy w celu opracowania ich CAT oraz dla potencjalnych użytkowników CAT-FAS w celu jego administrowania. Zajmujemy się również mocnymi i słabymi stronami CAT-FAS.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten protokół badania został zatwierdzony przez lokalną instytucję rewizyjną, a wszyscy pacjenci wyrazili świadomą zgodę.

1. Rozwój CAT-FAS

  1. Pobierz wtórne i zaszyfrowane dane z FAS study14, aby przeprowadzić symulacje (Plik uzupełniający 1: Dodatek 2).
    UWAGA: W badaniu łącznie 301 pacjentów zostało zrekrutowanych z oddziału rehabilitacyjnego centrum medycznego i ocenionych po 14 dniach od wystąpienia udaru. Spośród 301 pacjentów, 262 pacjentów było wielokrotnie ocenianych w 30 dni po wystąpieniu udaru. Do badania włączono pacjentów, u których (1) rozpoznano udar mózgu, (2) pierwszy początek udaru, (3) początek udaru w ciągu 14 dni przed hospitalizacją, (4) zdolność do wykonywania poleceń oraz (5) zdolność do wyrażenia świadomej zgody osobiście lub przez pełnomocnika. Pacjenci, którzy mieli inne poważne choroby, zostali wykluczeni. Podczas każdej sesji oceny pacjenci byli oceniani za pomocą FM, PAID i BI przez dobrze wyszkolonego terapeutę zajęciowego (plik uzupełniający 1: Załączniki 3-5).
    1. Ustanowienie banku pozycji CAT-FAS poprzez przyjęcie banku pozycji FAS (plik uzupełniający 1: dodatek 2A).
      UWAGA: Bank przedmiotów ma wystarczającą liczbę pozycji pasujących do modelu częściowego kredytu Rascha15,16 i obejmuje szeroki zakres trudności przedmiotów. Bank pozycji zawiera 58 pozycji (plik uzupełniający 1: załącznik 3) wybranych z kart FM-UE (26 pozycji), FM-LE (11 pozycji), PASS (12 pozycji) i BI (dziewięć pozycji).
    2. Pobierz trudności pozycji dla wszystkich pozycji w banku pozycji z badania FAS (Plik uzupełniający 1: Dodatek 2A - Trudność pozycji).
      UWAGA: Każdy przedmiot w banku przedmiotów ma zestaw parametrów obrazujących trudność elementu (tj. trudności przedmiotu), które są szacowane przez model częściowego kredytu Rascha. CAT-FAS wykorzystuje trudności pozycji do (1) wyboru pozycji o trudnościach dostosowanych do poziomu funkcjonowania osoby badanej (krok 1.3.3) oraz (2) oszacowania poziomu funkcji osoby badanej (krok 1.3.5).
    3. Odzyskaj odpowiedzi każdego pacjenta (np. 0, 1 lub 2 punkty) na pozycje z banku pozycji FAS (plik uzupełniający 1: dodatek 2B).
      UWAGA: W poprzednich badaniach14, pacjentom podawano wszystkie pozycje z banku pozycji FAS. W tym badaniu symulacyjnym te odpowiedzi pacjentów zostały pobrane i wykorzystane jako symulowane odpowiedzi (pacjenci nie byli podawani przez CAT-FAS) na pozycje CAT-FAS (krok 1.3.4).
    4. Odzyskaj rozkład zdolności (tj. odchylenie standardowe [SD] wyników) pacjentów w czterech funkcjach (BADL, kontrola postawy i funkcje motoryczne UE/LE; Plik uzupełniający 1: dodatek 2C).
      UWAGA: Zdolności pacjentów w czterech funkcjach są końcowymi wynikami oceny banku pozycji (Plik uzupełniający 1: Dodatek 2C). Wyniki (i SD wyników) czterech funkcji są szacowane w poprzednim badaniu14 według modelu częściowego kredytu Rascha, na podstawie odpowiedzi pacjentów na każdą pozycję (krok 1.1.3). W tym badaniu SD wyników jest pobierane i wykorzystywane jako informacje wstępne do obliczenia wiarygodności CAT-FAS (krok 1.3.6).
  2. Określić algorytmy operacyjne CAT-FAS (plik uzupełniający 1: dodatek 7).
    1. Zastosuj metodę maksimum a posteriori (MAP) do szacowania wyników każdego pacjenta z czterema funkcjami za pomocą iteracji Newtona-Raphsona17.
    2. Użyj kryterium optymalności D dla wyboru elementu18. Pozycja z maksymalnym wyznacznikiem macierzy informacyjnej Fishera jest wybierana z banku pozycji do podawania.
    3. Przyjmij 10 kandydujących zestawów reguł zatrzymywania do badania właściwości CAT-FAS za pomocą symulacji (plik uzupełniający 1: dodatek 8).
      UWAGA: Pierwsze pięć zestawów kandydujących "osiąga kryterium ograniczonego wzrostu niezawodności (LRI)" (tj. LRI < 0,001, < 0,005, < 0,010, < 0,015 lub < 0,020). Pozostałe pięć kandydujących zestawów "osiąga kryterium LRI lub próg wiarygodności" (tj. niezawodność Rascha ≥ 0,90 w połączeniu z wyżej wymienionymi pięcioma kryteriami LRI). LRI i próg niezawodności są często przyjmowane reguły zatrzymywania w CATs13,17.
  3. Zbadaj wiarygodność i wydajność pomiaru (liczbę elementów potrzebnych do podania) CAT-FAS za pomocą kroków od 1.3.1 do 1.3.11 symulacji (Rysunek 1).
    UWAGA: Plik uzupełniający 1: Dodatek 9 zawiera zrzut ekranu oprogramowania.
    1. Użyj określonego zestawu reguł zatrzymywania (tj. od pierwszego do ostatniego kandydującego zestawu reguł zatrzymywania, które znajdują się kolejno w kroku 1.2.3), aby zbadać właściwości CAT-FAS (Rysunek 1A).
    2. Ustaw początkowe wyniki CAT-FAS czterech funkcji (BADL, kontrola postawy, funkcja motoryczna UE i funkcja motoryczna LE) na 0 dla określonych pacjentów (tj. od pierwszego do ostatniego pacjenta w danych, kolejno; Rysunek 1B,C).
    3. Adaptacyjnie wybierz pozycję z maksymalnym wyznacznikiem macierzy informacyjnej Fishera (tj. kryterium D-optymalności) z banku pozycji do administracji (Rysunek 1D).
      UWAGA: Macierz informacyjna każdej pozycji jest obliczana na podstawie wyników pacjenta w czterech funkcjach i trudności elementu (od kroku 1.1.2). Aby zapewnić, że CAT-FAS zarządza co najmniej jednym elementem w każdej funkcji/domenie, pierwsze cztery elementy CAT-FAS są wybierane z czterech funkcji.
    4. Uzyskaj odpowiedź pacjenta na wybrany element z kroku 1.1.3 (Rysunek 1E).
    5. Jednocześnie oszacuj wyniki CAT-FAS (i błędy standardowe [SE] wyników) czterech funkcji za pomocą metody MAP z iteracyjnym procesem Newtona-Raphsona (Rysunek 1F). 19 Podczas iteracyjnego procesu Newtona-Raphsona, odnawiaj wyniki i SE czterech funkcji w każdej iteracji, aż do spełnienia kryterium zbieżności. Konwergencja występuje, gdy różnice w wynikach między dwiema kolejnymi iteracjami wynoszą <0,001.
    6. Policz liczbę podanych pozycji, zapisz ostatnie odnowione wyniki CAT-FAS (i SE) i oblicz niezawodność Rascha na poziomie indywidualnym każdej funkcji, korzystając z następującego wzoru:
      1 - ([SE2 kroku 1.3.5] / [SD2 wyników kroku 1.1.4]).
    7. Oblicz LRI, używając ostatniej odnowionej niezawodności Rascha na poziomie indywidualnym (krok 1.3.6) pomniejszonej o niezawodność poprzedniego oszacowania (Rysunek 1G).
    8. Sprawdź, czy spełniony jest określony zestaw (np. pierwszy zestaw kandydujący) reguł zatrzymywania (Rysunek 1H). Jeśli nie, powtarzaj kroki od 1.3.3 do 1.3.8, aż zostanie spełniony określony zestaw reguł zatrzymywania. Jeśli tak, zapisz ostatnie odnowione wyniki CAT-FAS (i SE) jako końcowe wyniki CAT-FAS (i SE).
    9. Powtarzaj kroki od 1.3.2 do 1.3.8, aż wszystkie podania pacjentom zostaną zakończone (Rysunek 1I).
    10. Zakończ symulację CAT-FAS z określonym zestawem reguł zatrzymywania i zapisz wyniki symulacji (Rysunek 1J).
      UWAGA: Wyniki powinny obejmować (1) końcowe wyniki CAT-FAS (i SE) czterech funkcji, (2) liczbę pozycji potrzebnych do ukończenia CAT-FAS, (3) niezawodność Rascha każdego pacjenta (tj. niezawodność Rascha na poziomie indywidualnym) oraz (4) średnią niezawodność Rascha wszystkich pacjentów.
    11. Powtórz kroki od 1.3.1 do 1.3.11, aby zbadać właściwości CAT-FAS z innymi kandydującymi zestawami reguł zatrzymywania, aż zostaną zbadane wszystkie kandydujące zestawy reguł zatrzymywania (Rysunek 1K).
  4. Wybierz ostateczny zestaw reguł zatrzymywania dla CAT-FAS zgodnie ze średnią niezawodnością Rascha wynoszącą ≥0,90 w co najmniej trzech funkcjach i średnią liczbą podawania ≤10,0.
  5. Opracowanie internetowej platformy administracyjnej dla CAT-FAS poprzez napisanie programu komputerowego w celu utworzenia strony internetowej (Plik uzupełniający 1: Dodatek 10).

2. Administracja CAT-FAS

  1. Podłącz urządzenie elektroniczne egzaminatora (np. komputer osobisty, tablet lub smartfon) do internetowej platformy administracyjnej CAT-FAS za pomocą przeglądarki internetowej.
  2. Zaloguj się do systemu administracyjnego (Plik Uzupełniający 1: Załącznik 11).
  3. Kliknij przycisk Zarządzanie danymi, aby uzyskać dostęp do danych od poprzednich egzaminowanych (Plik uzupełniający 1: Dodatek 12).
  4. Kliknij przycisk Nowy zdający, aby utworzyć konto dla nowego zdającego, wprowadzając jego imię i nazwisko oraz numer identyfikacyjny.
  5. Wybrać zdającego i kliknąć przycisk Start (Plik uzupełniający 1: Dodatek 13).
  6. Kliknij przycisk Nowa ocena, aby utworzyć nową ocenę, lub kliknij przycisk Wyniki, aby przejrzeć wyniki poprzednich ocen osoby zdanej.
  7. Podaj zdającemu elementy pokazane na ekranie (Plik uzupełniający 1: Dodatek 14).
  8. Oceń wyniki lub odpowiedzi osoby badanej, klikając skalę ocen wyświetlaną u dołu ekranu (Plik uzupełniający 1: Dodatek 14).
  9. Wyjaśnij zdającemu wyniki CAT-FAS, w tym wyniki T z interwałem 95%, rangi percentylowe wyników T oraz wiarygodność czterech funkcji CAT-FAS. Wyniki te są obliczane i przedstawiane automatycznie przez CAT-FAS (plik uzupełniający 1: dodatek 15).
  10. Kliknij przycisk OK i wróć do strony Zarządzanie danymi.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wyniki symulacji pokazały, że 10 kandydujących zestawów reguł zatrzymywania miało wystarczającą średnią niezawodność Rascha (0,86 - 0,95) i zróżnicowaną efektywność administracyjną (średnia liczba elementów = 6,4 - 17,5). Biorąc pod uwagę kompromis między niezawodnością a efektywnością administracyjną, zestaw LRI < 0,010 został wybrany jako optymalny zestaw reguł zatrzymywania dla CAT-FAS ze względu na wystarczającą średnią niezawodność Rascha (0,88 - 0,93, patrz

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przedstawione wyniki wykazały, że CAT-FAS podał około 10% pozycji w oryginalnych testach (średnia liczba pozycji użytych w CAT-FAS: 8,5 pozycji w porównaniu z oryginalnymi testami: 72 pozycje). Wyniki te wskazują, że CAT-FAS charakteryzuje się dobrą skutecznością administracyjną. Wyniki były zgodne z wcześniejszymi badaniami, które informowały, że tomografia komputerowa podawała tylko około 10 pozycji lub mniej w celu oceny funkcji społecznych, równowagi lub czynności życia codziennego u pacjentów z udarem mózgu...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było wspierane przez granty badawcze z Ministerstwa Nauki i Technologii (105-2314-B-002 -015 -MY3).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
KomputerDowolnyKompatybilny z oprogramowaniem wymienionym poniżej
Oprogramowanie MATLABThe MathWorks Inc.http://www.mathworks.com/products/matlab/Oprogramowanie do obliczeń numerycznych, które jest używane w Protokole, sekcja 1 (krok 1.3)
Java Development KitOraclehttps://www.oracle.com/java/język programowania, który jest używany w sekcji 1 protokołu (krok 1.5)

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kim, S. S., Lee, H. J., You, Y. Y. Effects of ankle strengthening exercises combined with motor imagery training on the timed up and go test score and weight bearing ratio in stroke patients. Journal of Physical Therapy Science. 27 (7), 2303-2305 (2015).
  2. Langhorne, P., Coupar, F., Pollock, A. Motor recovery after stroke: A systematic review. Lancet Neurology. 8 (8), 741-754 (2009).
  3. Lum, P. S., Burgar, C. G., Shor, P. C., Majmundar, M., Van der Loos, M. Robot-assisted movement training compared with conventional therapy techniques for the rehabilitation of upper-limb motor function after stroke. Archives of Physical Medicine and Rehabilitation. 83 (7), 952-959 (2002).
  4. Fugl-Meyer, A. R., Jaasko, L., Leyman, I., Olsson, S., Steglind, S. The post-stroke hemiplegic patient 1: A method for evaluation of physical performance. Scandinavian Journal of Rehabilitation Medicine. 7 (1), 13-31 (1975).
  5. Benaim, C., Perennou, D. A., Villy, J., Rousseaux, M., Pelissier, J. Y. Validation of a standardized assessment of postural control in stroke patients: The Postural Assessment Scale for Stroke Patients (PASS). Stroke. 30 (9), 1862-1868 (1999).
  6. Mahoney, F. I., Barthel, D. W. Functional Evaluation: The Barthel Index. Maryland State Medical Journal. 14, 61-65 (1965).
  7. Duffy, L., Gajree, S., Langhorne, P., Stott, D. J., Quinn, T. J. Reliability (inter-rater agreement) of the Barthel Index for assessment of stroke survivors: Systematic review and meta-analysis. Stroke. 44 (2), 462-468 (2013).
  8. Lin, J. H., Hsueh, I. P., Sheu, C. F., Hsieh, C. L. Psychometric properties of the sensory scale of the Fugl-Meyer Assessment in stroke patients. Clinical Rehabilitation. 18 (4), 391-397 (2004).
  9. Mao, H. F., Hsueh, I. P., Tang, P. F., Sheu, C. F., Hsieh, C. L. Analysis and comparison of the psychometric properties of three balance measures for stroke patients. Stroke. 33 (4), 1022-1027 (2002).
  10. Hsueh, I. P., et al. Development of a computerized adaptive test for assessing balance function in patients with stroke. Physical Therapy. 90 (9), 1336-1344 (2010).
  11. Hsueh, I. P., Chen, J. H., Wang, C. H., Hou, W. H., Hsieh, C. L. Development of a computerized adaptive test for assessing activities of daily living in outpatients with stroke. Physical Therapy. 93 (5), 681-693 (2013).
  12. Wong, A. W., Heinemann, A. W., Miskovic, A., Semik, P., Snyder, T. M. Feasibility of computerized adaptive testing for collection of patient-reported outcomes after inpatient rehabilitation. Archives of Physical Medicine and Rehabilitation. 95 (5), 882-891 (2014).
  13. Lin, G. H., Huang, Y. J., Lee, S. C., Huang, S. L., Hsieh, C. L. Development of a computerized adaptive testing system of the Functional Assessment of Stroke. Archives of Physical Medicine and Rehabilitation. 99 (4), 676-683 (2017).
  14. Wang, Y. L., Lin, G. H., Yi-Jing, H., Chen, M. H., Hsieh, C. L. Refining three measures to construct an efficient Functional Assessment of Stroke. Stroke. 48 (6), 1630-1635 (2017).
  15. Adams, R. J., Wilson, M., Wang, W. C. The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement. 21 (1), 1-23 (1997).
  16. Masters, G. N. A Rasch model for partial credit scoring. Psychometrika. 47 (2), 149-174 (1982).
  17. Wang, W. C., Chen, P. H. Implementation and measurement efficiency of multidimensional computerized adaptive testing. Applied Psychological Measurement. 28 (5), 295-316 (2004).
  18. Mulder, J., Van der Linden, W. J. Multidimensional adaptive testing with optimal design criteria for item selection. Psychometrika. 74 (2), 273-296 (2009).
  19. Segall, D. O. General ability measurement: An application of multidimensional item response theory. Psychometrika. 66 (1), 79-97 (2001).
  20. Lee, S. C., et al. Development of a social functioning assessment using computerized adaptive testing for patients with stroke. Archives of Physical Medicine and Rehabilitation. 99 (2), 306-313 (2018).
  21. Paap, M. C. S., et al. Measuring patient-reported outcomes adaptively: Multidimensionality matters! Applied Psychological Measurement. 42 (5), 327-342 (2018).
  22. Paap, M. C. S., Kroeze, K. A., Terwee, C. B., van der Palen, J., Veldkamp, B. P. Item usage in a multidimensional computerized adaptive test (MCAT) measuring health-related quality of life. Quality of Life Research. 26 (11), 2909-2918 (2017).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Computerized Adaptive TestingFunctional Assessment StrokeItem Bank DevelopmentStopping Rules ValidationOnline Administration PlatformRasch Reliability AnalysisUpper Extremity FunctionLower Extremity FunctionPostural Control AssessmentActivities Daily Living

Related Articles