Geautomatiseerde adaptieve testsysteem van functionele beoordeling van een beroerte

Summary

Hier presenteren we een protocol voor de ontwikkeling van de geautomatiseerde adaptieve testsysteem van de functionele beoordeling van beroerte (CAT-FAS). De CAT-FAS kunnen tegelijkertijd vier functies (twee motorische functies [bovenste en onderste extremiteiten], posturale controle en fundamentele activiteiten van het dagelijks leven) met voldoende betrouwbaarheid en administratieve efficiëntie beoordelen.

Abstract

De geautomatiseerde adaptieve testsysteem van de functionele beoordeling van beroerte (CAT-FAS) kan gelijktijdig vier functies (motorische functies van de bovenste en onderste extremiteiten, posturale controle en fundamentele activiteiten van het dagelijks leven) met voldoende beoordelen betrouwbaarheid en administratieve efficiency. KAT, een moderne meetmethode, streeft naar een betrouwbare schatting van de examinandus het niveau van de functie snel. CAT beheert slechts een paar items waarvan moeilijkheden item overeenkomen met de een examinandus functie, en dus de door de overheid gereguleerde items van kat kunnen voldoende gegevens opleveren voor betrouwbaar inschatten van de examinandus functie in een korte tijd. De CAT-FAS werd ontwikkeld door middel van vier stappen: (1) het bepalen van de item-bank, (2) bepalen de regels stoppen (3) het valideren van de CAT-FAS en (4) tot oprichting van een platform voor online administratie. De resultaten van deze studie blijkt dat de kat-FAS heeft voldoende administratieve efficiëntie (gemiddelde aantal artikelen = 8,5) en betrouwbaarheid (groepeerniveau Rasch betrouwbaarheid: 0.88 - 0.93; individu-niveau Rasch betrouwbaarheid: ≥70% van de patiënten had Rasch betrouwbaarheid Score ≥0.90) om te beoordelen tegelijkertijd vier functies bij patiënten met een beroerte. Bovendien, omdat de CAT-FAS is een computer-based test, de CAT-FAS heeft drie extra voordelen: de automatische berekening van scores, de onmiddellijke opslag van gegevens en het eenvoudig exporteren van gegevens. Deze voordelen van de CAT-FAS zal gunstig zijn voor gegevensbeheer voor clinici en onderzoekers.

Introduction

Dysfuncties van de bovenste en onderste extremiteiten (UE en LE), posturale controle en fundamentele activiteiten van het dagelijks leven (BADL) zijn grote gevolgen voor lijn^1,2,3. De beoordeling van deze vier functies bij patiënten met een beroerte is van fundamenteel belang voor clinici evalueren van patiënten niveaus van disfuncties, stelt behandeling doelen en plannen en volgen van de longitudinale trajecten van deze functies.

De Fugl-Meyer beoordeling (FM), hebben⁴ de posturale beoordeling schaal voor slag-patiënten (PASS),⁵ en de Barthel Index (BI)⁶ goede psychometrische eigenschappen te beoordelen van de UE/LE motorische functies posturale controle en BADL, respectievelijk, bij patiënten met een beroerte^7,8,9. Echter, het totaal van 72 items uit deze drie maatregelen belemmert de haalbaarheid van de beoordeling van alle drie maatregelen binnen een tijd-beperkte therapeutische sessie. Een efficiëntere testmethode gerechtvaardigd is. Geautomatiseerde adaptieve testen (kat) is een moderne meetmethode. Vergeleken met conventionele meetmethoden, biedt CAT een meer betrouwbare schatting van de examinandus het niveau van de functie in veel minder tijd^10,11,12. In conventionele meetmethoden, elke examinandus ontvangt het dezelfde testformulier (of object ingesteld), waarin veel items zijn te moeilijk of te gemakkelijk voor de examinandus. Deze objecten bieden beperkte informatie voor het inschatten van de examinandus niveau van functie en zijn tijdrovende voor examenkandidaten. In tegenstelling, bij kat krijgt elke examinandus een op maat gemaakte item set, de moeilijkheidsgraad van de geselecteerde items in die voldoet aan het niveau van de functie van de examinandus. Omdat deze items op maat voor dat bepaalde examinandus gemaakt zijn, kan kat bieden een meer betrouwbare schatting van de examinandus niveau van functie met minder items en dus in veel minder tijd. De stappen van CAT ontwikkeling staan in aanvullende bestand 1: aanhangsel 1.

Omdat CAT belooft betrouwbaar en efficiënt evaluaties, werd de CAT-FAS ontwikkeld ter verbetering van de administratieve efficiency van de drie maatregelen vroeger (FM, PASS en BI)¹³. Deze paper beschrijft de ontwikkeling en het beheer van de CAT-FAS. Dit protocol biedt informatie voor onderzoekers te ontwikkelen hun katten en voor potentiële gebruikers van de CAT-FAS om het te beheren. We pakken ook de sterktes en zwaktes van de CAT-FAS.

Protocol

Dit protocol studie werd goedgekeurd door de board van een lokale institutionele beoordeling, en alle patiënten gaf geïnformeerde toestemming.

1. ontwikkeling van de CAT-FAS

1. Ophalen van de secundaire en gecodeerde gegevens uit de FAS onderzoek¹⁴ te voeren simulaties (aanvullende bestand 1: aanhangsel 2).
   Opmerking: In de studie, een totaal van 301 patiënten werden aangeworven froma revalidatie ward van een medisch centrum en beoordeeld op 14 d na het begin van de lijn. Onder de 301 patiënten, werden 262 patiënten herhaaldelijk beoordeeld op 30 d na het begin van de lijn. De studie aangeworven patiënten die had (1) een diagnose van een beroerte, (2) eerste begin van de lijn, (3) begin van een beroerte binnen 14 d voor hospitalisatie, (4) de mogelijkheid om bevelen te volgen, en (5) de mogelijkheid te geven geïnformeerde toestemming persoonlijk of bij volmacht. Patiënten die had andere belangrijke ziekten zijn uitgesloten. In elke beoordelingszitting, door een goed opgeleide ergotherapeut patiënten werden beoordeeld met de FM, PASS en BI (aanvullende bestand 1: aanhangsels 3-5).
   1. Opzetten van het item bank van de CAT-FAS door het aannemen van de bank van de punt van de FAS (aanvullende bestand 1: Aanhangsel 2A).
      Opmerking: De item-bank heeft voldoende items passen de Rasch Gedeeltelijke creditering model^15,16 en bestrijkt een breed scala van item problemen. De item-bank 58 items bevat (aanvullende bestand 1: aanhangsel 3) geselecteerd uit de FM-UE (26 items), FM-LE (11 items), PASS (12 items), en BI (9 items).
   2. Ophalen het item problemen van alle items in de bank van de punt van de FAS studeren (aanvullende bestand 1: Aanhangsel 2A -punt moeite).
      Opmerking: Elk item in de item-bank heeft een aantal parameters verbeelden de moeilijkheid van het item (d.w.z., item problemen), die door het model van de gedeeltelijke creditering Rasch worden geschat. De CAT-FAS maakt gebruik van het item problemen (1) om items te selecteren met de moeilijkheden die zijn toegesneden op de examinandus het niveau van de functie (stap 1.3.3) en (2) inschatten van de examinandus functie (stap 1.3.5).
   3. Ophalen van elke patiënt Reacties (bijvoorbeeld, 0, 1 of 2 punten) op de posten van de bank van de punt van de FAS (aanvullende bestand 1: bijlage 2B).
      Opmerking: In vorige studies¹⁴, alle items van de bank van de punt van de FAS werden toegediend aan patiënten. In deze simulatie-studie, waren deze reacties van de patiënten opgehaald en gebruikt als de gesimuleerde antwoorden (patiënten waren niet beheerd door de CAT-FAS) aan de artikelen van de kat-FAS (stap 1.3.4).
   4. Ophalen van de verdeling van capaciteit (dat wil zeggen, de standaarddeviatie [SD] van de scores) van de patiënten in de vier functies (BADL, posturale controle en UE/LE motorische functies; Aanvullende bestand 1: bijlage 2 C).
      Opmerking: De capaciteiten van de patiënten in de vier functies zijn de definitieve scores van de beoordeling van de item-bank (aanvullende bestand 1: bijlage 2C). De scores (en SD van de scores) van de vier functies in een eerdere studie¹⁴ geschat door de gedeeltelijke creditering Rasch model, gebaseerd op de patiënten reacties op elk item (stap 1.1.3). In deze studie is de Security Descriptor van de scores opgehaald en gebruikt als vooraf te verstrekken informatie voor de berekening van de betrouwbaarheid van de CAT-FAS (stap 1.3.6).
2. Bepalen van de operationele algoritmen van de CAT-FAS (aanvullende bestand 1: aanhangsel 7).
   1. De maximale a posteriori (kaart) methode voor het schatten van elke patiënt scores van de vier functies met Newton-Raphson iteratie¹⁷te hanteren.
   2. Gebruik het criterium van de D-optimaliteit voor de punt selectie¹⁸. Een item met de maximale determinant van de matrix Fisher informatie is geselecteerd uit de item-bank voor beheerdoeleinden.
   3. Aannemen van de 10 kandidaat-sets van regels voor het verkennen van de eigenschappen van de CAT-FAS via simulatie stoppen (aanvullende bestand 1: aanhangsel 8).
      Opmerking: De eerste vijf kandidaat-sets "naderen beperkte betrouwbaarheid verhogen (LRI) criterium" (dat wil zeggen, een LRI < 0.001, < 0.005, < 0.010, < 0,015 of < 0.020). De andere vijf kandidaat-sets "naderen LRI criterium of drempel van betrouwbaarheid" (dat wil zeggen, een Rasch betrouwbaarheid ≥ 0.90, gekoppeld aan de bovengenoemde criteria voor vijf LRI). De LRI en de drempel van betrouwbaarheid worden vaak aangenomen regels in katten^13,17te stoppen.
3. Verkennen van de betrouwbaarheid van de meting en de efficiëntie (aantal items nodig voor beheerdoeleinden) van de CAT-FAS via stappen 1.3.1 tot en met 1.3.11 van simulatie (Figuur 1).
   Opmerking: aanvullende bestand 1: aanhangsel 9 toont de screenshot van de software.
   1. Gebruik van een opgegeven set regels te stoppen (dat wil zeggen, van de eerste tot de laatste kandidaat-sets van regels die in stap 1.2.3, achtereenvolgens stoppen) om te verkennen van de eigenschappen van de CAT-FAS (figuur 1A).
   2. De eerste CAT-FAS-scores van de vier functies (BADL, posturale controle UE motor functie en LE motor functie) ingesteld op 0 voor opgegeven patiënten (dat wil zeggen, van de eerste tot de laatste patiënt in de gegevens, achtereenvolgens; Figuur 1B,C).
   3. Selecteer een item met de maximale determinant van de matrix van Fisher informatie (dat wil zeggen, het criterium van de D-optimaliteit) adaptief van de item-bank voor beheerdoeleinden (Figuur 1 d).
      Opmerking: De informatie matrix van elk item wordt berekend op basis van een patiënt scores van de vier functies en de moeilijkheidsgraad van het item (uit stap 1.1.2). Om ervoor te zorgen dat de kat-FAS minstens één item in elke functie en/of domein beheert, zijn de eerste vier items van de CAT-FAS geselecteerd uit de vier functies.
   4. De reactie van de patiënt naar het geselecteerde item uit stap 1.1.3 (figuur 1E) te verkrijgen.
   5. Gelijktijdig schatten de CAT-FAS scores (en standaardfouten [se] van de scores) van de vier functies met behulp van de methode van de kaart met een iteratief proces voor Newton-Raphson (figuur 1F). ¹⁹ tijdens het iteratieve proces van de Newton-Raphson, vernieuwen de scores en SEs van de vier functies in elke iteratie totdat het criterium van convergentie is voldaan. Convergentie treedt op wanneer de verschillen in de scores tussen twee opeenvolgende herhalingen zijn < 0,001.
   6. Tellen van het aantal items die worden toegediend, de meest recente vernieuwde CAT-FAS scores (en SEs) opslaan en berekenen van de individu-niveau Rasch betrouwbaarheid van elke functie met behulp van de volgende formule:
      1 - ([SE² van stap 1.3.5] / [SD² van de scores van stap 1.1.4]).
   7. Bereken de LRI met behulp van de laatste vernieuwd individu-niveau Rasch betrouwbaarheid (stap 1.3.6) verminderd met die van de eerdere schatting (figuur 1G).
   8. Controleer voldaan of de opgegeven set (bijvoorbeeld, de eerste kandidaat-reeks) van het stopzetten van de regels wordt (Figuur 1 H). Als dat niet het geval is, herhaal stappen 1.3.3 - 1.3.8 totdat de opgegeven set regels te stoppen is voldaan. Zo ja, sla de laatste hernieuwde CAT-FAS scores (en SEs) als de definitieve scores van de CAT-FAS (SEs).
   9. Herhaal stappen 1.3.2 te 1.3.8 totdat alle patiënten overheidsdiensten zijn uitgevoerd (figuur 1I).
   10. Afwerking van de simulatie van de CAT-FAS met de specifieke set regels te stoppen en opslaan van de resultaten van de simulatie (figuur 1J).
       Opmerking: De resultaten moeten omvatten (1) de definitieve CAT-FAS scores (en SEs) van de vier functies, (2) het aantal items die nodig zijn voor het voltooien van de CAT-FAS, (3) de Rasch betrouwbaarheid van elke patiënt (dat wil zeggen, individuele niveau Rasch betrouwbaarheid), en (4) de gemiddelde Rasch betrouwbaarheid van alle patiënten.
   11. Herhaal stappen 1.3.1 tot en met 1.3.11 te verkennen van de eigenschappen van de CAT-FAS met andere kandidaat-sets van regels stoppen totdat alle kandidaat-sets van regels stoppen zijn onderzocht (Figuur 1 K).
4. Selecteer de laatste set van regels voor de CAT-FAS volgens de gemiddelde Rasch betrouwbaarheid van ≥0.90 in ten minste drie functies en de gemiddelde items van administratie van ≤10.0 stoppen.
5. Ontwikkelen van een online administratie-platform voor de CAT-FAS door het schrijven van een computerprogramma om een website (aanvullende bestand 1: Aanhangsel 10).

2. beheer van de CAT-FAS

1. De onderzoeker elektronisch apparaat (b.v., personal computer, tablet of smartphone) verbinden met de online administratie-platform van de CAT-FAS met behulp van een internet-browser.
2. Inloggen op het beheersysteem (aanvullende bestand 1: Aanhangsel 11).
3. Klik op Gegevensbeheer voor toegang tot gegevens uit eerdere examenkandidaten (aanvullende bestand 1: bijlage 12).
4. Klik op nieuwe examinandus om een account voor een nieuwe examinandus maken door het invoeren van de naam en het id-nummer van de examinandus.
5. Selecteer een examinandus en klikt u op Start (aanvullende bestand 1: aanhangsel 13).
6. Klik op nieuwe beoordeling te maken van een nieuwe beoordeling of klikt u op resultaten de resultaten van de eerdere evaluaties van de examinandus bekijken.
7. De posten op het scherm de examinandus beheren (aanvullende bestand 1: aanhangsel 14).
8. Stem op de prestaties of de reacties van de examinandus door te klikken op de beoordelingsschaal weergegeven aan de onderkant van het scherm (aanvullende bestand 1: aanhangsel 14).
9. De resultaten van de CAT-FAS aan de examinandus, met inbegrip van de T-scores met een 95%-interval, de gelederen van de percentiel van de T-scores en de reliabilities van de vier functies van de CAT-FAS uitleggen. Deze resultaten worden berekend en automatisch weergegeven door de CAT-FAS (aanvullende bestand 1: aanhangsel 15).
10. Klik op OK en ga terug naar de pagina van het Gegevensbeheer .

Results

De resultaten van de simulatie bleek dat de 10 kandidaat-sets van regels stoppen beschikte over voldoende gemiddelde Rasch betrouwbaarheid (0.86 - 0.95) en gevarieerde administratieve efficiëntie (het gemiddelde aantal items = 6.4-17,5). Gezien de trade-off tussen de betrouwbaarheid en administratieve efficiency, de set van LRI < 0.010 werd geselecteerd als de optimale verzameling van regels voor de CAT-FAS stoppen vanwege de betrouwbaarheid van ervan voldoende gemiddelde...

Discussion

De hier gepresenteerde resultaten bleek dat de kat-FAS toegediend ongeveer 10% van de items in de oorspronkelijke tests (het gemiddelde aantal items gebruikt in de CAT-FAS: 8.5 items vs. de oorspronkelijke proeven: 72 items). Deze bevindingen wijzen erop dat de kat-FAS heeft goede administratieve efficiëntie. De resultaten werden in overeenstemming met eerdere studies, die gemeld dat een kat beheerd slechts ongeveer 10 punten of minder om sociale functie, evenwicht, of activiteiten van het dagelijkse leven bij p...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Computer	Alle		Compatibel met onderstaande software
MATLAB software	The MathWorks Inc.	http://www.mathworks.com/products/matlab/	Numerieke berekeningssoftware, die wordt gebruikt in het Protocol Deel 1 (Stap 1.3)
Java Development Kit	Oracle	https://www.oracle.com/java/	Programmeertaal, die wordt gebruikt in het Protocol Deel 1 (Stap 1.5)