Digitale strategieën maken ongecontroleerde afstandsbeoordeling en training mogelijk, maar er zijn verschillende overwegingen nodig om de geldigheid van de verzamelde gegevens en het nut van de interventies te waarborgen.
Reviewartikel
Digitale strategieën maken ongecontroleerde afstandsbeoordeling en training mogelijk, maar er zijn verschillende overwegingen nodig om de geldigheid van de verzamelde gegevens en het nut van de interventies te waarborgen.
Technologische vooruitgang maakt digitale levering van cognitieve en functionele beoordeling en training mogelijk. Er zijn twee brede klassen digitale strategieën: die oorspronkelijk zijn ontwikkeld voor digitale levering en die welke zijn overgenomen van eerdere traditionele papier-en-potlood-toetsen. Er is ook veel onderzoek gedaan naar begeleide versus onbegeleide beoordeling en training. Gelijktijdige digitale ontwikkelingen, zoals kunstmatige intelligentie (AI), hebben de snelle generatie van parallelle beoordelingsformulieren en de vertaling van beoordelingsmaterialen voor internationaal gebruik mogelijk gemaakt, wat wijst op de mogelijkheid van wereldwijde, breed toegankelijke implementatie. Vertaling garandeert geen validatie, en veel beoordelingsinstrumenten zijn vertaald maar niet genormeerd of gevalideerd na de vertaling. In deze review onderzoeken we de huidige stand van zaken met digitale beoordeling en training, gebruikmakend van voorbeelden van veelgebruikte fysieke assessments die vertaald en digitaal zijn getransformeerd, en vergelijken we deze met digitale strategieën die nooit op papier of persoonlijk zijn uitgevoerd. Er worden opmerkingen gemaakt over het nut van ongecontroleerde prestaties en de gevolgen daarvan voor individuen die zelf digitale toetsen of trainingsprogramma's uitvoeren. Er zijn verschillende gebieden die zorgvuldige overweging vereisen om digitale strategieën op afstand toegankelijk en gepersonaliseerd aan te bieden, waaronder psychometrische integriteit, taalkundige validiteit, de sociale ondersteuning die wordt geboden door een menselijke tester, en of die ondersteuning gekwantificeerd en aangevuld kan worden met digitale alternatieven.
De digitale revolutie heeft het landschap van cognitieve en functionele beoordeling en training bij verouderingsgerelateerde en psychiatrische aandoeningen veranderd. Een groot deel van de tegenwoordig uitgevoerde beoordelingen is volledig of gedeeltelijk afhankelijk van digitale levering. Digitale beoordelingen kunnen worden gemigrerd van legacy, standaard neuropsychologische tests die door een menselijke testerworden afgenomen 1,2 of volledig native naar een digitaal platform 3,4,5. Sommige strategieën zijn levering op mobiele apparaten 6,7,8, wat vergezeld kan worden van andere afstandsbeoordelingen om momentane stemmingen, locaties en omgevingscondities vast te leggen9.
Systematische digitale migratie maakt het mogelijk om digitale versies van procedures te vergelijken met legacy-versies. Voor sommige taken is uitgebreide validatie-informatie verzameld, met systematische vergelijkingen met legacy-procedures. Een voorbeeld is de Brief Assessment of Cognition in Schizophrenia (BACS), waarbij een uitgebreid genormeerde10 legacy-test werd gemigreerd naar digitale levering11, met een vergelijkende normatieve studie12. Een vergelijkbaar voorbeeld was de digitale migratie van de Loewenstein-Acevedo Scales for Semantic Interference and Learning (LASSI-L)13, die werd getransformeerd naar een door Avatar geleide, op afstand beheerbareversie 14 met drie digitale formulieren15.
Een voordeel van digitale taken is dat snelle, doorgaans geautomatiseerde updates, inclusief teststimuli, zeer haalbaar zijn. Dit omvat taalvertalingen met kunstmatige intelligentie (AI)-strategieën, die snel alternatieve versies kunnen produceren. Ook wordt door AI-strategieën de ontwikkeling van parallelle vormen mogelijk gemaakt die nodig zijn voor herhaald testen, met name geheugen of probleemoplossing, om onaanvaardbare praktijkeffecten16 te voorkomen, zelfs in populaties met dementie17. Een van onze doelen in deze review is het evalueren van de kwaliteit van eerdere digitale migraties en AI-aanpassingen, inclusief de gegevens over equivalentie na digitale migratie, taalkundige vertaling en ontwikkeling van parallelle vormen.
Een verdere ontwikkeling in digitale beoordeling is het op afstand of ongecontroleerd zelfbeheer van digitale beoordelings- of trainingsprocedures. Hoewel dit al jaren standaardpraktijk is voor commerciële geautomatiseerde cognitieve training (CCT)18, suggereren sommige studies dat ongecontroleerde zelfbeheersing van cognitieve tests ook haalbaar kan zijn 19,20,21. Onbegeleide zelftoediening kan thuis worden uitgevoerd op een digitaal apparaat met internetverbinding of in een testcentrum, waar meerdere deelnemers de tests onder minimale supervisie afleggen. Haalbaarheidsstudies zijn over het algemeen kortdurend geweest, hoewel sommige dezelfde duur of langer duurden dan standaard klinische studies. We zullen de algemene staat van de onbegeleide beoordelingen en training beoordelen en commentaar geven op gebieden met uitdagingen of waar meer informatie nodig is.
Een cruciaal aspect bij onbegeleide beoordeling en training is de interculturele aanpassing en haalbaarheid. Naast taalverschillen zijn er aanzienlijke economische verschillen, die waarschijnlijk invloed hebben op digitale toegang en geletterdheid, waaronder ervaring met mobiele telefoons, tablet- of laptopcomputers en internettoegang thuis22. De wereldwijde digitale kloof is niet langer leeftijdsgerelateerd, maar economisch. De motivatie om deel te nemen aan online digitale activiteiten op afstand kan sterk variëren per deelnemer. Haalbaarheidsindicatoren voor onbegeleide beoordeling omvatten het toestemmingspercentage, de voltooiing van de beoordeling, de validiteit van de gegevens en het vermogen om de technologie te beheren. De meeste klinische onbegeleide beoordelingen richten zich op personen met enkele verwachte beperkingen die mogelijk aanzienlijke instructiekrijgen, inclusief persoonlijk, over inloggen en het afronden van beoordelingen of training. Haalbaarheidsgegevens van personen die zich aanmelden voor afstandsstudies waarbij alle registratie en training volledig onafhankelijk worden uitgevoerd19,23 zijn mogelijk niet generaliseerbaar naar personen met lagere digitale vaardigheden, lager vertrouwen in hun vaardigheden en lagere algemene cognitieve prestaties. Dit omvat personen die vermoeden dat ze vroege tekenen van dementie hebben en een onbegeleide beoordeling in een kliniek uitvoeren.
In een studie naar de overgang van twee digitale beoordelingssystemen van apparaat-resident computerpresentatie naar cloudgebaseerde levering24, waren er systematische voordelen in de snelheid van het verzamelen van touchscreengegevens ten opzichte van een computermuis. Er zijn veelvoorkomende uitdagingen op het gebied van digitale geletterdheid bij functionele capaciteitsbeoordelingen: sommige deelnemers hebben minimale toetsenbordvaardigheden en moeten leren hoe ze een hoofdletter voor een wachtwoord25 moeten typen. In een multi-site studie naar cognitie en functionele capaciteit in de Verenigde Statenvarieerde de prestatie op een digitale functionele capaciteitsbeoordeling met meer dan 1,0 SD tussen geografische locaties, waarbij de regionale opleidingsprestaties en inkomen werden gevolgd. We zullen de haalbaarheid en validiteit van onbegeleide beoordeling en training evalueren met behulp van alle beschikbare meetmethoden.
Zoals hieronder beschreven, is de grootste uitdaging van ongecontroleerde technologielevering niet het falen van de digitaal afgeleide resultaten om te convergeren met standaardmaten. De grootste uitdaging is de brede haalbaarheid van de technologie die nodig is voor zelfbeheerde beoordelingen en training, evenals de te variabele prestaties bij afwezigheid van menselijke supervisie. Er is een intrinsiek sociale interactie tijdens standaard cognitieve taken die toezicht en ondersteuning biedt aan deelnemers die moeite hebben. Een belangrijke vraag die ook wordt beantwoord is of dergelijke ondersteuning digitaal kan worden geleverd, via AI-gebaseerde interacties die deelnemer-testinteracties simuleren in oudere, door mensen geleverde beoordelingsprocedures.
Hieronder volgt een overzicht van de gegevens over de hierboven geïntroduceerde kwesties. Ze bevatten standaarden voor het valideren van prestatiegerichte tests, toepasbaar op zowel standaard- als digitale toetsen; standaarden voor de digitale migratie van legacy-beoordelingen; en vergelijkingen van het validatieproces voor digitaal-native taken met taken die zijn gemigrerd vanuit oudere papier-/mens-leveringsformaten, waaronder alternatieve vormen, vertaling en cross-culturele aanpassing. Er is ook een brede discussie over de haalbaarheid van ongecontroleerde toediening in vergelijking met door mensen geleverde strategieën, waarbij de algehele haalbaarheid van deze strategieën en de rol van de menselijke tester in traditionele beoordelings- en trainingsinterventies worden beschouwd. In deze beoordelingssituaties worden verschillende functies uitgevoerd, waarvan sommige in theorie met AI-geïnformeerde hulp geleverd zouden kunnen worden. Supplemental FIle 1 presenteert de in deze review besproken kwesties.
Algemene principes bij de validatie van cognitieve en functionele beoordeling
Bij het ontwikkelen van een goed gevalideerde digitale beoordeling of behandelstrategie komen verschillende overwegingen naar voren. Een prototypisch voorbeeld van dit proces was het samenwerkingsprogramma voor grootschalige ontwikkeling van uitkomstbeoordelingen, het Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS)-initiatief, dat een validatiestudie uitvoerde van een grote selectie van legacy, door testers geleverde beoordelingen. Op basis van discussies tijdens een consensusvergadering27 werd de testselectie in deze context geleid door vijf kernoverwegingen: betrouwbaarheid over herhaalde toedieningen, geschiktheid voor longitudinaal gebruik, associatie met functionele uitkomsten, gevoeligheid voor behandelingsgerelateerde veranderingen, en algemene haalbaarheid en verdraagbaarheid. Geschiktheid voor herhaalde toediening werd gedefinieerd als ofwel minimale prestatieverbetering door de praktijk, hetzij de beschikbaarheid van equivalente alternatieve vormen. Hoewel de resulterende MATRICS Consensus Cognitive Battery (MCCB)28 een reeks tests selecteerde die aan deze criteria voldeden, is het lastig gebleken om de batterij op afstand uit te voeren29. Een vergelijkbaar ontwikkelingsproces werd gebruikt voor een vergelijkbaar gerichte beoordeling, de Brief Assessment of Cognition in Schizophrenia (BACS)3. De BACS werd ontwikkeld met vergelijkbare strategieën en de zes door testers geleverde subtests in de BACS werden onderzocht op al deze kenmerken, waaronder in een grote validatiestudie met gezonde controles (n = 404)8.
Het artikel BACS werd internationaal breed gevalideerd, met meerdere studies die het gebruik ervan onderzochten (bijv., 30,31,32,33,34,35). Interessant genoeg is de MCCB ook meerdere keren vertaald, waarbij de website van de ontwikkelaar36 45 verschillende vertalingen vermeldt. Ook werd op de website opgemerkt dat slechts ~10 van de 45 versies officiële taalnormen hebben, ondanks hun wijdverspreide gebruik in internationale klinische studies. Dit is een kwestie die later wordt besproken.
De digitale migratie van de BACS naar de BAC-App werd systematisch uitgevoerd in een vergelijkingsstudie11, waarbij deelnemers met schizofrenie en gezonde controles werden opgenomen, die allemaal werden getest met zowel de legacy als de digitale versie. Voorafgaand aan de start van het onderzoek werden alternatieve vormen ontwikkeld voor verschillende BAC-App subtests, waaronder Verbal Memory (zeven versies), Symbol Coding (acht versies) en Tower of London (acht versies). Daarom was de digitale migratie van de taak ontworpen om directe vergelijking van de twee versies mogelijk te maken en parallelle formulieren te valideren. Een daaropvolgende grootschalige validatiestudie (N = 55312) met gezonde controles en een klein aantal deelnemers met subjectieve cognitieve achteruitgang werd uitgevoerd, wat normatieve informatie opleverde over prestaties op de BAC-App. Daarom werden normatieve gegevens verzameld met de legacy-versie en vervolgens herhaald met de digitale versie, inclusief een evaluatie van de equivalente formulieren (hoewel de gegevens tot op heden niet zijn gepubliceerd). Het is belangrijk op te merken dat de resulterende BAC-app niet bedoeld is voor ongecontroleerde toediening; Er moet een tester aanwezig zijn.
Een vergelijkbare digitale migratie-inspanning werd uitgevoerd voor een legacy paper assessment, de Loewenstein-Acevedo Scales for Semantic Interference and Learning (LASSI-L)13,14. Deze beoordeling richt zich op het detecteren van proactieve semantische interferentie, waarvan is aangetoond dat deze snellere cognitieve achteruitgang en de aanwezigheid van ADRD biomarkers voorspelt, zelfs in gevallen met minimale extra beperking15. Uitgebreide normatieve gegevens waren beschikbaar voor de LASSI-L, en er werd vervolgens een digitale versie (LASSI-D) ontwikkeld voor ongecontroleerde beoordeling. In dat ontwikkelingsproces werd bij het evalueren van deze instrumenten de nadruk gelegd op betrouwbaarheid tussen toedieningen, geschiktheid voor herhaald gebruik, relevantie voor functionele uitkomsten en algehele haalbaarheid en verdraagbaarheid. Een vooruitgang ten opzichte van de BACS-migratie was de gelijktijdige validatie van de Spaanse en Engelse versies van de LASSI-D, in tegenstelling tot vergelijkbare versies van de LASSI-L, en de ontwikkeling van de geïmporteerde versie met AI-geïnformeerde strategieën om de haalbaarheid en geldigheid van ongecontroleerde zelfaansturing te vergroten. Specifiek voert een menselijke avatar de functies van een menselijke tester uit, geeft instructies, corrigeert fouten en stimuleert de prestaties van de deelnemer. Kwalitatieve gegevens verzameld van deelnemers gaven een hoge tevredenheid aan met door avatar geleverde beoordelingen, waarbij de voorkeursscores hoger waren dan voor menselijke beoordelingen.
Digital-native beoordelingen moeten ook aan dezezelfde betrouwbaarheids- en validiteitsprincipes voldoen, en sommige programma's hebben dat ook gedaan. Zo volgden de ontwikkeling van twee verschillende digitale functionele capaciteitsmaten, het Virtual Reality Functional Capacity Assessment-instrument (VRFCAT)3,37 en het Functional Skills Assessment and Training Program (FUNSAT)25,38, dezelfde vijf principes in validatiestudies. Zowel VRFCAT als FUNSAT ondergingen een secundaire digitale migratie naar cloudgebaseerde levering24, en beide tests hebben alternatieve vormen met aangetoonde gelijkenis. De migratiestudie van de FUNSAT hield ook rekening met de prestaties van Spaans- en Engelssprekenden over drie alternatieve vormen.
Een ander kenmerk van zowel VRFCAT als FUNSAT was een uitgebreide inspanning voor convergente validatie, waarbij vergelijkingen werden uitgevoerd met zowel traditionele als digitale beoordelingsstrategieën. Zo werd de correlatie van VRFCAT met negatieve symptomen bij schizofrenie onderzocht39, evenals de correlatie met andere functionele capaciteitsindices op papier en potlood40. Er werd een kwalitatieve studie uitgevoerd om de acceptatie ervan voor de doelgroep41 te beoordelen. Voor de FUNSAT zijn studies naar factorstructuur42, gevoeligheid voor behandeling43, correlaties met BAC-app44 en andere functionele capaciteitsmaten45, en correlaties met zelfgerapporteerd functioneren ookgerapporteerd 46.
Technologie van ongecontroleerde beoordelingen
Een neuropsychologische beoordeling op papier en potlood is het bepalende geval van een begeleide beoordeling, die sociale interactie, supervisie, begeleiding en suggesties omvat om problematische reacties te voorkomen. Zoals hierboven vermeld, zijn sommige digitaal uitgevoerde cognitieve en functionele metingen ontworpen om door een examinator te worden uitgevoerd. Voorbeelden zijn de Identical-Pairs CPT47 van de MCCB, de BAC-app en de VRFCAT. Andere toetsen zijn zo ontworpen dat ze zonder toezicht kunnen worden afgenomen zonder aanwezigheid van een examinator, omdat de beoordelingsprocedure geautomatiseerd is en op zichzelfverloopt. Sommige van deze programma's hebben blijkbaar te zijn voor het missenvan 48 of ongeldige scoresvan 49 op sommige subtests, hoewel het aandeel gevallen met ongeldige scores laag is geweest. Deze scores kunnen een slechte betrokkenheid van de examinatoren weerspiegelen, wat in sommige gevallen kan worden gecorrigeerd met feedback van de examinator. Met de huidige digitale technologie kunnen onderbrekingen tijdens het reageren tijdens testen worden opgemerkt en kan het proces tijdelijk worden opgeschort terwijl de deelnemer wordt herinnerd door te gaan. Zo pauzeren de FUNSAT-assessment- en trainingsmodules de procedure en tonen ze een pop-upvenster als er binnen 15 seconden geen antwoord wordt ontvangen. Dit ingebouwde detectieproces is niet aanwezig in alle hierboven genoemde strategieën.
Gegevens over de haalbaarheid van ongecontroleerde beoordelingen
Er zijn veel studies naar onbegeleide beoordelingen van cognitieve prestaties bij ernstige psychische aandoeningen en ADRD. Een grootschalige ADRD-review20 identificeerde 28 recente onderzoeksrapporten en 23 verschillende tools voor onbegeleide beoordelingen, die werden uitgevoerd tijdens een kantoorbezoek of op afstand. De acceptatiegegevens waren behoorlijk goed, met geïnformeerde toestemming en participatiepercentages van meer dan 85%. Veel deelnemers gaven aan dat ze bereid zouden zijn opnieuw deel te nemen.
De naleving van toetsen varieerde aanzienlijk, variërend van 63% in een 8-wekenstudie tot 94% in een andere 8-wekenstudie. De percentages onbruikbare data waren laag, maar bepaalde beoordelingsstrategieën leidden tot hogere uitdagingen bij het afronden van de beoordelingen. In augmented reality-omgevingen thuis leidden technische beperkingen tot verlies van ongeveer 21% van de data, en incompatibiliteit van apparaten zorgde ervoor dat bijna 32% van de deelnemers de remote assessments niet kon voltooien.
Psychometrische overwegingen, die vaak zorgvuldig worden beheerd in traditionele beoordelingsmethoden, waren niet zo goed overwogen als ze hadden kunnen zijn. Zo waren slechts 2 van de 23 taken die over de convergentie van parallelle vormen en test-hertest betrouwbaarheid werden gerapporteerd, aan de onderkant van het acceptabele bereik. Aangezien sommige van deze beoordelingen echter op afstand en ad hoc werden uitgevoerd, kunnen omgevingsfactoren de prestaties beïnvloeden, wat een belangrijke overweging is. Wat lijkt op een lage test-hertest betrouwbaarheid, kan dus eigenlijk de gevoeligheid voor omgevingsinvloeden en de in-participant variantie van veranderende omgevingsfactoren 9,50 weerspiegelen. Convergente validiteit met standaard cognitieve beoordelingen was consequent acceptabel, met correlaties variërend van r = 0,50 tot 0,70.
De review van remote cognitieve beoordelingen bij schizofrenie21 was vergelijkbaar groot (34 artikelen) en bracht enkele van dezelfde problemen naar voren, hoewel slechts een subset van de studies daadwerkelijk ongecontroleerde beoordelingen uitvoerde. De meeste op afstand afgenomen toetsen noemden parallelle formulieren niet, en er waren vrijwel geen meldingen van normen voor afstandslevering vergeleken met fysieke toetsen. In feite onderzocht slechts één van de 34 studies normatieve prestaties op afstands- versus fysieke toetsen versus begeleide toetsen. Een verdere bevinding die overeenkwam met de studie van Polk et al. was dat het onvermogen om beoordelingen af te ronden, door internetverbindingsproblemen, meldingen van technologische storingen en andere technologische overwegingen, aanzienlijk was en aanwezig was in bijna alle onbegeleide studies.
Een probleem dat ontstond bij een poging om de BAC-app op afstand te beheren, was de bezorgdheid van de deelnemers over de gegevensintegriteit, aangezien ze zowel persoonlijk als op afstand werden getest met de BAC-app51. In die studie presteerden deelnemers gemiddeld aanzienlijk beter op een woordenlijst-leertest die op afstand werd afgenomen, wat suggereert dat ze, terwijl de prikkels werden gepresenteerd, deze schreven of noteerden. Aan de lijst met overwegingen voor niet-supervisie-beoordelingen komt dat er een soort beveiligingsstrategie nodig lijkt om data-integriteit te behouden.
Op afstand gegeven digitale cognitieve en vaardigheidstraining
Er zijn meerdere studies uitgevoerd naar het op afstand trainen van cognitieve en functionele vaardigheden bij schizofrenie52 en milde cognitieve beperking53. Daarnaast is cognitieve training toegevoegd als een gecombineerde interventie om de effectiviteit van andere interventies te vergroten, zoals app-gebaseerde behandelingen voor negatieve symptomen bij schizofrenie54en digitale functionele vaardigheidstraining bij MCI25. De algemene bevindingen zijn dat het niveau van naleving en de trainingswinst thuis en op kantoor vrij vergelijkbaar zijn, voor populaties variërend van schizofrenie tot MCI en ADRD. Naleving is nooit perfect, en trainingswinst wordt beïnvloed door individuele verschillen met kenmerken 55,56. Een factor die kan leiden tot voldoende vooruitgang en naleving is dat de cognitieve trainingsprocedures, of ze nu op kantoor of op afstand worden uitgevoerd, in wezen identiek zijn. De hierboven genoemde problemen met technische uitdagingen en het onvermogen om de programma's te starten zijn duidelijk hetzelfde voor remote training als voor remote assessment. Studies waarin deelnemers fysieke training kregen om het onbegeleid lanceren en bedienen van de software te faciliteren, rapporteerden de beste naleving op afstand (bijv. 53).
Wereldwijd gebruik van digitale beoordelingen en behandelingen
Zoals hierboven opgemerkt, zijn er meerdere vertalingen geweest van legacy-paperbeoordelingen, evenals meerdere internationale inspanningen op het digitale gebied. Zo zijn er in Spanje digitale toetsen van dyslexie57 en wiskundige vaardigheden58 ontwikkeld, hoewel het onduidelijk is of deze taken in andere talen zijn vertaald. In China werd een strategie ontwikkeld om de Trail-Making Test aan te passen met extra motorische vaardigheden59 en een andere studie in China ontwikkelde een dual-task interferentieprocedure om de verwerking van complexe zinnen60 te onderzoeken. In Singapore is er een uniek cross-linguïstisch trainingsprogramma met tweetalige personen die in het Engels en één andere Aziatische taal worden opgeleid, met als doel de cognitieve prestatieste verbeteren 61. Al deze studies rapporteerden succesvolle ontwikkelingsinspanningen en acceptatie, hoewel slechts één een directe vergelijking van de bruikbaarheid van de tests tussen de talen binnen culturele groepen mogelijk maakte.
De rol van lokale validatie van vertaalde tests
De meest gebruikte traditionele fysieke beoordelingsstrategieën, zoals de MCCB en de BAC, zijn uitgebreid gevalideerd in verschillende talen en culturele groepen zoals hierboven genoemd. Daarentegen wordt de NIH Toolbox, een breed scala aan beoordelingen gericht op personen van 3–85 jaar, uitsluitend in het Engels aangeboden en afgenomen op één digitaal platform62 op locatie. Er is aanzienlijk minder regionale en wereldwijde informatie beschikbaar over de validatie van digitaal geïmporteerde versies van cognitieve en functionele beoordelingstaken en trainingsprogramma's. Zo werd in de ERUDITE63-studievan luvadaxistat de BAC-app in acht verschillende talen afgenomen, en er is slechts één gepubliceerde studie64 die een andere taalvorm (namelijk Spaans) van die beoordeling valideerde na digitale migratie. Sommige direct-naar-digitaal beoordelingen, zoals de VRFCAT, zijn gebruikt in vertaalde varianten in studies met meer dan 30 verschillende talen65. Opnieuw bestaat er geen substantiële bewijsbasis voor het gebruik van de VRFCAT over verschillende talen heen, hoewel de bevestiging van de gelijkenis van de parallelle vormen werd gepresenteerd toen de oorspronkelijke Engelstalige versie van de beoordeling werd ontwikkeld. Validatie-informatie die wordt verzameld met legacy-versies van digitaal geïmporteerde taken is waarschijnlijk behoorlijk relevant als de migratie geen enkele functie van de test heeft veranderd, maar er zijn een aantal talen waar uitkomstmaten, legacy- en digitale migraties, niet zijn bestudeerd op hun psychometrische kenmerken. Echter, zoals opgemerkt in twee verschillende reviews20,21 over ADRD en schizofrenie, is er opmerkelijk weinig aandacht besteed aan de kenmerken van taken op internationale schaal na aanpassing en digitale migratie.
De uitdagingen in deze twee studies waren dat de VRFCAT een grotere variabiliteit vertoonde dan verwacht, en een aanzienlijk aantal deelnemers had extreem lage scores. Het is mogelijk dat de vertalingen nadelige effecten hadden op de prestaties. Het is net zo waarschijnlijk dat uitdagingen met onervaren testers hebben geleid tot slechte supervisie van de betrokkenheid van deelnemers tijdens de beoordelingen. Ondanks het voor de hand liggende potentieel voor testersuitdagingen, is het waarschijnlijk ook te vroeg om te denken dat een taalkundig gevalideerde vertaling een psychometrisch vergelijkbaar instrument zou garanderen. Tijdens het proces van systematische digitale migratie moet het papier-en-potlood legacy-instrument worden onderzocht op het genereren van vergelijkbare partituren als de gedigitaliseerde versie, hoewel, zoals opgemerkt door de twee bovenstaande reviews, dit niet als gebruikelijk wordt gedocumenteerd. De hierboven beschreven strategie voor de digitale migratie van de LASSI-D is niet vatbaar voor deze uitdagingen, omdat deze een systematische psychometrische vergelijking omvat van elk van de drie digitale parallelle vormen met de resultaten van de door mensen beheerde legacy-versie, zowel in het Spaans als in het Engels. Het is echter een zeer gedetailleerd proces en het zou uiterst lastig zijn om tijdig uit te voeren voor een klinische studie in 30 talen.
Wat is de rol van de menselijke tester?
De gegevens suggereren dat een grote uitdaging bij onbegeleide digitale beoordeling en training is dat deelnemers de technologie kunnen laten werken en toegang krijgen tot het systeem. Andere uitdagingen, zoals het rapporteren van technologische incompatibiliteit door deelnemers, kunnen ook voortkomen uit hun gebrek aan bekendheid met digitale strategieën en hun onvermogen om technologie te gebruiken. Daarom kunnen in onbegeleide beoordelingsparadigma's persoonlijke instructies voorafgaand aan het starten van de toetsen een behulpzame, of zelfs noodzakelijke, strategie zijn.
Sommige technologiegebaseerde beoordelingen worden voornamelijk uitgevoerd tijdens spreekkamerbezoeken, waaronder de meeste taken die bedoeld zijn voor remote assessment bij schizofrenie. Zo vereist de VRFCAT fysieke supervisie van de beoordelingen, net als de BAC-App. VRFCAT heeft een introductiecomponent die voorafgaand aan de formele beoordeling wordt afgenomen, waarbij de menselijke tester eventuele vragen beantwoordt en eventuele onvoldoende inspanningen doorstuurt, terwijl het hoofdbeoordelingsgedeelte continu doorgaat. De examinator krijgt de opdracht de deelnemer te superviseren en hen te begeleiden als deze niet volhardt in hun inspanningen. Een recent VRFCAT-onderzoek vond echter dat sommige deelnemers veel "geforceerde progressies" hadden, wat betekent dat ze een testdoel niet binnen 300 seconden oplosten. Aangezien sommige doelstellingen één korte taak zijn ("Pick up the wallet"), kunnen fouten in het toezicht van de examinator worden vermoed. De BAC-app technologie beheert alle stimuli en verzamelt alle data, maar vereist nog steeds dat de menselijke tester de prestaties superviseert en de subtaken na voltooiing van de deelnemer vooruit helpt. Het Cogstate-systeem vereist geen toezicht op de prestaties van de deelnemers, maar er zijn meerdere meldingen geweest van ongeldige prestaties op bepaalde onderdelen van het systeem en verminderde gevoeligheid voor beperkingen bij schizofrenie66 , die kunnen ontstaan door onvoldoende aanhoudende prestaties en onregelmatige scores van de deelnemers, die kunnen worden opgespoord en gecorrigeerd met persoonlijke supervisie.
Is het mogelijk om digitale supervisie te gebruiken?
Er is momenteel aanzienlijke interesse in chatbots of andere door AI geleverde digitale psychotherapeutische interventies. Een van de uitdagingen van deze interventies is de vereiste van bidirectionele communicatie, waarbij de AI-therapeut de communicatie van de cliënt in realtime moet begrijpen en passend moet reageren. Een andere AI-strategie werd gebruikt bij de ontwikkeling van de LASSI-D. Een menselijke avatar werd gemaakt met AI en diende als testtechnicus, die alle instructies en feedback gaf die een menselijke tester in een standaard testsituatie zou geven. De avatar werd ook geleerd om een vooraf bepaalde set veelgestelde vragen te beantwoorden, die werden geactiveerd doordat de examen een "?"-icoon op het scherm aanraakte. Er was op dat moment geen poging tot interactieve communicatie. De acceptatie van de procedure was vrij hoog (95% voltooiing van testsessies) in een grotendeels minderheidsbezette, eentalige Spaanstalige bevolking, met zeer hoge voltooiingspercentages (meer dan 96% van de beoordelingssessies) en kwalitatieve voorkeursverklaringen voor avatartesters ten opzichte van menselijke testers.
Een mogelijke manier om AI-richtlijnen voor onbegeleide beoordeling en training uit te breiden, zou het ontwikkelen van een trainings- en ondersteuningssysteem zijn dat deelnemers helpt hun onbegeleide beoordelingen of trainingen voor het eerst op te zetten en te starten. Hoewel het nog in ontwikkeling is, wordt FUNSAT aangepast met een initiële instructiemodule met menselijke avatarbegeleiding, om potentiële deelnemers te trainen zich aan te melden voor training, in te loggen op de website en hun trainingsinspanningen te starten. Deze strategieën worden waarschijnlijker consistent en nauwkeurig uitgevoerd dan chatbot-therapeutische interacties, omdat avatarcommunicatie gebaseerd zou zijn op vooraf voorgeschreven antwoorden op vragen en het geven van consistente instructies.
Andere digitale strategieën
De huidige review richt zich op prestatiegebaseerde, intentionele cognitieve beoordelingen. Er is een indrukwekkende reeks passieve digitale fenotyperingsmetingen die nu gesynchroniseerdzijn en kunnen worden gekoppeld aan onbegeleide beoordelingsresultaten. Deze omvatten geolocatie67, lichamelijke activiteit68, sociale context69, interacties met apparaten70 en spraak- en taalkenmerken71. Hoewel dit niet per se cognitieve metingen zijn, weerspiegelen ze potentiële omgevingsfactoren die ook de cognitieve prestaties kunnen beïnvloeden. Zo kunnen stemmingstoestanden die worden afgeleid uit gezichts- of vocale reacties, sociale context en achtergrondafleiding correleren met cognitieve prestaties, vooral tijdens onbegeleide beoordelingen. Sommige uitdagingen die gepaard gaan met ongecontroleerde beoordeling kunnen detecteerbaar en verminderbaar zijn door het gelijktijdig gebruik van passieve eC digitale fenotypering. Omdat deze maatregelen geen opzettelijke inspanning vereisen om de gegevens te verzamelen, voegen ze geen extra last toe aan de beoordelingen.
Digitale beoordeling en behandeling van cognitieve en functionele tekorten zijn veelbelovend omdat ze het proces opschalen en deelnemers bereiken die anders misschien geen toegang zouden hebben. Technologische ontwikkelingen maken eenvoudige vertaling van prikkels mogelijk, het maken van parallelle beoordelingsformulieren en het op afstand bezorgen. De meeste gegevens suggereren dat de resultaten van ongecontroleerde beoordeling en training sterk convergeren met die van legacy-strategieën, wat betreft wereldwijde prestatie-indices. Er zijn echter uitdagingen in zowel de betrokkenheid van deelnemers als de technische kenmerken van testontwikkeling. Veel deelnemers zijn niet in staat om technologie zonder toezicht te beheren. Hoewel technologie het gemakkelijk maakt om prikkels te vertalen en parallelle vormen te creëren, is er niet voldoende aandacht besteed aan de psychometrische gelijkenis van resulterende vertalingen of nieuwe vormen. De systematische benadering van psychometrische evaluatie van testkwaliteit wordt niet goedgepraat omdat technologie het makkelijker maakt om testprikkels te genereren.
Sommige farmacologische behandelingsstudies met digitale uitkomstbeoordelingen zijn er niet in geslaagd de effecten van de behandeling te identificeren, en die mislukkingen kunnen deels verband houden met verschillende versies van de tests, in termen van parallelle vormen of vertaalde stimuli, die niet samenkomen met de oorspronkelijke versie. Deze strategieën, hetzij door testproblemen of uitdagingen met de nieuw ontwikkelde formulieren, hebben ook het potentieel om te variabele testprestaties en ontbrekende data op te leveren.
Een aanvullende aanpak is het gebruik van AI-geleide avatartest- en trainingsassistenten. Dergelijke benaderingen bieden veel potentie, maar vereisen zelf validatie voordat ze volledig worden ingezet. In gevallen waarin dergelijke strategieën worden gebruikt, is een getrapte aanpak vereist: de assistent geeft aanvankelijk volledig gescripte instructies en feedback, waarna hij wordt getraind met modellen met grote talen om de vragen van deelnemers te begrijpen en met de deelnemers te communiceren.
De sociale context van beoordeling en interventie is belangrijk om technologische inspanningen te ondersteunen. Menselijke testers kunnen zich aanpassen aan de uitdagingen van deelnemers en de betrokkenheid bij training faciliteren, terwijl ze technische ondersteuning bieden. Deze interactie zal geïntegreerd moeten worden in digitale benaderingen van onbegeleide cognitieve beoordeling en training om het bereik van deze strategieën te vergroten. Deelnemers die het meest behoefte hebben aan deze beoordelingen en interventiestrategieën hebben ook het meest waarschijnlijk gefaciliteerde hulp nodig bij het zelf uitvoeren van cognitieve en functionele vaardigheidsbeoordelings- en trainingstaken.
Aanvullend dossier 1: Problemen die samenhangen met het ontwikkelen van valide prestatiegerichte beoordelingen: Focus op de validiteit, haalbaarheid en verdraagzaamheid van digitaal uitgevoerde beoordelingen en training. Klik hier om dit bestand te downloaden.
Dr. Harvey heeft consultatiekosten of reisvergoedingen ontvangen van Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences en Recognify. Hij heeft een onderzoeksbeurs van Intracellular Therapeutics (nu onderdeel van Johnson and Johnson). Hij ontvangt royalty's van de Brief Assessment of Cognition in Schizophrenia (eigendom van Clario, voorheen WCG Endpoint Solutions, Inc, voorheen Verasci, en opgenomen in de MCCB). Hij is chief scientific officer van i-Function, Inc. en wetenschappelijk adviseur van EMA Wellness, Inc. De heer Kallestrup is medeoprichter en CEO van i-Function, Inc.
Het onderzoek ter ondersteuning van de ontwikkeling van de FUNSAT en de LASSI-D werd gefinancierd door de subsidies R44 AG074818-02, R43 AG057238-02 en R44 AG057238-04, met Peter Kallestrup als PI.
Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken
Toestemming aanvragen