Le strategie digitali consentono la valutazione e la formazione a distanza non supervisionate, ma sono necessarie diverse considerazioni per garantire la validità dei dati raccolti e l'utilità degli interventi.
Articolo di revisione
Le strategie digitali consentono la valutazione e la formazione a distanza non supervisionate, ma sono necessarie diverse considerazioni per garantire la validità dei dati raccolti e l'utilità degli interventi.
I progressi tecnologici permettono la possibilità di erogazione digitale di valutazioni e formazioni cognitive e funzionali. Esistono due grandi categorie di strategie digitali: quelle inizialmente sviluppate per la distribuzione digitale e quelle che sono state migrate dalle precedenti valutazioni tradizionali su carta e matita. Ci sono state anche numerose ricerche sulla valutazione e formazione supervisionata rispetto a quella non supervisionata. Sviluppi digitali paralleli, come l'intelligenza artificiale (IA), hanno permesso la rapida generazione di moduli di valutazione paralleli e la traduzione di materiali di valutazione per uso internazionale, suggerendo la possibilità di una diffusione mondiale e ampiamente accessibile. La traduzione non garantisce la validazione, e molti strumenti di valutazione sono stati tradotti ma non normati o convalidati dopo la traduzione. In questa revisione, esaminiamo lo stato attuale degli sforzi di valutazione e formazione digitale, utilizzando esempi provenienti da valutazioni in presenza ampiamente diffuse che hanno subito traduzione e migrazione digitale, confrontandole con strategie digitali mai presentate né su carta né di persona. Vengono forniti commenti sull'utilità della performance non supervisionata e sulle sue implicazioni per gli individui che si auto-amministrano valutazioni digitali o programmi di formazione. Ci sono diverse aree che richiedono un'attenta riflessione per fornire strategie digitali da remoto che siano accessibili e personalizzate, tra cui l'integrità psicometrica, la validità linguistica, il supporto sociale fornito da un human tester in presenza e se tale supporto possa essere quantificato e integrato da alternative digitali.
La rivoluzione digitale ha cambiato il panorama della valutazione e della formazione cognitiva e funzionale nelle condizioni legate all'invecchiamento e psichiatriche. Una grande percentuale delle valutazioni effettuate oggi si basa interamente o parzialmente sulla distribuzione digitale. Le valutazioni digitali possono essere migrate da test neuropsicologici standard tradizionali somministrati da un testerumano 1,2 o completamente native a una piattaformadigitale 3,4,5. Alcune strategie includono la consegna su dispositivimobili 6,7,8, che può essere accompagnata da altre valutazioni remote per catturare momentanei di umore, luoghi e condizioniambientali 9.
La migrazione digitale sistematica consente il confronto tra versioni digitali delle procedure e versioni legacy. Per alcuni compiti sono state raccolte informazioni di validazione estese, con confronti sistematici con procedure legacy. Un esempio è il Brief Assessment of Cognition in Schizophrenia (BACS), in cui un test legacy ampiamentenormato 10 è stato migrato al digitaldelivery 11, con uno studio normativocomparativo 12. Un esempio simile fu la migrazione digitale delle Scales di Loewenstein-Acevedo per l'Interferenza Semantica e l'apprendimento (LASSI-L)13, che fu migrata in una versione14 guidata da Avatar, amministrativa da remoto e con tremoduli digitali 15.
Un vantaggio dei compiti digitali è che aggiornamenti rapidi e generalmente automatizzati, inclusi stimoli di test, sono altamente possibili. Questo include traduzioni linguistiche con strategie di Intelligenza Artificiale (IA), che possono produrre rapidamente versioni alternative. Facilitata anche dalle strategie di IA è lo sviluppo di forme parallele necessarie per test ripetuti, in particolare della memoria o della risoluzione dei problemi, per evitare effetti di praticainaccettabili 16, anche nelle popolazioni condemenza 17. Uno dei nostri obiettivi in questa revisione è valutare la qualità delle migrazioni digitali precedenti e degli adattamenti tramite IA, inclusi i dati sull'equivalenza dopo la migrazione digitale, la traduzione linguistica e lo sviluppo di forme parallele.
Un ulteriore sviluppo nella valutazione digitale è l'autogestione remota o non supervisionata delle procedure di valutazione o formazione digitale. Sebbene questa sia una pratica standard per anni per l'addestramento cognitivo computerizzato commerciale (CCT)18, alcuni studi hanno suggerito che anche l'autosomministrazione non supervisionata dei test cognitivi può esserefattibile 19,20,21. L'autogestione non supervisionata può essere effettuata a casa su un dispositivo digitale connesso a internet oppure in un centro di test, dove più partecipanti svolgono i test con una supervisione minima. Gli studi di fattibilità sono stati generalmente a breve termine, anche se alcuni hanno avuto la stessa durata o durate più lunghe rispetto agli studi clinici standard. Esamineremo lo stato generale delle valutazioni e della formazione non supervisionate e commenteremo le aree con difficoltà o dove sono necessarie ulteriori informazioni.
Una questione critica nella valutazione e formazione non supervisionate è quella dell'adattamento interculturale e della fattibilità. Oltre alle differenze linguistiche, ci sono differenze economiche sostanziali, che probabilmente influenzano l'accesso digitale e l'alfabetizzazione, inclusa l'esperienza con telefoni cellulari, tablet o computer portatili e l'accesso a internetdomestico. Il divario digitale mondiale non è più legato all'età ma economico. La motivazione per partecipare ad attività digitali online a distanza può variare notevolmente tra i partecipanti. Le metriche di fattibilità per la valutazione non supervisionata hanno incluso il tasso di consenso, il completamento della valutazione, la validità dei dati e la capacità di gestire la tecnologia. La maggior parte delle valutazioni cliniche non supervisionate si rivolge a individui con alcune presunte disabilità che possono ricevere istruzioni approfondite, anche in presenza, riguardo all'accesso e al completamento di valutazioni o formazione. I dati di fattibilità degli individui che si iscrivono a studi a distanza in cui tutta la registrazione e la formazione vengono effettuate completamentein modo indipendente 19,23 potrebbero non essere generalizzabili a individui con livelli inferiori di competenze digitali, minore fiducia nelle proprie capacità e prestazioni cognitive generali inferiori. Questo includerebbe le persone che sospettano di presentare segni precoci di demenza e che effettuano una valutazione non supervisionata in una clinica.
In uno studio sulla transizione di due sistemi di valutazione digitale dalla presentazione computerizzata residente sul dispositivo alla consegna basatasu cloud, sono stati riscontrati vantaggi sistematici nella velocità di raccolta dati touchscreen rispetto a un mouse per computer. Ci sono sfide comuni di alfabetizzazione digitale nelle valutazioni della capacità funzionale: alcuni partecipanti hanno competenze minime sulla tastiera e devono imparare a digitare una lettera maiuscola per una password25. In uno studio multisito sulla cognizione e la capacità funzionale negliStati Uniti 26, le prestazioni su una valutazione digitale della capacità funzionale variarono di oltre 1,0 SD in diverse località geografiche, monitorando il livello di istruzione e il reddito regionale. Valuteremo la fattibilità e la validità della valutazione e della formazione non supervisionate utilizzando tutte le metriche disponibili.
Come descritto di seguito, la principale sfida della consegna non supervisionata della tecnologia non è il fallimento dei risultati derivati digitalmente nel convergere con le misure standard. La principale sfida è la fattibilità ampia della tecnologia necessaria per valutazioni e addestramenti autoamministrati, oltre a prestazioni eccessivamente variabili in assenza di supervisione umana. Durante le attività cognitive standard vi è un'interazione intrinsecamente sociale che fornisce supervisione e assistenza ai partecipanti che stanno avendo difficoltà. Una questione importante affrontata è se tale supporto possa essere fornito digitalmente, attraverso interazioni basate sull'IA che simulano le interazioni partecipante-tester nelle procedure di valutazione legacy fornite da uomo.
Di seguito è riportata una panoramica dei dati sulle questioni sopra introdotte. Includono standard per la validazione dei test basati sulle prestazioni, applicabili sia alle valutazioni standard che digitali; standard per la migrazione digitale delle valutazioni legacy; e confronti tra il processo di validazione dei compiti digitali nativi con quelli migrati dai formati tradizionali carta/consegna umana, inclusi forme alternative, traduzione e adattamento interculturale. Vi è anche una discussione ampia sulla fattibilità dell'amministrazione non supervisionata rispetto alle strategie somministrate dall'uomo, considerando la fattibilità complessiva di queste strategie e il ruolo del tester umano negli interventi tradizionali di valutazione e addestramento. In queste situazioni di valutazione vengono svolte diverse funzioni, alcune delle quali, in teoria, potrebbero essere svolte con assistenza informata dall'IA. Il Supplemental FIle 1 presenta le questioni considerate in questa recensione.
Principi generali nella validazione della valutazione cognitiva e funzionale
Quando si sviluppa una valutazione digitale ben validata o una strategia di trattamento, si presentano diverse considerazioni. Un esempio prototipico di questo processo è stato il programma collaborativo e su larga scala per lo sviluppo della valutazione degli esiti Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), che ha condotto uno studio di validazione di una vasta selezione di valutazioni legacy consegnate da tester. Sulla base delle discussioni in una riunionedi consenso 27, la selezione dei test in questo contesto è stata guidata da cinque considerazioni fondamentali: affidabilità attraverso le somministrazioni ripetute, adeguatezza per l'uso longitudinale, associazione con gli esiti funzionali, sensibilità ai cambiamenti legati al trattamento e fattibilità e tollerabilità complessive. L'idoneità per una somministrazione ripetuta è stata definita come un miglioramento minimo delle prestazioni dovuto alla pratica o alla disponibilità di forme alternative equivalenti. Sebbene la batteria Cognitive Consensus di MATRICS (MCCB)28 abbia selezionato un insieme di test che soddisfano questi criteri, la batteria si è rivelata difficile da somministrarea distanza 29. Un processo di sviluppo simile è stato utilizzato per una valutazione a scopo simile, la Breve Valutazione della Cognizione nella Schizofrenia (BACS)3. Il BACS è stato sviluppato con strategie simili e i sei sottotest somministrati dal tester nel BACS sono stati esaminati per tutte queste caratteristiche, incluso in un grande studio di validazione con controlli sani (n = 404)8.
L'articolo BACS è stato ampiamente convalidato a livello internazionale, con numerosi studi che ne hanno esaminato l'uso (ad esempio, 30,31,32,33,34,35). Curiosamente, il MCCB è stato tradotto più volte, con il sito web dellosviluppatore 36 che elenca 45 traduzioni diverse. Sul sito è stato inoltre segnalato che solo ~10 delle 45 versioni hanno norme linguistiche ufficiali, nonostante il loro ampio uso negli studi clinici internazionali. Questo è un problema che affronterà più avanti.
La migrazione digitale del BACS nel BAC-App è stata condotta sistematicamente in uno studiocomparativo 11, che includeva partecipanti con schizofrenia e controlli sani, tutti testati sia con la versione legacy che digitale. Prima dell'avvio dello studio, sono state sviluppate forme alternative per diversi sottotest BAC-App, tra cui Verbal Memory (sette versioni), Symbol Coding (otto versioni) e Tower of London (otto versioni). Pertanto, la migrazione digitale del compito è stata progettata per permettere il confronto diretto tra le due versioni e per validare forme parallele. È stato condotto un successivo studio di validazione su larga scala (N = 553, 12) con controlli sani e un piccolo numero di partecipanti con declino cognitivo soggettivo, che ha fornito informazioni normative sulle prestazioni su BAC-App. Pertanto, i dati normativi sono stati raccolti con la versione legacy e poi ripetuti con la versione digitale, inclusa una valutazione delle forme equivalenti (anche se i dati non sono stati pubblicati finora). È importante notare che la BAC-app risultante non è destinata all'amministrazione non supervisionata; Deve essere presente un tester.
Un simile sforzo di migrazione digitale è stato condotto per una valutazione di un articolo legacy, le Scale Loewenstein-Acevedo per l'interferenza e l'apprendimento semantico (LASSI-L)13,14. Questa valutazione mira al rilevamento di interferenze semantiche proattive, che hanno dimostrato di predire un declino cognitivo più rapido e la presenza di biomarcatori ADRD anche nei casi con minimo compromissoaggiuntivo 15. Erano disponibili dati normativi estesi per il LASSI-L e successivamente è stata sviluppata una versione digitale (LASSI-D) per la valutazione non supervisionata. In questo processo di sviluppo, nella valutazione di questi strumenti, è stata posta l'accento sull'affidabilità tra le amministrazioni, sull'adeguatezza all'uso ripetuto, sulla rilevanza per i risultati funzionali e sulla fattibilità e tollerabilità complessive. Un progresso rispetto alla migrazione del BACS fu la convalidazione simultanea delle versioni spagnola e inglese del LASSI-D, a differenza di versioni simili del LASSI-L, e lo sviluppo della versione migrata utilizzando strategie informate dall'IA per aumentare la fattibilità e la validità dell'autogestione non supervisionata. In particolare, un avatar umano svolge le funzioni di un tester umano, fornendo istruzioni, correggendo errori e fornendo incoraggiamento per ottimizzare le prestazioni dei partecipanti. I dati qualitativi raccolti dai partecipanti hanno indicato alti livelli di soddisfazione per le valutazioni condotte dall'avatar, con punteggi di preferenza più alti per queste rispetto a quelle condotte da esseri umani.
Anche le valutazioni digitali dovrebbero aderire a questi stessi principi di affidabilità e validità, e alcuni programmi lo fanno. Ad esempio, lo sviluppo di due diverse misure digitali della capacità funzionale, lo strumento di valutazione della capacità funzionale in realtà virtuale (VRFCAT)3,37 e il Programma di Valutazione e Formazione delle Competenze Funzionali (FUNSAT)25,38 hanno aderito agli stessi cinque principi negli studi di validazione. Sia VRFCAT che FUNSAT hanno subito una migrazione digitale secondaria verso la delivery basatasu cloud 24, e entrambi i test presentano forme alternative con somiglianza dimostrata. Lo studio sulla migrazione del FUNSAT ha anche considerato le prestazioni di parlanti spagnolo e inglese in tre forme alternative.
Un'altra caratteristica sia di VRFCAT che di FUNSAT è stato un ampio sforzo di validazione convergente, con confronti con strategie di valutazione tradizionali e digitali. Ad esempio, è stata esaminata la correlazione tra il VRFCAT e i sintomi negativi nella schizofrenia, così come la correlazione con altri indici di capacità funzionale su carta ematita 40. È stato condotto uno studio qualitativo per valutarne l'accettabilità per la popolazione targetdi valutazione 41. Per il FUNSAT, sono stati riportati studi sulla sua strutturafattoriale 42, sulla sensibilità altrattamento 43, sulle correlazioni con BAC-app44 e altre misure di capacitàfunzionale 45, nonché sulle correlazioni con il funzionamento auto-riportato46.
Tecnologia delle valutazioni non supervisionate
La valutazione neuropsicologica su carta e matita è il caso definitorio di una valutazione supervisionata, che include interazione sociale, supervisione, guida e suggerimenti per evitare risposte problematiche. Come detto sopra, alcune misure cognitive e funzionali somministrate digitalmente sono progettate per essere somministrate da un esaminatore. Esempi includono l'Identical-PairsCPT 47 del MCCB, l'app BAC e il VRFCAT. Altre valutazioni sono progettate in modo tale da poter essere somministrate senza supervisione senza la presenza di un esaminatore, poiché la procedura di valutazione è automatizzata efunziona autonomamente. Alcuni di questi programmi hanno mostrato vulnerabilità a punteggimancanti 48 o a punteggiinvalidi 49 in alcuni sottotest, anche se la percentuale di casi con punteggi non validi è stata bassa. Questi punteggi possono riflettere un scarso coinvolgimento dei candidati, che in alcuni casi può essere corretto con il feedback degli esaminatori. Con la tecnologia digitale attuale, possono essere rilevate interruzioni nella risposta durante i test e il processo può essere temporaneamente sospeso mentre il partecipante viene ricordato di continuare. Ad esempio, i moduli di valutazione e formazione FUNSAT mettono in pausa la procedura e mostrano una finestra pop-up se non riceve risposta entro 15 secondi. Questo processo di rilevamento integrato non è presente in tutte le strategie sopra menzionate.
Dati sulla fattibilità delle valutazioni non supervisionate
Esistono molti studi sulle valutazioni non supervisionate delle prestazioni cognitive in gravi malattie mentali e ADRD. Una revisione ADRD su largascala ha identificato 28 rapporti di ricerca recenti e 23 diversi strumenti per valutazioni non supervisionate, completate sia in visita in ufficio che da remoto. I dati sull'accettabilità erano piuttosto buoni, con consenso informato e tassi di partecipazione superiori all'85%. Molti partecipanti hanno dichiarato di essere disposti a partecipare nuovamente.
L'aderenza alle valutazioni è variata notevolmente, andando dal 63% in uno studio di 8 settimane al 94% in un altro studio di 8 settimane. I tassi di dati inutilizzabili erano bassi, ma alcune strategie di valutazione hanno portato a tassi più elevati di difficoltà nel completamento delle valutazioni. Negli ambienti di realtà aumentata domestici, limitazioni tecniche hanno portato alla perdita di circa il 21% dei dati e l'incompatibilità dei dispositivi ha causato l'impossibilità di completare le valutazioni remote per quasi il 32% dei partecipanti.
Le considerazioni psicometriche, che sono comunemente gestite con attenzione nelle strategie di valutazione tradizionali, non sono state ben considerate come avrebbero potuto essere. Ad esempio, solo 2 su 23 compiti riportati sulla convergenza delle forme parallele e sull'affidabilità test-retest si trovavano nella fascia inferiore dell'intervallo accettabile. Tuttavia, poiché alcune di queste valutazioni sono state condotte da remoto e ad hoc, fattori ambientali potrebbero influenzare le prestazioni, che è una considerazione importante. Pertanto, quella che sembra essere una bassa affidabilità test-ritest potrebbe in realtà riflettere sensibilità alle influenze ambientali e varianza all'interno dei partecipanti associata a fattori ambientalivariabili 9,50. La validità convergente con le valutazioni cognitive standard è stata costantemente accettabile, con correlazioni che variano da r = 0,50 a 0,70.
La revisione delle valutazioni cognitive remote nella schizofrenia21 era di dimensioni simili (34 articoli) e ha sollevato alcune delle stesse problematiche, anche se solo una parte degli studi ha effettivamente effettuato valutazioni veramente non supervisionate. La maggior parte delle valutazioni somministrate a distanza non menzionava moduli paralleli e praticamente non ci sono state segnalazioni di norme per la consegna a distanza rispetto alle valutazioni in presenza. Infatti, solo uno dei 34 studi ha esaminato le prestazioni normative nelle valutazioni remote rispetto a quelle in presenza rispetto a quelle supervisionate. Un ulteriore risultato corrispondente allo studio di Polk et al. è stato che l'incapacità di completare le valutazioni, dovuta a problemi di connettività internet, segnalazioni di guasti tecnologici e altre considerazioni tecnologiche, era sostanziale e presente in quasi tutti gli studi non supervisionati.
Un problema emerso nel tentativo di somministrare remotamente la BAC-app è stata la preoccupazione dei partecipanti per l'integrità dei dati, poiché sono stati testati di persona e da remoto con laBAC-app 51. In quello studio, i partecipanti, in media, hanno ottenuto risultati sostanzialmente migliori in un test di apprendimento con lista di parole somministrato a distanza, suggerendo che, mentre venivano presentati gli stimoli, li scrivevano o registravano. Aggiungendo alla lista delle considerazioni per le valutazioni non supervisionate, sembra necessaria una qualche strategia di sicurezza per mantenere l'integrità dei dati.
Formazione cognitive e di competenze digitali distribuite da remoto
Sono stati condotti diversi studi sull'allenamento remoto delle abilità cognitive e funzionali nella schizofrenia52 e nel lieve compromissionecognitiva 53. Inoltre, l'allenamento cognitivo è stato aggiunto come intervento combinato per aumentare l'efficacia di altri interventi, come i trattamenti con sintomi negativi basati su app nella schizofrenia54e la formazione sulle abilità funzionali digitali inMCI 25. I risultati generali sono stati che il tasso di aderenza e i progressi di formazione osservati sono piuttosto simili sia a casa che in ufficio, per popolazioni che vanno dalla schizofrenia a MCI e ADRD. L'aderenza non è mai perfetta e i guadagni nell'addestramento sono influenzati dalle differenze individuali nelle caratteristiche55,56. Un fattore che può portare a adeguati progressi e adesione è che le procedure di allenamento cognitivo, sia in ufficio che da remoto, sono sostanzialmente identiche. Le questioni sopra menzionate riguardo alle sfide tecniche e all'impossibilità di avviare i programmi sono chiaramente le stesse per la formazione a distanza e per la valutazione remota. Gli studi in cui i partecipanti hanno ricevuto formazione in presenza per facilitare l'avvio e l'uso del software senza supervisione hanno riportato la migliore aderenza a distanza (ad esempio,53).
Utilizzo mondiale di valutazioni e trattamenti digitali
Come già detto, sono state effettuate molteplici traduzioni di valutazioni di articoli legacy, oltre a numerosi sforzi internazionali nel dominio digitale. Ad esempio, in Spagna sono state sviluppate valutazioni digitali della dislessia57 e delle competenze matematiche58 , anche se non è chiaro se questi compiti siano stati tradotti in altre lingue. In Cina, è stata sviluppata una strategia per modificare il Trail-Making Test includendo ulteriori misurazioni delle abilitàmotorie 59 e un altro studio cinese ha sviluppato una procedura di interferenza a doppio compito per esaminare l'elaborazione delle frasicomplesse 60. A Singapore, un programma unico di formazione interlinguistica che coinvolge individui bilingui formati in inglese e in un'altra lingua asiatica, con l'obiettivo di migliorare le prestazioni cognitive61. Tutti questi studi hanno riportato risultati di sviluppo e accettabilità, anche se solo uno ha permesso un confronto diretto sull'utilità dei test tra le lingue all'interno dei gruppi culturali.
Il ruolo della validazione locale dei test tradotti
Le strategie tradizionali di valutazione in presenza più diffuse, come il MCCB e il BAC, sono state ampiamente validate in diverse lingue e gruppi culturali come menzionato sopra. Al contrario, il NIH Toolbox, una valutazione ampia rivolta a persone di età compresa tra 3 e 85 anni, è offerto solo in inglese e gestito su un'unica piattaforma digitalein presenza 62. Sono disponibili molte meno informazioni regionali e globali sulla validazione delle versioni migrate digitalmente dei compiti e dei programmi di formazione di valutazione cognitiva e funzionale. Ad esempio, nello studioERUDITE 63sul luvadaxistat, l'app BAC-app è stato somministrato in otto lingue diverse, e c'è stato solo uno studiopubblicato 64 che ha validato una forma linguistica diversa (cioè lo spagnolo) di quella valutazione dopo la migrazione digitale. Alcune valutazioni direct-to-digital, come il VRFCAT, sono state utilizzate in varianti tradotte in studi con più di 30 linguediverse 65. Ancora una volta, non esiste una base di evidenze sostanziale per l'uso del VRFCAT tra le lingue, anche se la validazione della somiglianza delle forme parallele è stata presentata quando è stata sviluppata la versione originale in inglese della valutazione. Le informazioni di validazione raccolte con le versioni legacy di compiti migrati digitalmente sono probabilmente molto rilevanti se la migrazione non ha modificato alcuna funzionalità del test, ma esistono diversi linguaggi in cui le misure di risultato, migrazioni legacy e digitali, non sono state studiate per le loro caratteristiche psicometriche. Tuttavia, come evidenziato in due diverserevisioni 20,21 per ADRD e schizofrenia, è stata data sorprendentemente poca attenzione alle caratteristiche dei compiti a livello internazionale dopo modifiche e migrazione digitale.
Le sfide in questi due studi erano che il VRFCAT mostrava una variabilità maggiore del previsto e un numero consistente di partecipanti aveva punteggi estremamente bassi. È possibile che le traduzioni abbiano avuto effetti negativi sulle prestazioni. È altrettanto probabile che le difficoltà con i tester inesperti abbiano portato a una scarsa supervisione del coinvolgimento dei partecipanti durante le valutazioni. Nonostante il potenziale evidente di sfide da parte dei tester, è probabilmente prematuro pensare che una traduzione linguisticamente validata garantirebbe uno strumento psicometricamente simile. Durante il processo di migrazione digitale sistematica, lo strumento legacy di carta e matita dovrebbe essere esaminato per la generazione di punteggi simili alla versione digitalizzata, anche se, come indicato dalle due revisioni sopra, ciò non è documentato come comune. La strategia sopra descritta per la migrazione digitale del LASSI-D non è suscettibile a queste sfide, poiché include un confronto psicometrico sistematico di ciascuna delle tre forme digitali parallele con i risultati della versione legacy somministrata dall'uomo sia in spagnolo che in inglese. Tuttavia, si tratta di un processo molto dettagliato e sarebbe estremamente difficile da implementare in tempi tempi per uno studio clinico in 30 lingue.
Qual è il ruolo del tester umano?
I dati suggeriscono che una delle principali sfide nella valutazione e formazione digitale non supervisionate è permettere ai partecipanti di far funzionare la tecnologia e accedere al sistema. Altre sfide, come le segnalazioni dei partecipanti sull'incompatibilità tecnologica, possono derivare anche dalla loro scarsa familiarità con le strategie digitali e dall'incapacità di utilizzare la tecnologia. Pertanto, nei paradigmi di valutazione non supervisionata, istruzioni personalizzate prima dell'inizio delle valutazioni possono essere una strategia utile, o addirittura necessaria.
Alcune valutazioni basate sulla tecnologia vengono somministrate principalmente durante le visite in ambulatorio, inclusa la maggior parte dei compiti progettati per la valutazione remota nella schizofrenia. Ad esempio, il VRFCAT richiede la supervisione in presenza delle valutazioni, così come il BAC-App. Il VRFCAT prevede una componente introduttiva somministrata prima della valutazione formale, durante la quale il tester umano risponde a qualsiasi domanda e reindirizza eventuali sforzi insufficienti, mentre la sezione principale della valutazione si svolge continuamente. All'esaminatore viene incaricato di supervisionare il partecipante e fornire indicazioni se questi non perseverano nei loro sforzi. Tuttavia, uno studio recente del VRFCAT ha rilevato che alcuni partecipanti hanno avuto molte "progressioni forzate", cioè non hanno risolto un obiettivo di test entro 300 secondi. Poiché alcuni degli obiettivi sono un unico compito breve ("Ritira il portafoglio"), si potrebbero sospettare mancanze nella supervisione degli esaminatori. La tecnologia BAC-app amministra tutti gli stimoli e raccoglie tutti i dati, ma richiede comunque che il tester umano supervisioni le prestazioni e promuova i sottocompiti dopo il completamento dei partecipanti. Il sistema Cogstate non richiede la supervisione delle prestazioni dei partecipanti, ma sono stati segnalati molteplici rapporti di prestazioni invalide su alcuni componenti del sistema e di una sensibilità ridotta ai deficit nellaschizofrenia 66 che potrebbero derivare da prestazioni sostenute inadeguate e punteggi irregolari da parte dei partecipanti, che potrebbero essere rilevati e corretti con supervisione in presenza.
È possibile usare la supervisione digitale?
Attualmente c'è un notevole interesse per i chatbot o altri interventi psicoterapeutici digitali forniti dall'IA. Tra le sfide di questi interventi c'è la necessità di una comunicazione bidirezionale, in cui il terapeuta IA deve comprendere la comunicazione del cliente in tempo reale e rispondere in modo appropriato. Una strategia di IA diversa è stata utilizzata nello sviluppo del LASSI-D. Un avatar umano veniva creato con l'IA e fungeva da tecnico di test, fornendo tutte le istruzioni e i feedback che sarebbero stati forniti da un tester umano in una situazione di test standard. L'avatar veniva anche insegnato a rispondere a una serie prestabilita di FAQ, che venivano attivate dal toccato dell'esame sull'icona "?" sullo schermo. Non c'è stato alcun tentativo di comunicare in modo interattivo in quella fase. L'accettabilità della procedura è stata piuttosto elevata (95% di completamento delle sessioni di test) in una popolazione in gran parte minoritaria monolingue di lingua spagnola, con tassi di completamento molto elevati (oltre il 96% delle sessioni di valutazione) e dichiarazioni qualitative di preferenze per i tester avatar rispetto a quelli umani.
Una possibile via per espandere le linee guida sull'IA per la valutazione e la formazione non supervisionate sarebbe sviluppare un sistema di formazione e assistenza progettato per aiutare i partecipanti a impostare e avviare per la prima volta le loro valutazioni o addestramenti non supervisionati. Sebbene ancora in fase di sviluppo, FUNSAT è in fase di modifica per includere un modulo didattico iniziale con guida all'avatar umano per formare i potenziali partecipanti a iscriversi alla formazione, accedere al sito web e avviare i loro sforzi di formazione. Queste strategie hanno maggiori probabilità di essere condotte in modo coerente e accurato rispetto alle interazioni terapeutiche con chatbot, perché la comunicazione con l'avatar si baserebbe su risposte pre-scriptate alle domande e sulla trasmissione di istruzioni coerenti.
Altre strategie digitali
L'attuale revisione si concentra su valutazioni cognitive intenzionali basate sulle prestazioni. Esiste un'impressionante gamma di misure di fenotipizzazione digitale passiva che orasono selezionate e possono essere collegate ai risultati delle valutazioni non supervisionate. Queste includonogeolocalizzazione 67, attivitàfisica 68, contesto sociale69, interazioni con dispositivi70 e caratteristiche del linguaggioe del linguaggio 71. Sebbene questi non siano necessariamente misure della cognizione, riflettono potenziali fattori ambientali che possono influenzare anche le prestazioni cognitive. Ad esempio, lo stato d'umore dedotto da risposte facciali o vocali, contesto sociale e distrazione di fondo può correlarsi con le prestazioni cognitive, in particolare durante valutazioni non supervisionate. Alcune delle sfide associate alla valutazione non supervisionata possono essere rilevabili e riducibili attraverso l'uso concomitante del fenotipaggio elettronico passivo con eC. Poiché queste misure non richiedono uno sforzo intenzionale per raccogliere i dati, non aggiungono onere alle valutazioni.
La valutazione e il trattamento digitale dei deficit cognitivi e funzionali sono molto promettenti perché permettono di scalare il processo e raggiungere partecipanti che altrimenti non avrebbero avuto accesso. Gli sviluppi tecnologici permettono una facile traduzione degli stimoli, la creazione di moduli di valutazione parallela e la consegna a distanza. La maggior parte dei dati suggerisce che i risultati della valutazione e della formazione non supervisionate siano fortemente convergenti con quelli delle strategie legacy, in termini di indici di performance globali. Tuttavia, ci sono sfide sia nel coinvolgimento dei partecipanti sia nelle caratteristiche tecniche dello sviluppo dei test. Molti partecipanti non riescono a gestire la tecnologia senza supervisione. Sebbene la tecnologia renda facile tradurre stimoli e creare forme parallele, non è stata data sufficiente attenzione alla somiglianza psicometrica delle traduzioni risultanti o delle nuove forme. L'approccio sistematico alla valutazione psicometrica della qualità dei test non è giustificato perché la tecnologia facilita la generazione degli stimoli del test.
Alcuni studi farmacologici con valutazioni digitali degli esiti non sono riusciti a identificare gli effetti del trattamento, e tali fallimenti potrebbero essere parzialmente collegati a diverse versioni dei test, in termini di forme parallele o stimoli tradotti, che non convergono con la versione originale. Queste strategie, sia a causa di problemi con i tester sia di difficoltà con i moduli appena sviluppati, si sono rivelate avere il potenziale di produrre prestazioni di test eccessivamente variabili e dati mancanti.
Un approccio supplementare è stato l'utilizzo di assistenti di test e addestramento degli avatar guidati dall'IA. Tali approcci hanno notevoli potenziali, ma richiedono validazione prima della piena implementazione. Nei casi in cui tali strategie vengono adottate, sarebbe necessario un approccio a gradini: l'assistente inizialmente fornirebbe istruzioni e feedback completamente scriptati, poi verrà addestrato con modelli in larga lingua per comprendere le domande dei partecipanti e interagire con loro.
Il contesto sociale della valutazione e dell'intervento è importante per sostenere gli sforzi legati alla tecnologia. I human tester possono adattarsi alle sfide dei partecipanti e facilitare il coinvolgimento con la formazione, fornendo al contempo assistenza tecnica. Questa interazione dovrà essere integrata negli approcci digitali alla valutazione cognitiva non supervisionata e alla formazione per ampliare la portata di queste strategie. I partecipanti che hanno maggiori bisogni di queste valutazioni e strategie di intervento sono anche i più propensi a necessitare di assistenza facilitata durante la valutazione e la formazione delle abilità cognitive e funzionali auto-amministrative.
File Supplementare 1: Questioni associate allo sviluppo di valutazioni valide basate sulle prestazioni: Attenzione alla validità, fattibilità e tollerabilità delle valutazioni e della formazione erogate digitalmente. Clicca qui per scaricare questo file.
Il dottor Harvey ha ricevuto compensi di consulenza o rimborsi di viaggio da Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences e Recognify. Ha una borsa di ricerca da Intracellular Therapeutics (ora parte di Johnson and Johnson). Riceve royalties dalla Breve Valutazione della Cognizione nella Schizofrenia (di proprietà di Clario, precedentemente WCG Endpoint Solutions, Inc, precedentemente Verasci, e contenuta nel MCCB). È il chief scientific officer di i-Function, Inc. e consulente scientifico per EMA Wellness, Inc. Il signor Kallestrup è cofondatore e amministratore delegato di i-Function, Inc.
La ricerca a supporto dello sviluppo del FUNSAT e del LASSI-D è stata finanziata da sovvenzioni del National Institute on Aging (NIA) R44 AG074818-02, R43 AG057238-02 e R44 AG057238-04, con Peter Kallestrup come PI.
Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE
Richiedi permesso