Les stratégies numériques permettent une évaluation et une formation à distance non supervisées, mais plusieurs éléments sont nécessaires pour garantir la validité des données collectées et l’utilité des interventions.
Article de revue
Les stratégies numériques permettent une évaluation et une formation à distance non supervisées, mais plusieurs éléments sont nécessaires pour garantir la validité des données collectées et l’utilité des interventions.
Les avancées technologiques permettent la possibilité d’une prestation numérique d’évaluations et de formations cognitives et fonctionnelles. Il existe deux grandes catégories de stratégies numériques : celles initialement développées pour la diffusion numérique et celles qui ont été migrées à partir des évaluations traditionnelles antérieures sur papier et crayon. Il y a également eu beaucoup de recherches sur l’évaluation et la formation supervisées versus non supervisées. Les développements numériques simultanés, tels que l’intelligence artificielle (IA), ont permis la génération rapide de formulaires d’évaluation parallèles et la traduction de supports d’évaluation pour un usage international, suggérant la possibilité d’un déploiement mondial et largement accessible. La traduction n’assure pas la validation, et de nombreux instruments d’évaluation ont été traduits mais non normés ou validés après la traduction. Dans cette revue, nous examinons l’état actuel des efforts d’évaluation et de formation numériques, en utilisant des exemples issus d’évaluations en présentiel largement déployées qui ont fait l’objet de traduction et de migration numérique, et les comparons à des stratégies numériques jamais mises en œuvre ni sur papier ni en présentiel. Des commentaires sont fournis sur l’utilité de la performance non supervisée et ses implications pour les individus qui s’auto-administrent des évaluations numériques ou des programmes de formation. Plusieurs domaines nécessitent une réflexion approfondie pour mettre en œuvre des stratégies numériques à distance, accessibles et personnalisées, notamment l’intégrité psychométrique, la validité linguistique, le soutien social fourni par un testeur humain en personne, et la possibilité que ce soutien puisse être quantifié et complété par des alternatives numériques.
La révolution numérique a transformé le paysage de l’évaluation cognitive et fonctionnelle ainsi que de la formation aux troubles liés au vieillissement et psychiatriques. Une grande proportion des évaluations réalisées aujourd’hui reposent entièrement ou partiellement sur la diffusion numérique. Les évaluations numériques peuvent être migrées à partir de tests neuropsychologiques standards traditionnels administrés par un testeur humain 1,2 ou entièrement natifs à une plateformenumérique 3,4,5. Certaines stratégies incluent la livraison sur appareilsmobiles 6,7,8, qui peut être accompagnée d’autres évaluations à distance pour capturer des humeurs, des lieux et des conditions environnementalesmomentanées 9.
La migration numérique systématique permet de comparer les versions numériques des procédures avec les versions héritées. Pour certaines tâches, des informations de validation étendues ont été collectées, avec des comparaisons systématiques avec des procédures héritées. Un exemple est la Brief Assessment of Cognition in Schizophrenia (BACS), dans laquelle un test de l’héritage largement normé10 a été migré vers la prestationnumérique 11, avec une étude comparativenormative 12. Un exemple similaire fut la migration numérique des Loewenstein-Acevedo Scales for Semantic Interference and learning (LASSI-L)13, qui a été migrée vers une version14 guidée par Avatar, administrable à distance, avec troisformulaires numériques 15.
Un avantage des tâches numériques est que des mises à jour rapides, généralement automatisées, y compris les stimuli de test, sont très réalisables. Cela inclut les traductions linguistiques avec des stratégies d’intelligence artificielle (IA), qui peuvent rapidement produire des versions alternatives. Les stratégies d’IA facilitent également le développement de formes parallèles nécessaires pour des tests répétés, en particulier de la mémoire ou de la résolution de problèmes, afin d’éviter des effets pratiquesinacceptables 16, même chez les populations atteintes dedémence 17. L’un de nos objectifs dans cette revue est d’évaluer la qualité des migrations numériques précédentes et des adaptations par IA, y compris les données sur l’équivalence après migration numérique, la traduction linguistique et le développement de formes parallèles.
Un développement supplémentaire de l’évaluation numérique est l’auto-administration à distance ou non supervisée des procédures d’évaluation ou de formation numériques. Bien que cela soit une pratique standard depuis des années pour l’entraînement cognitif informatisé commercial (CCT)18, certaines études ont suggéré que l’auto-administration non supervisée des tests cognitifs peut également êtreréalisable 19,20,21. L’auto-administration non supervisée peut être réalisée à domicile sur un appareil numérique connecté à Internet ou dans un centre de test, où plusieurs participants passent les tests sous supervision minimale. Les études de faisabilité ont généralement été à court terme, bien que certaines aient eu la même durée ou des durées plus longues que les essais cliniques standards. Nous examinerons l’état général des évaluations et formations non supervisées et commenterons les domaines présentant des difficultés ou les nécessités de plus d’informations.
Un enjeu crucial dans l’évaluation et la formation non supervisées est l’adaptation et la faisabilité interculturelles. En plus des différences linguistiques, il existe d’importantes différences économiques, susceptibles d’impacter l’accès numérique et la littératie, notamment l’expérience avec les téléphones portables, les tablettes ou ordinateurs portables, et l’accès à Internet à domicile. La fracture numérique mondiale n’est plus liée à l’âge mais à l’économie. La motivation de participer aux activités numériques en ligne à distance peut varier considérablement d’un participant. Les indicateurs de faisabilité pour l’évaluation non supervisée ont inclus le taux de consentement, l’achèvement de l’évaluation, la validité des données et la capacité à gérer la technologie. La plupart des évaluations cliniques non supervisées ciblent des personnes présentant certaines incapacités attendues, qui peuvent recevoir une instructionapprofondie 20, 21, y compris en présentiel, concernant la connexion et la réussite des évaluations ou de la formation. Les données de faisabilité provenant des individus qui s’inscrivent à des études à distance dans lesquelles toute l’inscription et la formation sont réalisées entièrement de manièreindépendante 19,23 peuvent ne pas être généralisables aux individus ayant des niveaux numériques plus faibles, une confiance en leurs capacités moindre et une performance cognitive générale plus faible. Cela inclut les personnes qui soupçonnent des signes précoces de démence et qui réalisent une évaluation non supervisée en clinique.
Dans une étude sur la transition de deux systèmes d’évaluation numériques de la présentation informatique résidente sur l’appareil à la livraison basée surle cloud 24, il y a eu des avantages systématiques dans la vitesse de collecte des données à l’écran tactile par rapport à une souris d’ordinateur. Il existe des défis courants en littératie numérique lors des évaluations de la capacité fonctionnelle : certains participants ont des compétences minimales au clavier et doivent apprendre à taper une majuscule pour un motde passe 25. Dans une étude multi-sites sur la cognition et la capacité fonctionnelle auxÉtats-Unis 26, la performance sur une évaluation numérique de la capacité fonctionnelle variait de plus de 1,0 DE selon les zones géographiques, suivant le niveau d’éducation et le revenu régionaux. Nous évaluerons la faisabilité et la validité de l’évaluation et de la formation non supervisées en utilisant tous les indicateurs disponibles.
Comme décrit ci-dessous, le principal défi de la livraison non supervisée de la technologie n’est pas l’échec des résultats dérivés numériquement à converger avec les mesures standard. Le principal défi est la grande faisabilité de la technologie nécessaire aux évaluations et formations auto-administrées, ainsi qu’une performance trop variable en l’absence de supervision humaine. Il existe une interaction intrinsèquement sociale lors des tâches cognitives standard qui offre une supervision et une assistance aux participants en difficulté. Une question importante également abordée est de savoir si un tel soutien peut être fourni numériquement, via des interactions basées sur l’IA qui simulent les interactions participant-testeur dans des procédures d’évaluation humaines traditionnelles.
Voici un aperçu des données sur les questions évoquées ci-dessus. Ils incluent des normes pour valider les tests basés sur la performance, applicables aussi bien aux évaluations standard qu’aux évaluations numériques ; des normes pour la migration numérique des évaluations héritées ; et des comparaisons du processus de validation des tâches natives numériques avec celles migrées à partir de formats papier hérités/livraison humaine, incluant des formes alternatives, la traduction et l’adaptation interculturelle. Il existe également une discussion large sur la faisabilité de l’administration non supervisée par rapport aux stratégies délivrées par l’humain, en tenant compte de la faisabilité globale de ces stratégies et du rôle du testeur humain dans les interventions traditionnelles d’évaluation et de formation. Plusieurs fonctions sont réalisées dans ces situations d’évaluation, dont certaines pourraient, en théorie, être assurées grâce à une assistance informée par l’IA. Le Supplément 1 présente les questions abordées dans cette revue.
Principes généraux dans la validation de l’évaluation cognitive et fonctionnelle
Lors de l’élaboration d’une évaluation ou d’une stratégie de traitement numérique bien validée, plusieurs considérations se posent. Un exemple typique de ce processus est le programme collaboratif et à grande échelle de développement d’évaluations des résultats, l’initiative Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), qui a mené une étude de validation d’un large éventail d’évaluations héritées délivrées par des testeurs. Sur la base des discussions lors d’une réunionde consensus 27, la sélection des tests dans ce contexte a été guidée par cinq considérations fondamentales : la fiabilité à travers les administrations répétées, l’adéquation pour une utilisation longitudinale, l’association avec les résultats fonctionnels, la sensibilité aux changements liés au traitement, ainsi que la faisabilité et la tolérabilité globales. L’adéquation à une administration répétée était définie soit comme une amélioration minimale des performances due à la pratique, soit par la disponibilité de formes alternatives équivalentes. Bien que la batterie cognitive consensuelle MATRICS (MCCB)28 ait sélectionné un ensemble de tests répondant à ces critères, la batterie s’est avérée difficile à administrerà distance 29. Un processus de développement similaire a été utilisé pour une évaluation à but similaire, la Brief Assessment of Cognition in Schizophrenia (BACS)3. Le BACS a été développé avec des stratégies similaires et les six sous-tests administrés par le testeur dans le BACS ont été examinés pour toutes ces caractéristiques, y compris dans une grande étude de validation avec des témoins sains (n = 404)8.
L’article BACS a été largement validé à l’international, avec de nombreuses études examinant son utilisation (par exemple, 30,31,32,33,34,35). Fait intéressant, le MCCB a également été traduit à plusieurs reprises, le site dudéveloppeur 36 listant 45 traductions différentes. Il est également indiqué sur le site web que seulement ~ 10 des 45 versions ont des normes linguistiques officielles, malgré leur usage généralisé dans les essais cliniques internationaux. C’est un problème abordé plus tard.
La migration numérique du BACS vers le BAC-App a été systématiquement menée dans une étudecomparative 11, incluant des participants atteints de schizophrénie et des témoins en bonne santé, tous testés avec les versions héritée et numérique. Avant le lancement de l’étude, des formes alternatives ont été développées pour plusieurs sous-tests BAC-App, notamment Verbal Memory (sept versions), Symbol Coding (huit versions) et Tower of London (huit versions). Ainsi, la migration numérique de la tâche a été conçue pour permettre une comparaison directe des deux versions et valider les formes parallèles. Une étude de validation à grande échelle (N = 55312) avec des témoins sains et un petit nombre de participants présentant un déclin cognitif subjectif a été menée, fournissant des informations normatives sur la performance sur le BAC-App. Ainsi, les données normatives ont été collectées avec la version héritée puis répétées avec la version numérique, y compris une évaluation des formes équivalentes (bien que les données n’aient pas encore été publiées). Il est important de noter que l’application BAC-appliquée résultante n’est pas destinée à une administration non supervisée ; Un testeur doit être présent.
Un effort similaire de migration numérique a été mené pour une évaluation d’un article hérité, les Loewenstein-Acevedo Scales for Semantic Interference and Learning (LASSI-L)13,14. Cette évaluation vise la détection d’interférences sémantiques proactives, qui ont démontré qu’elles prédisent un déclin cognitif plus rapide et la présence de biomarqueurs ADRD même dans les cas avec une altération supplémentaireminimale 15. Des données normatives étendues étaient disponibles pour le LASSI-L, et une version numérique (LASSI-D) a ensuite été développée pour une évaluation non supervisée. Dans ce processus de développement, lors de l’évaluation de ces instruments, l’accent a été mis sur la fiabilité entre les administrations, l’adéquation à une utilisation répétée, la pertinence pour les résultats fonctionnels, ainsi que la faisabilité et la tolérabilité globales. Une avancée par rapport à la migration du BACS a été la validation simultanée des versions espagnole et anglaise du LASSI-D, par opposition aux versions similaires du LASSI-L, ainsi que le développement de la version migrée utilisant des stratégies informées par l’IA pour accroître la faisabilité et la validité de l’auto-administration non supervisée. Plus précisément, un avatar humain accomplit les fonctions d’un testeur humain, donnant des instructions, corrigeant les erreurs et encourageant l’optimisation des performances des participants. Les données qualitatives recueillies auprès des participants ont indiqué un niveau élevé de satisfaction envers les évaluations données par l’avatar, avec des scores de préférence plus élevés pour celles-ci que pour les évaluations données par des humains.
Les évaluations natives numériques devraient également respecter ces mêmes principes de fiabilité et de validité, et certains programmes l’ont fait. Par exemple, le développement de deux mesures numériques différentes de la capacité fonctionnelle, l’outil d’évaluation de la capacité fonctionnelle en réalité virtuelle (VRFCAT)3,37 et le programme d’évaluation et de formation des compétences fonctionnelles (FUNSAT)25,38 ont respecté les mêmes cinq principes dans les études de validation. VRFCAT et FUNSAT ont tous deux subi une migration numérique secondaire vers la livraisonbasée sur le cloud 24, et les deux tests présentent des formes alternatives avec des similitudes démontrées. L’étude sur la migration du FUNSAT a également examiné la performance des hispanophones et anglophones dans trois formes alternatives.
Une autre caractéristique du VRFCAT et du FUNSAT était un effort important de validation convergente, avec des comparaisons avec des stratégies d’évaluation traditionnelles et numériques réalisées. Par exemple, la corrélation du VRFCAT avec les symptômes négatifs dans la schizophrénie a étéexaminée 39, tout comme sa corrélation avec d’autres indices de capacité fonctionnelle sur papieret crayon 40. Une étude qualitative a été réalisée pour évaluer son acceptabilité auprès de la population cibleévaluée 41. Pour le FUNSAT, des études sur sa structure de facteurs42, sa sensibilité autraitement 43, les corrélations avec leBAC-app 44, et d’autres mesures de capacitéfonctionnelle 45, ainsi que des corrélations avec le fonctionnement auto-déclaré ont également étérapportées 46.
Technologie des évaluations non supervisées
L’évaluation neuropsychologique sur papier et crayon est le cas déterminant d’une évaluation supervisée, qui inclut l’interaction sociale, la supervision, l’orientation et des suggestions pour éviter une réponse problématique. Comme mentionné ci-dessus, certaines mesures cognitives et fonctionnelles administrées numériquement sont conçues pour être administrées par un examinateur. Parmi les exemples figurent le CPT47 Identical-Pairs du MCCB, l’application BAC et le VRFCAT. D’autres évaluations sont conçues de manière à pouvoir être administrées sans supervision sans la présence d’un examinateur, car la procédure d’évaluation est automatisée et fonctionne de manière autonome. Certains de ces programmes ont montré une vulnérabilité à des scoresmanquants de 48 ou invalidesà 49 sur certains sous-tests, bien que la proportion de cas avec des scores invalides ait été faible. Ces scores peuvent refléter un faible engagement des passants, qui peut être corrigé dans certains cas grâce aux retours des examinateurs. Avec la technologie numérique actuelle, des interruptions dans la réponse lors des tests peuvent être détectées, et le processus peut être temporairement suspendu pendant que le participant est rappelé de continuer. Par exemple, les modules d’évaluation et de formation FUNSAT mettent la procédure en pause et affichent une fenêtre contextuelle si aucune réponse n’est reçue dans les 15 secondes. Ce processus de détection intégré n’est pas présent dans toutes les stratégies mentionnées ci-dessus.
Données sur la faisabilité des évaluations non supervisées
De nombreuses études portent sur des évaluations non supervisées de la performance cognitive dans les troubles mentaux graves et les TDA. Une revue ADRD àgrande échelle 20 a identifié 28 rapports de recherche récents et 23 outils différents pour des évaluations non supervisées, réalisés soit lors d’une visite en cabinet, soit à distance. Les données d’acceptabilité étaient assez bonnes, avec un consentement éclairé et des taux de participation supérieurs à 85 %. De nombreux participants ont déclaré qu’ils seraient prêts à participer à nouveau.
L’adhésion aux évaluations a considérablement varié, allant de 63 % dans une étude de 8 semaines à 94 % dans une autre étude de 8 semaines. Les taux de données inutilisables étaient faibles, mais certaines stratégies d’évaluation ont conduit à des taux plus élevés de difficultés dans la réalisation des évaluations. Dans les environnements de réalité augmentée à domicile, des limitations techniques ont entraîné la perte d’environ 21 % des données, et l’incompatibilité des appareils a empêché près de 32 % des participants de réaliser les évaluations à distance.
Les considérations psychométriques, qui sont couramment gérées avec soin dans les stratégies d’évaluation traditionnelles, n’ont pas été aussi bien prises en compte qu’elles auraient pu l’être. Par exemple, seules 2 tâches sur 23 rapportées sur la convergence des formes parallèles et la fiabilité test-retest étaient dans la fourchette inférieure de la plage acceptable. Cependant, comme certaines de ces évaluations ont été réalisées à distance et de manière ponctuelle, des facteurs environnementaux pourraient influencer la performance, ce qui est un aspect important. Ainsi, ce qui semble être une faible fiabilité test-retest pourrait en réalité refléter une sensibilité aux influences environnementales et la variance interne des participants associée à des facteurs environnementauxchangeants 9,50. La validité convergente avec les évaluations cognitives standard était systématiquement acceptable, avec des corrélations allant de r = 0,50 à 0,70.
La revue des évaluations cognitives à distance dans laschizophrénie 21 était de taille similaire (34 articles) et soulevait certains des mêmes problèmes, bien qu’un sous-ensemble des études ait réellement réalisé des évaluations véritablement non supervisées. La plupart des évaluations administrées à distance ne mentionnaient pas de formulaires parallèles, et il n’y avait pratiquement aucun rapport de normes pour la prestation à distance comparée aux évaluations en présentiel. En fait, une seule des 34 études a examiné la performance normative lors des évaluations à distance par rapport à des évaluations en présentiel par rapport à des évaluations supervisées. Une autre conclusion correspondant à l’étude de Polk et al. était que l’incapacité à réaliser des évaluations, due à des problèmes de connectivité internet, aux rapports de pannes technologiques et à d’autres considérations technologiques, était substantielle et présente dans presque toutes les études non supervisées.
Un problème survenu lors d’une tentative d’administration à distance de la BAC-app était l’inquiétude des participants quant à l’intégrité des données, car ils ont été testés en personne et à distance avec laBAC-app 51. Dans cette étude, les participants ont en moyenne obtenu de nettes meilleures performances à un test d’apprentissage par liste de mots administré à distance, ce qui suggère que, au fur et à mesure que les stimuli étaient présentés, ils les écrivaient ou les enregistraient. Pour ajouter à la liste des considérations pour les évaluations non supervisées, une stratégie de sécurité pour préserver l’intégrité des données semble nécessaire.
Formation cognitive et aux compétences numérique dispensée à distance
De nombreuses études ont été menées concernant l’entraînement à distance des compétences cognitives et fonctionnelles dans la schizophrénie52 et la médiocrité cognitivelégère 53. De plus, l’entraînement cognitif a été ajouté comme intervention combinée pour augmenter l’efficacité d’autres interventions, telles que les traitements des symptômes négatifs basés sur une application dans la schizophrénie54et la formation aux compétences fonctionnelles numériques dansl’ICL 25. Les résultats généraux ont montré que le taux d’adhésion et les progrès d’entraînement observés sont assez similaires à domicile et au bureau, pour des populations allant de la schizophrénie à l’ICL et à la TDRA. L’adhésion n’est jamais parfaite, et les gains d’entraînement sont influencés par les différences individuelles de caractéristiques55,56. Un facteur pouvant conduire à des gains et à une adhésion adéquates est que les procédures d’entraînement cognitif, qu’elles soient menées au bureau ou à distance, sont essentiellement identiques. Les problèmes mentionnés ci-dessus, concernant les défis techniques et l’impossibilité de lancer les programmes, sont clairement les mêmes pour la formation à distance que pour l’évaluation à distance. Les études dans lesquelles les participants ont reçu une formation en présentiel pour faciliter le lancement et l’exploitation du logiciel sans supervision ont révélé la meilleure adhésion à distance (par exemple,53).
Utilisation mondiale des évaluations et traitements numériques
Comme mentionné plus haut, plusieurs traductions d’évaluations d’articles hérités ont été réalisées, ainsi que de nombreux efforts internationaux dans le domaine numérique. Par exemple, des évaluations numériques de la dyslexie57 et des compétences mathématiques58 ont été développées en Espagne, bien qu’il ne soit pas clair si ces tâches ont été traduites dans d’autres langues. En Chine, une stratégie a été élaborée pour modifier le test de création de sentiers afin d’inclure une mesure supplémentaire des compétencesmotrices 59 , et une autre étude en Chine a développé une procédure d’interférence double tâche pour examiner le traitement des phrasescomplexes 60. À Singapour, un programme unique de formation interlinguistique impliquant des personnes bilingues formées en anglais et en une autre langue asiatique, dans le but d’améliorer la performance cognitive61. Toutes ces études ont rapporté des efforts de développement réussis et une acceptabilité, bien qu’une seule ait permis une comparaison directe de l’utilité des tests entre langues au sein des groupes culturels.
Le rôle de la validation locale des tests traduits
Les stratégies traditionnelles d’évaluation en présentiel les plus largement utilisées, telles que le MCCB et le BAC, ont été largement validées dans différentes langues et groupes culturels comme mentionné ci-dessus. En revanche, la NIH Toolbox, une évaluation large destinée aux personnes âgées de 3 à 85 ans, est proposée uniquement en anglais et administrée sur une seule plateforme numériqueen présentiel 62. Il existe beaucoup moins d’informations régionales et mondiales disponibles sur la validation des versions migrées numériquement des tâches et programmes d’évaluation cognitive et fonctionnelle. Par exemple, dans l’étudeERUDITE 63sur le luvadaxistat, le BAC-app a été administré dans huit langues différentes, et il n’y a eu qu’une seule étudepubliée, 64, validant une forme linguistique différente (c’est-à-dire l’espagnol) de cette évaluation après la migration numérique. Certaines évaluations directes vers le numérique, comme le VRFCAT, ont été utilisées dans des variantes traduites dans des études avec plus de 30 languesdifférentes 65. Là encore, aucune base de preuves substantielle n’existe pour l’utilisation du VRFCAT entre les langues, bien qu’une validation de la similarité des formes parallèles ait été présentée lors de l’élaboration de la version originale en anglais de l’évaluation. Les informations de validation collectées avec les versions héritées des tâches migrées numériquement sont probablement très pertinentes si la migration n’a modifié aucune fonctionnalité du test, mais il existe plusieurs langages où les mesures de résultats, migrations héritées et numériques, n’ont pas été étudiées pour leurs caractéristiques psychométriques. Cependant, comme l’ont noté deux revuesdifférentes 20,21 pour l’ADRD et la schizophrénie, il y a eu remarquablement peu d’attention portée aux caractéristiques des tâches à l’échelle internationale après modification et migration numérique.
Les défis de ces deux études étaient que le VRFCAT montrait une variabilité plus grande que prévu, et qu’un nombre important de participants présentaient des scores extrêmement faibles. Il est possible que ces traductions aient eu des effets négatifs sur la performance. Il est tout aussi probable que les difficultés avec les testeurs inexpérimentés aient conduit à une mauvaise supervision de l’engagement des participants lors des évaluations. Malgré le potentiel évident de défis pour les testeurs, il est probablement prématuré de penser qu’une traduction validée linguistiquement garantirait un instrument psychométriquement similaire. Lors du processus de migration numérique systématique, l’instrument hérité papier et crayon doit être examiné pour générer des scores similaires à ceux de la version numérisée, bien que, comme l’ont noté les deux revues ci-dessus, cela ne soit pas documenté comme courant. La stratégie décrite ci-dessus pour la migration numérique du LASSI-D n’est pas sujette à ces défis, car elle inclut une comparaison psychométrique systématique de chacune des trois formes parallèles numériques avec les résultats de la version héritée administrée par l’humain, en espagnol et en anglais. C’est cependant un processus très détaillé et il serait extrêmement difficile de mettre en œuvre rapidement pour un essai clinique en 30 langues.
Quel est le rôle du testeur humain ?
Les données suggèrent qu’un défi majeur dans l’évaluation et la formation numériques non supervisées est de permettre aux participants de faire fonctionner la technologie et d’accéder au système. D’autres défis, tels que les rapports des participants sur l’incompatibilité technologique, peuvent également découler de leur manque de familiarité avec les stratégies numériques et de leur incapacité à utiliser la technologie. Ainsi, dans les paradigmes d’évaluation non supervisée, des instructions personnalisées avant le début des évaluations peuvent être une stratégie utile, voire indispensable.
Certaines évaluations basées sur la technologie sont principalement administrées lors des visites en cabinet, y compris la majorité des tâches conçues pour l’évaluation à distance dans la schizophrénie. Par exemple, le VRFCAT exige une supervision en personne des évaluations, tout comme le BAC-App. Le VRFCAT comporte une composante introduction administrée avant l’évaluation formelle, durant laquelle le testeur humain répond à toutes les questions et réoriente tout effort insuffisant, tandis que la section principale d’évaluation se déroule en continu. L’examinateur est chargé de superviser le participant et de lui donner des conseils s’il ne persévère pas dans ses efforts. Cependant, une étude récente du VRFCAT a révélé que certains participants avaient de nombreuses « progressions forcées », c’est-à-dire qu’ils n’ont pas atteint un objectif de test en 300 secondes. Puisque certains objectifs sont une seule tâche brève (« Prendre le portefeuille »), des échecs dans la supervision de l’examinateur pourraient être suspectés. La technologie BAC-app administre tous les stimuli et collecte toutes les données, mais nécessite toujours que le testeur humain supervise la performance et fasse avancer les sous-tâches après l’achèvement des participants. Le système Cogstate n’exige pas de supervision de la performance des participants, mais de multiples rapports ont fait état de performances invalides sur certains composants du système et de sensibilité réduite aux troubles de la schizophrénie66 , pouvant résulter d’une performance soutenue inadéquate et de scores erratiques de la part des participants, qui pourraient être détectés et corrigés par une supervision en personne.
Est-il possible d’utiliser la supervision numérique ?
Il existe actuellement un intérêt considérable pour les chatbots ou d’autres interventions psychothérapeutiques numériques fournies par l’IA. Parmi les défis de ces interventions figure l’exigence d’une communication bidirectionnelle, dans laquelle le thérapeute IA doit comprendre la communication du client en temps réel et répondre de manière appropriée. Une stratégie d’IA différente a été utilisée pour développer le LASSI-D. Un avatar humain a été créé avec l’IA et a servi de technicien de test, fournissant toutes les instructions et retours qui seraient donnés par un testeur humain dans une situation de test standard. L’avatar apprenait également à répondre à un ensemble prédéterminé de FAQ, déclenchées par le fait que l’examen touchait une icône « ? » à l’écran. Il n’y avait aucune tentative de communication interactive à ce stade. L’acceptabilité de la procédure était assez élevée (95 % de réussite des séances de test) dans une population majoritairement minoritaire monolingue hispanophone, avec des taux de complétion très élevés (plus de 96 % des séances d’évaluation) et des déclarations qualitatives de préférences pour les testeurs avatar par rapport aux testeurs humains.
Une possibilité d’élargir les directives IA pour l’évaluation et la formation non supervisées serait de développer un système de formation et d’assistance conçu pour aider les participants à mettre en place et à initier leurs évaluations ou formations non supervisées pour la première fois. Bien que encore en développement, FUNSAT est en cours de modification pour inclure un module pédagogique initial avec des accompagnements d’avatar humain afin de former les participants potentiels à s’inscrire à une formation, à se connecter au site web et à lancer leurs efforts de formation. Ces stratégies sont plus susceptibles d’être mises en œuvre de manière cohérente et précise que les interactions thérapeutiques avec chatbot, car la communication avatar reposerait sur des réponses pré-scriptées aux questions et la transmission d’instructions cohérentes.
Autres stratégies numériques
La revue actuelle se concentre sur des évaluations cognitives intentionnelles et basées sur la performance. Il existe une impressionnante gamme de mesures de phénotypage numérique passif qui sont désormaiscontrôlées et peuvent être liées aux résultats d’évaluations non supervisées. Cela inclutla géolocalisation 67, l’activitéphysique 68, le contexte social69, les interactions avec les dispositifs70, et les caractéristiques de la parole et dulangage 71. Bien que ces mesures ne soient pas nécessairement cognitives, elles reflètent des facteurs environnementaux potentiels qui peuvent également influencer la performance cognitive. Par exemple, l’état d’humeur déduit des réponses faciales ou vocales, du contexte social et des distractions de fond peut être corrélé à la performance cognitive, en particulier lors d’évaluations non supervisées. Certains des défis associés à l’évaluation non supervisée peuvent être détectés et réduits par l’utilisation simultanée du phénotypage numérique passif de l’eC. Comme ces mesures ne nécessitent pas d’effort intentionnel pour collecter les données, elles n’ajoutent pas de fardeau aux évaluations.
L’évaluation et le traitement numériques des déficits cognitifs et fonctionnels sont très prometteurs car ils permettent d’étendre le processus et d’atteindre des participants qui n’auraient pas accès autrement. Les avancées technologiques permettent une traduction facile des stimuli, la création de formulaires d’évaluation parallèles et la livraison à distance. La plupart des données suggèrent que les résultats de l’évaluation et de la formation non supervisées sont très convergents avec ceux des stratégies héritées, en termes d’indices de performance mondiaux. Cependant, il existe des défis tant dans l’engagement des participants que dans les caractéristiques techniques du développement des tests. De nombreux participants sont incapables de gérer la technologie sans supervision. Bien que la technologie facilite la traduction des stimuli et la création de formes parallèles, l’attention n’a pas été apportée à la similarité psychométrique des traductions résultantes ou des nouvelles formes. L’approche systématique de l’évaluation psychométrique de la qualité des tests n’est pas excusée car la technologie facilite la génération de stimuli de test.
Certaines études pharmacologiques utilisant des évaluations numériques des résultats n’ont pas réussi à identifier les effets du traitement, et ces échecs pourraient être partiellement liés à différentes versions des tests, en termes de formes parallèles ou de stimuli traduits, ne convergeant pas avec la version originale. Ces stratégies, que ce soit en raison de problèmes de testeur ou de difficultés avec les nouveaux formulaires, se sont également révélées potentielles à produire des performances de test trop variables et des données manquantes.
Une approche complémentaire a été d’utiliser des assistants de test et d’entraînement d’avatars guidés par l’IA. De telles approches ont un potentiel considérable, mais nécessitent elles-mêmes une validation avant un déploiement complet. Dans les cas où de telles stratégies sont utilisées, une approche progressive serait nécessaire : l’assistant fournirait d’abord des instructions et des retours entièrement scriptés, puis serait entraîné avec des modèles en grande langue pour comprendre les questions des participants et interagir avec eux.
Le contexte social de l’évaluation et de l’intervention est important pour soutenir les efforts liés à la technologie. Les testeurs humains peuvent s’adapter aux défis des participants et faciliter l’engagement dans la formation, tout en fournissant une assistance technique. Cette interaction devra être intégrée dans des approches numériques d’évaluation et de formation cognitives non supervisées afin d’élargir la portée de ces stratégies. Les participants qui ont le plus besoin de ces évaluations et stratégies d’intervention sont également les plus susceptibles d’avoir besoin d’une assistance facilitée lors de l’auto-administration des tâches d’évaluation et de formation des compétences cognitives et fonctionnelles.
Dossier supplémentaire 1 : Problèmes liés au développement d’évaluations valides basées sur la performance : Accent sur la validité, la faisabilité et la tolérabilité des évaluations et formations dispensées numériquement. Veuillez cliquer ici pour télécharger ce fichier.
Le Dr Harvey a reçu des honoraires de conseil ou des remboursements de déplacement de la part d’Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences et Recognify. Il bénéficie d’une bourse de recherche d’Intracellular Therapeutics (aujourd’hui intégrée à Johnson and Johnson). Il perçoit des redevances de la Brief Assessment of Cognition in Schizophrenia (détenue par Clario, anciennement WCG Endpoint Solutions, Inc, anciennement Verasci, et contenue dans le MCCB). Il est directeur scientifique d’i-Function, Inc. et consultant scientifique pour EMA Wellness, Inc. M. Kallestrup est le cofondateur et directeur général d’i-Function, Inc.
La recherche soutenant le développement du FUNSAT et du LASSI-D a été financée par des subventions du National Institute on Aging (NIA) R44 AG074818-02, R43 AG057238-02 et R44 AG057238-04, avec Peter Kallestrup comme chercheur principal.
Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE
Demander une autorisation