Las estrategias digitales permiten la evaluación y formación remota sin supervisión, pero se deben considerar varias consideraciones para garantizar la validez de los datos recogidos y la utilidad de las intervenciones.
Artículo de revisión
Las estrategias digitales permiten la evaluación y formación remota sin supervisión, pero se deben considerar varias consideraciones para garantizar la validez de los datos recogidos y la utilidad de las intervenciones.
Los avances tecnológicos permiten la posibilidad de la impartición digital de evaluación y formación cognitiva y funcional. Existen dos grandes clases de estrategias digitales: las que se desarrollaron inicialmente para la entrega digital y las que se migraron de evaluaciones tradicionales anteriores con papel y lápiz. También se ha realizado una considerable investigación sobre evaluación y formación supervisada frente a no supervisada. Los desarrollos digitales concurrentes, como la inteligencia artificial (IA), han permitido la rápida generación de formularios de evaluación paralelos y la traducción de materiales de evaluación para uso internacional, sugiriendo la posibilidad de un despliegue mundial y ampliamente accesible. La traducción no garantiza la validación, y muchos instrumentos de evaluación han sido traducidos pero no normados ni validados tras la traducción. En esta revisión, examinamos el estado actual de los esfuerzos de evaluación y formación digital, utilizando ejemplos de evaluaciones presenciales ampliamente implementadas que han pasado por traducción y migración digital, y comparándolas con estrategias digitales que nunca se presentaron ni en papel ni presencialmente. Se ofrecen comentarios sobre la utilidad del desempeño no supervisado y sus implicaciones para las personas que autogestionan evaluaciones digitales o programas de formación. Hay varias áreas que requieren una reflexión cuidadosa para ofrecer estrategias digitales a distancia que sean accesibles y personalizadas, incluyendo la integridad psicométrica, la validez lingüística, el apoyo social proporcionado por un tester humano presencial y si ese apoyo puede cuantificarse y complementarse con alternativas digitales.
La revolución digital ha cambiado el panorama de la evaluación y formación cognitiva y funcional en condiciones relacionadas con el envejecimiento y psiquiátricas. Una gran proporción de las evaluaciones realizadas hoy en día dependen total o parcialmente de la entrega digital. Las evaluaciones digitales pueden migrarse desde pruebas neuropsicológicas estándar heredadas administradas por un tester humano 1,2 o completamente nativas de una plataformadigital 3,4,5. Algunas estrategias incluyen la entrega en dispositivosmóviles 6,7,8, que puede ir acompañada de otras evaluaciones remotas para capturar estados de ánimo momentáneos, ubicaciones y condicionesambientales 9.
La migración digital sistemática permite comparar versiones digitales de procedimientos con versiones heredadas. Para algunas tareas se ha recopilado información extensa de validación, con comparaciones sistemáticas con procedimientos heredados. Un ejemplo es la Evaluación Breve de la Cognición en la Esquizofrenia (BACS), en la que una prueba de legado ampliamente normada10 se migró a la entregadigital 11, con un estudio normativocomparativo 12. Un ejemplo similar fue la migración digital de las Escalas Loewenstein-Acevedo para Interferencia Semántica y Aprendizaje (LASSI-L)13, que se migró a una versión14 guiada por Avatar y administrable remotamente con tresformularios digitales 15.
Una ventaja de las tareas digitales es que las actualizaciones rápidas y generalmente automatizadas, incluyendo estímulos de prueba, son altamente factibles. Esto incluye traducciones de idiomas con estrategias de Inteligencia Artificial (IA), que pueden producir rápidamente versiones alternativas. También facilitan las estrategias de IA el desarrollo de formas paralelas necesarias para pruebas repetidas, especialmente de memoria o resolución de problemas, para evitar efectos inaceptables en la práctica16, incluso en poblaciones condemencia 17. Uno de nuestros objetivos en esta revisión es evaluar la calidad de las migraciones digitales previas y las adaptaciones a la IA, incluyendo los datos sobre equivalencia tras migración digital, traducción lingüística y desarrollo de formas paralelas.
Otro desarrollo en la evaluación digital es la autoadministración remota o no supervisada de procedimientos de evaluación o formación digital. Aunque esto ha sido una práctica estándar durante años para el entrenamiento cognitivo informatizado comercial (CCT)18, algunos estudios han sugerido que la autoadministración no supervisada de pruebas cognitivas también puede serfactible 19,20,21. La autoadministración no supervisada puede realizarse en casa, en un dispositivo digital conectado a internet o en un centro de pruebas, donde varios participantes realizan las pruebas bajo supervisión mínima. Los estudios de viabilidad han sido generalmente a corto plazo, aunque algunos tuvieron la misma duración o duraciones más largas en comparación con los ensayos clínicos estándar. Revisaremos el estado general de las evaluaciones y formación no supervisadas y comentaremos sobre áreas con desafíos o donde se necesite más información.
Un tema crítico en la evaluación y formación no supervisadas es la adaptación y viabilidad intercultural. Además de las diferencias lingüísticas, existen diferencias económicas sustanciales, que probablemente afectan al acceso digital y la alfabetización, incluyendo la experiencia con teléfonos móviles, tabletas o portátiles, y acceso a internet encasa. La brecha digital mundial ya no está relacionada con la edad, sino económica. La motivación para participar en actividades digitales online remotas puede variar considerablemente entre los participantes. Las métricas de viabilidad para la evaluación no supervisada han incluido la tasa de consentimiento, la finalización de la evaluación, la validez de los datos y la capacidad de gestionar la tecnología. La mayoría de las evaluaciones clínicas no supervisadas se dirigen a individuos con algunas discapacidades esperadas que pueden recibir una instrucciónconsiderable 20, 21, incluyendo presenciales, sobre el inicio de sesión y la finalización de evaluaciones o formación. Los datos de viabilidad de individuos que se inscriben en estudios remotos en los que toda la inscripción y formación se realizan de forma totalmenteindependiente 19,23 pueden no ser generalizables a individuos con niveles más bajos de habilidades digitales, menor confianza en sus capacidades y menor rendimiento cognitivo general. Esto incluiría a personas que sospechan que presentan signos tempranos de demencia y realizan una evaluación no supervisada en una clínica.
En un estudio sobre la transición de dos sistemas digitales de evaluación de la presentación en el dispositivo a la entrega en lanube 24, se observaron ventajas sistemáticas en la velocidad de recogida de datos en pantalla táctil en comparación con un ratón de ordenador. Existen desafíos comunes en la alfabetización digital en las evaluaciones de capacidad funcional: algunos participantes tienen habilidades mínimas de teclado y necesitan aprender a escribir una letra mayúscula para una contraseña25. En un estudio multisede sobre cognición y capacidad funcional en EstadosUnidos 26, el rendimiento en una evaluación digital de capacidad funcional varió en más de 1,0 DE según las ubicaciones geográficas, siguiendo el nivel educativo regional y los ingresos. Evaluaremos la viabilidad y validez de la evaluación y formación no supervisadas utilizando todas las métricas disponibles.
Como se describe a continuación, el principal desafío de la entrega tecnológica no supervisada no es la falla de los resultados derivados digitalmente para converger con las medidas estándar. El principal desafío es la amplia viabilidad de la tecnología necesaria para evaluaciones y entrenamientos autoadministrados, así como un rendimiento excesivamente variable en ausencia de supervisión humana. Existe una interacción intrínsecamente social durante las tareas cognitivas estándar que proporciona supervisión y asistencia a los participantes que tienen dificultades. Una cuestión importante que también se aborda es si dicho apoyo puede prestarse digitalmente, mediante interacciones basadas en IA que simulen las interacciones participante-tester en procedimientos de evaluación heredados impartidos por humanos.
A continuación se presenta una revisión de los datos sobre los temas mencionados anteriormente. Incluyen estándares para validar pruebas basadas en el rendimiento, aplicables tanto a evaluaciones estándar como digitales; normas para la migración digital de evaluaciones legadas; y comparaciones del proceso de validación para tareas nativas digitales con aquellas que fueron migradas desde formatos heredados de papel/entrega humana, incluyendo formas alternativas, traducción y adaptación intercultural. También hay una amplia discusión sobre la viabilidad de la administración no supervisada en comparación con las estrategias impartidas por humanos, considerando la viabilidad global de estas estrategias y el papel del evaluador humano en intervenciones tradicionales de evaluación y formación. En estas situaciones de evaluación se realizan varias funciones, algunas de las cuales, en teoría, podrían realizarse con asistencia informada por IA. El Suplemento 1 presenta los temas tratados en esta revisión.
Principios generales en la validación de la evaluación cognitiva y funcional
Al desarrollar una evaluación digital o una estrategia de tratamiento bien validada, surgen varias consideraciones. Un ejemplo prototipo de este proceso fue el programa colaborativo y a gran escala de desarrollo de evaluaciones de resultados, la iniciativa Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), que llevó a cabo un estudio de validación de una amplia selección de evaluaciones heredadas y realizadas por evaluadores. Según las discusiones en una reuniónde consenso 27, la selección de pruebas en este contexto estuvo guiada por cinco consideraciones principales: fiabilidad a través de administraciones repetidas, adecuación para uso longitudinal, asociación con resultados funcionales, sensibilidad a cambios relacionados con el tratamiento y viabilidad y tolerabilidad general. La idoneidad para la administración repetida se definió como una mejora mínima del rendimiento debida a la práctica o la disponibilidad de formas alternativas equivalentes. Aunque la batería de Consenso Cognitiva de MATRICS (MCCB)28 seleccionó un conjunto de pruebas que cumplen estos criterios, la batería ha resultado difícil de administrarremotamente 29. Se utilizó un proceso de desarrollo similar para una evaluación de enfoque similar, la Evaluación Breve de la Cognición en la Esquizofrenia (BACS)3. El BACS se desarrolló con estrategias similares y se examinaron las seis subpruebas administradas por el tester en el BACS para identificar todas estas características, incluyendo un gran estudio de validación con controles sanos (n = 404)8.
El artículo BACS fue ampliamente validado internacionalmente, con múltiples estudios que examinaron su uso (por ejemplo, 30,31,32,33,34,35). Curiosamente, el MCCB también ha sido traducido varias veces, con laweb del desarrollador 36 listando 45 traducciones diferentes. También se señaló en la web que solo ~10 de las 45 versiones tienen normas oficiales de idioma, a pesar de su uso generalizado en ensayos clínicos internacionales. Este es un tema que se tratará más adelante.
La migración digital del BACS al BAC-App se llevó a cabo sistemáticamente en un estudiocomparativo 11, que incluyó participantes con esquizofrenia y controles sanos, todos los cuales fueron evaluados tanto con la versión heredada como la digital. Antes del inicio del estudio, se desarrollaron formas alternativas para varios subtests de BAC-App, incluyendo Memoria Verbal (siete versiones), Codificación de Símbolos (ocho versiones) y Torre de Londres (ocho versiones). Así, la migración digital de la tarea se diseñó para permitir la comparación directa de ambas versiones y validar formas paralelas. Se llevó a cabo un estudio posterior de validación a gran escala (N = 553, 12) con controles sanos y un pequeño número de participantes con deterioro cognitivo subjetivo, que proporcionó información normativa sobre el rendimiento en el BAC-App. Así, los datos normativos se recogieron con la versión heredada y luego se repitieron con la versión digital, incluyendo una evaluación de las formas equivalentes (aunque los datos aún no se han publicado). Es importante señalar que la BAC-app resultante no está destinada a una administración no supervisada; Debe haber un tester presente.
Se llevó a cabo un esfuerzo similar de migración digital para una evaluación de un artículo heredado, las Escalas Loewenstein-Acevedo para Interferencia Semántica y Aprendizaje (LASSI-L)13,14. Esta evaluación se centra en la detección de interferencias semánticas proactivas, que han demostrado predicer un deterioro cognitivo más rápido y la presencia de biomarcadores de ADRD incluso en casos con un deterioro adicional mínimo15. Se disponía de datos normativos extensos para el LASSI-L, y posteriormente se desarrolló una versión digital (LASSI-D) para evaluación no supervisada. En ese proceso de desarrollo, al evaluar estos instrumentos, se puso énfasis en la fiabilidad entre administraciones, la idoneidad para su uso repetido, la relevancia para los resultados funcionales y la viabilidad y tolerabilidad generales. Un avance respecto a la migración de BACS fue la validación concurrente de las versiones en español e inglés del LASSI-D, en contraposición a versiones similares del LASSI-L, y el desarrollo de la versión migrada utilizando estrategias informadas por IA para aumentar la viabilidad y validez de la autoadministración no supervisada. Específicamente, un avatar humano realiza las funciones de un tester humano, dando instrucciones, corrigiendo errores y animando a optimizar el rendimiento de los participantes. Los datos cualitativos recogidos de los participantes indicaron altos niveles de satisfacción con las evaluaciones impartidas por avatares, con puntuaciones de preferencia más altas para estas que para las evaluaciones realizadas por humanos.
Las evaluaciones nativas digitales también deberían cumplir con estos mismos principios de fiabilidad y validez, y algunos programas lo han hecho. Por ejemplo, el desarrollo de dos medidas digitales diferentes de capacidad funcional, la herramienta de Evaluación de Capacidad Funcional en Realidad Virtual (VRFCAT)3,37 y el Programa de Evaluación y Formación de Habilidades Funcionales (FUNSAT)25,38 se adhierieron a los mismos cinco principios en los estudios de validación. Tanto VRFCAT como FUNSAT sufrieron una migración digital secundaria a la entrega enla nube 24, y ambas pruebas presentan formas alternativas con similitud demostrada. El estudio de migración del FUNSAT también consideró la actuación de hablantes de español e inglés en tres formas alternativas.
Otra característica tanto de VRFCAT como de FUNSAT fue un esfuerzo extenso de validación convergente, realizando comparaciones con estrategias de evaluación tanto tradicionales como digitales. Por ejemplo, se examinó la correlación del VRFCAT con los síntomas negativos en la esquizofrenia39, así como su correlación con otros índices de capacidad funcional de papel ylápiz 40. Se realizó un estudio cualitativo para evaluar su aceptabilidad para la población objetivode evaluación 41. Para el FUNSAT, también se han reportado estudios sobre su estructura de factores42, sensibilidad al tratamiento43, correlaciones con el BAC-app44 y otras medidas de capacidadfuncional, así como correlaciones con el funcionamientoautoinformado 46.
Tecnología de evaluaciones no supervisadas
La evaluación neuropsicológica con papel y lápiz es el caso definitorio de una evaluación supervisada, que incluye interacción social, supervisión, orientación y sugerencias para evitar respuestas problemáticas. Como se ha señalado anteriormente, algunas medidas cognitivas y funcionales administradas digitalmente están diseñadas para ser administradas por un examinador. Ejemplos incluyen el Identical-PairsCPT 47 del MCCB, la BAC-app y el VRFCAT. Otras evaluaciones están diseñadas para poder administrarse sin supervisión y sin la presencia de un examinador, porque el procedimiento de evaluación es automatizado y funcionapor sí solo. Algunos de estos programas han mostrado vulnerabilidad a la faltade 48 o a puntuacionesinválidas de 49 en algunas subpruebas, aunque la proporción de casos con puntuaciones inválidas ha sido baja. Estas puntuaciones pueden reflejar una baja implicación de los examinados, que en algunos casos puede corregirse con la retroalimentación del examinador. Con la tecnología digital actual, se pueden detectar interrupciones en la respuesta durante las pruebas y el proceso puede suspenderse temporalmente mientras se recuerda al participante que continúe. Por ejemplo, los módulos de evaluación y formación de FUNSAT pausan el procedimiento y muestran una ventana emergente si no se recibe respuesta en un plazo de 15 segundos. Este proceso de detección incorporado no está presente en todas las estrategias mencionadas anteriormente.
Datos sobre la viabilidad de las evaluaciones no supervisadas
Existen muchos estudios sobre evaluaciones no supervisadas del rendimiento cognitivo en enfermedades mentales graves y TDA. Una revisión a gran escalade ADRD identificó 28 informes recientes y 23 herramientas diferentes para evaluaciones no supervisadas, realizadas ya sea en una consulta o de forma remota. Los datos de aceptabilidad fueron bastante buenos, con consentimiento informado y tasas de participación superiores al 85%. Muchos participantes informaron que estarían dispuestos a participar de nuevo.
La adherencia a las evaluaciones varió considerablemente, oscilando entre el 63% en un estudio de 8 semanas y el 94% en otro de 8 semanas. Las tasas de datos inutilizables eran bajas, pero ciertas estrategias de evaluación provocaron mayores tasas de dificultades en la realización de las evaluaciones. En entornos de realidad aumentada en casa, las limitaciones técnicas provocaron la pérdida de aproximadamente el 21% de los datos, y la incompatibilidad de dispositivos provocó que casi el 32% de los participantes no pudieran completar las evaluaciones remotas.
Las consideraciones psicométricas, que comúnmente se gestionan cuidadosamente en las estrategias tradicionales de evaluación, no se consideraron tan bien como podrían haberse considerado. Por ejemplo, solo 2 de cada 23 tareas reportadas sobre la convergencia de formas paralelas y la fiabilidad de prueba-reprueba estaban en el extremo inferior del rango aceptable. Sin embargo, dado que algunas de estas evaluaciones se realizaron de forma remota y puntual, los factores ambientales podrían influir en el rendimiento, lo cual es una consideración importante. Así, lo que parece ser una baja fiabilidad entre pruebas y repeticiones podría reflejar en realidad sensibilidad a las influencias ambientales y la varianza dentro de los participantes asociada a factores ambientalescambiantes 9,50. La validez convergente con evaluaciones cognitivas estándar fue consistentemente aceptable, con correlaciones que oscilaban entre r = 0,50 y 0,70.
La revisión de evaluaciones cognitivas remotas enesquizofrenia 21 fue de tamaño similar (34 artículos) y planteó algunos de los mismos problemas, aunque solo un subconjunto de los estudios realizó evaluaciones verdaderamente no supervisadas. La mayoría de las evaluaciones administradas a distancia no mencionaron formularios paralelos, y prácticamente no hubo informes de normas para la entrega remota en comparación con las evaluaciones presenciales. De hecho, solo uno de los 34 estudios examinó el rendimiento normativo en evaluaciones remotas frente a presenciales frente a evaluaciones supervisadas. Otro hallazgo que coincidió con el estudio de Polk et al. fue que la imposibilidad de completar evaluaciones, debido a problemas de conectividad a internet, informes de fallos tecnológicos y otras consideraciones tecnológicas, era sustancial y presente en casi todos los estudios no supervisados.
Un problema que surgió en el intento de administrar remotamente la BAC-app fue la preocupación de los participantes por la integridad de los datos, ya que fueron evaluados en persona y de forma remota con laBAC-app 51. En ese estudio, los participantes, de media, obtuvieron un desempeño sustancialmente mejor en una prueba de aprendizaje por lista de palabras administrada a distancia, lo que sugiere que, a medida que se presentaban los estímulos, los escribían o registraban. Sumando a la lista de consideraciones para las evaluaciones no supervisadas, parece necesario algún tipo de estrategia de seguridad para mantener la integridad de los datos.
Formación digital de habilidades cognitivas y de habilidades impartida a distancia
Se han realizado múltiples estudios sobre el entrenamiento remoto de habilidades cognitivas y funcionales en esquizofrenia52 y deterioro cognitivoleve 53. Además, se ha añadido entrenamiento cognitivo como intervención combinada para aumentar la eficacia de otras intervenciones, como los tratamientos de síntomas negativos basados en aplicaciones enesquizofrenia 54y la formación en habilidades funcionales digitales enMCI 25. Los hallazgos generales han sido que la tasa de adherencia y los avances en la formación observados son bastante similares tanto en casa como en la oficina, en poblaciones que van desde esquizofrenia hasta DCL y TDA. La adherencia nunca es perfecta, y los avances en el entrenamiento se ven afectados por las diferencias individuales en las características55,56. Un factor que puede conducir a avances y adherencia adecuadas es que los procedimientos de entrenamiento cognitivo, ya sea realizados en la oficina o a distancia, son esencialmente idénticos. Los problemas mencionados anteriormente sobre los desafíos técnicos y la imposibilidad de poner en marcha los programas son claramente los mismos para la formación remota que para la evaluación remota. Los estudios en los que los participantes recibieron formación presencial para facilitar el lanzamiento y operación del software sin supervisión han reportado la mejor adherencia remota (por ejemplo, 53).
Utilización mundial de evaluaciones y tratamientos digitales
Como se ha señalado anteriormente, ha habido múltiples traducciones de evaluaciones de artículos heredados, así como múltiples esfuerzos internacionales en el ámbito digital. Por ejemplo, en España se han desarrollado evaluaciones digitales de la dislexia57 y las habilidades matemáticas58 , aunque no está claro si estas tareas se han traducido a otros idiomas. En China, se desarrolló una estrategia para modificar la Prueba de Trail-Making para incluir una medición adicional de habilidadesmotoras 59 y otro estudio en China desarrolló un procedimiento de interferencia dual para examinar el procesamiento de oracionescomplejas 60. En Singapur, un programa único de formación interlingüística que involucra a personas bilingües formadas en inglés y en otro idioma asiático, con el objetivo de mejorar el rendimientocognitivo 61. Todos estos estudios reportaron esfuerzos exitosos de desarrollo y aceptabilidad, aunque solo uno permitió una comparación directa de la utilidad de las pruebas entre lenguas dentro de los grupos culturales.
El papel de la validación local de las pruebas traducidas
Las estrategias tradicionales de evaluación presencial más utilizadas, como el MCCB y el BAC, han sido ampliamente validadas en diferentes idiomas y grupos culturales como se mencionó anteriormente. En cambio, la Caja de Herramientas del NIH, una evaluación amplia dirigida a personas de 3 a 85 años, se ofrece únicamente en inglés y se administra en una única plataforma digitalpresencial 62. Existe considerablemente menos información regional y global disponible sobre la validación de versiones digitalizadas de tareas y programas de evaluación cognitiva y funcional. Por ejemplo, en el estudioERUDITE 63sobre luvadaxistat, la BAC-app se administró en ocho idiomas diferentes, y solo hubo un estudiopublicado 64 que validó una forma lingüística diferente (es decir, español) de esa evaluación tras la migración digital. Algunas evaluaciones directas a digitales, como el VRFCAT, se han utilizado en variantes traducidas en estudios con más de 30 idiomasdiferentes 65. De nuevo, no existe una base de evidencia sustancial para el uso del VRFCAT entre lenguas, aunque la validación de la similitud de las formas paralelas se presentó cuando se desarrolló la versión original en inglés de la evaluación. La información de validación recogida con versiones heredadas de tareas migradas digitalmente probablemente sea bastante relevante si la migración no cambió ninguna característica de la prueba, pero existen varios idiomas donde las medidas de resultado, las migraciones heredadas y digitales no se han estudiado por sus características psicométricas. Sin embargo, como se señaló en dos revisionesdiferentes 20,21 para el ADRD y la esquizofrenia, se ha prestado notablemente poca atención a las características de las tareas a nivel internacional tras la modificación y la migración digital.
Los retos en estos dos estudios fueron que el VRFCAT mostró una mayor variabilidad de la esperada y un número considerable de participantes obtuvo puntuaciones extremadamente bajas. Es posible que las traducciones tuvieran efectos adversos en el rendimiento. Es igual de probable que los problemas con evaluadores inexpertos hayan llevado a una mala supervisión de la participación de los participantes durante las evaluaciones. A pesar del evidente potencial de desafíos para los testers, probablemente también sea prematuro pensar que una traducción validada lingüísticamente garantizaría un instrumento psicométricamente similar. Durante el proceso de migración digital sistemática, el instrumento heredado de papel y lápiz debe ser examinado para obtener puntuaciones similares a las de la versión digitalizada, aunque, como señalan las dos revisiones anteriores, no se documenta que esto sea común. La estrategia descrita anteriormente para la migración digital del LASSI-D no es susceptible a estos desafíos, ya que incluye una comparación psicométrica sistemática de cada una de las tres formas digitales paralelas con los resultados de la versión heredada administrada por humanos tanto en español como en inglés. Sin embargo, es un proceso muy detallado y sería extremadamente difícil de implementar a tiempo para un ensayo clínico de 30 idiomas.
¿Cuál es el papel del tester humano?
Los datos sugieren que un gran desafío en la evaluación y formación digital no supervisada es permitir que los participantes hagan que la tecnología funcione y accedan al sistema. Otros desafíos, como los informes de los participantes sobre incompatibilidad tecnológica, también pueden deberse a su falta de familiaridad con las estrategias digitales y a su incapacidad para operar la tecnología. Por tanto, en los paradigmas de evaluación no supervisados, las instrucciones personalizadas antes del inicio de las evaluaciones pueden ser una estrategia útil o incluso necesaria.
Algunas evaluaciones basadas en tecnología se realizan principalmente durante las consultas, incluyendo la mayoría de las tareas diseñadas para la evaluación remota en esquizofrenia. Por ejemplo, el VRFCAT exige supervisión presencial de las evaluaciones, al igual que la BAC-App. VRFCAT tiene un componente introductorio administrado antes de la evaluación formal, durante el cual el examinador humano responde a cualquier pregunta y redirige cualquier esfuerzo insuficiente, mientras que la sección principal de evaluación se ejecuta de forma continua. Se indica al examinador que supervise al participante y le dé orientación si no persiste en sus esfuerzos. Sin embargo, un estudio reciente de VRFCAT encontró que algunos participantes tuvieron muchas "progresiones forzadas", es decir, no resolvieron un objetivo de prueba en 300 segundos. Dado que algunos de los objetivos son una tarea única y breve ("Recoger la cartera"), se podría sospechar fallos en la supervisión del examinador. La tecnología BAC-app administra todos los estímulos y recopila todos los datos, pero aún requiere que el tester humano supervise el rendimiento y avance en las subtareas tras completar el participante. El sistema Cogstate no requiere supervisión del rendimiento de los participantes, pero ha habido múltiples informes de desempeño inválido en ciertos componentes del sistema y de una sensibilidad reducida a los deterioros en laesquizofrenia 66 que podrían deberse a un rendimiento sostenido inadecuado y puntuaciones erráticas por parte de los participantes, que podrían detectarse y corregirse con supervisión presencial.
¿Es posible usar la supervisión digital?
Actualmente existe un interés considerable en los chatbots u otras intervenciones psicoterapéuticas digitales proporcionadas por IA. Entre los retos de estas intervenciones está la necesidad de comunicación bidireccional, en la que el terapeuta de IA debe comprender la comunicación del cliente en tiempo real y responder adecuadamente. Se utilizó una estrategia de IA diferente en el desarrollo del LASSI-D. Se creó un avatar humano con IA y actuó como técnico de pruebas, proporcionando todas las instrucciones y retroalimentación que emitiría un tester humano en una situación estándar de pruebas. También se enseñaba al avatar a responder un conjunto predeterminado de preguntas frecuentes, que se activaban al tocar un icono de "?" en la pantalla. En ese momento no hubo intento de comunicación interactiva. La aceptabilidad del procedimiento fue bastante alta (95% de finalización de las sesiones de prueba) en una población mayoritariamente minoritaria monolingüe de habla española, con tasas de finalización muy altas (más del 96% de las sesiones de evaluación) y declaraciones cualitativas de preferencias para los testers avatar frente a los testers humanos.
Una posible vía para ampliar la guía de IA para la evaluación y formación no supervisada sería desarrollar un sistema de formación y asistencia diseñado para ayudar a los participantes a establecer y originar sus evaluaciones o formación no supervisada por primera vez. Aunque aún está en desarrollo, FUNSAT se está modificando para incluir un módulo instruccional inicial con guía de avatares humanos para formar a los posibles participantes a inscribirse en la formación, iniciar sesión en la web e iniciar sus esfuerzos de formación. Estas estrategias tienen más probabilidades de ser implementadas de forma consistente y precisa que las interacciones terapéuticas con chatbots, porque la comunicación del avatar se basaría en respuestas predefinidas a preguntas y en la entrega de instrucciones consistentes.
Otras estrategias digitales
La revisión actual se centra en evaluaciones cognitivas intencionadas y basadas en el rendimiento. Existe una impresionante variedad de medidas pasivas de fenotipado digital que ahoraestán seleccionadas y pueden relacionarse con resultados de evaluaciones no supervisadas. Estas incluyengeolocalización 67, actividadfísica 68, contexto social69, interacciones con dispositivos70 y características del habla ylenguaje 71. Aunque no son necesariamente medidas de la cognición, reflejan factores ambientales potenciales que también pueden influir en el rendimiento cognitivo. Por ejemplo, el estado de ánimo inferido a partir de respuestas faciales o vocales, el contexto social y la distracción de fondo puede correlacionarse con el rendimiento cognitivo, especialmente durante evaluaciones no supervisadas. Algunos de los desafíos asociados a la evaluación no supervisada pueden ser detectables y reducibles mediante el uso simultáneo de fenotipado digital pasivo de eC. Como estas medidas no requieren un esfuerzo intencionado para recopilar los datos, no añaden carga a las evaluaciones.
La evaluación y el tratamiento digital de déficits cognitivos y funcionales son muy prometedores porque permiten escalar el proceso y llegar a participantes que de otro modo no tendrían acceso. Los avances tecnológicos permiten una fácil traducción de estímulos, la creación de formularios de evaluación paralela y la entrega remota. La mayoría de los datos sugieren que los resultados de la evaluación y formación no supervisadas son altamente convergentes con los de las estrategias heredadas, en términos de índices globales de rendimiento. Sin embargo, existen desafíos tanto en la participación de los participantes como en las características técnicas del desarrollo de pruebas. Muchos participantes no pueden gestionar la tecnología sin supervisión. Aunque la tecnología facilita la traducción de estímulos y la creación de formas paralelas, no se ha prestado suficiente atención a la similitud psicométrica de las traducciones resultantes o de las nuevas formas. El enfoque sistemático de la evaluación psicométrica de la calidad de las pruebas no está justificado porque la tecnología facilita la generación de estímulos de prueba.
Algunos estudios farmacológicos con evaluaciones digitales de resultados no han logrado identificar efectos del tratamiento, y esos fallos podrían estar parcialmente relacionados con diferentes versiones de las pruebas, en términos de formas paralelas o estímulos traducidos, que no convergen con la versión original. Estas estrategias, ya sea por problemas con los testers o por dificultades con las formas recién desarrolladas, también se ha comprobado que pueden generar un rendimiento de prueba excesivamente variable y datos ausentes.
Un enfoque complementario ha sido utilizar asistentes de pruebas y entrenamiento de avatares guiados por IA. Estos enfoques tienen un potencial considerable, pero requieren validación antes de su despliegue completo. En los casos en que se utilicen tales estrategias, se requeriría un enfoque escalonado: el asistente inicialmente entregaría instrucciones y retroalimentación completamente guionizadas, y luego sería entrenado con modelos de gran lenguaje para entender las preguntas de los participantes e interactuar con ellos.
El contexto social de la evaluación e intervención es importante para sostener los esfuerzos relacionados con la tecnología. Los testers humanos pueden adaptarse a los retos de los participantes y facilitar la implicación en la formación, al tiempo que proporcionan asistencia técnica. Esta interacción deberá integrarse en enfoques digitales de evaluación y formación cognitiva no supervisada para ampliar el alcance de estas estrategias. Los participantes que más necesitan estas evaluaciones y estrategias de intervención también son los más propensos a necesitar asistencia facilitada mientras se autoadministran tareas de evaluación y formación de habilidades cognitivas y funcionales.
Archivo suplementario 1: Cuestiones asociadas al desarrollo de evaluaciones válidas basadas en el rendimiento: Enfoque en la validez, viabilidad y tolerabilidad de las evaluaciones y formaciones impartidas digitalmente. Por favor, haga clic aquí para descargar este archivo.
El Dr. Harvey ha recibido honorarios de consultoría o reembolsos de viaje de Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences y Recognify. Cuenta con una beca de investigación de Intracellular Therapeutics (ahora parte de Johnson and Johnson). Recibe regalías de la Breve Evaluación de la Cognición en la Esquizofrenia (propiedad de Clario, anteriormente WCG Endpoint Solutions, Inc, anteriormente Verasci, y contenida en el MCCB). Es director científico de i-Function, Inc. y consultor científico de EMA Wellness, Inc. El Sr. Kallestrup es cofundador y director ejecutivo de i-Function, Inc.
La investigación que apoyó el desarrollo del FUNSAT y el LASSI-D fue financiada por subvenciones del Instituto Nacional de Envejecimiento de los Estados Unidos (NIA) R44 AG074818-02, R43 AG057238-02 y R44 AG057238-04, con Peter Kallestrup como investigador principal.
Solicitar permiso para reutilizar el texto o las figuras de este artículo de JoVE
Solicitar permiso