Estratégias digitais permitem avaliação e treinamento remoto sem supervisão, mas são necessárias várias considerações para garantir a validade dos dados coletados e a utilidade das intervenções.
Artigo de revisão
Estratégias digitais permitem avaliação e treinamento remoto sem supervisão, mas são necessárias várias considerações para garantir a validade dos dados coletados e a utilidade das intervenções.
Os avanços tecnológicos permitem a possibilidade de entrega digital de avaliação e treinamento cognitivo e funcional. Existem duas grandes classes de estratégias digitais: aquelas que foram inicialmente desenvolvidas para entrega digital e aquelas que foram migradas a partir das avaliações tradicionais anteriores em papel e lápis. Também houve pesquisas consideráveis sobre avaliação e treinamento supervisionados versus não supervisionados. Desenvolvimentos digitais simultâneos, como a inteligência artificial (IA), permitiram a rápida geração de formulários paralelos de avaliação e a tradução de materiais de avaliação para uso internacional, sugerindo a possibilidade de uma implantação mundial e amplamente acessível. A tradução não garante validação, e muitos instrumentos de avaliação foram traduzidos, mas não normalizados ou validados após a tradução. Nesta revisão, examinamos o estado atual dos esforços digitais de avaliação e treinamento, usando exemplos de avaliações presenciais amplamente utilizadas que passaram por tradução e migração digital, e comparando-as com estratégias digitais que nunca foram entregues em papel ou presencialmente. Comentários são feitos sobre a utilidade do desempenho não supervisionado e suas implicações para indivíduos que autoadministram avaliações digitais ou programas de treinamento. Existem várias áreas que exigem reflexão cuidadosa para entregar estratégias digitais remotamente que sejam acessíveis e personalizadas, incluindo integridade psicométrica, validade linguística, o suporte social fornecido por um testador humano presencial e se esse suporte pode ser quantificado e complementado com alternativas digitais.
A revolução digital mudou o cenário da avaliação e treinamento cognitivo e funcional em condições relacionadas ao envelhecimento e psiquiátricas. Uma grande proporção das avaliações realizadas hoje depende total ou parcialmente da entrega digital. Avaliações digitais podem ser migradas a partir de testes neuropsicológicos padrão tradicionais administrados por um testador humano 1,2 ou totalmente nativas para uma plataformadigital 3,4,5. Algumas estratégias incluem a entrega em dispositivosmóveis 6,7,8, que pode ser acompanhada por outras avaliações remotas para capturar humores momentâneos, locais e condiçõesambientais 9.
A migração digital sistemática permite a comparação de versões digitais dos procedimentos com versões legadas. Para algumas tarefas, informações extensas de validação foram coletadas, com comparações sistemáticas com procedimentos legados. Um exemplo é a Avaliação Breve da Cognição na Esquizofrenia (BACS), na qual um teste de legado amplamente normado10 foi migrado para a entregadigital 11, com um estudo normativocomparativo 12. Um exemplo semelhante foi a migração digital das Escalas Loewenstein-Acevedo para Interferência Semântica e Aprendizado (LASSI-L)13, que foi migrada para uma versão14 guiada por Avatar, remotamente administrável, com trêsformulários digitais 15.
Uma vantagem das tarefas digitais é que atualizações rápidas e geralmente automatizadas, incluindo estímulos de teste, são altamente viáveis. Isso inclui traduções de idiomas com estratégias de Inteligência Artificial (IA), que podem rapidamente produzir versões alternativas. Também facilitado pelas estratégias de IA está o desenvolvimento de formas paralelas necessárias para testes repetidos, especialmente de memória ou resolução de problemas, para evitar efeitos inaceitáveis na prática16, mesmo em populações comdemência 17. Um dos nossos objetivos nesta revisão é avaliar a qualidade das migrações digitais anteriores e das adaptações por IA, incluindo os dados sobre equivalência após migração digital, tradução linguística e desenvolvimento de formas paralelas.
Um desenvolvimento adicional na avaliação digital é a autoadministração remota ou não supervisionada de procedimentos digitais de avaliação ou treinamento. Embora isso seja prática padrão há anos para o treinamento cognitivo computadorizado comercial (CCT)18, alguns estudos sugerem que a autoadministração não supervisionada de testes cognitivos também pode serviável 19,20,21. A autoadministração não supervisionada pode ser realizada em casa, em um dispositivo digital conectado à internet ou em um centro de testes, onde múltiplos participantes realizam os testes sob supervisão mínima. Os estudos de viabilidade têm sido geralmente de curto prazo, embora alguns tenham tido a mesma duração ou durações mais longas em comparação com os ensaios clínicos padrão. Revisaremos o estado geral das avaliações e treinamentos não supervisionados e comentaremos sobre áreas com desafios ou onde mais informações sejam necessárias.
Uma questão crítica na avaliação e treinamento não supervisionados é a adaptação intercultural e viabilidade. Além das diferenças linguísticas, há diferenças econômicas substanciais, provavelmente impactando o acesso digital e a alfabetização, incluindo a experiência com celulares, tablets ou laptops e acesso à internet emcasa. A divisão digital mundial não é mais relacionada à idade, mas sim econômica. A motivação para participar de atividades digitais remotas online pode variar consideravelmente entre os participantes. Métricas de viabilidade para avaliação não supervisionada incluem a taxa de consentimento, conclusão da avaliação, validade dos dados e capacidade de gerenciar a tecnologia. A maioria das avaliações clínicas não supervisionadas é direcionada a indivíduos com algumas deficiências esperadas, que podem receber instruções consideráveis20, 21, inclusive presenciais, sobre login e conclusão de avaliações ou treinamentos. Dados de viabilidade de indivíduos que se inscrevem em estudos remotos nos quais todo o registro e treinamento são realizados totalmente de formaindependente pode não ser generalizável para indivíduos com níveis mais baixos de habilidades digitais, menor confiança em suas habilidades e menor desempenho cognitivo geral. Isso inclui indivíduos que suspeitam de apresentar sinais iniciais de demência e realizam uma avaliação não supervisionada em uma clínica.
Em um estudo sobre a transição de dois sistemas digitais de avaliação da apresentação em computador residente no dispositivo para a entrega baseada emnuvem 24, houve vantagens sistemáticas na velocidade de coleta de dados na tela sensível ao toque em comparação com o mouse de um computador. Existem desafios comuns de alfabetização digital nas avaliações de capacidade funcional: alguns participantes têm habilidades mínimas de teclado e precisam ser ensinados a digitar uma letra maiúscula para a senha25. Em um estudo multisite sobre cognição e capacidade funcional nosEstados Unidos 26, o desempenho em uma avaliação digital de capacidade funcional variou em mais de 1,0 DS em localidades geográficas, acompanhando o desempenho educacional regional e a renda. Avaliaremos a viabilidade e validade da avaliação e treinamento não supervisionados utilizando todas as métricas disponíveis.
Como descrito abaixo, o principal desafio da entrega não supervisionada de tecnologia não é a falha dos resultados derivados digitalmente em convergir com as medidas padrão. O principal desafio é a ampla viabilidade da tecnologia necessária para avaliações e treinamentos autoadministrados, bem como o desempenho excessivamente variável na ausência de supervisão humana. Há uma interação intrinsecamente social durante as tarefas cognitivas padrão que oferece supervisão e assistência aos participantes que estão enfrentando dificuldades. Uma questão importante também abordada é se esse suporte pode ser entregue digitalmente, por meio de interações baseadas em IA que simulem interações participante-testador em procedimentos legados de avaliação entregues por humanos.
Abaixo está uma análise dos dados sobre as questões apresentadas acima. Eles incluem padrões para validação de testes baseados em desempenho, aplicáveis tanto a avaliações padrão quanto digitais; padrões para a migração digital de avaliações legadas; e comparações do processo de validação para tarefas nativas digitais com aquelas que foram migradas de formatos legados de papel/entrega humana, incluindo formas alternativas, tradução e adaptação intercultural. Há também uma discussão ampla sobre a viabilidade da administração não supervisionada em comparação com estratégias fornecidas por humanos, considerando a viabilidade geral dessas estratégias e o papel do testador humano nas intervenções tradicionais de avaliação e treinamento. Diversas funções são desempenhadas nessas situações de avaliação, algumas das quais, em teoria, poderiam ser realizadas com assistência informada por IA. O Suplementar Conclusão 1 apresenta as questões consideradas nesta revisão.
Princípios gerais na validação da avaliação cognitiva e funcional
Ao desenvolver uma avaliação digital bem validada ou uma estratégia de tratamento, várias considerações surgem. Um exemplo prototípico desse processo foi o programa colaborativo e de desenvolvimento de avaliações de resultados em larga escala, a iniciativa Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), que conduziu um estudo de validação de uma grande seleção de avaliações legadas e realizadas por testadores. Com base nas discussões em uma reuniãode consenso 27, a seleção do teste nesse contexto foi guiada por cinco considerações centrais: confiabilidade em administrações repetidas, adequação para uso longitudinal, associação com resultados funcionais, sensibilidade a mudanças relacionadas ao tratamento e viabilidade e tolerabilidade geral. A adequação para administração repetida foi definida como melhoria mínima de desempenho devido à prática ou à disponibilidade de formas alternativas equivalentes. Embora a bateria Cognitive de Consenso MATRICS (MCCB)28 tenha selecionado um conjunto de testes que atenda a esses critérios, a bateria tem se mostrado desafiadora de administrarremotamente 29. Um processo de desenvolvimento semelhante foi utilizado para uma avaliação com foco semelhante, a Avaliação Breve da Cognição na Esquizofrenia (BACS)3. O BACS foi desenvolvido com estratégias semelhantes e os seis subtestes administrados pelo testador no BACS foram examinados para todas essas características, incluindo em um grande estudo de validação com controles saudáveis (n = 404)8.
O artigo BACS foi amplamente validado internacionalmente, com múltiplos estudos examinando seu uso (por exemplo, 30,31,32,33,34,35). Curiosamente, o MCCB também foi traduzido várias vezes, com o sitedo desenvolvedor 36 listando 45 traduções diferentes. Também foi observado no site que apenas ~10 das 45 versões possuem normas linguísticas oficiais, apesar de seu uso generalizado em ensaios clínicos internacionais. Esse é um problema abordado depois.
A migração digital do BACS para o BAC-App foi realizada sistematicamente em um estudocomparativo 11, incluindo participantes com esquizofrenia e controles saudáveis, todos testados tanto com a versão legada quanto digital. Antes do início do estudo, formas alternativas foram desenvolvidas para vários subtestes do BAC-App, incluindo Memória Verbal (sete versões), Codificação de Símbolos (oito versões) e Torre de Londres (oito versões). Assim, a migração digital da tarefa foi projetada para permitir a comparação direta das duas versões e validar formas paralelas. Um estudo subsequente de validação em grande escala (N = 55312) com controles saudáveis e um pequeno número de participantes com declínio cognitivo subjetivo foi realizado, fornecendo informações normativas sobre desempenho no BAC-App. Assim, dados normativos foram coletados com a versão legada e depois repetidos com a versão digital, incluindo uma avaliação das formas equivalentes (embora os dados ainda não tenham sido publicados). É importante notar que o BAC-app resultante não é destinado à administração não supervisionada; Deve haver um testador presente.
Um esforço semelhante de migração digital foi realizado para uma avaliação de artigo legado, as Escalas de Loewenstein-Acevedo para Interferência Semântica e Aprendizado (LASSI-L)13,14. Essa avaliação tem como objetivo a detecção de interferência semântica proativa, que tem demonstrado prever um declínio cognitivo mais rápido e a presença de biomarcadores de TDAH mesmo em casos com comprometimento adicional mínimo15. Dados normativos extensos estavam disponíveis para o LASSI-L, e uma versão digital (LASSI-D) foi posteriormente desenvolvida para avaliação não supervisionada. Nesse processo de desenvolvimento, ao avaliar esses instrumentos, foi dada ênfase à confiabilidade entre as administrações, adequação para uso repetido, relevância para resultados funcionais e viabilidade e tolerabilidade geral. Um avanço em relação à migração do BACS foi a validação simultânea das versões espanhola e inglesa do LASSI-D, em oposição a versões semelhantes do LASSI-L, e o desenvolvimento da versão migrada usando estratégias informadas por IA para aumentar a viabilidade e validade da autoadministração não supervisionada. Especificamente, um avatar humano desempenha as funções de um testador humano, entregando instruções, corrigindo erros e incentivando o desempenho dos participantes. Dados qualitativos coletados dos participantes indicaram altos níveis de satisfação com as avaliações realizadas pelo avatar, com pontuações de preferência mais altas para essas avaliações do que para avaliações realizadas por humanos.
Avaliações nativas digitais também devem seguir esses mesmos princípios de confiabilidade e validade, e alguns programas também o fazem. Por exemplo, o desenvolvimento de duas diferentes medidas digitais de capacidade funcional, a ferramenta de Avaliação de Capacidade Funcional em Realidade Virtual (VRFCAT) e o Programa de Avaliação e Treinamento de Habilidades Funcionais (FUNSAT) seguiram os mesmos cinco princípios nos estudos de validação. Tanto o VRFCAT quanto o FUNSAT passaram por uma migração digital secundária para a entrega baseada emnuvem 24, e ambos os testes apresentam formas alternativas com similaridade demonstrada. O estudo de migração do FUNSAT também considerou a performance de falantes de espanhol e inglês em três formas alternativas.
Outra característica tanto do VRFCAT quanto do FUNSAT foi um esforço extenso de validação convergente, com comparações realizadas com estratégias de avaliação tradicionais e digitais. Por exemplo, a correlação do VRFCAT com sintomas negativos na esquizofrenia foiexaminada 39, assim como sua correlação com outros índices de capacidade funcional empapel e lápis 40. Foi realizado um estudo qualitativo para avaliar sua aceitabilidade para a população alvoda avaliação 41. Para o FUNSAT, estudos sobre sua estruturafatorial 42, sensibilidade aotratamento 43, correlações com o BAC-app44 e outras medidas de capacidadefuncional 45, além de correlações com o funcionamento autorrelatado tambémforam relatados 46.
Tecnologia das avaliações não supervisionadas
A avaliação neuropsicológica em papel e lápis é o caso definidor de uma avaliação supervisionada, que inclui interação social, supervisão, orientação e sugestões para evitar respostas problemáticas. Como mencionado acima, algumas medidas cognitivas e funcionais administradas digitalmente são projetadas para serem aplicadas por um examinador. Exemplos incluem o Identical-PairsCPT 47 do MCCB, o BAC-app e o VRFCAT. Outras avaliações são projetadas de forma que possam ser administradas sem supervisão, sem a presença de um examinador, pois o procedimento de avaliação é automatizado e funciona por conta própria. Alguns desses programas mostraram vulnerabilidade a48 faltantes ou inválidos49 em alguns subtestes, embora a proporção de casos com pontuações inválidas tenha sido baixa. Essas notas podem refletir um baixo engajamento dos examinadores, que pode ser corrigido em alguns casos com o feedback dos examinadores. Com a tecnologia digital atual, interrupções na resposta durante os testes podem ser detectadas, e o processo pode ser temporariamente suspenso enquanto o participante é lembrado de continuar. Por exemplo, os módulos de avaliação e treinamento do FUNSAT pausam o procedimento e exibem uma janela pop-up caso nenhuma resposta seja recebida em até 15 segundos. Esse processo de detecção embutido não está presente em todas as estratégias mencionadas acima.
Dados sobre a viabilidade de avaliações não supervisionadas
Existem muitos estudos sobre avaliações não supervisionadas do desempenho cognitivo em doenças mentais graves e TDAH. Uma revisão em larga escala deADRD 20 identificou 28 relatórios de pesquisa recentes e 23 ferramentas diferentes para avaliações não supervisionadas, realizadas em consulta ou remotamente. Os dados de aceitabilidade foram bastante bons, com consentimento informado e taxas de participação acima de 85%. Muitos participantes relataram que estariam dispostos a participar novamente.
A adesão às avaliações variou consideravelmente, variando de 63% em um estudo de 8 semanas a 94% em outro estudo de 8 semanas. As taxas de dados inutilizáveis foram baixas, mas certas estratégias de avaliação levaram a maiores taxas de desafios na conclusão das avaliações. Em ambientes de realidade aumentada em casa, limitações técnicas levaram à perda de cerca de 21% dos dados, e a incompatibilidade dos dispositivos resultou em quase 32% dos participantes não conseguirem completar as avaliações remotas.
Considerações psicométricas, que normalmente são cuidadosamente gerenciadas em estratégias tradicionais de avaliação, não foram tão bem consideradas quanto poderiam ter sido. Por exemplo, apenas 2 de 23 tarefas reportadas sobre a convergência de formas paralelas e a confiabilidade teste-reteste estavam no limite inferior da faixa aceitável. No entanto, como algumas dessas avaliações foram realizadas remotamente e de forma pontual, fatores ambientais podem influenciar o desempenho, o que é uma consideração importante. Assim, o que parece ser baixa confiabilidade teste-reteste pode, na verdade, refletir sensibilidade a influências ambientais e variância interna dos participantes associada a fatores ambientais emmudança 9,50. A validade convergente com avaliações cognitivas padrão foi consistentemente aceitável, com correlações variando de r = 0,50 a 0,70.
A revisão das avaliações cognitivas remotas naesquizofrenia 21 teve tamanho semelhante (34 artigos) e levantou algumas das mesmas questões, embora apenas um subconjunto dos estudos tenha realizado avaliações verdadeiramente não supervisionadas. A maioria das avaliações administradas remotamente não mencionou formulários paralelos, e praticamente não houve relatos de normas para a entrega remota em comparação com avaliações presenciais. Na verdade, apenas um dos 34 estudos examinou o desempenho normativo em avaliações remotas, presenciais versus avaliações supervisionadas. Outro achado que correspondeu ao estudo de Polk et al. foi que a incapacidade de concluir avaliações, devido a problemas de conectividade à internet, relatos de falhas tecnológicas e outras considerações tecnológicas, era substancial e presente em quase todos os estudos não supervisionados.
Uma questão que surgiu na tentativa de administrar remotamente o BAC-app foi a preocupação dos participantes com a integridade dos dados, já que foram testados presencialmente e remotamente com oBAC-app 51. Nesse estudo, os participantes, em média, tiveram desempenho substancialmente melhor em um teste de aprendizagem por lista de palavras administrado remotamente, sugerindo que, à medida que os estímulos eram apresentados, eles os escreviam ou registravam. Somando-se à lista de considerações para avaliações não supervisionadas, parece necessário algum tipo de estratégia de segurança para manter a integridade dos dados.
Treinamento digital de habilidades cognitivas e de habilidades oferecido remotamente
Existem vários estudos realizados sobre o treinamento remoto de habilidades cognitivas e funcionais naesquizofrenia 52 e no comprometimento cognitivoleve 53. Além disso, o treinamento cognitivo foi adicionado como uma intervenção combinada para aumentar a eficácia de outras intervenções, como tratamentos de sintomas negativos baseados em aplicativos naesquizofrenia 54e treinamento digital de habilidades funcionais noDCL 25. Os achados gerais foram que a taxa de adesão e os ganhos de treinamento observados são bastante semelhantes em casa e no consultório, para populações que vão desde esquizofrenia até DCL e TDAH. A adesão nunca é perfeita, e os ganhos no treinamento são afetados pelas diferenças individuais das características55,56. Um fator que pode levar a ganhos e adesão adequadas é que os procedimentos de treinamento cognitivo, seja realizados no escritório ou remotamente, são essencialmente idênticos. As questões mencionadas acima sobre desafios técnicos e incapacidade de lançar os programas são claramente as mesmas para treinamento remoto e avaliação remota. Estudos em que participantes receberam treinamento presencial para facilitar o lançamento e operação do software sem supervisão relataram a melhor adesão remota (por exemplo, 53).
Utilização mundial de avaliações e tratamentos digitais
Como mencionado acima, houve múltiplas traduções de avaliações de artigos legados, bem como múltiplos esforços internacionais no domínio digital. Por exemplo, avaliações digitais de dislexia57 e habilidades matemáticas58 foram desenvolvidas na Espanha, embora não esteja claro se essas tarefas foram traduzidas para outros idiomas. Na China, foi desenvolvida uma estratégia para modificar o Teste de Trilha para incluir medição adicional de habilidadesmotoras 59 , e outro estudo na China desenvolveu um procedimento de interferência de dupla tarefa para examinar o processamento de sentençascomplexas 60. Em Singapura, existe um programa único de treinamento interlinguístico envolvendo indivíduos bilíngues treinados em inglês e em outra língua asiática, com o objetivo de melhorar o desempenhocognitivo 61. Todos esses estudos relataram esforços de desenvolvimento bem-sucedidos e aceitação, embora apenas um tenha permitido uma comparação direta da utilidade dos testes entre línguas dentro de grupos culturais.
O papel da validação local de testes traduzidos
As estratégias tradicionais de avaliação presencial mais amplamente utilizadas, como o MCCB e o BAC, foram amplamente validadas em diferentes línguas e grupos culturais, como mencionado acima. Em contraste, o NIH Toolbox, uma avaliação abrangente voltada para indivíduos de 3 a 85 anos, é oferecido apenas em inglês e administrado em uma única plataforma digitalpresencial 62. Há consideravelmente menos informações regionais e globais disponíveis sobre a validação de versões digitalizadas de tarefas e programas de avaliação cognitiva e funcional. Por exemplo, no estudoERUDITE 63sobre luvadaxistat, o BAC-app foi administrado em oito idiomas diferentes, e houve apenas um estudopublicado 64 validando uma forma de idioma diferente (ou seja, espanhol) dessa avaliação após a migração digital. Algumas avaliações diretas para digital, como a VRFCAT, foram usadas em variantes traduzidas em estudos com mais de 30 idiomasdiferentes 65. Novamente, não existe uma base de evidências substancial para o uso do VRFCAT entre línguas, embora a validação da semelhança das formas paralelas tenha sido apresentada quando a versão original em inglês da avaliação foi desenvolvida. As informações de validação coletadas com versões legadas de tarefas digitalizadas provavelmente serão bastante relevantes se a migração não alterou nenhuma característica do teste, mas existem vários idiomas em que medidas de resultado, migrações legadas e digitais, não foram estudadas por suas características psicométricas. No entanto, como observado em duas revisõesdiferentes — 20,21 para TDAH e esquizofrenia, houve notavelmente pouca atenção dada às características das tarefas em âmbito internacional após modificações e migração digital.
Os desafios nesses dois estudos foram que o VRFCAT apresentou maior variabilidade do que o esperado, e um número considerável de participantes teve escores extremamente baixos. É possível que as traduções tenham tido efeitos adversos no desempenho. É igualmente provável que desafios com testadores inexperientes tenham levado a uma supervisão ruim do engajamento dos participantes durante as avaliações. Apesar do óbvio potencial para desafios com os testadores, provavelmente também é prematuro pensar que uma tradução validada linguisticamente garantiria um instrumento psicometricamente semelhante. Durante o processo de migração digital sistemática, o instrumento legado em papel e lápis deve ser examinado para gerar pontuações semelhantes à versão digitalizada, embora, como mencionado nas duas revisões acima, isso não seja documentado como comum. A estratégia descrita acima para a migração digital do LASSI-D não é suscetível a esses desafios, pois inclui uma comparação psicométrica sistemática de cada uma das três formas paralelas digitais com os resultados da versão legada administrada por humanos tanto em espanhol quanto em inglês. No entanto, é um processo muito detalhado e seria extremamente desafiador implementar de forma rápida para um ensaio clínico com 30 idiomas.
Qual é o papel do testador humano?
Os dados sugerem que um grande desafio na avaliação e treinamento digital não supervisionados é permitir que os participantes façam a tecnologia funcionar e acessem o sistema. Outros desafios, como relatos de incompatibilidade tecnológica dos participantes, também podem decorrer da falta de familiaridade com estratégias digitais e da incapacidade de operar a tecnologia. Assim, em paradigmas de avaliação não supervisionada, instruções personalizadas antes do início das avaliações podem ser uma estratégia útil ou até mesmo necessária.
Algumas avaliações baseadas em tecnologia são aplicadas principalmente durante consultas ao consultório, incluindo a maioria das tarefas projetadas para avaliação remota na esquizofrenia. Por exemplo, o VRFCAT exige supervisão presencial das avaliações, assim como o BAC-App. O VRFCAT possui um componente introdutório administrado antes da avaliação formal, durante o qual o testador humano responde a quaisquer perguntas e redireciona qualquer esforço inadequado, enquanto a seção principal de avaliação roda continuamente. O examinador é orientado a supervisionar o participante e dar orientações caso ele não persista em seus esforços. No entanto, um estudo recente do VRFCAT descobriu que alguns participantes tiveram muitas "progressões forçadas", ou seja, não alcançaram um objetivo de teste em 300 segundos. Como alguns dos objetivos são uma única tarefa breve ("Pegar a carteira"), falhas na supervisão do examinador podem ser suspeitas. A tecnologia BAC-app administra todos os estímulos e coleta todos os dados, mas ainda exige que o testador humano supervisione o desempenho e avance nas subtarefas após a conclusão dos participantes. O sistema Cogstate não exige supervisão do desempenho dos participantes, mas houve múltiplos relatos de desempenho inválido em certos componentes do sistema e sensibilidade reduzida a comprometimentos naesquizofrenia 66 que podem decorrer de desempenho sustentado inadequado e escores erráticos por parte dos participantes, que podem ser detectados e corrigidos com supervisão presencial.
É possível usar supervisão digital?
Há um interesse atual considerável em chatbots ou outras intervenções psicoterapêuticas digitais fornecidas por IA. Entre os desafios dessas intervenções está a exigência de comunicação bidirecional, na qual o terapeuta de IA deve entender a comunicação do cliente em tempo real e responder adequadamente. Uma estratégia de IA diferente foi usada no desenvolvimento do LASSI-D. Um avatar humano foi criado com IA e atuava como técnico de teste, fornecendo todas as instruções e feedback que seriam emitidos por um testador humano em uma situação padrão de teste. O avatar também foi ensinado a responder um conjunto pré-determinado de perguntas frequentes, que eram acionadas quando o exame tocava um ícone "?" na tela. Não houve tentativa de comunicação interativa naquela fase. A aceitabilidade do procedimento foi bastante alta (95% de conclusão das sessões de teste) em uma população majoritariamente minoritária, monolíngue de língua espanhola, com taxas muito altas de conclusão (mais de 96% das sessões de avaliação) e declarações qualitativas de preferências para os testadores avatar em relação aos testadores humanos.
Uma possível via para a expansão das orientações de IA para avaliações e treinamentos não supervisionados seria desenvolver um sistema de treinamento e assistência projetado para ajudar os participantes a configurar e originar suas avaliações ou treinamentos não supervisionados pela primeira vez. Embora ainda esteja em desenvolvimento, o FUNSAT está sendo modificado para incluir um módulo instrucional inicial com orientação do avatar humano para treinar os participantes potenciais a se inscreverem em treinamentos, acessarem o site e iniciarem seus esforços de treinamento. Essas estratégias têm mais chance de serem aplicadas de forma consistente e precisa do que interações terapêuticas com chatbots, porque a comunicação com avatar seria baseada em respostas pré-scriptas a perguntas e na entrega de instruções consistentes.
Outras estratégias digitais
A revisão atual foca em avaliações cognitivas intencionais baseadas no desempenho. Existe uma impressionante variedade de medidas de fenotipagem digital passiva que agorasão otimizadas e podem estar relacionadas a resultados de avaliações não supervisionadas. Essas incluem geolocalização67, atividade física68, contexto social69, interações com dispositivos70 e características de fala e linguagem71. Embora essas não sejam necessariamente medidas de cognição, refletem fatores ambientais potenciais que também podem influenciar o desempenho cognitivo. Por exemplo, o estado de humor inferido a partir de respostas faciais ou vocais, contexto social e distração de fundo pode se correlacionar com o desempenho cognitivo, especialmente durante avaliações não supervisionadas. Alguns dos desafios associados à avaliação não supervisionada podem ser detectáveis e reduzíveis pelo uso simultâneo da fenotipagem digital passiva de eC. Como essas medidas não exigem esforço intencional para coletar os dados, elas não aumentam o peso das avaliações.
A avaliação digital e o tratamento de déficits cognitivos e funcionais são altamente promissores porque permitem ampliar o processo e alcançar participantes que talvez não tivessem acesso de outra forma. Os avanços tecnológicos permitem a fácil tradução de estímulos, a criação de formulários de avaliação paralelos e a entrega remota. A maioria dos dados sugere que os resultados da avaliação e treinamento não supervisionados são altamente convergentes com os das estratégias legadas, em termos de índices globais de desempenho. No entanto, existem desafios tanto no engajamento dos participantes quanto nas características técnicas do desenvolvimento de testes. Muitos participantes não conseguem gerenciar a tecnologia sem supervisão. Embora a tecnologia facilite a tradução de estímulos e a criação de formas paralelas, não houve atenção adequada à semelhança psicométrica das traduções resultantes ou das novas formas. A abordagem sistemática para avaliação psicométrica da qualidade dos testes não é desculpada porque a tecnologia facilita a geração de estímulos de teste.
Alguns estudos farmacológicos usando avaliações digitais de resultados não conseguiram identificar os efeitos do tratamento, e essas falhas podem estar parcialmente relacionadas a diferentes versões dos testes, em termos de formas paralelas ou estímulos traduzidos, que não convergem com a versão original. Essas estratégias, seja devido a problemas com o testador ou desafios com as formas recém-desenvolvidas, também têm potencial para gerar desempenho de teste excessivamente variável e dados ausentes.
Uma abordagem suplementar tem sido o uso de assistentes de teste e treinamento de avatares guiados por IA. Tais abordagens têm considerável potencial, mas exigem validação antes da implantação completa. Nos casos em que tais estratégias são usadas, seria necessária uma abordagem em etapas: o assistente inicialmente entregaria instruções e feedback totalmente roteirizados, depois seria treinado com modelos em grande linguagem para entender as perguntas dos participantes e interagir com eles.
O contexto social da avaliação e intervenção é importante para sustentar os esforços relacionados à tecnologia. Os testadores humanos podem se adaptar aos desafios dos participantes e facilitar o engajamento com o treinamento, ao mesmo tempo em que fornecem assistência técnica. Essa interação precisará ser integrada a abordagens digitais de avaliação e treinamento cognitivo não supervisionado para ampliar o alcance dessas estratégias. Os participantes que mais precisam dessas avaliações e estratégias de intervenção também têm maior probabilidade de necessitar de assistência facilitada ao autoadministrar tarefas de avaliação e treinamento de habilidades cognitivas e funcionais.
Arquivo Suplementar 1: Questões associadas ao desenvolvimento de avaliações válidas baseadas em desempenho: Foco na validade, viabilidade e tolerabilidade de avaliações e treinamentos aplicados digitalmente. Por favor, clique aqui para baixar este arquivo.
O Dr. Harvey recebeu honorários de consultoria ou reembolsos de viagem da Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences e Recognify. Ele possui uma bolsa de pesquisa da Intracellular Therapeutics (atualmente parte da Johnson and Johnson). Ele recebe royalties da Breve Avaliação da Cognição na Esquizofrenia (Propriedade da Clario, anteriormente WCG Endpoint Solutions, Inc, anteriormente Verasci, e contida no MCCB). Ele é diretor científico da i-Function, Inc. e consultor científico da EMA Wellness, Inc. O Sr. Kallestrup é cofundador e CEO da i-Function, Inc.
A pesquisa que apoia o desenvolvimento do FUNSAT e do LASSI-D foi financiada por subsídios do Instituto Nacional de Envelhecimento dos Estados Unidos (NIA) R44 AG074818-02, R43 AG057238-02 e R44 AG057238-04, com Peter Kallestrup como investigador principal.
Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE
Solicitar permissão