Цифровые стратегии позволяют проводить дистанционную оценку и обучение без надзора, но для обеспечения достоверности собранных данных и полезности вмешательств необходимо учитывать несколько факторов.
Обзорная статья
Цифровые стратегии позволяют проводить дистанционную оценку и обучение без надзора, но для обеспечения достоверности собранных данных и полезности вмешательств необходимо учитывать несколько факторов.
Технологический прогресс позволяет осуществлять цифровую передачу когнитивной и функциональной оценки и обучения. Существует два основных класса цифровых стратегий: те, что изначально разрабатывались для цифровой доставки, и те, что были перенесены с более ранних традиционных бумажных и карандашных оценок. Также проводились значительные исследования по оценке и обучению под надзором и без неё. Параллельные цифровые разработки, такие как искусственный интеллект (ИИ), позволили быстро создавать параллельные формы оценки и переводить материалы для международного использования, что указывает на возможность глобального, широко доступного внедрения. Перевод не гарантирует валидацию, и многие инструменты оценки были переведены, но не нормированы или валидированы после перевода. В этом обзоре мы рассматриваем текущее состояние цифровой оценки и обучения, используя примеры широко распространённых очных оценок, которые прошли перевод и цифровую миграцию, и сравниваем их с цифровыми стратегиями, которые никогда не были реализованы на бумаге или лично. Приводятся комментарии о полезности неконтролируемых результатов и её последствиях для людей, самостоятельно проводящих цифровые оценки или обучающие программы. Существует несколько областей, требующих тщательного продумания для дистанционной реализации цифровых стратегий, доступных и персонализированных, включая психометрическую целостность, лингвистическую валидность, социальную поддержку, предоставляемую личным тестировщиком, и возможность количественно оценить и дополнить эту поддержку цифровыми альтернативами.
Цифровая революция изменила ландшафт когнитивной и функциональной оценки и обучения в области старения и психиатрических заболеваний. Значительная часть сегодняшних оценок полностью или частично основана на цифровой доставке. Цифровые оценки могут быть перенесены с устаревших стандартных нейропсихологических тестов, проводимыхчеловеком-тестировщиком 1,2, или полностью нативными на цифровуюплатформу 3,4,5. Некоторые стратегии включают доставку на мобильныхустройствах 6,7,8, что может сопровождаться другими удалёными оценками для фиксации моментальных настроений, местоположения и условийокружающей среды 9.
Систематическая цифровая миграция позволяет сравнивать цифровые версии процедур с устаревшими. Для некоторых задач была собрана обширная информация для валидации с систематическими сравнениями с устаревшими процедурами. Примером является Краткая оценка когнитивных способностей при шизофрении (BACS), в которой широко нормированныйтест 10 наследия был переведён в цифровуюдоставку 11, а сравнительное нормативное исследование— 12. Похожий пример — цифровая миграция шкалы Лёвенштейна-Асеведо для семантической интерференции и обучения (LASSI-L)13, которая была перенесена в управляемую Аватаром и удалённо администрируемуюверсию 14 с тремя цифровымиформами 15.
Преимущество цифровых задач заключается в том, что быстрые, обычно автоматизированные обновления, включая тестирование стимулов, вполне реалистичны. Это включает языковые переводы с помощью стратегий искусственного интеллекта (ИИ), которые могут быстро создавать альтернативные версии. Также стратегии ИИ способствуют разработке параллельных форм, необходимых для повторного тестирования, особенно памяти или решения проблем, чтобы избежать недопустимых эффектовпрактики 16, даже в популяциях сдеменцией 17. Одна из целей нашего обзора — оценить качество предыдущих цифровых миграций и адаптаций ИИ, включая данные об эквивалентности после цифровой миграции, лингвистическом переводе и разработке параллельных форм.
Дальнейшим развитием цифрового оценивания стало дистанционное или неконтролируемое самоуправление цифровыми методами оценки или обучения. Хотя это уже много лет является стандартной практикой для коммерческого компьютерного когнитивного обучения (CCT)18, некоторые исследования предполагают, что самоуправление когнитивного тестирования без надзора также возможно 19,20,21. Самоуправление без присмотра может выполняться дома на цифровом устройстве, подключённом к интернету, или в тестовом центре, где несколько участников проходят тесты под минимальным присмотром. Технико-экономические исследования обычно были краткосрочными, хотя некоторые из них были одинаковой или более длительной по сравнению со стандартными клиническими испытаниями. Мы рассмотрим общее состояние неконтролируемых оценок и обучений, а также прокомментируем области с трудностями или где требуется дополнительная информация.
Критически важным вопросом в независимой оценке и обучении является межкультурная адаптация и осуществимость. Помимо языковых различий, существуют существенные экономические различия, которые, вероятно, влияют на цифровой доступ и грамотность, включая опыт использования мобильных телефонов, планшетов или ноутбуков, а также домашний доступ кинтернету 22. Мировой цифровой разрыв больше не связан с возрастом, а с экономическим. Мотивация для участия в онлайн-дистанционных цифровых мероприятиях может значительно различаться у разных участников. Метры технико-экономического обоснования для неконтролируемой оценки включают уровень согласия, прохождение оценки, валидность данных и способность управлять технологией. Большинство клинических неконтролируемых оценок направлены на людей с возможными нарушениями, которым могут быть предоставлены обширные инструкции20,21, включая очно, по входу в систему и прохождению оценок или обучения. Данные о осуществимости от лиц, записывающихся на дистанционные исследования, при которых вся регистрация и обучение проводятся полностью независимо(19,23), могут быть необобщаемы для людей с более низким уровнем цифровых навыков, меньшей уверенностью в своих способностях и низкой общей когнитивной эффективностью. Это касается тех, кто подозревает ранние признаки деменции и проводит неконтролируемое обследование в клинике.
В исследовании перехода двух цифровых систем оценки от компьютерной презентации на устройстве к облачнойдоставке 24 были выявлены систематические преимущества в скорости сбора данных на сенсорном экране по сравнению с компьютерной мышью. Существуют распространённые проблемы с цифровой грамотностью при оценке функциональных способностей: некоторые участники имеют минимальные навыки работы на клавиатуре и нуждаются в обучении набирать заглавную букву дляпароля 25. В многоцелевом исследовании когнитивных функций и функциональных способностей вСША результаты оценки цифровых функциональных способностей варьировались более чем на 1,0 SD по географическим регионам, отслеживая региональные образовательные достижения и доходы. Мы оценим осуществимость и валидность неконтролируемой оценки и обучения, используя все доступные метрики.
Как описано ниже, главная проблема неконтролируемой реализации технологий заключается не в том, что цифровые результаты не совпадают со стандартными показателями. Основная проблема — это широкая реализуемость технологий, необходимых для самоуправляемых оценок и обучения, а также чрезмерно переменчивые результаты без человеческого надзора. Во время стандартных когнитивных заданий существует внутреннее социальное взаимодействие, которое обеспечивает супервизию и поддержку участникам, испытывающим трудности. Важным вопросом также является возможность предоставления такой поддержки в цифровом виде через взаимодействия на базе ИИ, имитирующие взаимодействие участников и тестировщиков в устаревших процедурах оценки, реализованных людьми.
Ниже приведён обзор данных по вышеуказанным вопросам. К ним относятся стандарты для валидации тестов на основе результатов, применимые как к стандартным, так и к цифровым оценкам; стандарты цифровой миграции наследственных оценок; а также сравнение процесса валидации для задач на цифровом языке с теми, что были перенесены из устаревших бумажных/человеческих форматов, включая альтернативные формы, перевод и межкультурную адаптацию. Также широко обсуждается возможность проведения без надзора по сравнению со стратегиями, реализуемыми людьми, учитывая общую осуществимость этих стратегий и роль человека-тестера в традиционных методах оценки и обучения. В этих ситуациях оценивания выполняется несколько функций, некоторые из которых, теоретически, могут быть реализованы с помощью ИИ-ориентированной помощи. Дополнительный материал 1 содержит вопросы, рассмотренные в данном обзоре.
Общие принципы валидации когнитивной и функциональной оценки
При разработке хорошо проверенной цифровой стратегии оценки или лечения возникает несколько факторов. Прототипом этого процесса стала совместная масштабная программа оценки результатов — инициатива Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), которая проводила валидационное исследование большого числа устаревших оценок, проводимых тестировщиками. На основе обсуждений на консенсуснойвстрече 27, выбор теста в данном контексте основывался на пяти основных аспектах: надёжность при повторных введениях, уместность для долгосрочного использования, связь с функциональными результатами, чувствительность к изменениям, связанным с лечением, а также общая осуществимость и переносимость. Пригодность для повторного применения определялась либо как минимальное улучшение производительности благодаря практике, либо как наличие эквивалентных альтернативных форм. Хотя получившаяся система MATRICS Consensus Cognitive Battery (MCCB)28 выбрала набор тестов, соответствующих этим критериям, батарея оказалась сложной для дистанционного проведения29. Похожий процесс разработки был использован для аналогично сфокусированной оценки — Краткая оценка когнитивных функций при шизофрении (BACS)3. BACS был разработан с использованием схожих стратегий, и шесть подтестов, проведённых тестировщиками в BACS, были изучены на все эти характеристики, включая крупное валидационное исследование с участием здоровых контролей (n = 404)8.
Статья BACS была широко валидирована на международном уровне, в ходе многочисленных исследований, изучавших её использование (например, 30,31,32,33,34,35). Интересно, что MCCB также был переведён несколько раз: на сайтеразработчика 36 перечислено 45 различных переводов. Также на сайте отмечалось, что только ~10 из 45 версий имеют официальные языковые нормы, несмотря на их широкое использование в международных клинических испытаниях. Эта проблема будет рассмотрена позже.
Цифровая миграция BACS в BAC-App была систематически проведена в сравнительномисследовании 11, включавшего участников с шизофренией и здоровых контрольных групп, все из которых тестировались как с устаревшей, так и с цифровой версиями. До начала исследования были разработаны альтернативные формы для нескольких подтестов BAC-App, включая Verbal Memory (семь версий), Symbol Coding (восемь версий) и Tower of London (восемь версий). Таким образом, цифровая миграция задачи была разработана для прямого сравнения двух версий и проверки параллельных форм. Было проведено крупномасштабное валидационное исследование (N = 55312) с участием здоровых контрольных групп и небольшого числа участников с субъективным когнитивным снижением, получившее нормативную информацию о результативности на BAC-App. Таким образом, нормативные данные собирались с устаревшей версией, а затем повторялись с цифровой версией, включая оценку эквивалентных форм (хотя данные до сих пор не публиковались). Важно отметить, что полученное BAC-приложение не предназначено для неконтролируемого администрирования; Должен присутствовать тестировщик.
Аналогичная цифровая миграция была проведена для оценки старой статьи — Шкалы Лёвенштейна-Асеведо для семантических интерференций и обучения (LASSI-L)13,14. Данная оценка направлена на выявление проактивных семантических помех, которые, как показано, предсказывают более быстрое когнитивное снижение и наличие биомаркеров ADRD даже в случаях с минимальным дополнительнымнарушением 15. Для LASSI-L были доступны обширные нормативные данные, и впоследствии была разработана цифровая версия (LASSI-D) для неконтролируемой оценки. В процессе разработки, при оценке этих инструментов, акцент делался на надёжности между администрациями, пригодности к повторному использованию, релевантности для функциональных результатов, а также на общей осуществимости и терпимости. Одним из достижений по сравнению с миграцией BACS стало одновременное подтверждение испанской и английской версий LASSI-D в отличие от аналогичных версий LASSI-L, а также разработка мигрированной версии с использованием стратегий, ориентированных на ИИ, для повышения возможности и валидности самоуправления без контроля. В частности, человеческий аватар выполняет функции человека-тестировщика, даёт инструкции, исправляет ошибки и стимулирует оптимизацию работы участников. Качественные данные, собранные от участников, показали высокий уровень удовлетворённости оценками, проведёнными аватарами, при этом баллы предпочтений были выше, чем для оценок, проведённых людьми.
Цифрово-нативные оценки также должны соответствовать этим же принципам надёжности и валидности, и некоторые программы так делают. Например, разработка двух различных цифровых показателей функциональной способности — инструмента оценки функциональных способностей виртуальной реальности (VRFCAT)3,37 и Программы оценки и обучения функциональных навыков (FUNSAT)25,38 — придерживалась тех же пяти принципов в исследованиях валидации. И VRFCAT, и FUNSAT прошли вторичную цифровую миграцию на облачнуюдоставку 24, и оба теста имеют альтернативные формы с подтвержденным сходством. Исследование миграции FUNSAT также учитывало результаты испаноязычных и англоговорящих в трёх альтернативных формах.
Ещё одной особенностью VRFCAT и FUNSAT была масштабная работа по конвергентной валидации с проведением сравнений как с традиционными, так и с цифровыми стратегиями оценки. Например, корреляция VRFCAT с негативными симптомами при шизофрении былаизучена 39, а также корреляция с другими индексами функциональной способности бумагии карандаша 40. Было проведено качественное исследование для оценки его приемлемости для целевой оценочнойпопуляции 41. Для FUNSAT также были отмечены исследования его факторнойструктуры 42, чувствительности клечению 43, корреляций с BAC-app44 и других показателей функциональнойспособности 45, а также корреляций с самооценкойфункционирования 46.
Технология неконтролируемых оценок
Нейропсихологическая оценка на бумаге и карандаше является определяющим примером контролируемой оценки, которая включает социальное взаимодействие, супервизию, рекомендации и рекомендации для предотвращения проблемного реагирования. Как отмечалось выше, некоторые цифровые когнитивные и функциональные показатели предназначены для проведения экзаменатором. Примеры включают идентичные парыCPT 47 из MCCB, приложение BAC и VRFCAT. Другие оценки разработаны так, что их можно проводить без присмотра без присутствия экзаменатора, поскольку процедура оценки автоматизирована и работает самостоятельно. Некоторые из этих программ показали уязвимость к пропуску48 или недействительныхбаллов 49 по некоторым подтестам, хотя доля случаев с недействительными баллами была низкой. Эти оценки могут отражать низкую вовлечённость сдающих, что в некоторых случаях можно исправить с помощью обратной связи экзаменатора. С современными цифровыми технологиями можно обнаружить прерывания в ответе во время тестирования, и процесс может быть временно приостановлен, пока участнику напоминают о продолжении. Например, модули оценки и обучения FUNSAT приостанавливают процедуру и отображают всплывающее окно, если ответ не поступает в течение 15 секунд. Этот встроенный процесс обнаружения отсутствует во всех вышеупомянутых стратегиях.
Данные о возможности проведения неконтролируемых оценок
Существует множество исследований неконтролируемых оценок когнитивных способностей при серьёзных психических заболеваниях и АДРД. Масштабный обзорADRD 20 выявил 28 недавних исследовательских отчётов и 23 различных инструмента для неконтролируемых оценок, проводимых либо в офисе, либо дистанционно. Данные по приемлемости были довольно хорошими: уровень информированного согласия и участия превышает 85%. Многие участники сообщили, что готовы принять участие снова.
Соблюдение оценок сильно варьировалось — от 63% в 8-недельном исследовании до 94% в другом 8-недельном исследовании. Уровень неиспользуемых данных был низким, но некоторые стратегии оценки приводили к более высоким сложностям при проведении оценок. В домашних условиях дополненной реальности технические ограничения привели к потере примерно 21% данных, а несовместимость устройств привело к тому, что почти 32% участников не смогли пройти удалённые оценки.
Психометрические соображения, которые обычно тщательно управляются в традиционных стратегиях оценки, были рассмотрены не так хорошо, как могли бы. Например, только 2 из 23 заданий, отчётывающих о сходимости параллельных форм и надежности повторного тестирования, находились в нижней границе допустимого диапазона. Однако, поскольку некоторые из этих оценок проводились дистанционно и случайно, факторы окружающей среды могли влиять на эффективность, что является важным фактором. Таким образом, то, что кажется низкой надёжностью повторного теста, на самом деле может отражать чувствительность к воздействию окружающей среды и вариации внутри участников, связанные с изменяющимися факторами окружающейсреды 9,50. Сходимость с стандартными когнитивными оценками была стабильно приемлемой, корреляции варьировались от r = 0,50 до 0,70.
Обзор дистанционных когнитивных оценок пришизофрении 21 был примерно такого же масштаба (34 статьи) и поднял некоторые из тех же вопросов, хотя только часть исследований действительно проводила действительно неконтролируемые оценки. Большинство дистанционно проводимых оценок не упоминали параллельные формы, и практически не было отчётов о нормах дистанционной доставки по сравнению с очными оценками. Фактически, только одно из 34 исследований изучало нормативную эффективность на дистанционных и очных оценках и под наблюдением. Ещё одним открытием, соответствующим исследованию Полк и др., стало то, что невозможность завершить оценки из-за проблем с интернет-соединением, сообщений о сбоях технологий и других технологических факторов была существенной и присутствовала почти во всех неконтролируемых исследованиях.
Одной из проблем, возникших при попытке удалённого администрирования приложения BAC, была обеспокоенность участников целостностью данных, поскольку их тестировали лично и дистанционно с помощьюBAC-app 51. В этом исследовании участники в среднем значительно лучше справлялись с тестом по изучению списка слов, проводимым дистанционно, что свидетельствует о том, что по мере подачи стимулов они записывали или записывали их. В дополнение к списку факторов при неконтролируемых оценках, по-видимому, требуется какая-то стратегия безопасности для поддержания целостности данных.
Дистанционно проводилось цифровое когнитивное и навыковое обучение
Проведено множество исследований, направленных на дистанционное обучение когнитивных и функциональных навыков пришизофрении 52 и лёгком когнитивномнарушении 53. Кроме того, когнитивное обучение было добавлено как комбинированное вмешательство для повышения эффективности других вмешательств, таких как аппликационное лечение негативных симптомов пришизофрении 54и обучение цифровым функциональным навыкам в MCI25. Общие результаты показывают, что уровень соблюдения и наблюдаемые достижения в обучении довольно схожи дома и в офисе для популяций от шизофрении до МКИ и ADRD. Соблюдение никогда не бывает идеальным, а достижения в тренировках зависят от индивидуальных различий(55,56). Одним из факторов, способствующих достаточному прогрессу и соблюдению результатов, является то, что процедуры когнитивной тренировки, проводящиеся в офисе или дистанционно, по сути идентичны. Упомянутые выше вопросы — технические сложности и невозможность запуска программ — явно одинаковы для дистанционного обучения и для дистанционного оценивания. Исследования, в которых участники проходили очное обучение для облегчения запуска и работы программного обеспечения без надзора, показали наилучшее удалённое соблюдение (например, 53).
Глобальное использование цифровых оценок и методов лечения
Как отмечалось выше, было проведено множество переводов оценок устаревших статей, а также множество международных инициатив в цифровой сфере. Например, цифровые оценки дислексии57 и математическихнавыков 58 были разработаны в Испании, хотя неясно, были ли эти задачи переведены на другие языки. В Китае была разработана стратегия по модификации теста Trail-Making Test с добавлением дополнительного измерения моторныхнавыков 59 , а другое исследование в Китае разработало двухзадачную процедуру интерференции для изучения обработки сложныхпредложений 60. В Сингапуре существует уникальная кросс-лингвистическая программа обучения с участием билингвальных лиц, обученных английскому и ещё одному азиатскому языку, с целью повышения когнитивныхспособностей 61. Все эти исследования показали успешные усилия по развитию и их приемлемость, хотя только одно позволило напрямую сравнить полезность тестов на разных языках внутри культурных групп.
Роль локальной валидации переводных тестов
Наиболее широко используемые традиционные стратегии очного оценивания, такие как MCCB и BAC, были широко проверены в различных языках и культурных группах, как упоминалось выше. В отличие от этого, NIH Toolbox — это широкомасштабная оценка, ориентированная на людей в возрасте от 3 до 85 лет, предлагается только на английском языке и проводится на одной цифровой платформе62. Значительно меньше региональной и глобальной информации о валидации цифрово перенесённых версий задач и обучающих программ когнитивной и функциональной оценки. Например, в исследованииERUDITE 63по luvadaxistat приложение BAC проводилось на восьми разных языках, и было опубликовано только одно исследование64, подтверждающее другую языковую форму (то есть испанский) этой оценки после цифровой миграции. Некоторые тесты прямого перехода в цифровую систему, такие как VRFCAT, использовались в переводных вариантах исследований более чем на 30 различныхязыках 65. Опять же, существенной базы доказательств использования VRFCAT между языками не существует, хотя подтверждение сходства параллельных форм было представлено при разработке оригинальной англоязычной версии оценки. Информация о валидации, собранная с устаревшими версиями цифрово мигрированных задач, вероятно, будет весьма актуальна, если миграция не изменила никаких особенностей теста, но существует ряд языков, где показатели результатов, такие как наследственные и цифровые миграции, не изучались по психометрическим характеристикам. Однако, как отмечалось в двух различных обзорах20,21 для ADRD и шизофрении, после модификаций и цифровой миграции к характеристикам задач на международном уровне уделялось удивительно мало внимания.
Проблемы этих двух исследований заключались в том, что VRFCAT показал большую вариабельность, чем ожидалось, и значительное число участников имели крайне низкие баллы. Возможно, что переводы негативно повлияли на производительность. Столь же вероятно, что трудности с неопытными тестировщиками приводили к плохому контролю вовлечённости участников во время оценок. Несмотря на очевидный потенциал проблем со стороны тестировщиков, вероятно, преждевременно думать, что лингвистически подтверждённый перевод гарантирует наличие психометрически похожего инструмента. В процессе систематической цифровой миграции бумажный и карандашный наследственный инструмент следует проверять на предмет генерации похожих партитур, как в оцифрованной версии, хотя, как отмечено в двух выше обзорах, это не является распространённым. Описанная выше стратегия цифровой миграции LASSI-D не подвержена этим вызовам, поскольку включает систематическое психометрическое сравнение каждой из трёх цифровых параллельных форм с результатами наследственной версии, управляемой человеком, как на испанском, так и на английском языках. Однако это очень детализированный процесс и будет чрезвычайно сложно своевременно реализовать для клинического исследования на 30 языках.
Какова роль человека-тестировщика?
Данные свидетельствуют о том, что одной из главных проблем в неконтролируемой цифровой оценке и обучении является возможность участникам заставить технологию работать и получить доступ к системе. Другие трудности, такие как сообщения участников о технологической несовместимости, могут также возникать из-за незнания цифровых стратегий и неспособности работать с технологиями. Таким образом, в парадигмах неконтролируемой оценки персонализированные инструкции перед началом оценки могут быть полезной или даже обязательной стратегией.
Некоторые технологические оценки в основном проводятся во время визитов в кабинет, включая большинство заданий, предназначенных для дистанционной оценки при шизофрении. Например, VRFCAT требует личного контроля за оценками, как и приложение BAC. VRFCAT включает вводный компонент, который проводится перед формальной оценкой, в ходе которого человек-тестировщик отвечает на вопросы и перенаправляет недостаточные усилия, в то время как основная оценка работает непрерывно. Экзаменатору поручено контролировать участника и давать ему руководство, если тот не усердствует в своих усилиях. Однако недавнее исследование VRFCAT показало, что у некоторых участников было много «вынужденных прогрессий», то есть они не решали задание в течение 300 секунд. Поскольку некоторые задачи сводятся к одной короткой задаче («Поднять кошелёк»), можно подозревать сбои в контроле экзаменаторов. Технология BAC-приложения администрирует все стимулы и собирает все данные, но при этом требует от человека-тестировщика контролировать производительность и продвигать подзадачи после завершения участника. Система Cogstate не требует надзора за работой участников, но поступало множество сообщений о некорректных результатах некоторых компонентов системы и снижении чувствительности к нарушениям пришизофрении 66 , которые могут возникать из-за недостаточной устойчивой работы и нестабильного результата у участников, что можно выявить и скорректировать при личном присмотре.
Возможно ли использовать цифровое супервизирование?
В настоящее время существует значительный интерес к чат-ботам или другим цифровым психотерапевтическим вмешательствам, реализованным с помощью ИИ. Одной из сложностей этих вмешательств является требование двунаправленной коммуникации, при которой ИИ-терапевт должен понимать коммуникацию клиента в реальном времени и адекватно реагировать. При разработке LASSI-D использовалась другая стратегия ИИ. Человеческий аватар был создан с помощью ИИ, который служил тестировщиком, предоставляя все инструкции и обратную связь, которые выдавал человек-тестировщик в стандартной ситуации тестирования. Аватара также учили отвечать на заранее определённый набор часто задаваемых вопросов, которые запускались при прикосновении к иконке «?» на экране. На том этапе не было попыток интерактивного общения. Приемлемость процедуры была довольно высокой (95% завершения тестовых сессий) среди в основном меньшинства, монолингвальной испаноязычной популяции с очень высоким уровнем завершения (более 96% оценочных сессий) и качественными заявлениями предпочтений аватар-тестировщиков перед людьми.
Возможным путём расширения руководства по ИИ для самостоятельной оценки и обучения может стать разработка системы обучения и поддержки, предназначенной для помощи участникам в создании и проведении своих неконтролируемых оценок или обучения впервые. Хотя FUNSAT всё ещё находится в разработке, он модифицируется для включения начального обучающего модуля с руководством аватара, чтобы обучать потенциальных участников записываться на обучение, войти на сайт и начать обучение. Эти стратегии, скорее всего, будут реализованы последовательно и точнее, чем терапевтические взаимодействия чат-ботов, поскольку аватарная коммуникация основывается на заранее записанных ответах на вопросы и предоставлении последовательных инструкций.
Другие цифровые стратегии
Текущий обзор сосредоточен на целенаправленных когнитивных оценках, основанных на результатах. Существует впечатляющий набор пассивных цифровых фенотипных методов , которые теперьанализируются и могут быть связаны с результатами неконтролируемой оценки. К ним относятсягеолокация 67, физическаяактивность 68, социальныйконтекст 69, взаимодействие сустройствами 70, а также характеристики речии языка 71. Хотя эти показатели не обязательно являются показателями когнитивных функций, они отражают потенциальные факторы окружающей среды, которые также могут влиять на когнитивную работу. Например, состояние настроения, выведенное из мимики или голосовых реакций, социального контекста и фоновых отвлечений, может коррелировать с когнитивными способностями, особенно во время неконтролируемых оценок. Некоторые трудности, связанные с неконтролируемой оценкой, могут быть обнаружены и уменьшаемы при одновременном использовании пассивного eC цифрового фенотипирования. Поскольку эти меры не требуют целенаправленных усилий для сбора данных, они не увеличивают нагрузку на оценки.
Цифровая оценка и лечение когнитивных и функциональных дефицитов весьма перспективны, поскольку позволяют масштабировать процесс и охватить участников, которые иначе могли бы не иметь доступа. Технологические достижения позволяют легко переводить стимулы, создавать параллельные формы оценки и осуществлять дистанционную доставку. Большинство данных свидетельствуют о том, что результаты неконтролируемой оценки и обучения сильно сходятся с результатами устаревших стратегий с точки зрения глобальных показателей эффективности. Однако существуют сложности как с вовлечением участников, так и в технических особенностях разработки тестов. Многие участники не могут управлять технологиями без присмотра. Хотя технологии позволяют легко переводить стимулы и создавать параллельные формы, недостаточно внимания уделяется психометрическому сходству полученных переводов или новых форм. Систематический подход к психометрической оценке качества тестов не оправдан тем, что технологии облегчают генерацию тестовых стимулов.
Некоторые фармакологические исследования с использованием цифровых оценок результатов не смогли выявить эффекты лечения, и эти неудачи частично могут быть связаны с разными версиями тестов — в виде параллельных форм или переведённых стимулов, не сходящихся с исходной версией. Эти стратегии, как из-за проблем тестировщиков, так и из-за проблем с новыми формами, также оказались способными приводить к чрезмерно переменчивой производительности тестов и недостающим данным.
Дополнительным подходом стало использование ассистентов для тестирования и обучения аватаров с помощью ИИ. Такие подходы имеют значительный потенциал, но сами по себе требуют подтверждения перед полным внедрением. В случаях использования таких стратегий требуется поэтапный подход: ассистент сначала даёт полностью записанные инструкции и обратную связь, затем проходит обучение с крупноязычными моделями для понимания вопросов участников и взаимодействия с ними.
Социальный контекст оценки и вмешательства важен для поддержания технологических усилий. Человеческие тестировщики могут адаптироваться к вызовам участников и способствовать вовлечению в обучение, одновременно оказывая техническую поддержку. Это взаимодействие необходимо интегрировать в цифровые подходы к неконтролируемой когнитивной оценке и обучению, чтобы расширить охват этих стратегий. Участники, наиболее нуждающиеся в таких оценках и стратегиях вмешательства, чаще всего нуждаются в фасилитированной помощи при самостоятельном выполнении задач по оценке когнитивных и функциональных навыков.
Дополнительный файл 1: Вопросы, связанные с разработкой валидных оценок, основанных на результативности: Внимание к валидности, осуществимости и терпимости цифровых оценок и обучения.Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Доктор Харви получал консультационные гонорары или возмещение за поездки от Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences и Recognify. У него есть исследовательский грант от Intracell Therapeutics (ныне часть Johnson and Johnson). Он получает гонорары от Brief Assessment of Cognition in Schizophrenia (принадлежащей Clario, ранее WCG Endpoint Solutions, Inc, ранее Verasci, и входящей в MCCB). Он является главным научным сотрудником i-Function, Inc. и научным консультантом EMA Wellness, Inc. Г-н Каллеструп является соучредителем и генеральным директором i-Function, Inc.
Исследования, поддерживающие разработку FUNSAT и LASSI-D, были профинансированы грантами Национального института старения США (NIA) R44 AG074818-02, R43 AG057238-02 и R44 AG057238-04, при этом Питер Каллеструп был главным руководителем.
Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE
Запросить разрешение