Strategie cyfrowe umożliwiają nienadzorowane zdalne ocenę i szkolenie, ale konieczne są pewne rozważenia, aby zapewnić wiarygodność zebranych danych oraz przydatność wdrożeń.
Artykuł przeglądowy
Strategie cyfrowe umożliwiają nienadzorowane zdalne ocenę i szkolenie, ale konieczne są pewne rozważenia, aby zapewnić wiarygodność zebranych danych oraz przydatność wdrożeń.
Postępy technologiczne pozwalają na możliwość cyfrowego przekazywania oceny i treningu kognitywnego oraz funkcjonalnego. Istnieją dwie szerokie klasy strategii cyfrowych: te, które zostały początkowo opracowane z myślą o cyfrowym dostarczeniu i te, które zostały przeniesione z wcześniejszych tradycyjnych ocen papierowych i ołówkowych. Przeprowadzono również znaczne badania nad oceną i treningiem nadzorowanym i nienadzorowanym. Równoległe rozwój cyfrowy, taki jak sztuczna inteligencja (AI), umożliwił szybkie generowanie równoległych form oceny i tłumaczenie materiałów oceny dla międzynarodowego użytku, sugerując możliwość światowego, szeroko dostępnego wdrożenia. Tłumaczenie nie zapewnia walidacji, a wiele instrumentów oceny zostało przetłumaczonych, ale nie normowanych ani zweryfikowanych po translacji. W niniejszym przeglądzie badamy obecny stan wysiłków w zakresie cyfrowej oceny i treningu, korzystając z przykładów szeroko stosowanych ocen osobistych, które przeszły translację i cyfrową migrację oraz porównując je z cyfrowymi strategiami, które nigdy nie były podawane na papierze ani osobiście. Przedstawiamy komentarze dotyczące przydatności nienadzorowanej wydajności i jej implikacji dla osób samodzielnie administrujących cyfrowymi ocenami lub programami treningowymi. Istnieje kilka obszarów, które wymagają starannego przemyślenia, aby dostarczyć zdalne strategie cyfrowe, które są dostępne i spersonalizowane, w tym integralność psychometryczna, ważność lingwistyczna, wsparcie społeczne zapewniane przez osobistego testera oraz to, czy to wsparcie można sprecyzować i uzupełnić alternatywami cyfrowymi.
Rewolucja cyfrowa zmieniła krajobraz oceny poznawczej i funkcjonalnej oraz treningu w warunkach związanych ze starzeniem się i schorzeniach psychiatrycznych. Duża część ocen przeprowadzanych obecnie w całości lub częściowo opiera się na cyfrowej prezentacji. Cyfrowe oceny mogą być przenoszone z tradycyjnych standardowych testów neuropsychologicznych przeprowadzanych przez ludzkiego testera1,2 lub w pełni natywnych dla platformy cyfrowej3,4,5. Niektóre strategie obejmują prezentację na urządzeniach mobilnych6,7,8, które mogą być uzupełnione przez inne zdalne oceny w celu uchwycenia chwilowych nastrojów, lokalizacji i warunków środowiskowych9.
Systematyczne przenoszenie cyfrowe pozwala na porównanie cyfrowych wersji procedur z ich tradycyjnymi wersjami. Dla niektórych zadań zebrano rozległe informacje o walidacji, z systematycznymi porównaniami do tradycyjnych procedur. Przykładem jest Krótka Ocena Poznawcza w Schizofrenii (BACS), w której szeroko normowany10 tradycyjny test został przeniesiony na cyfrową prezentację11, z porównawczym badaniem normatywnym12. Podobnym przykładem było przeniesienie cyfrowe Loewenstein-Acevedo Scales for Semantic Interference and learning (LASSI-L)13, które zostało przeniesione na wersję sterowaną przez avatara, nadającą się do zdalnego administrowania14 z trzema cyfrowymi formami15.
Zaletą zadań cyfrowych jest to, że szybkie, ogólnie zautomatyzowane aktualizacje, w tym bodźce testowe, są wysoce wykonalne. Obejmuje to tłumaczenia językowe z zastosowaniem strategii Sztucznej Inteligencji (AI), które mogą szybko wytwarzać alternatywne wersje. Również ułatwione przez strategie AI jest opracowywanie równoległych form wymaganych do wielokrotnego testowania, szczególnie pamięci lub rozwiązywania problemów, aby uniknąć niedopuszczalnych efektów praktyki16, nawet w populacjach z demencją17. Jednym z naszych celów w tym przeglądzie jest ocena jakości poprzednich cyfrowych przeniesień i adaptacji AI, w tym danych na temat równoważności po cyfrowym przeniesieniu, tłumaczeniu językowym i opracowaniu równoległych form.
Kolejnym rozwojem w ocenach cyfrowych jest zdalne lub nienadzorowane samodzielne administrowanie cyfrowych procedur oceny lub treningu. Chociaż od lat jest to standardowa praktyka w komercyjnym komputerowym treningu poznawczym (CCT)18, niektóre badania sugerują, że samodzielne administrowanie testów poznawczych może być również możliwe do wykonania19,20,21. Samodzielne administrowanie może być wykonywane w domu na urządzeniu cyfrowym podłączonym do internetu lub w centrum testowym, gdzie wielu uczestników wykonuje testy pod minimalnym nadzorem. Badania wykonalności były generalnie krótkotrwałe, chociaż niektóre miały taką samą lub dłuższą czasowo trwałość w porównaniu ze standardowymi badaniami klinicznymi. Przejrzymy ogólny stan nienadzorowanych ocen i treningu oraz skomentujemy obszary z wyzwaniami lub gdzie potrzebne są dalsze informacje.
Krytycznym problemem w nienadzorowanych ocenach i treningach jest adaptacja międzykulturowa i wykonalność. Oprócz różnic językowych istnieją znaczne różnice ekonomiczne, prawdopodobnie wpływające na dostęp i piśmienność cyfrową, w tym doświadczenie z telefonami komórkowymi, tabletami lub laptopami oraz dostępem do internetu w domu22. Globalny dywidens cyfrowy nie jest już związany z wiekiem, ale z ekonomią. Motywacja do uczestnictwa w zdalnych cyfrowych działaniach online może znacznie różnić się wśród uczestników. Miary wykonalności dla nienadzorowanych ocen obejmowały wskaźnik zgody, zakończenie oceny, ważność danych i zdolność do zarządzania technologią. Większość klinicznych nienadzorowanych ocen dotyczy osób z oczekiwanymi upośledzeniami, którym można udzielić znaczącej instrukcji20,21, w tym osobiście, dotyczącej logowania i zakończenia ocen lub treningu. Dane dotyczące wykonalności od osób, które zapisują się do zdalnych badań, w których wszystkie rejestracje i treningi są wykonywane w pełni niezależnie19,23 mogą nie być ogólne dla osób z niższymi umiejętnościami cyfrowymi, niższym poziomem pewności siebie w swoich zdolnościach i niższą ogólną wydajnością poznawczą. Włączyłoby to osoby, które podejrzewają, że mają wczesne objawy demencji i przeprowadzają nienadzorowane ocenę w klinice.
W badaniu nad przejściem dwóch systemów cyfrowych oceny z prezentacji komputerowej na urządzeniu do dostarczania w chmurze24, istniały systematyczne zalety szybkości zbierania danych na ekranie dotykowym w porównaniu z myszką komputerową. W ocenach zdolności funkcjonalnych istnieją wspólne wy
Poniżej przedstawiono przegląd danych dotyczących problemów przedstawionych powyżej. Obejmują one standardy dotyczące walidacji testów opartych na wynikach, mające zastosowanie zarówno do standardowych, jak i cyfrowych oceń; standardy dotyczące cyfrowej migracji odziedziczonych ocen; oraz porównania procesu walidacji dla zadań cyfrowych z tymi, które zostały przeniesione z klasycznych formatów papierowych/dostarczania przez ludzi, w tym alternatywne formy, tłumaczenie i adaptację międzykulturową. Jest również szeroka dyskusja na temat wykonalności nienadzorowanego administrowania w porównaniu ze strategiami dostarczanymi przez ludzi, biorąc pod uwagę ogólną wykonalność tych strategii oraz rolę ludzkiego testera w tradycyjnych ocenach i interwencjach szkoleniowych. W tych sytuacjach oceny wykonywane są kilka funkcji, z których niektóre teoretycznie mogą być realizowane przy pomocy wsparcia opartego na AI. Plik uzupełniający 1 przedstawia kwestie brane pod uwagę w tym przeglądzie.
Ogólne zasady walidacji oceny poznawczej i funkcjonalnej
Podczas opracowywania dobrze zweryfikowanej cyfrowej oceny lub strategii leczenia, pojawia się kilka zagadnień. Prototypowym przykładem tego procesu był współpraca, duża skala programu rozwoju oceny wyników, inicjatywa Badania pomiarowe i leczenie w celu poprawy poznawczej w schizofrenii (MATRICS), która przeprowadziła badanie walidacji dużej selekcji odziedziczonych ocen dostarczonych przez testera. Na podstawie dyskusji na spotkaniu konsensusowym27, selekcja testów w tym kontekście była kierowana przez pięć kluczowych zagadnień: niezawodność przy wielokrotnych administrowaniach, odpowiednią do użycia w badaniach podłużnych, skojarzenie z wynikami funkcjonalnymi, wrażliwość na zmiany związane z leczeniem oraz ogólną wykonalność i tolerancja. Odpowiedniość do wielokrotnego administrowania była definiowana jako minimalna poprawa wyników z powodu ćwiczeń lub dostępność równoważnych alternatywnych form. Chociaż wynikająca z tego Konsensusowa bateria poznawcza MATRICS (MCCB)28 wybrała zestaw testów spełniających te kryteria, akumulacja baterii okazała się być trudnym do zdalnego administrowania29. Podobny proces rozwojowy zastosowano do podobnie skoncentrowanej oceny, Krótka Ocena Poznania w Schizofrenii (BACS)3. BACS został opracowany za pomocą podobnych strategii, a sześć podanych przez testera podtestów w BACS zostało zbadany pod względem wszystkich tych cech, w tym w dużym badaniu walidacji z zdrowymi kontrolami (n = 404)8.
Papierowe BACS zostało szeroko zweryfikowane na arenie międzynarodowej, z wieloma badaniami badającymi jego użycie (np.30,31,32,33,34,35). Ciekawostką jest fakt, że MCCB również został przetłumaczony wielokrotnie, a strona internetowa dewelopera36 wymienia 45 różnych tłumaczeń. Zauważono również na stronie internetowej, że tylko ~10 z 45 wersji ma oficjalne normy językowe, pomimo ich szerokiego zastosowania w międzynarodowych badaniach klinicznych. Jest to problem, który jest omówiony później.
Cyfrowa migracja BACS do BAC-App została systematycznie przeprowadzona w badaniu porównawczym11, w tym uczestników z rozpoznaniem schizofrenii i zdrowych kontroli, wszyscy testowani byli zarówno z wersją dziedziczoną, jak i cyfrową. Przed rozpoczęciem badania, alternatywne formy zostały opracowane dla kilku podtestów BAC-App, w tym Pamięci Werbalnej (siedem wersji), Kodowania Symboli (osiem wersji) i Wieży Londyńskiej (osiem wersji). Tak więc cyfrowa migracja zadania została zaprojektowana, aby umożliwić bezpośrednie porównanie dwóch wersji i zweryfikować równoległe formy. Następnie przeprowadzono duże badanie walidacji (N = 55312) z zdrowymi kontrolami i małą liczbą uczestników z subiektywnym pogorszeniem poznawczym, co dało informacje normatywne na temat wyników w BAC-App. Tak więc dane normatywne zostały zebrane z wersją dziedziczoną, a następnie powtórzone z wersją cyfrową, w tym ocena równoważnych form (choć dane te nie zostały dotąd opublikowane). Ważne jest, aby zauważyć, że wynikająca z tego BAC-app nie jest przeznaczona do nadzorowanego administrowania; tester musi być obecny.
Podobne cyfrowe wysiłki migracyjne przeprowadzono dla klasycznej oceny papierowej, Loewenstein-Acevedo Scales for Semantic Interference and learning (LASSI-L)13,14. Ta ocena ma na celu wykrywanie proaktywnej semantycznej interferencji, która okazała się przewidywać szybszy spadek poznawczy i obecność biomarkerów ADRD nawet w przypadkach z minimalnym dodatkowym upośledzeniem15. Dostępne były rozległe dane normatywne dla LASSI-L, a następnie opracowano cyfrową wersję (LASSI-D) do nadzorowanej oceny. W tym procesie rozwojowym, podczas oceny tych instrumentów, nacisk położono na niezawodność w administrowaniach, przydatność do wielokrotnego u
Ocenianie cyfrowe i leczenie deficytów poznawczych i funkcjonalnych są bardzo obiecujące, ponieważ umożliwiają skalowanie procesu i dotarcie do uczestników, którzy w przeciwnym razie mogliby nie mieć do tego dostępu. Rozwój technologii umożliwia łatwe tłumaczenie bodźców, tworzenie równoległych form oceny i zdalne dostarczanie treści. Większość danych sugeruje, że wyniki nienadzorowanej oceny i treningu są bardzo zbieżne z wynikami starszych strategii, jeśli chodzi o globalne wskaźniki wydajności. Jednak istnieją wyzwania zarówno w zaangażowaniu uczestników, jak i w funkcjach technicznych rozwoju testów. Wielu uczestników nie jest w stanie samodzielnie radzić sobie z technologią. Chociaż technologia ułatwia tłumaczenie bodźców i tworzenie równoległych form, nie poświęcono wystarczającej uwagi psychometrycznemu podobieństwu wynikających z tego tłumaczeń lub nowych form. Systematyczne podejście do psychometrycznej oceny jakości testu nie jest wyłączone, ponieważ technologia ułatwia generowanie bodźców testowych.
Niektóre badania nad farmakologicznym leczeniem, które wykorzystywały cyfrowe oceny wyników, nie udało się zidentyfikować efektów leczenia, a te niepowodzenia mogą częściowo związać się z różnymi wersjami testów, jeśli chodzi o równoległe formy lub przetłumaczone bodźce, które nie zbiegają się z oryginalną wersją. Stwierdzono również, że te strategie, ze względu na problemy z testerami lub wyzwania związane z nowo opracowanymi formami, mają potencjał do wygenerowania zbyt zmiennych wyników testów i brakujących danych.
Dodatkowym podejściem było wykorzystanie asystencji do testowania i szkolenia kierowanych przez AI. Takie podejścia mają znaczne perspektywy, ale same wymagają walidacji przed pełnym wdrożeniem. W przypadkach, gdy są stosowane takie strategie, wymagany byłby stopniowy proces: asystent początkowo dostarczałby w pełni skryptowe instrukcje i informacje zwrotne, a następnie byłby przeszkolony z dużymi modelami językowymi, aby zrozumieć pytania uczestników i współpracować z nimi.
Kontekst społeczny oceny i interwencji jest ważny dla utrzymania wysiłków związanych z technologią. Ludzie testerzy mogą dostosować się do wyzwań uczestników i ułatwiać zaangażowanie w szkolenie, zapewniając jednocześnie pomoc techniczną. Ta interakcja będzie musiała zostać zintegrowana z cyfrowymi podejściami do nienadzorowanej oceny i szkolenia poznawczego, aby poszerzyć zasięg tych strategii. Uczestnicy, którzy najbardziej potrzebują tych ocen i strategii interwencji, są również najbardziej prawdopodobnymi kandydatami do wspierania pomocy podczas samodzielnego administrowania zadań oceny i szkolenia umiejętności poznawczych i funkcjonalnych.
Plik uzupełniający 1: Problemy związane z opracowywaniem ważnych ocen opartych na wydajności: skupienie się na ważności, wykonalności i tolerancji cyfrowo dostarczonych ocen i szkoleń. Proszę kliknąć tutaj, aby pobrać ten plik.
Dr. Harvey otrzymał honoraria konsultingowe lub rekompensaty za podróże od Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences i Recognify. Posiada grant na badania od Intracellular Therapeutics (teraz część Johnson and Johnson). Otrzymuje również tantiemy z Brief Assessment of Cognition in Schizophrenia (własność Clario, dawniej WCG Endpoint Solutions, Inc, dawniej Verasci, i zawartego w MCCB). Jest dyrektorem naukowym i-Function, Inc. oraz konsultantem naukowym EMA Wellness, Inc. Pan Kallestrup jest współzałożycielem i dyrektorem wykonawczym i-Function, Inc.
Badania wspierające rozwój FUNSAT i LASSI-D były finansowane przez Narodowy Instytut Starzenia się Stanów Zjednoczonych (NIA) grantami R44 AG074818-02, R43 AG057238-02 i R44 AG057238-04, przy czym Peter Kallestrup był PI.
Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE
Poproś o pozwolenie