Strategie cyfrowe umożliwiają nienadzorowane zdalne oceny i szkolenia, ale konieczne są pewne zagadnienia, aby zapewnić poprawność zebranych danych oraz przydatność wdrożeń.
Artykuł przeglądowy
Strategie cyfrowe umożliwiają nienadzorowane zdalne oceny i szkolenia, ale konieczne są pewne zagadnienia, aby zapewnić poprawność zebranych danych oraz przydatność wdrożeń.
Postępy technologiczne umożliwiają możliwość cyfrowego przekazywania oceny i szkolenia kognitywnego oraz funkcjonalnego. Istnieją dwie ogólne klasy strategii cyfrowych: te, które zostały początkowo opracowane na potrzeby cyfrowego dostarczenia oraz te, które zostały przeniesione z wcześniejszych tradycyjnych ocen papierowych i ołówkowych. Przeprowadzono również znaczne badania nad oceną i szkoleniem pod nadzorem a także samodzielnym. Równoległe rozwój cyfrowy, taki jak sztuczna inteligencja (AI), umożliwił szybkie generowanie równoległych form ocen i tłumaczenie materiałów oceniających do użytku międzynarodowego, sugerując możliwość globalnego, powszechnie dostępnego wdrożenia. Tłumaczenie nie zapewnia walidacji, a wiele instrumentów oceniających zostało przetłumaczonych, ale nie standaryzowanych ani zwalidowanych po przetłumaczeniu. W niniejszym przeglądzie badań badamy obecny stan cyfrowych wysiłków oceniających i szkoleniowych, korzystając z przykładów szeroko stosowanych osób obecnych ocen, które przeszły przekład i cyfrową migrację, i porównując je z cyfrowymi strategiami, które nigdy nie były dostarczane na papierze lub osobiście. Udzielamy komentarzy dotyczących przydatności samodzielnej wydajności i jej implikacji dla osób samodzielnie realizujących cyfrowe oceny lub programy szkoleniowe. Istnieje kilka obszarów, które wymagają starannego przemyślenia, aby dostarczyć cyfrowe strategie zdalnie, które są dostępne i spersonalizowane, w tym integralność psychometryczna, ważność lingwistyczna, wsparcie społeczne zapewniane przez osobę testującą w osobie oraz czy to wsparcie może być zmierzone i uzupełnione cyfrowymi alternatywami.
Rewolucja cyfrowa zmieniła panoramę oceny poznawczej i funkcjonalnej oraz treningu w schorzeniach związanych ze starzeniem się i psychiatrycznych. Dużą część ocen wykonywanych obecnie stanowią w całości lub częściowo cyfrowe badania. Cyfrowe oceny mogą być przenoszone z tradycyjnych standardowych neuropsychologicznych testów przeprowadzanych przez człowieka tester1,2 lub w całości natywne dla cyfrowej platformy3,4,5. Niektóre strategie obejmują przeprowadzanie badań na urządzeniach mobilnych6,7,8, które mogą być uzupełniane przez inne zdalne oceny, aby uchwycić chwilowe nastroje, lokalizacje i warunki środowiskowe9.
Systematyczna cyfrowa migracja pozwala na porównanie cyfrowych wersji procedur z ich tradycyjnymi wersjami. Dla niektórych zadań zebrano rozległe informacje dotyczące walidacji, z systematycznymi porównaniami z tradycyjnymi procedurami. Przykładem jest Krótka Ocena Poznawcza w Schizofrenii (BACS), w której tradycyjny test10 został przeniesiony na dostarczanie cyfrowe11, z porównawczym badaniem normatywnym12. Podobnym przykładem była cyfrowa migracja Loewenstein-Acevedo Scales for Semantic Interference and learning (LASSI-L)13, która została przeniesiona na wersję z awatarem, kierowana zdalnie14 z trzema cyfrowymi formami15.
Zaletą zadań cyfrowych jest to, że szybkie, ogólnie zautomatyzowane aktualizacje, w tym bodźce testowe, są bardzo wykonalne. Obejmuje to tłumaczenia językowe z wykorzystaniem strategii sztucznej inteligencji (AI), które mogą szybko produkować alternatywne wersje. Rozwój równoległych form wymagany do powtarzanych badań, szczególnie pamięci lub rozwiązywania problemów, jest również ułatwiany przez strategie AI, aby uniknąć niedopuszczalnych efektów ćwiczeń16, nawet w populacjach z demencją17. Jednym z naszych celów w tej recenzji jest ocena jakości poprzednich cyfrowych migracji i adaptacji AI, w tym danych na temat równoważności po cyfrowej migracji, tłumaczenia językowego i rozwoju równoległych form.
Kolejnym rozwojem w cyfrowej ocenie jest zdalna lub nienadzorowana samoadministracja cyfrowych procedur oceny lub szkoleń. Chociaż od lat jest to standardowa praktyka w handlowych komputerowych treningach poznawczych (CCT)18, niektóre badania sugerują, że nienadzorowana samoadministracja testów poznawczych może być również wykonalna19,20,21. Nienadzorowana samoadministracja może być zakończona w domu na urządzeniu cyfrowym podłączonym do Internetu lub w centrum badań, gdzie wielu uczestników przeprowadza testy pod minimalnym nadzorem. Badania dotyczące wykonalności były ogólnie krótkoterminowe, choć niektóre miały taką samą lub dłuższą czas trwania w porównaniu ze standardowymi badaniami klinicznymi. Przejrzymy ogólny stan nienadzorowanych ocen i szkoleń oraz skomentujemy obszary z wyzwaniami lub w których potrzebne są dodatkowe informacje.
Krytycznym problemem w nienadzorowanej ocenie i szkoleniu jest kwestia adaptacji międzykulturowej i wykonalności. Oprócz różnic językowych istnieją znaczne różnice ekonomiczne, co prawdopodobnie wpływa na dostęp i piśmienność cyfrową, w tym na doświadczenie z telefonami komórkowymi, tabletami lub laptopami oraz dostępem do Internetu w domu22. Światowy cyfrowy dywidend nie jest już związany z wiekiem, ale z ekonomią. Motywacja do uczestnictwa w cyfrowych działaniach zdalnych może znacznie różnić się wśród uczestników. Wskaźniki wykonalności dla nienadzorowanych ocen obejmowały wskaźniki zgody, zakończenia oceny, ważność danych i zdolność do zarządzania technologią. Większość klinicznych nienadzorowanych ocen dotyczy osób z oczekiwanymi upośledzeniami, którym można udzielić znacznej instrukcji20,21, w tym osobistych, dotyczących logowania i zakończenia ocen lub szkoleń. Dane dotyczące wykonalności od osób, które rejestrują się na badania zdalne, w których cała rejestracja i szkolenie są przeprowadzane w pełni niezależnie19,23 mogą nie być ogólne dla osób o niższych umiejętnościach cyfrowych, niższej pewności siebie w swoich umiejętnościach i niższej ogólnej wydajności poznawczej. Obejmowałoby to osoby, które podejrzewają, że mają wczesne oznaki demency i przeprowadzają nienadzorowane badanie w klinice.
W badaniu przejścia dwóch systemów cyfrowych oceny z prezentacji komputerowej urządzenia do dostarczania w chmurze24, były systematyczne zalety w szybkości zbierania danych na ekranie dotykającym w porównaniu z myszą komputerową. W funkcjonalnych ocenach zdolności są powszechne wyzwania dotyczące piśmienności cyfrowej: niektórzy uczestnicy mają minimalne um
Poniżej przedstawiono przegląd danych dotyczących problemów wprowadzonych powyżej. Obejmują one standardy walidacji testów opartych na wydajności, stosowne zarówno do standardowych, jak i cyfrowych ocen; standardy cyfrowej migracji starszych ocen; oraz porównania procesu walidacji zadań typu digital-native z tymi, które zostały przeniesione z formatów klasycznych/przekazanych przez człowieka, w tym alternatywne formy, tłumaczenie i adaptację międzykulturową. Istnieje również szeroka dyskusja na temat wykonalności nadzorowanego administrowania w porównaniu ze strategiami przekazywanymi przez ludzi, uwzględniając ogólną wykonalność tych strategii oraz rolę testera w tradycyjnych ocenach i interwencjach szkoleniowych. W tych sytuacjach oceny wykonywane są kilka funkcji, z których niektóre teoretycznie mogłyby być realizowane z pomocą AI. Dodatek Plik 1 przedstawia kwestie brane pod uwagę w tym przeglądzie.
Ogólne zasady walidacji oceny poznawczej i funkcjonalnej
Podczas opracowywania dobrze zweryfikowanej cyfrowej strategii oceny lub leczenia, pojawia się kilka zagadnień. Prototypowym przykładem tego procesu był współpracujący, duży program rozwojowy ocen wyników, inicjatywa Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS), która przeprowadziła badania walidacyjne dużego wyboru starszych ocen przekazywanych przez testerów. Na podstawie dyskusji na spotkaniu konsensusowym27, wybór testów w tym kontekście był kierowany przez pięć kluczowych zagadnień: niezawodność przy wielokrotnym przeprowadzaniu, odpowiedniego do użytku podłużnego, związku z wynikami funkcjonalnymi, wrażliwości na zmiany związane z leczeniem oraz ogólnej wykonalności i tolerancji. Odpowiedniość do wielokrotnego administrowania była definiowana jako minimalna poprawa wydajności z powodu praktyki lub dostępność równoważnych alternatywnych form. Chociaż wynikająca z tego Konsensusowa bateria poznawcza MATRICS (MCCB)28 wybrała zestaw testów spełniających te kryteria, akumulator okazał się trudny do zdalnego administrowania29. Podobny proces rozwojowy został zastosowany do podobnie skupionego oceny, Krótka Ocena Kognitywna w Schizofrenii (BACS)3. BACS został opracowany za pomocą podobnych strategii, a sześć subtestów przekazywanych przez testerów w BACS zostało zbadane pod względem wszystkich tych cech, w tym w dużym badaniu walidacyjnym z zdrowymi kontrolkami (n = 404)8.
Klasyczna wersja BACS była szeroko walidowana na arenie międzynarodowej, z wieloma badaniami badającymi jej użycie (np.30,31,32,33,34,35). Ciekawostką jest, że MCCB również został przetłumaczony wielokrotnie, przy czym strona internetowa dewelopera36 wymienia 45 różnych tłumaczeń. Zauważono również na stronie internetowej, że tylko ~10 z 45 wersji ma oficjalne normy językowe, mimo ich szerokiego stosowania w międzynarodowych badaniach klinicznych. To jest problemat, który zostanie omówiony później.
Cyfrowa migracja BACS do BAC-App została przeprowadzona systematycznie w badaniu porównawczym11, obejmującym uczestników z chorobą psychiczną i zdrowych kontroli, wszyscy testowani byli zarówno z wersją starszą, jak i cyfrową. Przed rozpoczęciem badania, stworzone zostały alternatywne formy dla kilku subtestów BAC-App, w tym Pamięci Werbalnej (siedem wersji), Kodowania Symboli (osiem wersji) i Wieży z Londynu (osiem wersji). W ten sposób, cyfrowa migracja zadania została zaprojektowana w celu umożliwienia bezpośredniego porównania dwóch wersji i walidacji równoległych form. Następnie przeprowadzono duże badanie walidacyjne (N = 55312) z zdrowymi kontrolkami i małą liczbą uczestników z subiektywnym pogorszeniem kognitywnym, przynosząc informacje normatywne na temat wydajności na BAC-App. Tak więc dane normatywne zebrano z wersją starszą, a następnie powtórzono z wersją cyfrową, w tym oceną równoważnych form (choć dane te nie zostały dotąd opublikowane). Ważne jest, aby zauważyć, że wynikająca z tego BAC-app nie jest przeznaczona do nadzorowanego administrowania; tester musi być obecny.
Podobne wysiłki cyfrowej migracji zostały przeprowadzone dla starszej klasycznej oceny, Loewenstein-Acevedo Scales for Semantic Interference and learning (LASSI-L)13,14. Ta ocena ma na celu wykrycie proaktywnej interferencji semantycznej, która okazała się przewidywać szybciej pogorszenie kognitywne i obecność biomarkerów ADRD nawet w przypadkach z minimalnym dodatkowym upośledzeniem15. Obszerne dane normatywne były dostępne dla LASSI-L, a następnie opracowano cyfrową wersję (LASSI-D) do oceny bez nadzoru. W tym procesie rozwojowym, przy ewaluacji tych instrumentów, nacisk położono na niezawodność w administrowaniu, przydatność do wielokrotnego użytku, istotność dla wyników funkcjonalnych oraz ogólną wykonalność i tolerancję. Przełom w stosunku
Ocena cyfrowa oraz leczenie niedoborów kognitywnych i funkcjonalnych są bardzo obiecujące, ponieważ umożliwiają skalowanie procesu i dotarcie do uczestników, którzy inaczej nie mieliby do tego dostępu. Rozwój technologiczny umożliwia łatwe tłumaczenie bodźców, tworzenie równoległych form oceny i zdalne udostępnianie. Większość danych sugeruje, że wyniki nienadzorowanej oceny i treningu są bardzo zbieżne z wynikami strategii tradycyjnych pod względem globalnych wskaźników wydajności. Jednak istnieją wyzwania zarówno w zakresie zaangażowania uczestników, jak i w funkcjonalnych cechach opracowywania testów. Wielu uczestników nie jest w stanie samodzielnie radzić sobie z technologią. Chociaż technologia ułatwia tłumaczenie bodźców i tworzenie równoległych form, nie poświęcono wystarczającej uwagi psychometrycznej podobieństwu wynikających tłumaczeń lub nowych form. Systematyczne podejście do oceny jakości testów psychometrycznych nie jest uzasadnione, ponieważ technologia ułatwia generowanie bodźców testowych.
Niektóre badania farmakologicznych terapii z wykorzystaniem cyfrowych ocen wyników zakończyły się niepowodzeniem w zidentyfikowaniu efektów leczenia, a te niepowodzenia mogą częściowo wynikać z różnych wersji testów, pod względem równoległych form lub przetłumaczonych bodźców, które nie zbiegają się z oryginalną wersją. Te strategie, zarówno ze względu na problemy z osobami prowadzącymi testy, jak i wyzwania związane z nowo opracowanymi formami, również okazały się mieć potencjał do wywoływania nadmiernie zmiennej wydajności testów i brakujących danych.
Dodatkowym podejściem było używanie asystenta testującego i treningowego, którym jest avatar kierowany przez sztuczną inteligencję. Takie podejścia mają znaczne perspektywy, ale same wymagają walidacji przed pełnym wdrożeniem. W przypadkach, gdy stosuje się takie strategie, wymagany byłby stopniowy proces: asystent początkowo dostarczałby w pełni skryptowe instrukcje i informacje zwrotne, a następnie byłby przeszkolony za pomocą dużych modeli językowych, aby zrozumieć pytania uczestników i współpracować z nimi.
Kontekst społeczny oceny i interwencji jest ważny dla utrzymania wysiłków związanych z technologią. Ludzie prowadzący testy mogą przystosowywać się do wyzwań uczestników i ułatwiać zaangażowanie w trening, zapewniając jednocześnie pomoc techniczną. Ta interakcja będzie musiała zostać zintegrowana z cyfrowymi podejściami do nienadzorowanej oceny i treningu kognitywnego, aby poszerzyć zasięg tych strategii. Uczestnicy, którzy najbardziej potrzebują tych ocen i strategii interwencji, są również najbardziej prawdopodobnymi kandydatami do wspomaganej pomocy podczas samodzielnego wykonywania zadań związanych z oceną i treningiem umiejętności kognitywnych i funkcjonalnych.
Plik uzupełniający 1: Problemy związane z opracowywaniem ważnych ocen opartych na wynikach: Skupienie się na ważności, wykonalności i tolerancji cyfrowo dostarczonych ocen i treningu. Kliknij tutaj, aby pobrać ten plik.
Dr. Harvey otrzymał honoraria konsultingowe lub refundacje podróży od Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences i Recognify. Posiada również grant na badania od Intracellular Therapeutics (teraz część Johnson and Johnson). Otrzymuje również tantiemy z Brief Assessment of Cognition in Schizophrenia (własność Clario, dawniej WCG Endpoint Solutions, Inc, dawniej Verasci, zawartego w MCCB). Jest głównym dyrektorem naukowym firmy i-Function, Inc. oraz konsultantem naukowym firmy EMA Wellness, Inc. Pan Kallestrup jest współzałożycielem i dyrektorem zarządzającym firmy i-Function, Inc.
Badania wspierające rozwój FUNSAT i LASSI-D były finansowane przez Narodowy Instytut Starzenia się Stanów Zjednoczonych (NIA) na podstawie grantów R44 AG074818-02, R43 AG057238-02 i R44 AG057238-04, a Peter Kallestrup był PI.
Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE
Poproś o pozwolenie