Digitale Strategien ermöglichen unbeaufsichtigte Fernbewertungen und Schulungen, aber es sind mehrere Überlegungen erforderlich, um die Validität der gesammelten Daten und den Nutzen der Interventionen sicherzustellen.
Übersichtsartikel
Digitale Strategien ermöglichen unbeaufsichtigte Fernbewertungen und Schulungen, aber es sind mehrere Überlegungen erforderlich, um die Validität der gesammelten Daten und den Nutzen der Interventionen sicherzustellen.
Technologische Fortschritte ermöglichen die digitale Durchführung kognitiver und funktioneller Diagnostik und Trainings. Es gibt zwei große Klassen digitaler Strategien: solche, die ursprünglich für die digitale Bereitstellung entwickelt wurden, und solche, die von früheren traditionellen Papier-und-Bleistift-Bewertungen übernommen wurden. Es gibt auch umfangreiche Forschungen zu überwachten vs. unbeaufsichtigten Bewertungen und Schulungen. Gleichzeitige digitale Entwicklungen wie Künstliche Intelligenz (KI) haben die schnelle Erstellung paralleler Bewertungsformulare und die Übersetzung von Bewertungsmaterialien für den internationalen Einsatz ermöglicht, was auf eine weltweite, breit zugängliche Einführung hindeutet. Übersetzung garantiert keine Validierung, und viele Bewertungsinstrumente wurden übersetzt, aber nach der Übersetzung nicht normiert oder validiert. In diesem Review untersuchen wir den aktuellen Stand der digitalen Bewertungs- und Schulungsbemühungen, verwenden Beispiele aus weit verbreiteten Präsenzbewertungen, die Übersetzung und digitale Migration durchlaufen haben, und vergleichen sie mit digitalen Strategien, die nie schriftlich oder persönlich durchgeführt wurden. Kommentare zum Nutzen unbeaufsichtigter Leistungen und deren Auswirkungen auf Personen, die digitale Bewertungen oder Schulungsprogramme selbst durchführen, werden abgegeben. Es gibt mehrere Bereiche, die sorgfältige Überlegung erfordern, um digitale Strategien aus der Ferne zugänglich und personalisiert zu liefern, darunter psychometrische Integrität, sprachliche Validität, die soziale Unterstützung durch einen menschlichen Tester vor Ort und ob diese Unterstützung quantifiziert und durch digitale Alternativen ergänzt werden kann.
Die digitale Revolution hat die Landschaft der kognitiven und funktionellen Beurteilung und Ausbildung bei altersbedingten und psychiatrischen Erkrankungen verändert. Ein großer Teil der heute durchgeführten Bewertungen basiert vollständig oder teilweise auf der digitalen Bereitstellung. Digitale Bewertungen können von herkömmlichen, standardisierten neuropsychologischen Tests migriert werden, die von einem menschlichen Tester durchgeführt werden, 1,2 oder vollständig native auf eine digitale Plattform 3,4,5. Einige Strategien umfassen die Bereitstellung auf mobilen Geräten 6,7,8, die von weiteren Fernanalysen begleitet werden kann, um momentane Stimmungen, Orte und Umweltbedingungen zu erfassen9.
Systematische digitale Migration ermöglicht den Vergleich digitaler Versionen von Verfahren mit Altversionen. Für einige Aufgaben wurden umfangreiche Validierungsinformationen gesammelt, mit systematischen Vergleichen mit Altverfahren durchgeführt. Ein Beispiel ist die Brief Assessment of Cognition in Schizophrenia (BACS), bei der ein umfangreich normierter 10-Legacy-Test auf digitale Lieferungen11 migriert wurde, mit einer vergleichenden normativen Studie12. Ein ähnliches Beispiel war die digitale Migration der Loewenstein-Acevedo-Skalen für semantische Interferenz und Lernen (LASSI-L)13, die auf eine Avatar-gesteuerte, fernverwalteteVersion 14 mit drei digitalen Formularen15 migriert wurde.
Ein Vorteil digitaler Aufgaben ist, dass schnelle, meist automatisierte Aktualisierungen, einschließlich Testreize, sehr machbar sind. Dazu gehören Sprachübersetzungen mit Strategien der Künstlichen Intelligenz (KI), die schnell alternative Versionen erzeugen können. Ebenfalls durch KI-Strategien wird die Entwicklung paralleler Formen erleichtert, die für wiederholte Tests, insbesondere für Gedächtnis oder Problemlösung, erforderlich sind, um inakzeptable Praktikeffekte16 zu vermeiden, selbst in Populationen mit Demenz17. Eines unserer Ziele in diesem Review ist es, die Qualität früherer digitaler Migrationen und KI-Anpassungen zu bewerten, einschließlich der Daten zur Äquivalenz nach digitaler Migration, zur sprachlichen Übersetzung und zur Entwicklung paralleler Formen.
Eine weitere Entwicklung in der digitalen Bewertung ist die ferngesteuerte oder unbeaufsichtigte Selbstverwaltung digitaler Bewertungs- oder Schulungsverfahren. Obwohl dies seit Jahren Standardpraxis für kommerzielles computergestütztes kognitives Training (CCT)18 ist, deuten einige Studien darauf hin, dass auch die unbeaufsichtigte Selbstverwaltung kognitiver Tests machbar sein kann 19,20,21. Eine unbeaufsichtigte Selbstverwaltung kann zu Hause auf einem internetverbundenen digitalen Gerät oder in einem Testzentrum durchgeführt werden, wo mehrere Teilnehmer die Tests unter minimaler Aufsicht absolvieren. Machbarkeitsstudien waren im Allgemeinen kurzfristig, obwohl einige im Vergleich zu Standardklinischen Studien eine gleich lange oder längere Dauer hatten. Wir werden den allgemeinen Stand der unbeaufsichtigten Bewertungen und Schulungen überprüfen und Stellungnahmen zu Herausforderungen oder Bereichen, in denen weitere Informationen benötigt werden, kommentieren.
Ein zentrales Thema bei unbeaufsichtigter Bewertung und Ausbildung ist die interkulturelle Anpassung und Machbarkeit. Neben sprachlichen Unterschieden gibt es erhebliche wirtschaftliche Unterschiede, die wahrscheinlich den digitalen Zugang und die Alphabetisierung beeinträchtigen, einschließlich Erfahrung mit Mobiltelefonen, Tablet- oder Laptop-Computern und Internetzugang zu Hause22. Die weltweite digitale Kluft ist nicht mehr altersbedingt, sondern wirtschaftlich. Die Motivation für die Teilnahme an Online-Remote-Digitalaktivitäten kann zwischen den Teilnehmern erheblich variieren. Machbarkeitskennzahlen für unüberwachte Bewertungen umfassten die Einwilligungsrate, den Abschluss der Bewertung, die Datenvalidität und die Fähigkeit, die Technologie zu verwalten. Die meisten klinischen, unüberwachten Untersuchungen richten sich an Personen mit einigen erwarteten Beeinträchtigungen, die möglicherweise umfangreiche Anweisungenerhalten, einschließlich persönlicher Präsenz, bezüglich des Anmeldes und Abschlusses von Bewertungen oder Schulungen. Machbarkeitsdaten von Personen, die sich für Fernstudien anmelden, in denen alle Anmeldungen und Schulungen vollständig unabhängig durchgeführt werden,19,23 sind möglicherweise nicht auf Personen mit niedrigeren digitalen Fähigkeiten, geringerem Selbstvertrauen in ihre Fähigkeiten und geringerer kognitiver Leistungsfähigkeit generalisiert. Dazu gehören Personen, die vermuten, frühe Anzeichen von Demenz zu zeigen und eine unbeaufsichtigte Untersuchung in einer Klinik durchführen.
In einer Studie über den Übergang zweier digitaler Bewertungssysteme von der gerätebasierten Computerpräsentation zur cloudbasierten Bereitstellung24 gab es systematische Vorteile bei der Geschwindigkeit der Datenerfassung auf Touchscreens im Vergleich zu einer Computermaus. Es gibt häufige Herausforderungen der digitalen Kompetenz bei Funktionsfähigkeitsbewertungen: Einige Teilnehmer haben nur minimale Tastaturkenntnisse und müssen lernen, wie man einen Großbuchstaben als Passwort25 tippt. In einer multistandortbasierten Studie zur Kognition und funktionalen Kapazität in den Vereinigten Staaten26 variierte die Leistung bei einer Bewertung der digitalen funktionalen Kapazität um mehr als 1,0 SD über geografische Standorte hinweg und erfasste den regionalen Bildungsabschluss und das Einkommen. Wir werden die Machbarkeit und Validität unüberwachter Bewertungen und Schulungen anhand aller verfügbaren Kennzahlen bewerten.
Wie unten beschrieben, besteht die größte Herausforderung der unüberwachten Technologiebereitstellung nicht darin, dass die digital abgeleiteten Ergebnisse nicht mit Standardmaßen konvergieren. Die größte Herausforderung ist die breite Machbarkeit der für selbst durchgeführten Bewertungen und Schulungen benötigten Technologie sowie die zu unterschiedlichen Leistungen ohne menschliche Aufsicht. Es gibt eine intrinsisch soziale Interaktion während regulärer kognitiver Aufgaben, die Teilnehmenden mit Schwierigkeiten Aufsicht und Unterstützung bietet. Eine wichtige Frage, die ebenfalls behandelt wird, ist, ob solche Unterstützung digital bereitgestellt werden kann, durch KI-basierte Interaktionen, die Interaktionen zwischen Teilnehmer und Tester in alten, von Menschen durchgeführten Bewertungsverfahren simulieren.
Im Folgenden finden Sie einen Überblick über die Daten zu den oben eingeführten Themen. Sie umfassen Standards zur Validierung leistungsbasierter Tests, die sowohl für Standard- als auch für digitale Tests anwendbar sind; Standards für die digitale Migration von Legacy-Bewertungen; und Vergleiche des Validierungsprozesses für digital-native Aufgaben mit solchen, die aus alten Papier-/menschlichen Lieferformaten migriert wurden, einschließlich alternativer Formen, Übersetzungen und interkultureller Anpassung. Es gibt auch eine breit gefächerte Diskussion über die Machbarkeit unüberwachter Verabreichung im Vergleich zu von Menschen durchgeführten Strategien, wobei die Gesamtmachbarkeit dieser Strategien und die Rolle des menschlichen Prüfers bei traditionellen Bewertungs- und Schulungsinterventionen berücksichtigt werden. In diesen Bewertungssituationen werden mehrere Funktionen übernommen, von denen einige theoretisch mit KI-gestützter Unterstützung erledigt werden könnten. Ergänzungsfilm 1 stellt die in dieser Rezension behandelten Themen vor.
Allgemeine Prinzipien bei der Validierung kognitiver und funktioneller Assessments
Bei der Entwicklung einer gut validierten digitalen Bewertung oder Behandlungsstrategie treten mehrere Überlegungen auf. Ein prototypisches Beispiel für diesen Prozess war das kollaborative, groß angelegte Entwicklungsprogramm für Ergebnisbewertungen, die Measurement and Treatment Research to Improve Cognition in Schizophrenia (MATRICS)-Initiative, die eine Validierungsstudie einer großen Auswahl von altbewährten, von Tester durchgeführten Bewertungen durchführte. Basierend auf Diskussionen auf einem Konsenstreffen27 wurde die Testauswahl in diesem Zusammenhang von fünf Kernaspekten geleitet: Zuverlässigkeit über wiederholte Verabreichungen hinweg, Angemessenheit für den Längsschnitt, Zusammenhang mit funktionellen Endpunkten, Sensibilität gegenüber behandlungsbedingten Veränderungen sowie allgemeine Machbarkeit und Verträglichkeit. Die Eignung für wiederholte Anwendung wurde entweder als minimale Leistungssteigerung durch Übung oder als Verfügbarkeit gleichwertiger alternativer Formen definiert. Obwohl die daraus resultierende MATRICS Consensus Cognitive Battery (MCCB)28 eine Reihe von Tests auswählte, die diese Kriterien erfüllten, hat sich die Battery als schwierig erwiesen, die Battery aus der Fernedurchzuführen. Ein ähnlicher Entwicklungsprozess wurde für eine ähnlich fokussierte Untersuchung verwendet, die Brief Assessment of Cognition in Schizophrenia (BACS)3. Das BACS wurde mit ähnlichen Strategien entwickelt, und die sechs vom Tester gelieferten Subtests im BACS wurden auf all diese Eigenschaften untersucht, unter anderem in einer großen Validierungsstudie mit gesunden Kontrollgruppen (n = 404)8.
Das Paper BACS wurde international umfassend validiert, wobei mehrere Studien seine Anwendung untersuchten (z. B. 30,31,32,33,34,35). Interessanterweise wurde das MCCB auch mehrfach übersetzt, wobei die Websitedes Entwicklers 36 45 verschiedene Übersetzungen auflistet. Auf der Website wurde auch erwähnt, dass nur ~10 der 45 Versionen offizielle Sprachnormen haben, obwohl sie in internationalen klinischen Studien weit verbreitet sind. Dieses Thema wird später behandelt.
Die digitale Migration des BACS in die BAC-App wurde systematisch in einer Vergleichsstudie11 durchgeführt, die Teilnehmer mit Schizophrenie und gesunde Kontrollpersonen einschloss, die alle sowohl mit der alten als auch mit der digitalen Version getestet wurden. Vor Beginn der Studie wurden alternative Formen für mehrere BAC-App-Untertests entwickelt, darunter Verbal Memory (sieben Versionen), Symbol Coding (acht Versionen) und Tower of London (acht Versionen). Daher wurde die digitale Migration der Aufgabe so konzipiert, dass ein direkter Vergleich der beiden Versionen möglich ist und parallele Formulare validiert werden kann. Eine anschließende groß angelegte Validierungsstudie (N = 55312) mit gesunden Kontrollpersonen und einer kleinen Anzahl von Teilnehmern mit subjektivem kognitivem Rückgang wurde durchgeführt und lieferte normative Informationen zur Leistung auf der BAC-App. Daher wurden normative Daten mit der Altversion erhoben und dann mit der digitalen Version wiederholt, einschließlich einer Bewertung der äquivalenten Formulare (obwohl die Daten bisher nicht veröffentlicht wurden). Es ist wichtig zu beachten, dass die resultierende BAC-App nicht für unbeaufsichtigte Verwaltung gedacht ist; Ein Tester muss anwesend sein.
Eine ähnliche digitale Migrationsinitiative wurde für eine Legacy-Paper-Bewertung durchgeführt, die Loewenstein-Acevedo-Skalen für semantische Interferenz und Lernen (LASSI-L)13,14. Diese Bewertung zielt auf die Erkennung proaktiver semantischer Interferenz ab, die gezeigt wurde, dass sie einen schnelleren kognitiven Rückgang und das Vorhandensein von ADRD-Biomarkern selbst in Fällen mit minimaler zusätzlicher Beeinträchtigungvorhersagen. Umfangreiche normative Daten standen für den LASSI-L zur Verfügung, und eine digitale Version (LASSI-D) wurde anschließend für unbeaufsichtigte Bewertungen entwickelt. In diesem Entwicklungsprozess wurde bei der Bewertung dieser Instrumente Wert auf Zuverlässigkeit über verschiedene Administrationen, Eignung für wiederholte Anwendung, Relevanz für funktionelle Ergebnisse sowie Gesamtmachbarkeit und Verträglichkeit gelegt. Ein Fortschritt gegenüber der BACS-Migration war die gleichzeitige Validierung der spanischen und englischen Versionen des LASSI-D im Gegensatz zu ähnlichen Versionen des LASSI-L sowie die Entwicklung der migrierten Version mit KI-basierten Strategien, um die Machbarkeit und Gültigkeit unbeaufsichtigter Selbstverwaltung zu erhöhen. Konkret übernimmt ein menschlicher Avatar die Funktionen eines menschlichen Testers, gibt Anweisungen, korrigiert Fehler und unterstützt die Ermutigung zur Optimierung der Teilnehmerleistung. Qualitative Daten, die von den Teilnehmern erhoben wurden, zeigten eine hohe Zufriedenheit mit von Avataren gelieferten Assessments, wobei Präferenzwerte für diese höher waren als für menschlich durchgeführte Assessments.
Digital-native-Bewertungen sollten ebenfalls denselben Zuverlässigkeits- und Validitätsprinzipien folgen, was einige Programme auch tun. So folgte beispielsweise die Entwicklung von zwei verschiedenen digitalen Funktionsfähigkeitsmaßen, dem Virtual Reality Functional Capacity Assessment Tool (VRFCAT)3,37 und dem Functional Skills Assessment and Training Program (FUNSAT)25,38, denselben fünf Prinzipien in Validierungsstudien. Sowohl VRFCAT als auch FUNSAT durchliefen eine sekundäre digitale Migration zur cloudbasiertenBereitstellung 24, und beide Tests haben alternative Formen mit nachgewiesener Ähnlichkeit. Die Migrationsstudie des FUNSAT betrachtete auch die Leistung von Spanisch- und Englischsprachigen in drei alternativen Formen.
Ein weiteres Merkmal sowohl von VRFCAT als auch von FUNSAT war ein umfangreicher Versuch der konvergenten Validierung, bei dem Vergleiche sowohl mit traditionellen als auch digitalen Bewertungsstrategien durchgeführt wurden. So wurde beispielsweise die Korrelation des VRFCAT mit negativen Symptomen bei Schizophrenie39 untersucht, ebenso wie die Korrelation mit anderen Papier-und-Bleistift-Funktionskapazitätsindizes40. Eine qualitative Studie wurde durchgeführt, um ihre Akzeptanz für die Zielpopulation41 zu bewerten. Für das FUNSAT wurden ebenfalls Studien zu seiner Faktorstruktur42, Sensitivität gegenüber Behandlung43, Korrelationen mit der BAC-app44 und anderen funktionellen Kapazitätsmaßen45 sowie Korrelationen mit der selbstberichteten Funktionsfähigkeit berichtet46.
Technologie der unüberwachten Bewertungen
Die neuropsychologische Untersuchung aus Papier und Bleistift ist der prägende Fall einer überwachten Untersuchung, die soziale Interaktion, Aufsicht, Anleitung und Vorschläge zur Vermeidung problematischer Reaktionen umfasst. Wie oben erwähnt, sind einige digital durchgeführte kognitive und funktionale Messungen so konzipiert, dass sie von einem Prüfer durchgeführt werden. Beispiele hierfür sind der Identical-Pairs CPT47 vom MCCB, die BAC-App und der VRFCAT. Andere Prüfungen sind so gestaltet, dass sie ohne Aufsicht ohne Anwesenheit eines Prüfers durchgeführt werden können, da das Prüfungsverfahren automatisiert ist und eigenständigabläuft. Einige dieser Programme haben eine Anfälligkeit für fehlende48 oder ungültige Ergebnisse von49 bei einigen Untertests gezeigt, obwohl der Anteil der Fälle mit ungültigen Werten niedrig war. Diese Ergebnisse können auf ein schlechtes Engagement der Prüflinge hinweisen, das in manchen Fällen durch Feedback des Prüfers korrigiert werden kann. Mit der aktuellen digitalen Technologie können Unterbrechungen beim Reagieren während der Tests erkannt werden, und der Prozess kann vorübergehend ausgesetzt werden, während der Teilnehmer daran erinnert wird, fortzufahren. Zum Beispiel pausieren die FUNSAT-Bewertungs- und Trainingsmodule den Prozess und zeigen ein Pop-up-Fenster an, wenn innerhalb von 15 Sekunden keine Antwort eingeht. Dieser eingebaute Erkennungsprozess ist nicht in allen oben genannten Strategien vorhanden.
Daten zur Machbarkeit unbeaufsichtigter Bewertungen
Es gibt viele Studien zu unüberwachten Bewertungen der kognitiven Leistungsfähigkeit bei schweren psychischen Erkrankungen und ADRD. Eine groß angelegte ADRD-Übersicht20 identifizierte 28 aktuelle Forschungsberichte und 23 verschiedene Werkzeuge für unbeaufsichtigte Bewertungen, die entweder bei einem Praxisbesuch oder aus der Ferne durchgeführt wurden. Die Akzeptanzdaten waren recht gut, mit einer informierten Einwilligungs- und Teilnahmequote von über 85 %. Viele Teilnehmer gaben an, dass sie bereit wären, erneut teilzunehmen.
Die Einhaltung der Bewertungen variierte erheblich, von 63 % in einer 8-Wochen-Studie bis zu 94 % in einer weiteren 8-Wochen-Studie. Die Raten unbrauchbarer Daten waren niedrig, aber bestimmte Bewertungsstrategien führten zu höheren Schwierigkeiten bei der Durchführung der Bewertungen. In heimbasierten Augmented-Reality-Umgebungen führten technische Einschränkungen zum Verlust von etwa 21 % der Daten, und Geräteinkompatibilität führte dazu, dass fast 32 % der Teilnehmer die Ferntests nicht abschließen konnten.
Psychometrische Überlegungen, die in traditionellen Bewertungsstrategien häufig sorgfältig behandelt werden, wurden nicht so gut bedacht, wie sie hätten sein können. Zum Beispiel lagen nur 2 von 23 Aufgaben, die über die Konvergenz paralleler Formen und die Zuverlässigkeit von Test-Wiederholungen berichtet wurden, im unteren Bereich des akzeptablen Bereichs. Da einige dieser Bewertungen jedoch aus der Ferne und ad hoc durchgeführt wurden, könnten Umweltfaktoren die Leistung beeinflussen, was ein wichtiger Aspekt ist. Daher könnte die scheinbar niedrige Test-Retest-Zuverlässigkeit tatsächlich die Sensibilität gegenüber Umwelteinflüssen und der Varianz innerhalb des Teilnehmers im Zusammenhang mit sich ändernden Umweltfaktoren 9,50 widerspiegeln. Die konvergente Validität mit Standard-kognitiven Bewertungen war durchgehend akzeptabel, mit Korrelationen von r = 0,50 bis 0,70.
Die Übersichtsarbeit zu Fern-kognitiven Bewertungen bei Schizophrenie21 war ähnlich umfangreich (34 Artikel) und warf einige der gleichen Probleme auf, obwohl nur ein Teil der Studien tatsächlich unbeaufsichtigte Bewertungen durchführte. Die meisten remote durchgeführten Assessments erwähnten keine parallelen Formulare, und es gab praktisch keine Berichte über Normen für die Fernabwicklung im Vergleich zu Präsenz-Assessments. Tatsächlich untersuchte nur eine von 34 Studien die normative Leistung bei Remote- versus Präsenz-Assessments im Vergleich zu betreuten Assessments. Eine weitere Erkenntnis, die mit der Studie von Polk et al. übereinstimmte, war, dass die Unfähigkeit, Bewertungen abzuschließen, bedingt durch Internetverbindungsprobleme, Berichte über Technologieausfälle und andere technologische Überlegungen, erheblich war und in fast allen unbeaufsichtigten Studien vorhanden war.
Ein Problem, das bei dem Versuch, die BAC-App remote zu verwalten, auftrat, war die Bedenken der Teilnehmer hinsichtlich der Datenintegrität, da sie sowohl persönlich als auch remote mit der BAC-App51 getestet wurden. In dieser Studie schnitten die Teilnehmer im Durchschnitt bei einem Wortlisten-Lerntest aus der Ferne deutlich besser ab, was darauf hindeutet, dass sie die Reize beim Präsentieren geschrieben oder aufgezeichnet haben. Zusätzlich zur Liste der Überlegungen für unüberwachte Bewertungen scheint eine Art Sicherheitsstrategie zur Aufrechterhaltung der Datenintegrität erforderlich zu sein.
Ferngesteuertes digitales kognitives und Kompetenztraining
Es wurden mehrere Studien durchgeführt, die kognitive und funktionale Fähigkeiten auf Ferne bei Schizophrenie52 und leichter kognitiver Beeinträchtigung53 trainieren. Darüber hinaus wurde kognitives Training als kombinierte Intervention hinzugefügt, um die Wirksamkeit anderer Interventionen zu erhöhen, wie app-basierte Behandlungen negativer Symptome bei Schizophrenie54und digitales Functional Skills Training bei MCI25. Die allgemeinen Ergebnisse zeigen, dass die Therapietreue und die erzielten Trainingserfolge zu Hause und im Büro für Bevölkerungsgruppen von Schizophrenie über MCI bis hin zu ADRD sehr ähnlich sind. Die Einhaltung ist niemals perfekt, und Trainingsfortschritte werden durch individuelle Unterschiede beeinflusst, Eigenschaften55,56. Ein Faktor, der zu ausreichenden Fortschritten und Einhaltung führen kann, ist, dass die kognitiven Trainingsverfahren, egal ob im Büro oder aus der Ferne, im Wesentlichen identisch sind. Die oben genannten Probleme bezüglich technischer Herausforderungen und der Unfähigkeit, die Programme zu starten, sind eindeutig dieselben für Fernausbildung wie für Fernbewertungen. Studien, in denen die Teilnehmer eine Präsenzschulung erhielten, um den Start und Betrieb der Software unbeaufsichtigt zu erleichtern, berichteten von der besten Ferneinhaltung (z. B. 53).
Weltweite Nutzung digitaler Bewertungen und Behandlungen
Wie oben erwähnt, gab es mehrere Übersetzungen von Bewertungen von Altpapieren sowie zahlreiche internationale Bestrebungen im digitalen Bereich. So wurden beispielsweise in Spanien digitale Bewertungen von Legasthenie57 und mathematischen Fähigkeiten58 entwickelt, wobei unklar ist, ob diese Aufgaben in andere Sprachen übersetzt wurden. In China wurde eine Strategie entwickelt, um den Trail-Making Test zu modifizieren, um zusätzliche motorische Fähigkeiten59 einzubeziehen, und eine weitere Studie in China entwickelte ein Dual-Task-Interferenzverfahren zur Untersuchung der Verarbeitung komplexer Sätze60. In Singapur gibt es ein einzigartiges sprachübergreifendes Trainingsprogramm mit zweisprachigen Personen, die in Englisch und einer anderen asiatischen Sprache ausgebildet werden, mit dem Ziel, die kognitive Leistungsfähigkeit61 zu verbessern. Alle diese Studien berichteten über erfolgreiche Entwicklungsbemühungen und Akzeptanz, obwohl nur eine einen direkten Vergleich der Nützlichkeit der Tests über Sprachen hinweg innerhalb kultureller Gruppen ermöglichte.
Die Rolle der lokalen Validierung übersetzter Tests
Die am weitesten verbreiteten traditionellen Präsenz-Assessment-Strategien, wie MCCB und BAC, wurden in verschiedenen Sprachen und kulturellen Gruppen, wie oben erwähnt, umfassend validiert. Im Gegensatz dazu wird die NIH Toolbox, eine umfassende Bewertung für Personen im Alter von 3 bis 85 Jahren, ausschließlich auf Englisch angeboten und auf einer einzigen persönlichen digitalen Plattform62 durchgeführt. Es gibt deutlich weniger regionale und globale Informationen zur Validierung digital migrierter Versionen kognitiver und funktionaler Bewertungsaufgaben und Trainingsprogramme. Zum Beispiel wurde in der ERUDITE-63-Studie zu Luvadaxistat die BAC-App in acht verschiedenen Sprachen durchgeführt, und es gab nur eine veröffentlichte Studie64, die eine andere Sprachform (z. B. Spanisch) dieser Bewertung nach der digitalen Migration validierte. Einige Direkt-zu-Digital-Assessments, wie der VRFCAT, wurden in übersetzten Varianten in Studien mit mehr als 30 verschiedenen Sprachen65 verwendet. Auch hier existiert keine substanzielle Evidenzbasis für die Verwendung des VRFCAT in verschiedenen Sprachen, obwohl bei der Entwicklung der ursprünglichen englischsprachigen Version der Bewertung eine Bestätigung der Ähnlichkeit der parallelen Formen vorgelegt wurde. Validierungsinformationen, die mit Altversionen digital migrierter Aufgaben gesammelt werden, sind wahrscheinlich sehr relevant, wenn die Migration keine Funktionen des Tests verändert, aber es gibt eine Reihe von Sprachen, in denen Ergebnismaße, Alt- und digitale Migrationen, nicht hinsichtlich ihrer psychometrischen Eigenschaften untersucht wurden. Wie jedoch in zwei verschiedenen Übersichtsarbeiten20,21 zu ADRD und Schizophrenie festgestellt wurde, wurde nach Modifikation und digitaler Migration bemerkenswert wenig auf die Merkmale von Aufgaben auf internationaler Ebene beachtet.
Die Herausforderungen in diesen beiden Studien waren, dass das VRFCAT eine größere Variabilität als erwartet zeigte und eine beträchtliche Anzahl von Teilnehmern extrem niedrige Werte aufwies. Es ist möglich, dass die Übersetzungen nachteilige Auswirkungen auf die Leistung hatten. Ebenso wahrscheinlich haben Herausforderungen mit unerfahrenen Testern zu einer schlechten Überwachung der Teilnehmerbeteiligung während der Bewertungen geführt. Trotz des offensichtlichen Potenzials für Tester-Herausforderungen ist es wahrscheinlich auch verfrüht zu glauben, dass eine sprachlich validierte Übersetzung ein psychometrisch ähnliches Instrument garantieren würde. Während des Prozesses der systematischen digitalen Migration sollte das Papier-und-Bleistift-Legacy-Instrument auf die Erzeugung ähnlicher Partituren wie die digitalisierte Version geprüft werden, obwohl, wie die beiden obigen Übersichtsartikel betonten, dies nicht als üblich dokumentiert ist. Die oben beschriebene Strategie für die digitale Migration des LASSI-D ist für diese Herausforderungen nicht anfällig, da sie einen systematischen psychometrischen Vergleich jeder der drei digitalen Parallelformen mit den Ergebnissen der vom Menschen verwalteten Altversion sowohl auf Spanisch als auch auf Englisch beinhaltet. Es ist jedoch ein sehr detaillierter Prozess und es wäre äußerst herausfordernd, zeitnah für eine 30-sprachige klinische Studie umzusetzen.
Welche Rolle hat der menschliche Tester?
Die Daten deuten darauf hin, dass eine große Herausforderung bei unbeaufsichtigter digitaler Bewertung und Schulung darin besteht, den Teilnehmern die Möglichkeit zu geben, die Technologie zum Laufen zu bringen und auf das System zuzugreifen. Weitere Herausforderungen, wie die Berichte der Teilnehmer über technologische Inkompatibilität, könnten ebenfalls aus mangelnder Vertrautheit mit digitalen Strategien und ihrer Unfähigkeit, Technologie zu bedienen, resultieren. Daher können in unbeaufsichtigten Bewertungsparadigmen persönliche Anweisungen vor Beginn der Bewertungen eine hilfreiche oder sogar notwendige Strategie sein.
Einige technologiebasierte Untersuchungen werden hauptsächlich während der Praxisbesuche durchgeführt, einschließlich der meisten Aufgaben, die für die Fernbeurteilung bei Schizophrenie konzipiert sind. Zum Beispiel verlangt der VRFCAT eine persönliche Überwachung der Bewertungen, ebenso wie die BAC-App. VRFCAT verfügt über eine Einführungskomponente, die vor der formellen Bewertung durchgeführt wird, während der menschliche Prüfer alle Fragen beantwortet und eventuelle unzureichende Anstrengungen umleitet, während der Hauptbewertungsabschnitt kontinuierlich läuft. Der Prüfer wird angewiesen, den Teilnehmer zu beaufsichtigen und ihm Anleitung zu geben, falls dieser seine Bemühungen nicht durchhält. Eine aktuelle VRFCAT-Studie ergab jedoch, dass einige Teilnehmer viele "erzwungene Progressionen" hatten, was bedeutet, dass sie ein Testziel nicht innerhalb von 300 Sekunden gelöst haben. Da einige der Ziele eine einzige kurze Aufgabe sind ("Pick up the wallet"), könnten Fehler in der Prüfungsaufsicht vermutet werden. Die BAC-App-Technologie verwaltet alle Reize und sammelt alle Daten, verlangt jedoch weiterhin vom menschlichen Tester, die Leistung zu überwachen und die Unteraufgaben nach Abschluss des Teilnehmers weiterzuentwickeln. Das Cogstate-System erfordert keine Überwachung der Leistungen der Teilnehmer, aber es gab mehrere Berichte über ungültige Leistung an bestimmten Komponenten des Systems und eine verminderte Empfindlichkeit gegenüber Beeinträchtigungen bei Schizophrenie66 , die durch unzureichende, anhaltende Leistung und unregelmäßige Werte der Teilnehmer entstehen könnten, welche durch persönliche Aufsicht erkannt und korrigiert werden könnten.
Ist es möglich, digitale Überwachung zu nutzen?
Derzeit besteht erhebliches Interesse an Chatbots oder anderen KI-gestützten digitalen psychotherapeutischen Interventionen. Zu den Herausforderungen dieser Interventionen gehört die Notwendigkeit bidirektionaler Kommunikation, bei der der KI-Therapeut die Kommunikation des Klienten in Echtzeit verstehen und angemessen reagieren muss. Bei der Entwicklung des LASSI-D wurde eine andere KI-Strategie verwendet. Ein menschlicher Avatar wurde mit KI erstellt und diente als Testtechniker, der alle Anweisungen und Rückmeldungen lieferte, die ein menschlicher Tester in einer Standardtestsituation geben würde. Der Avatar wurde außerdem darauf trainiert, eine vorgegebene Reihe von FAQs zu beantworten, die durch das Berühren eines "?"-Symbols auf dem Bildschirm ausgelöst wurden. Zu diesem Zeitpunkt gab es keinen Versuch, interaktiv zu kommunizieren. Die Akzeptanz des Verfahrens war recht hoch (95 % Abschluss der Testsitzungen) in einer überwiegend minderheitlichen, einsprachigen spanischsprachigen Bevölkerung, mit sehr hohen Abschlussraten (über 96 % der Assessment-Sitzungen) und qualitativen Präferenzaussagen für Avatar-Tester gegenüber menschlichen Testern.
Ein möglicher Weg zur Erweiterung der KI-Leitlinien für unüberwachte Bewertungen und Schulungen wäre die Entwicklung eines Trainings- und Unterstützungssystems, das den Teilnehmern hilft, ihre unüberwachten Bewertungen oder Schulungen erstmals einzurichten und zu initiieren. Obwohl noch in der Entwicklung, wird FUNSAT modifiziert, um ein erstes Lehrmodul mit menschlicher Avatar-Anleitung zu enthalten, um potenzielle Teilnehmer darin zu schulen, sich für Schulungen anzumelden, sich auf der Website anzumelden und ihre Trainingsbemühungen zu starten. Diese Strategien werden wahrscheinlicher konsistent und genauer geliefert als therapeutische Interaktionen mit Chatbots, da die Avatar-Kommunikation auf vorgegebenen Antworten auf Fragen und der Bereitstellung konsistenter Anweisungen basieren würde.
Weitere digitale Strategien
Die aktuelle Übersicht konzentriert sich auf leistungsbasierte, intentionale kognitive Bewertungen. Es gibt eine beeindruckende Palette passiver digitaler Phänotypisierungsmaße, die inzwischen abgeschaltetsind und mit unüberwachten Bewertungsergebnissen in Verbindung gebracht werden können. Dazu gehören Geolokalisierung67, körperliche Aktivität68, sozialer Kontext69, Interaktionen mit Geräten70 sowie Sprach- und Sprachmerkmale71. Obwohl dies nicht unbedingt Kognitionsmessungen sind, spiegeln sie potenzielle Umweltfaktoren wider, die ebenfalls die kognitive Leistung beeinflussen können. Zum Beispiel können der Stimmungszustand, der aus Gesichts- oder Stimmreaktionen, sozialem Kontext und Hintergrundablenkung abgeleitet wird, mit der kognitiven Leistung korrelieren, insbesondere bei unbeaufsichtigten Untersuchungen. Einige der Herausforderungen, die mit unüberwachter Bewertung verbunden sind, können durch die gleichzeitige Nutzung passiver eC-digitaler Phänotypisierung nachweisbar und reduzierbar sein. Da diese Maßnahmen keine gezielte Datenerhebung erfordern, erhöhen sie keine zusätzliche Belastung für die Bewertungen.
Digitale Diagnostik und Behandlung kognitiver und funktioneller Defizite sind sehr vielversprechend, da sie eine Skalierung des Prozesses ermöglichen und Teilnehmende erreichen, die sonst keinen Zugang hätten. Technologische Entwicklungen ermöglichen eine einfache Übersetzung von Reizen, die Erstellung paralleler Bewertungsformulare und die Fernübertragung. Die meisten Daten deuten darauf hin, dass die Ergebnisse unüberwachter Bewertung und Schulung in Bezug auf globale Leistungsindizes sehr konvergent mit denen älterer Strategien sind. Es gibt jedoch Herausforderungen sowohl bei der Beteiligung der Teilnehmer als auch bei den technischen Merkmalen der Testentwicklung. Viele Teilnehmer sind nicht in der Lage, Technologie unbeaufsichtigt zu verwalten. Obwohl die Technologie es erleichtert, Reize zu übersetzen und parallele Formen zu erzeugen, wurde der psychometrischen Ähnlichkeit resultierender Übersetzungen oder neuen Formen nicht ausreichend Aufmerksamkeit geschenkt. Der systematische Ansatz zur psychometrischen Bewertung der Testqualität ist nicht entschuldigt, da die Technologie die Erzeugung von Testreizen erleichtert.
Einige pharmakologische Behandlungsstudien mit digitalen Ergebnisbewertungen konnten die Behandlungseffekte nicht identifizieren, und diese Fehler könnten teilweise auf verschiedene Versionen der Tests zurückzuführen sein, etwa durch parallele Formen oder übersetzte Reize, die nicht mit der ursprünglichen Version übereinstimmen. Diese Strategien, entweder aufgrund von Testproblemen oder Herausforderungen mit den neu entwickelten Formularen, haben ebenfalls das Potenzial für übermäßig variable Testleistungen und fehlende Daten zu liefern.
Ein ergänzender Ansatz war der Einsatz von KI-gesteuerten Avatar-Test- und Trainingsassistenten. Solche Ansätze haben großes Potenzial, erfordern jedoch selbst eine Validierung vor vollständiger Einführung. In solchen Fällen, in denen solche Strategien verwendet werden, wäre ein gestufter Ansatz erforderlich: Der Assistent würde zunächst vollständig geskriptete Anweisungen und Feedback geben und dann mit großsprachigen Modellen geschult werden, um die Fragen der Teilnehmer zu verstehen und mit den Teilnehmern zu interagieren.
Der soziale Kontext von Bewertung und Intervention ist wichtig, um technologiebezogene Bemühungen aufrechtzuerhalten. Menschliche Tester können sich an die Herausforderungen der Teilnehmer anpassen und die Einbindung an Schulungen erleichtern, während sie technische Unterstützung bieten. Diese Interaktion muss in digitale Ansätze für unüberwachte kognitive Diagnostik und Training integriert werden, um die Reichweite dieser Strategien zu erweitern. Teilnehmende, die diese Bewertungen und Interventionsstrategien am dringendsten benötigen, benötigen ebenfalls am ehesten moderierte Unterstützung bei der selbstverwalteten kognitiven und funktionellen Fähigkeitsbewertung und Trainingsaufgaben.
Ergänzungsakte 1: Probleme im Zusammenhang mit der Entwicklung valider, leistungsbasierter Bewertungen: Fokus auf Gültigkeit, Machbarkeit und Verträglichkeit digital durchgeführter Bewertungen und Schulungen. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Dr. Harvey hat Beratungsgebühren oder Reisekosten von Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences und Recognize erhalten. Er hat ein Forschungsstipendium von Intracellular Therapeutics (heute Teil von Johnson and Johnson). Er erhält Lizenzgebühren aus der Brief Assessment of Cognition in Schizophrenia (im Besitz von Clario, ehemals WCG Endpoint Solutions, Inc., ehemals Verasci, und enthalten im MCCB). Er ist Chief Scientific Officer von i-Function, Inc. und wissenschaftlicher Berater von EMA Wellness, Inc. Herr Kallestrup ist Mitbegründer und Geschäftsführer von i-Function, Inc.
Die Forschung zur Entwicklung des FUNSAT und des LASSI-D wurde durch Fördermittel des United States National Institute on Aging (NIA) R44 AG074818-02, R43 AG057238-02 und R44 AG057238-04 mit Peter Kallestrup als PI finanziert.
Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden
Genehmigung beantragen