אסטרטגיות דיגיטליות מאפשרות הערכה והכשרה מרחוק ללא פיקוח, אך נדרשים מספר שיקולים כדי להבטיח את תקפות הנתונים שנאספו ואת תועלת ההתערבויות.
מאמר סקירה
אסטרטגיות דיגיטליות מאפשרות הערכה והכשרה מרחוק ללא פיקוח, אך נדרשים מספר שיקולים כדי להבטיח את תקפות הנתונים שנאספו ואת תועלת ההתערבויות.
התקדמות טכנולוגית מאפשרת אפשרות להערכה והכשרה קוגניטיבית ופונקציונלית באופן דיגיטלי. ישנן שתי קטגוריות עיקריות של אסטרטגיות דיגיטליות: אלו שפותחו במקור להפצה דיגיטלית ואלו שהועברו מהערכות המסורתיות המסורתיות של נייר ועיפרון. נערכו גם מחקרים נרחבים על הערכה והכשרה מפוקחת לעומת לא. פיתוחים דיגיטליים מקבילים, כגון בינה מלאכותית (AI), אפשרו יצירה מהירה של טפסי הערכה מקבילים ותרגום חומרי הערכה לשימוש בינלאומי, מה שמרמז על אפשרות לפריסה נגישה ברחבי העולם. תרגום אינו מבטיח אימות, ורבים מכלי ההערכה תורגמו אך לא עברו נורמות או אימות לאחר התרגום. בסקירה זו, אנו בוחנים את המצב הנוכחי של מאמצי ההערכה וההכשרה הדיגיטליים, תוך שימוש בדוגמאות מהערכות פרונטליות שהיו נפוצות שעברו תרגום והגירה דיגיטלית, ומשווים אותן לאסטרטגיות דיגיטליות שמעולם לא הוצגו על נייר או פנים אל פנים. ניתנות הערות על התועלת של ביצועים ללא פיקוח והשלכותיהם על אנשים המנהלים את עצמם הערכות דיגיטליות או תוכניות הדרכה. ישנם מספר תחומים שדורשים מחשבה מעמיקה כדי לספק אסטרטגיות דיגיטליות מרחוק, נגישות ומותאמות אישית, כולל שלמות פסיכומטרית, תוקף לשוני, התמיכה החברתית שמספק בודק אנושי פנים אל פנים, והאם ניתן לכמת את התמיכה הזו ולהשלמת באלטרנטיבות דיגיטליות.
המהפכה הדיגיטלית שינתה את נוף ההערכה וההכשרה הקוגניטיבית והפונקציונלית במצבים הנוגעים להזדקנות ולמצבים פסיכיאטריים. חלק גדול מההערכות המבוצעות כיום מסתמכות במלואה או חלקית על אספקה דיגיטלית. הערכות דיגיטליות יכולות להיות מועברות מבדיקות נוירופסיכולוגיות סטנדרטיות מסורתיות המבוצעות על ידי בודק אנושי 1,2 או מהמבחנים הדיגיטליים המסורתיים 3,4,5. חלק מהאסטרטגיות כוללות משלוח במכשירים ניידים 6,7,8, שיכולים להיות מלווה בהערכות מרחוק נוספות ללכידת מצבי רוח, מיקומים ותנאים סביבתיים רגעיים.
הגירה דיגיטלית שיטתית מאפשרת השוואה בין גרסאות דיגיטליות של פרוצדורות לגרסאות ישנות. לחלק מהמשימות נאסף מידע מקיף על אימות נרחב, עם השוואות שיטתיות לנהלים ישנים. דוגמה לכך היא הערכת קוגניציה קצרה בסכיזופרניה (BACS), שבה מבחן10 מורשת עם נורמה נרחבת הועבר לגרסה דיגיטלית11, עם מחקר נורמטיבי השוואתי12. דוגמה דומה הייתה ההגירה הדיגיטלית של סולמות Loewenstein-Acevedo for Semantic Interference and learning (LASSI-L)13, שהועברה לגרסת14 מונחית אווטאר, ניתנת לניהול מרחוק, עם שלוש צורות דיגיטליות15.
יתרון של משימות דיגיטליות הוא שעדכונים מהירים, בדרך כלל אוטומטיים, כולל בדיקות גירויים, הם מאוד אפשריים. זה כולל תרגומים לשפה באמצעות אסטרטגיות בינה מלאכותית (AI), שיכולות לייצר במהירות גרסאות חלופיות. גם אסטרטגיות AI מסייעות בפיתוח צורות מקבילות הנדרשות לבדיקות חוזרות, במיוחד בזיכרון או בפתרון בעיות, כדי למנוע השפעות תרגול בלתי מקובלות16, אפילו באוכלוסיות עם דמנציה17. אחד היעדים שלנו בסקירה זו הוא להעריך את איכות הגירות דיגיטליות קודמות והתאמות בינה מלאכותית, כולל הנתונים על שקילות לאחר הגירה דיגיטלית, תרגום לשוני ופיתוח צורות מקבילות.
פיתוח נוסף בהערכה דיגיטלית הוא ניהול עצמי מרחוק או ללא פיקוח של הליכי הערכה דיגיטליים או הדרכה. בעוד שזה היה נוהג סטנדרטי במשך שנים באימון קוגניטיבי ממוחשב מסחרי (CCT)18, מחקרים מסוימים הציעו שגם ניהול עצמי ללא פיקוח של בדיקות קוגניטיביות יכול להיות אפשרי 19,20,21. ניהול עצמי ללא פיקוח ניתן לבצע בבית באמצעות מכשיר דיגיטלי שמחובר לאינטרנט או במרכז בדיקה, שם מספר משתתפים עוברים את המבחנים תחת פיקוח מינימלי. מחקרי היתכנות היו בדרך כלל קצרי טווח, אם כי חלקם היו בעלי משך זהה או משך ארוך יותר בהשוואה לניסויים קליניים סטנדרטיים. נבחן את המצב הכללי של הערכות והכשרות ללא פיקוח ונתייחס לאזורים עם אתגרים או שבהם נדרש מידע נוסף.
סוגיה קריטית בהערכה והכשרה ללא פיקוח היא הסתגלות ובין-תרבותית וכדאיות. בנוסף להבדלים בשפה, קיימים הבדלים כלכליים משמעותיים, ככל הנראה משפיעים על גישה דיגיטלית ואוריינות, כולל ניסיון עם טלפונים ניידים, טאבלט או מחשבים ניידים, וגישה לאינטרנט ביתי22. הפער הדיגיטלי העולמי כבר אינו קשור לגיל אלא כלכלי. המוטיבציה להשתתפות בפעילויות דיגיטליות מרחוק מקוונות עשויה להשתנות במידה ניכרת בין המשתתפים. מדדי היתכנות להערכה ללא פיקוח כללו את שיעור ההסכמה, השלמת ההערכה, תוקף הנתונים והיכולת לנהל את הטכנולוגיה. רוב ההערכות הקליניות ללא השגחה מכוונות לאנשים עם ליקויים צפויים מסוימים, אשר עשויים לקבל הדרכה נרחבת20,21, כולל פרונטלית, בנוגע להתחברות והשלמת הערכות או הדרכות. נתוני היתכנות מאנשים שנרשמים ללימודים מרחוק שבהם כל ההרשמה וההכשרה מתבצעת באופן עצמאי לחלוטין.19,23 עשויים שלא להיות ניתנים להכללה לאנשים עם רמות מיומנויות דיגיטליות נמוכות יותר, ביטחון עצמי נמוך יותר ביכולותיהם וביצועים קוגניטיביים כלליים נמוכים יותר. זה כולל אנשים החושדים שיש להם סימנים מוקדמים לדמנציה ומבצעים הערכה ללא פיקוח במרפאה.
במחקר על המעבר של שתי מערכות הערכה דיגיטליות מהצגת מחשב במכשיר לאספקה מבוססתענן 24, היו יתרונות שיטתיים במהירות איסוף נתוני מסך המגע לעומת עכבר מחשב. ישנם אתגרים נפוצים באוריינות דיגיטלית בהערכות קיבולת פונקציונלית: לחלק מהמשתתפים יש מיומנויות מקלדת מינימליות ויש ללמד כיצד להקליד אות גדולה לסיסמה25. במחקר רב-אתרי על קוגניציה ויכולת תפקודית בארצות הברית26, הביצועים בהערכת קיבולת תפקודית דיגיטלית השתנו ביותר מ-1.0 SD בין מיקומים גאוגרפיים, תוך עקבות הישגים לימודיים והכנסה אזוריים. נבחן את היתכנות ותוקף ההערכה וההכשרה ללא פיקוח באמצעות כל המדדים הזמינים.
כפי שמתואר להלן, האתגר המרכזי בהעברת טכנולוגיה ללא פיקוח אינו כישלון התוצאות הדיגיטליות להתכנס עם מדדים סטנדרטיים. האתגר המרכזי הוא ההיתכנות הרחבה של הטכנולוגיה הנדרשת להערכות והכשרה עצמית, וכן ביצועים משתנים מדי בהיעדר פיקוח אנושי. קיימת אינטראקציה חברתית פנימית במהלך משימות קוגניטיביות סטנדרטיות שמספקת פיקוח וסיוע למשתתפים המתקשים. שאלה חשובה שנענתה גם היא האם ניתן לספק תמיכה כזו דיגיטלית, באמצעות אינטראקציות מבוססות בינה מלאכותית המדמות אינטראקציות בין משתתפים לבודק בהליכי הערכה מסורתיים שמבוצעים על ידי בני אדם.
להלן סקירה של הנתונים בנושאים שהוצגו לעיל. הם כוללים תקנים לאימות מבחנים מבוססי ביצועים, החלים הן על הערכות סטנדרטיות והן על הערכות דיגיטליות; תקנים להגירה דיגיטלית של הערכות ישנות; והשוואות בין תהליך האימות למשימות דיגיטליות-ילידיות לאלו שהועברו מפורמטים ישנים של נייר/משלוח אנושי, כולל צורות חלופיות, תרגום והתאמה בין-תרבותית. קיים גם דיון רחב על היתכנות מתן ללא פיקוח לעומת אסטרטגיות שניתנות על ידי האדם, תוך התחשבות בהיתכנות הכוללת של אסטרטגיות אלו ובתפקיד הבודק האנושי בהתערבויות הערכה והכשרה מסורתיות. מספר פונקציות מבוצעות במצבי הערכה אלו, שחלקן, תיאורטית, עשויות, להינתן בסיוע מבוסס בינה מלאכותית. מאמר משלים 1 מציג את הנושאים שנבחנו בסקירה זו.
עקרונות כלליים באימות הערכה קוגניטיבית ותפקודית
כאשר מפתחים אסטרטגיית הערכה או טיפול דיגיטלית מאומתת היטב, עולים מספר שיקולים. דוגמה טיפוסית לתהליך זה הייתה תוכנית פיתוח הערכת תוצאות שיתופית בקנה מידה גדול, יוזמת המדידה והטיפול לשיפור הקוגניציה בסכיזופרניה (MATRICS), שביצעה מחקר אימות של מבחר גדול של הערכות ישנות שהועברו על ידי הבודקים. בהתבסס על דיונים בפגישה קונצנזוס27, בחירת המבחן בהקשר זה הונחה על ידי חמישה שיקולים מרכזיים: אמינות במתן נחזור, התאמה לשימוש לאורך זמן, קשר לתוצאות תפקודיות, רגישות לשינויים הקשורים לטיפול, וכדאיות וסבילות כללית. ההתאמה למתן נרחב הוגדרה כשיפור ביצועים מינימלי בעקבות תרגול או כזמינות צורות חלופיות מקבילות. למרות שסוללת MATRICS Consensus Cognitive (MCCB)28 שהתקבלה בחרה סט מבחנים העומדים בקריטריונים אלה, הסוללה התגלתה כמאתגרת לביצוע מרחוק29. תהליך פיתוח דומה שימש להערכה ממוקדת דומה, הערכת קוגניציה קצרה בסכיזופרניה (BACS)3. ה-BACS פותח באסטרטגיות דומות וששת תתי-המבחנים שנמסרו על ידי הבודקים ב-BACS נבדקו לכל המאפיינים הללו, כולל במחקר אימות גדול עם ביקורת בריאה (n = 404)8.
המאמר BACS אושר באופן נרחב בינלאומית, עם מספר מחקרים שבחנו את השימוש בו (למשל, 30,31,32,33,34,35). מעניין לציין שה-MCCB תורגם גם מספר פעמים, כאשר אתר המפתחים36 כולל 45 תרגומים שונים. גם באתר צוין שרק ~10 מתוך 45 הגרסאות כוללות נורמות שפה רשמיות, למרות השימוש הנרחב בהן בניסויים קליניים בינלאומיים. זו בעיה שמטופלת בהמשך.
המעבר הדיגיטלי של BACS לאפליקציית BAC נערך באופן שיטתי במחקר השוואתי11, שכלל משתתפים עם סכיזופרניה וביקורת בריאה, שכולם נבדקו הן בגרסאות הישנה והן בגרסאות הדיגיטליות. לפני תחילת המחקר, פותחו צורות חלופיות למספר תת-מבחנים של BAC-App, כולל זיכרון מילולי (שבע גרסאות), קידוד סמלים (שמונה גרסאות), ומגדל לונדון (שמונה גרסאות). לכן, ההגירה הדיגיטלית של המשימה נועדה לאפשר השוואה ישירה בין שתי הגרסאות ולאמת צורות מקבילות. נערך מחקר אימות רחב היקף מאוחר יותר (N = 55312) עם ביקורת בריאה ומספר קטן של משתתפים עם ירידה קוגניטיבית סובייקטיבית, שהניב מידע נורמטיבי על ביצועים ב-BAC-App. לכן, נתונים נורמטיביים נאספו יחד עם הגרסה הישנה ואז חזרו על עצמם עם הגרסה הדיגיטלית, כולל הערכה של הצורות המקבילות (אם כי הנתונים לא פורסמו עד כה). חשוב לציין כי אפליקציית ה-BAC שמתקבלת אינה מיועדת למתן ללא פיקוח; חייב להיות נוכח בודק.
מאמץ הגירה דיגיטלית דומה נערך עבור הערכת מאמר ישן, סולמות לוונשטיין-אסבדו להפרעות סמנטיות ולמידה (LASSI-L)13,14. הערכה זו מתמקדת בזיהוי הפרעות סמנטיות פרואקטיביות, שהוכחה כמנבאת ירידה קוגניטיבית מהירה יותר ונוכחות סמנים ביולוגיים של ADRD גם במקרים עם פגיעה נוספת מינימלית. נתונים נורמטיביים נרחבים היו זמינים עבור ה-LASSI-L, וגרסה דיגיטלית (LASSI-D) פותחה לאחר מכן להערכה ללא פיקוח. בתהליך הפיתוח הזה, בהערכת הכלים הללו, הושם דגש על אמינות בין המנהלים, התאמה לשימוש חוזר, רלוונטיות לתוצאות פונקציונליות, וכדאיות וסבילות כללית. התקדמות לעומת המעבר ל-BACS הייתה האימות המשותף של גרסאות הספרדית והאנגלית של ה-LASSI-D, בניגוד לגרסאות דומות של ה-LASSI-L, ופיתוח הגרסה המועברת תוך שימוש באסטרטגיות מבוססות בינה מלאכותית להגדלת ההיתכנות והתוקף של ניהול עצמי ללא פיקוח. באופן ספציפי, אווטאר אנושי מבצע את תפקידיו של בודק אנושי, מספק הוראות, מתקן שגיאות ומעודד למקסם את ביצועי המשתתפים. נתונים איכותניים שנאספו מהמשתתפים הצביעו על רמות שביעות רצון גבוהות מהערכות שבוצעו על ידי אווטאר, כאשר ציוני העדפה גבוהים יותר מאשר בהערכות שניתנו על ידי אדם.
הערכות דיגיטליות מקומיות צריכות גם הן לעמוד בעקרונות האמינות והתוקף, וחלק מהתוכניות עשו זאת. לדוגמה, פיתוח שני מדדים שונים ליכולת פונקציונלית דיגיטלית, כלי הערכת קיבולת פונקציונלית במציאות מדומה (VRFCAT)3,37 ותוכנית הערכת מיומנויות פונקציונליות והכשרה (FUNSAT)25,38, דבקו באותם חמישה עקרונות במחקרי אימות. גם VRFCAT וגם FUNSAT עברו מעבר דיגיטלי משני ל-Delivery מבוסס ענן24, ולשתי הבדיקות יש צורות חלופיות עם דמיון מוכח. מחקר ההגירה של ה-FUNSAT בחן גם את ביצועי דוברי ספרדית ואנגלית בשלוש צורות חלופיות.
תכונה נוספת של VRFCAT ו-FUNSAT הייתה מאמץ נרחב לאימות מתכנס, עם השוואות לאסטרטגיות הערכה מסורתיות ודיגיטליות. לדוגמה, נבדק המתאם בין VRFCAT לתסמינים שליליים בסכיזופרניה39, כמו גם הקורלציה שלו עם מדדי קיבולת פונקציונליים אחרים בנייר ועיפרון40. בוצע מחקר איכותני להערכת קבלתו לאוכלוסיית ההערכה היעד41. לגבי FUNSAT, דווחו מחקרים על מבנה הגורמים42, הרגישות לטיפול43, הקורלציות עם BAC-app44, ומדדי יכולת פונקציונלית נוספים45, וקורלציות לתפקוד מדווח עצמי46.
טכנולוגיית הערכות ללא פיקוח
הערכה נוירופסיכולוגית בנייר ועיפרון היא המקרה המגדיר של הערכה מפוקחת, הכוללת אינטראקציה חברתית, פיקוח, הכוונה והצעות למניעת תגובה בעייתית. כאמור לעיל, חלק מהמדדים הקוגניטיביים והתפקודיים המנוהלים דיגיטלית מיועדים להתבצע על ידי בוחן. דוגמאות לכך כוללות את ה-Identical-Pairs CPT47 מ-MCCB, אפליקציית BAC ו-VRFCAT. הערכות אחרות מעוצבות כך שניתן יהיה לבצע אותן ללא השגחה ללא נוכחות בוחן, משום שההליך ההערכה אוטומטי ופועלבאופן עצמאי. חלק מהתוכניות הללו הראו פגיעות לפספוס48 או לציון לא תקין49 בחלק מהתת-מבחנים, אם כי שיעור המקרים עם ציונים לא תקינים היה נמוך. ציונים אלו עשויים לשקף מעורבות נמוכה של הנבחנים, שניתן לתקן במקרים מסוימים באמצעות משוב מהבוחנים. עם הטכנולוגיה הדיגיטלית הנוכחית, ניתן לזהות הפרעות בתגובה במהלך הבדיקות, והתהליך יכול להיות מושהה זמנית בזמן שהמשתתף מקבל תזכורת להמשיך. לדוגמה, מודולי ההערכה וההדרכה של FUNSAT עוצרים את ההליך ומציגים חלון קופץ אם לא מתקבלת תגובה תוך 15 שניות. תהליך זיהוי מובנה זה אינו קיים בכל האסטרטגיות שהוזכרו לעיל.
נתונים על היתכנות הערכות ללא פיקוח
ישנם מחקרים רבים על הערכות לא מפוקחות של ביצועים קוגניטיביים במחלות נפש חמורות ו-ADRD. סקירת ADRD רחבת היקף20 זיהתה 28 דוחות מחקר עדכניים ו-23 כלים שונים להערכות לא מפוקחות, שהושלמו בביקור משרדי או מרחוק. נתוני הקבלה היו טובים למדי, עם הסכמה מדעת ושיעורי השתתפות מעל 85%. רבים מהמשתתפים דיווחו שהם מוכנים להשתתף שוב.
ההיצמדות להערכות השתנתה במידה ניכרת, ונעה בין 63% במחקר של 8 שבועות ל-94% במחקר אחר של 8 שבועות. שיעורי הנתונים הבלתי שמישים היו נמוכים, אך אסטרטגיות הערכה מסוימות הובילו לשיעורי אתגרים גבוהים יותר בהשלמת ההערכות. בסביבות מציאות רבודה בבית, מגבלות טכניות הובילו לאובדן של כ-21% מהנתונים, ואי-תאימות מכשירים גרמה לכך שכמעט 32% מהמשתתפים לא יכלו להשלים את ההערכות מרחוק.
שיקולים פסיכומטריים, שמנוהלים בדרך כלל בקפידה באסטרטגיות הערכה מסורתיות, לא נלקחו בחשבון כפי שיכלו להיות. לדוגמה, רק 2/23 משימות שדווחו על התכנסות טפסים מקבילים ואמינות בדיקה-בדיקה חוזרת היו בקצה התחתון של הטווח המקובל. עם זאת, מאחר שחלק מההערכות הללו בוצעו מרחוק ובאופן אקראי, גורמים סביבתיים עלולים להשפיע על הביצועים, וזהו שיקול חשוב. לכן, מה שנראה כמהימנות נמוכה של בדיקות חוזרות יכול לשקף רגישות להשפעות סביבתיות ולשונות בתוך המשתתף הקשורה לשינויים בגורמים סביבתיים 9,50. תוקף מתכנס עם הערכות קוגניטיביות סטנדרטיות היה מקובל בעקביות, עם מתאמים שנעו בין r = 0.50 ל-0.70.
הסקירה של הערכות קוגניטיביות מרחוק בסכיזופרניה21 הייתה בגודל דומה (34 מאמרים) והעלתה חלק מהסוגיות הללו, אם כי רק תת-קבוצה מהמחקרים ביצעה הערכות לא מפוקחות באמת. רוב ההערכות שנערכו מרחוק לא הזכירו טפסים מקבילים, ובפועל לא היו דיווחים על נורמות ללימוד מרחוק לעומת הערכות פנים אל פנים. למעשה, רק אחד מתוך 34 מחקרים בחן ביצועים נורמטיביים בהערכות מרחוק לעומת פרונטליות לעומת הערכות מפוקחות. ממצא נוסף שתאם למחקר של פולק ואח' היה כי חוסר היכולת להשלים הערכות, בשל בעיות חיבור לאינטרנט, דיווחים על תקלות טכנולוגיות ושיקולים טכנולוגיים נוספים, הייתה משמעותית ונוכחת כמעט בכל המחקרים הלא מפוקחים.
בעיה שעלתה בניסיון לנהל את אפליקציית BAC מרחוק הייתה הדאגה של המשתתפים לגבי שלמות הנתונים, כאשר הם נבדקו באופן אישי ומרחוק עם אפליקצייתBAC-app 51. במחקר זה, המשתתפים, בממוצע, הציגו ביצועים טובים משמעותית במבחן למידה ברשימת מילים שנערך מרחוק, מה שמרמז שכאשר הגירויים הוצגו, הם כתבו או רשמו אותם. בנוסף לרשימת השיקולים להערכות לא מפוקחות, נראה שיש צורך באסטרטגיית אבטחה כלשהי לשמירה על שלמות הנתונים.
הועבר מרחוק להכשרה קוגניטיבית וכישורים דיגיטליים
נערכו מספר מחקרים בנוגע לאימוני מיומנויות קוגניטיביות ותפקודיות מרחוק בסכיזופרניה52 וליקוי קוגניטיבי קל53. בנוסף, נוספה הדרכה קוגניטיבית כהתערבות משולבת להעצמת יעילות התערבויות אחרות, כגון טיפולים בתסמינים שליליים מבוססי אפליקציה בסכיזופרניה54ואימון במיומנויות תפקודיות דיגיטליות ב-MCI25. הממצאים הכלליים הם ששיעור ההיצמדות וההישגים בהכשרה דומים מאוד בבית ובמשרד, באוכלוסיות הנעות מסכיזופרניה ועד MCI ו-ADRD. היצמדות לעולם אינה מושלמת, והישגים באימון מושפעים מהבדלים אישיים במאפיינים55,56. גורם אחד שעשוי להוביל לשיפורים והיצמדות מספקים הוא שהליכי האימון הקוגניטיבי, בין אם מבוצעים במשרד או מרחוק, הם למעשה זהים. הנושאים שהוזכרו לעיל לגבי אתגרים טכניים ואי-יכולת להשיק את התוכניות הם בבירור זהים להכשרה מרחוק כמו בהערכה מרחוק. מחקרים שבהם המשתתפים קיבלו הכשרה פרונטלית להקלה על השקה והפעלה ללא פיקוח דיווחו על עמידה מרחוק הטובה ביותר (למשל, 53).
שימוש עולמי בבדיקות וטיפולים דיגיטליים
כאמור לעיל, בוצעו מספר תרגום של הערכות מאמרים מסורתיים, וכן מאמצים בינלאומיים רבים בתחום הדיגיטלי. לדוגמה, הערכות דיגיטליות של דיסלקסיה57 וכישורים מתמטיים58 פותחו בספרד, אם כי לא ברור אם משימות אלו תורגמו לשפות אחרות. בסין, פותחה אסטרטגיה לשינוי מבחן יצירת השביל לכלול מדידת מיומנויות מוטוריות נוספות59 , ומחקר נוסף בסין פיתח הליך הפרעה דו-משימתי לבחינת עיבוד משפטים מורכבים60. בסינגפור, תוכנית הכשרה ייחודית בין-לשונית, הכוללת אנשים דו-לשוניים המתאמנים באנגלית ובשפה אסייתית נוספת, במטרה לשפר את הביצועים הקוגניטיביים61. כל המחקרים הללו דיווחו על מאמצי פיתוח מוצלחים וקבלות, אם כי רק אחד אפשר השוואה ישירה של התועלת של המבחנים בין שפות בתוך קבוצות תרבותיות.
תפקיד האימות המקומי של מבחנים מתורגמים
אסטרטגיות ההערכה המסורתיות הנפוצות ביותר, כגון MCCB ו-BAC, אושרו באופן נרחב בשפות וקבוצות תרבות שונות כפי שצוין לעיל. לעומת זאת, הערכת NIH Toolbox, הערכה רחבה המיועדת לאנשים בגילאי 3–85, מוצעת רק באנגלית ומנוהלת על פלטפורמה דיגיטלית יחידה פרונטלית62. יש הרבה פחות מידע אזורי וגלובלי זמין על אימות גרסאות דיגיטליות של משימות הערכה קוגניטיבית ותפקודית ותוכניות הדרכה. לדוגמה, במחקר EUDITE63על luvadaxistat, אפליקציית BAC בוצעה בשמונה שפות שונות, ורק מחקראחד שפורסם 64 שמאשר צורה שונה (כלומר ספרדית) של ההערכה לאחר ההגירה הדיגיטלית. חלק מההערכות הישירות לדיגיטלי, כמו VRFCAT, שימשו בגרסאות מתורגמות במחקרים עם יותר מ-30 שפות שונות,65. שוב, אין בסיס ראיות משמעותי לשימוש ב-VRFCAT בין שפות, אם כי הוצגה הוכחה הדמיון של הצורות המקבילות כאשר פותחה הגרסה המקורית באנגלית של ההערכה. מידע האימות שנאסף בגרסאות ישנות של משימות דיגיטליות צפוי להיות רלוונטי מאוד אם המעבר לא שינה אף מאפיין במבחן, אך קיימות מספר שפות שבהן מדדי תוצאה, הגירה מסורתית ודיגיטלית, לא נחקרו מבחינת מאפייני הפסיכומטריה. עם זאת, כפי שצוין בשתי סקירותשונות 20,21 עבור ADRD וסכיזופרניה, הושם מעט מאוד תשומת לב למאפייני המשימות ברמה בינלאומית לאחר שינוי והגירה דיגיטלית.
האתגרים בשני המחקרים הללו היו שה-VRFCAT הראה שונות גבוהה מהמצופה, ומספר משמעותי של משתתפים קיבלו ציונים נמוכים מאוד. ייתכן שהתרגומים השפיעו לרעה על הביצועים. באותה מידה סביר שאתגרים עם בודקים חסרי ניסיון הובילו לפיקוח לקוי על מעורבות המשתתפים במהלך ההערכות. למרות הפוטנציאל הברור לאתגרים של הבודקים, כנראה מוקדם מדי לחשוב שתרגום מאומת לשונית יבטיח כלי פסיכומטרית דומה. במהלך תהליך ההגירה הדיגיטלית השיטתית, יש לבחון את כלי ההורשת של נייר ועיפרון ליצירת תווים דומים לגרסה הדיגיטלית, אם כי, כפי שצוין בשתי הביקורות לעיל, הדבר אינו מתועד כנפוץ. האסטרטגיה שתוארה לעיל להגירה דיגיטלית של ה-LASSI-D אינה פגיעה לאתגרים אלו, שכן היא כוללת השוואה פסיכומטרית שיטתית של כל אחת משלוש הצורות המקבילות הדיגיטליות לתוצאות הגרסה המורשת המנוהלת על ידי האדם בספרדית ובאנגלית. עם זאת, זהו תהליך מפורט מאוד ויהיה מאתגר מאוד ליישם במהירות עבור ניסוי קליני בן 30 שפות.
מה תפקידו של הבודק האנושי?
הנתונים מצביעים על כך שאתגר מרכזי בהערכה והכשרה דיגיטלית ללא פיקוח הוא לאפשר למשתתפים להפעיל את הטכנולוגיה ולגשת למערכת. אתגרים נוספים, כמו דיווחים של המשתתפים על אי-התאמה טכנולוגית, עשויים לנבוע גם מחוסר היכרותם עם אסטרטגיות דיגיטליות ומחוסר יכולתם להפעיל טכנולוגיה. לכן, בפרדיגמות הערכה ללא פיקוח, הוראות מותאמות אישית לפני תחילת ההערכות עשויות להיות אסטרטגיה מועילה, ואף הכרחית.
חלק מההערכות מבוססות טכנולוגיה מתבצעות בעיקר במהלך ביקורי משרד, כולל רוב המשימות המיועדות להערכה מרחוק בסכיזופרניה. לדוגמה, VRFCAT דורש פיקוח פרונטלי על ההערכות, כמו גם BAC-App. ל-VRFCAT יש רכיב מבוא שמנוהל לפני ההערכה הרשמית, שבו הבודק האנושי עונה על כל שאלה ומפנה כל מאמץ לא מספק, בעוד שחלק ההערכה הראשי פועל ברצף. הבוחן מונחה לפקח על המשתתף ולתת לו הדרכה אם הוא לא מתמיד במאמציו. עם זאת, מחקר VRFCAT עדכני מצא שלחלק מהמשתתפים היו "התקדמויות כפויות" רבות, כלומר לא פתרו מטרה במבחן בתוך 300 שניות. מכיוון שחלק מהמטרות הן משימה קצרה אחת ("להרים את הארנק"), ניתן לחשוד בכישלונות בפיקוח הבוחן. טכנולוגיית אפליקציית BAC מנהלת את כל הגירויים ואוספת את כל הנתונים, אך עדיין דורשת מהבודק האנושי לפקח על הביצועים ולקדם את תת-המשימות לאחר סיום המשתתף. מערכת קוגסטט אינה דורשת פיקוח על ביצועי המשתתפים, אך דווחו דיווחים רבים על ביצועים לא תקינים ברכיבים מסוימים במערכת ורגישות מופחתת לליקויים בסכיזופרניה66 , שעלולה לנבוע מביצועים מתמשכים לא מספקים וציוני לא סדירים מצד המשתתפים, שניתן היה לזהות ולתקן אותם בהשגחה פרונטלית.
האם אפשר להשתמש בפיקוח דיגיטלי?
קיים עניין רב כיום בצ'אטבוטים או בהתערבויות פסיכותרפיות דיגיטליות אחרות שמסופקות על ידי בינה מלאכותית. אחד האתגרים בהתערבויות אלו הוא הדרישה לתקשורת דו-כיוונית, שבה המטפל ב-AI חייב להבין את התקשורת של המטופל בזמן אמת ולהגיב כראוי. אסטרטגיית בינה מלאכותית שונה שימשה בפיתוח ה-LASSI-D. אווטאר אנושי נוצר באמצעות בינה מלאכותית ושימש כטכנאי בדיקות, שסיפק את כל ההוראות והמשוב שיינתנו על ידי בודק אנושי במצב בדיקה סטנדרטי. האווטאר גם למד לענות על סט שאלות נפוצות שנקבע מראש, שהופעלו כאשר הבדיקה נגעה באייקון "?" על המסך. בשלב הזה לא נעשה ניסיון לתקשר אינטראקטיבית. הקבלה של ההליך הייתה גבוהה למדי (95% השלמת מפגשי בדיקה) באוכלוסייה דוברת ספרדית חד-לשונית של מיעוט בלבד, עם שיעורי השלמה גבוהים מאוד (מעל 96% ממושבי ההערכה) והצהרות איכותניות של העדפות לבודקי אווטאר על פני בני אדם.
דרך אפשרית להרחבת הנחיית הבינה המלאכותית להערכה והכשרה ללא פיקוח תהיה פיתוח מערכת הדרכה וסיוע שנועדה לסייע למשתתפים להקים ולהתחיל את ההערכות או ההכשרה ללא פיקוח בפעם הראשונה. למרות שעדיין בפיתוח, FUNSAT עובר שינוי לכלול מודול הדרכה ראשוני עם הדרכת אווטאר אנושי, כדי לאמן משתתפים פוטנציאליים להירשם להכשרה, להיכנס לאתר ולהתחיל את מאמצי ההדרכה שלהם. אסטרטגיות אלו נוטות יותר להימסר באופן עקבי ומדויק מאשר אינטראקציות טיפוליות בצ'אטבוט, כי התקשורת עם אווטאר תתבסס על תשובות מראש לשאלות ומתן הוראות עקביות.
אסטרטגיות דיגיטליות נוספות
הסקירה הנוכחית מתמקדת בהערכות קוגניטיביות מכוונות ומבוססות ביצועים. קיים מגוון מרשים של מדדי פנוטיפינג דיגיטליים פסיביים שכעתמאושרים וניתן לקשר אותם לתוצאות הערכה ללא פיקוח. אלה כוללים גיאולוקציה67, פעילות גופנית68, הקשר חברתי69, אינטראקציות עם מכשירים70, ומאפייני דיבור ושפה71. למרות שאלו אינם בהכרח מדדים לקוגניציה, הם משקפים גורמים סביבתיים פוטנציאליים שעשויים גם להשפיע על ביצועים קוגניטיביים. לדוגמה, מצב מצב רוח המוסק מתגובות פנים או קוליות, הקשר חברתי והסחת דעת ברקע יכול להיות קשור לביצועים קוגניטיביים, במיוחד במהלך הערכות לא מפוקחות. חלק מהאתגרים הקשורים להערכה לא מפוקחת עשויים להיות ניתנים לזיהוי ולהפחתה באמצעות שימוש מקביל בפנוטיפינג דיגיטלי פסיבי של eC. מכיוון שצעדים אלו אינם דורשים מאמץ מכוון לאיסוף הנתונים, הם אינם מוסיפים עומס להערכות.
הערכה דיגיטלית וטיפול בליקויים קוגניטיביים ותפקודיים מבטיחים מאוד כי הם מאפשרים להרחיב את התהליך ולהגיע למשתתפים שאולי לא הייתה להם גישה אחרת. ההתפתחויות הטכנולוגיות מאפשרות תרגום קל של גירויים, יצירת טפסי הערכה מקבילים והעברה מרחוק. רוב הנתונים מצביעים על כך שתוצאות ההערכה וההכשרה ללא פיקוח מתכנסות מאוד לאלו של אסטרטגיות ישנות, מבחינת מדדי ביצועים גלובליים. עם זאת, קיימים אתגרים הן במעורבות המשתתפים והן בתכונות הטכניות של פיתוח הבדיקות. רבים מהמשתתפים אינם מסוגלים לנהל טכנולוגיה ללא פיקוח. למרות שהטכנולוגיה מקלה על תרגום גירויים ויצירת צורות מקבילות, לא ניתנה תשומת לב מספקת לדמיון הפסיכומטרי של תרגומים או צורות חדשות. הגישה השיטתית להערכה פסיכומטרית של איכות המבחנים אינה מוצדקת משום שהטכנולוגיה מקלה על יצירת גירויים לבדיקה.
מחקרים טיפוליים פרמקולוגיים מסוימים שהשתמשו בהערכות תוצאות דיגיטליות נכשלו בזיהוי השפעות טיפול, וכישלונות אלו עשויים להיות קשורים חלקית לגרסאות שונות של הבדיקות, מבחינת צורות מקבילות או גירויים מתורגמים, שאינן מתכנסות לגרסה המקורית. אסטרטגיות אלו, בין אם בשל בעיות בבדיקות או אתגרים בצורות החדשות, נמצאו גם כבעלות פוטנציאל להניב ביצועי בדיקה משתנים מדי ונתונים חסרים.
גישה משלימה הייתה שימוש בעוזרי בדיקות ואימון אווטארים מונחי בינה מלאכותית. גישות כאלה מבטיחות מאוד, אך עצמן דורשות אימות לפני פריסה מלאה. במקרים שבהם משתמשים באסטרטגיות כאלה, תידרש גישה מדורגת: העוזר יספק תחילה הוראות ומשוב מתוסרטים במלואם, ואז יעבור הכשרה עם מודלים בשפה רחבה להבין שאלות משתתפים ולתקשר עם המשתתפים.
ההקשר החברתי של הערכה והתערבות חשוב לשימור מאמצים הקשורים לטכנולוגיה. בודקים אנושיים יכולים להסתגל לאתגרים של המשתתפים ולהקל על מעורבות בהדרכה, תוך מתן סיוע טכני. אינטראקציה זו תצטרך להשתלב בגישות דיגיטליות להערכה והכשרה קוגניטיבית ללא פיקוח, כדי להרחיב את טווח ההשפעה של אסטרטגיות אלו. משתתפים הזקוקים ביותר להערכות ואסטרטגיות התערבות אלו גם הם ככל הנראה זקוקים לסיוע בהנחיה תוך ביצוע משימות הערכה והכשרה קוגניטיביות ותפקודיות.
תיק משלים 1: סוגיות הקשורות לפיתוח הערכות מבוססות ביצועים תקפות: התמקדות בתוקף, היתכנות וסבילות של הערכות והכשרה המסופקות דיגיטלית. אנא לחצו כאן להורדת הקובץ הזה.
ד"ר הארווי קיבל דמי ייעוץ או החזרי נסיעות מ-Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences ו-Recognify. יש לו מענק מחקר מ-Intracellular Therapeutics (כיום חלק מג'ונסון אנד ג'ונסון). הוא מקבל תמלוגים מהערכת Brief of Cognition in Schizophrenia (בבעלות Clario, לשעבר WCG Endpoint Solutions, Inc, לשעבר Verasci, וכלולה ב-MCCB). הוא המנהל המדעי הראשי של i-Function, Inc. ויועץ מדעי ל-EMA Wellness, Inc. מר קאלסטרופ הוא מייסד-שותף ומנכ"ל i-Function, Inc.
המחקר התומך בפיתוח ה-FUNSAT וה-LASSI-D מומן על ידי מענקי המכון הלאומי להזדקנות (NIA) של ארצות הברית R44 AG074818-02, R43 AG057238-02 ו-R44 AG057238-04, עם פיטר קאלסטרופ כחוקר ראשי.
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה