تمكن الاستراتيجيات الرقمية من التقييم والتدريب عن بعد غير تحت الإشراف، لكن هناك عدة اعتبارات ضرورية لضمان صحة البيانات المجمعة وفائدة التدخلات.
مقالة مراجعة
تمكن الاستراتيجيات الرقمية من التقييم والتدريب عن بعد غير تحت الإشراف، لكن هناك عدة اعتبارات ضرورية لضمان صحة البيانات المجمعة وفائدة التدخلات.
تسمح التطورات التكنولوجية بإمكانية تقديم التقييم والتدريب المعرفي والوظيفي رقميا. هناك فئتان رئيسيتان من الاستراتيجيات الرقمية: تلك التي تم تطويرها في البداية للتسليم الرقمي وتلك التي تم نقلها من التقييمات التقليدية السابقة بالورق والقلم الرصاص. كما أجريت أبحاث كبيرة حول التقييم والتدريب تحت الإشراف مقابل غير المراقب. مكنت التطورات الرقمية المتزامنة، مثل الذكاء الاصطناعي (AI)، من التوليد السريع لنماذج التقييم المتوازية وترجمة مواد التقييم للاستخدام الدولي، مما يشير إلى إمكانية نشر واسع النطاق عالميا. الترجمة لا تضمن التحقق، وقد تمت ترجمة العديد من أدوات التقييم ولكن لم يتم توثيقها أو التحقق منها بعد الترجمة. في هذه المراجعة، نفحص الحالة الحالية لجهود التقييم والتدريب الرقمية، باستخدام أمثلة من تقييمات شخصية واسعة النطاق تم تطبيقها وخضعت للترجمة والانتقال الرقمي، ونقارنها باستراتيجيات رقمية لم تقدم أبدا على الورق أو حضوريا. تقدم تعليقات حول فائدة الأداء غير الخاضع للإشراف وتداعياته على الأفراد الذين يديرون التقييمات الرقمية أو برامج التدريب بأنفسهم. هناك عدة مجالات تتطلب تفكيرا دقيقا لتقديم استراتيجيات رقمية عن بعد تكون متاحة وشخصية، بما في ذلك السلامة النفسية، والصلاحية اللغوية، والدعم الاجتماعي الذي يقدمه المختبر البشري الشخصي، وما إذا كان يمكن قياس هذا الدعم وتكمله بدائل رقمية.
لقد غيرت الثورة الرقمية مشهد التقييم والتدريب المعرفي والوظيفي في الحالات المرتبطة بالشيخوخة والطب النفسي. تعتمد نسبة كبيرة من التقييمات التي تجرى اليوم كليا أو جزئيا على التقديم الرقمي. يمكن نقل التقييمات الرقمية من اختبارات العصبية النفسية القياسية التقليدية التي يجرى بواسطة مختبر بشري 1,2 أو من أصل كامل إلى منصة رقمية 3,4,5. تشمل بعض الاستراتيجيات التوصيل على الأجهزة المحمولة 6,7,8، والتي يمكن أن تصاحبها تقييمات عن بعد أخرى لالتقاط المزاج اللحظي، والمواقع، والظروف البيئية9.
يسمح الهجرة الرقمية المنهجية بمقارنة الإصدارات الرقمية من الإجراءات مع النسخ القديمة. لبعض المهام، تم جمع معلومات تحقق موسعة مع مقارنات منهجية مع الإجراءات القديمة. مثال على ذلك هو التقييم الموجز للإدراك في الفصام (BACS)، حيث تم نقل اختبار إرث10 المعياري بشكل واسع إلى التسليم الرقمي11، مع دراسة معيارية مقارنة12. مثال مشابه كان الهجرة الرقمية لمقاييس لوينشتاين-أسيفيدو للتداخل الدلالي والتعلم (LASSI-L)13، والتي تم نقلها إلى نسخة14 موجهة بالأفاتار وقابلة للإدارة عن بعد مع ثلاثة أشكال رقمية15.
من مزايا المهام الرقمية أن التحديثات السريعة، التي تكون غالبا مؤتمتة، بما في ذلك المحفزات الاختبارية، قابلة للتنفيذ بشكل كبير. يشمل ذلك الترجمات اللغوية باستخدام استراتيجيات الذكاء الاصطناعي (AI)، والتي يمكنها إنتاج نسخ بديلة بسرعة. كما تسهلها استراتيجيات الذكاء الاصطناعي تطوير أشكال موازية مطلوبة للاختبارات المتكررة، خصوصا للذاكرة أو حل المشكلات، لتجنب تأثيرات الممارسة غير المقبولة16، حتى في الفئات المصابة بالخرف17. أحد أهدافنا في هذه المراجعة هو تقييم جودة الهجرات الرقمية السابقة والتكيفات مع الذكاء الاصطناعي، بما في ذلك البيانات المتعلقة بالتكافؤ بعد الهجرة الرقمية، والترجمة اللغوية، وتطوير الأشكال المتوازية.
تطور آخر في التقييم الرقمي هو الإدارة الذاتية عن بعد أو غير الإشراف للتقييم الرقمي أو إجراءات التدريب. بينما كان هذا ممارسة معتادة لسنوات في التدريب المعرفي المحوسب التجاري (CCT)18، اقترحت بعض الدراسات أن الإدارة الذاتية غير المراقبة للاختبارات الإدراكية يمكن أن تكون ممكنة أيضا 19,20,21. يمكن إجراء الإدارة الذاتية غير الإشراف في المنزل عبر جهاز رقمي متصل بالإنترنت أو في مركز اختبار، حيث يجري عدة مشاركين الاختبارات تحت إشراف محدود. كانت دراسات الجدوى عموما قصيرة الأمد، رغم أن بعضها كان بنفس المدة أو المدة أطول مقارنة بالتجارب السريرية التقليدية. سنراجع الحالة العامة للتقييمات والتدريب غير الخاضع للإشراف ونعلق على المجالات التي تواجه تحديات أو حيث تحتاج إلى مزيد من المعلومات.
قضية حاسمة في التقييم والتدريب غير المراقب هي التكيف بين الثقافات وإمكانية الجدوى. بالإضافة إلى اختلافات اللغة، هناك اختلافات اقتصادية كبيرة، من المحتمل أن تؤثر على الوصول الرقمي والقراءة والكتابة، بما في ذلك الخبرة مع الهواتف المحمولة، وأجهزة الكمبيوتر اللوحية أو الحواسيب المحمولة، والوصول إلى الإنترنت المنزلي22. الفجوة الرقمية العالمية لم تعد مرتبطة بالعمر بل اقتصادية. قد تختلف الدوافع للمشاركة في الأنشطة الرقمية عن بعد عبر الإنترنت بشكل كبير بين المشاركين. شملت مقاييس الجدوى للتقييم غير الخاضع للإشراف معدل الموافقة، وإتمام التقييم، وصحة البيانات، والقدرة على إدارة التقنية. تستهدف معظم التقييمات السريرية غير المراقبة الأفراد الذين يعانون من بعض الإعاقات المتوقعة الذين قد يحصلون على تعليمات مكثفة، بما في ذلك الحضور، بشأن تسجيل الدخول وإكمال التقييمات أو التدريب. بيانات الجدوى من الأفراد الذين يسجلون في دراسات عن بعد يتم فيها جميع التسجيل والتدريب بشكل مستقل تماما.قد لا تكون قابلة للتعميم على الأفراد ذوي المستويات الأقل من المهارات الرقمية، وثقتهم المنخفضة في قدراتهم، وأداء معرفي عام أقل. يشمل ذلك الأفراد الذين يشتبهون في وجود علامات مبكرة للخرف ويجرون تقييما غير خاضع للإشراف في العيادة.
في دراسة حول انتقال نظامي تقييم رقميين من عرض الكمبيوتر المقيم على الأجهزة إلى التسليم السحابي24، كانت هناك مزايا منهجية في سرعة جمع بيانات الشاشة اللمسية مقارنة بفأرة الكمبيوتر. هناك تحديات شائعة في الثقافة الرقمية في تقييمات القدرات الوظيفية: بعض المشاركين لديهم مهارات استخدام لوحة مفاتيح قليلة ويحتاجون إلى تعلم كيفية كتابة حرف كبير لكلمة مرور25. في دراسة متعددة المواقع حول الإدراك والقدرة الوظيفية في الولايات المتحدة26، تفاوت الأداء في تقييم القدرة الوظيفية الرقمية بأكثر من 1.0 SD عبر المواقع الجغرافية، مع تتبع التحصيل التعليمي والدخل الإقليمي. سنقوم بتقييم إمكانية وصلاحية التقييم والتدريب غير الخاضع للإشراف باستخدام جميع المقاييس المتاحة.
كما هو موضح أدناه، فإن التحدي الرئيسي في تقديم التكنولوجيا بدون إشراف ليس فشل النتائج الرقمية في التقارب مع المقاييس القياسية. التحدي الرئيسي هو الجدوى الواسعة للتقنية المطلوبة للتقييمات والتدريب الذاتي، بالإضافة إلى الأداء المتغير بشكل مفرط في غياب الإشراف البشري. هناك تفاعل اجتماعي جوهري خلال المهام المعرفية القياسية يوفر الإشراف والمساعدة للمشاركين الذين يواجهون صعوبة. سؤال مهم يطرح أيضا هو ما إذا كان يمكن تقديم هذا الدعم رقميا، من خلال تفاعلات تعتمد على الذكاء الاصطناعي تحاكي تفاعلات المشاركين مع المختبرين في إجراءات التقييم القديمة التي يقدمها الإنسان.
فيما يلي مراجعة للبيانات المتعلقة بالقضايا المذكورة أعلاه. تشمل هذه المعايير للتحقق من الاختبارات القائمة على الأداء، والتي تنطبق على التقييمات القياسية والرقمية؛ معايير الهجرة الرقمية لتقييمات الورثة؛ ومقارنات عملية التحقق للمهام الرقمية الأصلية مع تلك التي تم نقلها من صيغ التسليم الورقية/البشرية القديمة، بما في ذلك الأشكال البديلة، والترجمة، والتكيف عبر الثقافات. هناك أيضا نقاش واسع النطاق حول جدوى الإعطاء غير المراقب مقارنة بالاستراتيجيات التي ينفذها الإنسان، مع الأخذ في الاعتبار الجدوى العامة لهذه الاستراتيجيات ودور المختبر البشري في التدخلات التقليدية للتقييم والتدريب. يتم تنفيذ عدة وظائف في هذه الحالات التقييمية، بعضها يمكن نظريا تقديمه بمساعدة منيرة بالذكاء الاصطناعي. المقدمة الإضافية 1 تعرض القضايا التي تم النظر فيها في هذه المراجعة.
المبادئ العامة في التحقق من صحة التقييم المعرفي والوظيفي
عند تطوير تقييم رقمي أو استراتيجية علاج موثوقة جيدا، تظهر عدة اعتبارات. مثال نموذجي على هذه العملية كان برنامج تطوير تقييم النتائج التعاوني واسع النطاق، مبادرة القياس والعلاج لتحسين الإدراك في الفصام (MATRICS)، التي أجرت دراسة تحقق لمجموعة كبيرة من التقييمات القديمة التي قدمها المختبرون. استنادا إلى مناقشات في اجتماع إجماع27، تم توجيه اختيار الاختبار في هذا السياق بخمسة اعتبارات أساسية: الموثوقية عبر التكرار من الأعطية، ملاءمة الاستخدام الطولي، الارتباط بالنتائج الوظيفية، الحساسية للتغيرات المرتبطة بالعلاج، والجدوى والتحمل. تم تعريف الملاءمة للتكرار على أنها إما تحسين أداء طفيف نتيجة الممارسة أو توفر أشكال بديلة مكافئة. على الرغم من أن اختبار MATRICS Consensus Cognitive Battery (MCCB)28 اختار مجموعة من الاختبارات التي تستوفي هذه المعايير، إلا أن البطارية أثبتت صعوبة في الإدارة عن بعد29. تم استخدام عملية تطوير مماثلة في تقييم مركز، وهو التقييم الموجز للإدراك في الفصام (BACS)3. تم تطوير BACS باستراتيجيات مماثلة، وتم فحص ستة اختبارات فرعية قدمها المختبرون في BACS لجميع هذه الخصائص، بما في ذلك دراسة تحقق كبيرة مع مجموعة تحكم صحية (n = 404)8.
تم التحقق من صحة ورقة BACS على نطاق واسع دوليا، مع عدة دراسات فحصت استخدامه (مثل: 30، 31، 32، 33، 34، 35). ومن المثير للاهتمام أن MCCB تمت ترجمته عدة مرات، حيث يدرج موقع المطور36 45 ترجمة مختلفة. كما لوحظ الموقع الإلكتروني أن ~10 فقط من أصل 45 نسخة لديها معايير لغوية رسمية، رغم استخدامها الواسع في التجارب السريرية الدولية. هذه مسألة يتم تناولها لاحقا.
تم إجراء الهجرة الرقمية ل BACS إلى تطبيق BAC بشكل منهجي في دراسة مقارنة11، شملت مشاركين مصابين بالفصام ومجموعة تحكم صحية، وجميعهم تم اختبارهم باستخدام النسختين القديمة والرقمية. قبل بدء الدراسة، تم تطوير أشكال بديلة لعدة اختبارات فرعية من BAC-App، بما في ذلك الذاكرة اللفظية (سبع نسخ)، ترميز الرموز (ثماني نسخ)، وبرج لندن (ثماني نسخ). لذا، تم تصميم الهجرة الرقمية للمهمة لتمكين المقارنة المباشرة بين النسختين والتحقق من الأشكال المتوازية. أجريت دراسة تحقق واسعة النطاق لاحقة (N = 55312) مع مجموعة تحكم صحية وعدد قليل من المشاركين الذين يعانون من تدهور معرفي ذاتي، وأعطت معلومات معيارية عن الأداء في تطبيق BAC-App. لذا، تم جمع البيانات المعيارية مع النسخة القديمة ثم تكرارها مع النسخة الرقمية، بما في ذلك تقييم الأشكال المكافئة (على الرغم من أن البيانات لم تنشر حتى الآن). من المهم ملاحظة أن تطبيق BAC الناتج ليس مخصصا للإدارة غير المراقبة؛ يجب أن يكون هناك مختبر موجود.
تم إجراء جهد مشابه للهجرة الرقمية لتقييم ورقة قديمة، وهو مقاييس لوينشتاين-أسيفيدو للتداخل الدلالي والتعلم (LASSI-L)13,14. يستهدف هذا التقييم اكتشاف التداخل الدلالي الاستباقي، الذي ثبت أنه يتنبأ بتدهور المعرفي الأسرع ووجود مؤشرات ADRD حتى في الحالات التي تحتوي على ضعف إضافي بسيط15. كانت هناك بيانات معيارية واسعة متاحة لاختبار LASSI-L، وتم تطوير نسخة رقمية (LASSI-D) لاحقا للتقييم غير الخاضع للإشراف. في عملية التطوير تلك، تم التركيز على الموثوقية عبر الإدارات، والملاءمة للاستخدام المتكرر، والصلة بالنتائج الوظيفية، والجدوى والتحمل. كان من التقدم مقارنة بترحيل BACS التحقق المتزامن من النسخ الإسبانية والإنجليزية من LASSI-D، على عكس النسخ المماثلة من LASSI-L، وتطوير النسخة المنقولة باستخدام استراتيجيات مستندة بالذكاء الاصطناعي لزيادة جدوى وصحة الإدارة الذاتية غير المراقبة. على وجه التحديد، يقوم الرمز البشري بأداء وظائف المختبر البشري، حيث يقدم التعليمات، ويصحح الأخطاء، ويقدم التشجيع لتحسين أداء المشاركين. أشارت البيانات النوعية التي جمعت من المشاركين إلى مستويات عالية من الرضا عن التقييمات التي يقدمها الأفاتار، مع درجات تفضيل أعلى لهذه التقييمات مقارنة بالتقييمات التي يقدمها البشر.
يجب أن تلتزم التقييمات الرقمية الأصلية بنفس مبادئ الموثوقية والصلاحية، وبعض البرامج كذلك. على سبيل المثال، التزم تطوير مقياسين مختلفين للقدرة الوظيفية الرقمية، وهما أداة تقييم القدرة الوظيفية للواقع الافتراضي (VRFCAT)3,37 وبرنامج تقييم وتدريب المهارات الوظيفية (FUNSAT)25,38 بنفس المبادئ الخمسة في دراسات التحقق. خضع كل من VRFCAT وFUNSAT لانتقال رقمي ثانوي إلى التسليم السحابي24، وكلا الاختبارين لهما أشكال بديلة مع تشابه مثبت. كما أخذت دراسة الهجرة في FUNSAT في الدراسة أداء المتحدثين بالإسبانية والإنجليزية عبر ثلاثة أشكال بديلة.
ميزة أخرى لكل من VRFCAT وFUNSAT كانت الجهود المكثفة للتحقق المتقارب، مع إجراء مقارنات مع استراتيجيات التقييم التقليدية والرقمية. على سبيل المثال، تم فحص ارتباط VRFCAT مع الأعراض السلبية في الفصام39، وكذلك ارتباطه بمؤشرات القدرة الوظيفية الأخرى40. أجريت دراسة نوعية لتقييم قبوله لدى السكان المستهدفين41. بالنسبة ل FUNSAT، تم الإبلاغ عن دراسات حول بنية العوامل42، والحساسية للعلاج43، والترابطات مع BAC-app44، ومقاييس القدرة الوظيفية الأخرى45، وارتباطات مع الوظائف المبلغ عنهاذاتيا 46.
تقنية التقييمات غير المراقبة
التقييم العصبي النفسي بالورق والقلم هو الحالة المميزة للتقييم تحت الإشراف، والذي يشمل التفاعل الاجتماعي، والإشراف، والإرشاد، والاقتراحات لتجنب الاستجابة الإشكالية. كما ذكر أعلاه، بعض المقاييس المعرفية والوظيفية التي تدار رقميا مصممة ليتم إجراؤها من قبل الفاحص. من الأمثلة على ذلك Sameentical-Pairs CPT47 من MCCB، وتطبيق BAC، وVRFCAT. تم تصميم تقييمات أخرى بحيث يمكن إجراؤها دون إشراف دون وجود فاحص، لأن إجراء التقييم مؤتمت ويعمل بشكل مستقل4. أظهرت بعض هذه البرامج عرضة لعدم وجود درجات48 أو49 غير صالحة في بعض الاختبارات الفرعية، رغم أن نسبة الحالات التي حصلت على درجات غير صالحة كانت منخفضة. قد تعكس هذه الدرجات ضعف تفاعل المجتذبين، ويمكن تصحيحه في بعض الحالات بتعليقات الممتحنين. مع التكنولوجيا الرقمية الحالية، يمكن اكتشاف انقطاعات في الاستجابة أثناء الاختبار، ويمكن تعليق العملية مؤقتا أثناء تذكير المشارك بالاستمرار. على سبيل المثال، تقوم وحدات التقييم والتدريب في FUNSAT بإيقاف الإجراء مؤقتا وتعرض نافذة منبثقة إذا لم يتم استقبال أي استجابة خلال 15 ثانية. هذه العملية المدمجة للكشف غير موجودة في جميع الاستراتيجيات المذكورة أعلاه.
بيانات حول جدوى التقييمات غير المراقبة
هناك العديد من الدراسات حول تقييمات غير مراقبة للأداء المعرفي في الأمراض النفسية الخطيرة واضطراب فرط الحركة واضطراب فرط الحركة واضطراب النفس. حددت مراجعة ADRDواسعة النطاق 20 28 تقريرا بحثيا حديثا و23 أداة مختلفة للتقييمات غير المراقبة، تم إكماها إما في زيارة مكتبية أو عن بعد. كانت بيانات القبول جيدة جدا، حيث تجاوزت معدلات الموافقة المستنيرة والمشاركة 85٪. أفاد العديد من المشاركين بأنهم مستعدون للمشاركة مرة أخرى.
تفاوتت نسبة الالتزام بالتقييمات بشكل كبير، حيث تراوحت من 63٪ في دراسة استمرت 8 أسابيع إلى 94٪ في دراسة أخرى استمرت 8 أسابيع. كانت معدلات البيانات غير القابلة للاستخدام منخفضة، لكن بعض استراتيجيات التقييم أدت إلى ارتفاع معدلات التحديات في إتمام التقييمات. في بيئات الواقع المعزز المنزلية، أدت القيود التقنية إلى فقدان حوالي 21٪ من البيانات، وأدى عدم توافق الأجهزة إلى عدم تمكن ما يقرب من 32٪ من المشاركين من إكمال التقييمات عن بعد.
الاعتبارات السيكومترية، التي تدار عادة بعناية في استراتيجيات التقييم التقليدية، لم تكن مطبقة كما كان يمكن أن تؤخذ بعين الاعتبار. على سبيل المثال، كانت فقط 2/23 مهمة تم الإبلاغ عنها عن تقارب النماذج المتوازية وموثوقية الاختبار-إعادة الاختبار ضمن الحد الأدنى من النطاق المقبول. ومع ذلك، وبما أن بعض هذه التقييمات أجريت عن بعد وبشكل عشوائي، فقد تؤثر العوامل البيئية على الأداء، وهو اعتبار مهم. لذا، ما يبدو أنه موثوقية منخفضة في اختبار إعادة الاختبار قد يعكس فعليا حساسية للتأثيرات البيئية والتباين داخل المشاركين المرتبط بتغير العوامل البيئية 9,50. كانت الصلاحية المتقاربة مع التقييمات المعرفية القياسية مقبولة باستمرار، مع تراوحت الارتباطات من r = 0.50 إلى 0.70.
كانت مراجعة التقييمات الإدراكية عن بعد في الفصام21 بحجم مماثل (34 مقالة) وأثارت بعض نفس القضايا، رغم أن مجموعة فقط من الدراسات أجرت تقييمات غير خاضعة للإشراف فعليا. معظم التقييمات التي تجرى عن بعد لم تذكر النماذج المتوازية، ولم تكن هناك تقارير تقريبا عن معايير للتقديم عن بعد مقارنة بالتقييمات الشخصية. في الواقع، دراسة واحدة فقط من بين 34 دراسة فحصت الأداء المعياري في التقييمات عن بعد مقابل التقييمات الشخصية مقابل التقييمات تحت الإشراف. ومن النتائج الأخرى التي تطابقت دراسة بولك وآخرين أن عدم القدرة على إكمال التقييمات، بسبب مشاكل الاتصال بالإنترنت، وتقارير أعطال التكنولوجيا، وغيرها من الاعتبارات التكنولوجية، كان كبيرا وحاضرا في معظم الدراسات غير المراقبة.
ظهرت مشكلة في محاولة لإدارة تطبيق BAC عن بعد هي قلق المشاركين بشأن سلامة البيانات، حيث تم اختبارهم شخصيا وعن بعد باستخدام تطبيقBAC-app 51. في تلك الدراسة، كان المشاركون في المتوسط يحققون أداء أفضل بكثير في اختبار التعلم على قائمة الكلمات الذي أجري عن بعد، مما يشير إلى أنه أثناء تقديم المحفزات، كتبوا أو سجلوها. بالإضافة إلى قائمة الاعتبارات المتعلقة بالتقييمات غير الخاضعة للإشراف، يبدو أن هناك حاجة إلى نوع من استراتيجيات الأمان للحفاظ على سلامة البيانات.
قدمت تدريبا رقميا معرفيا ومهاراتي عن بعد
هناك عدة دراسات أجريت حول تدريب المهارات الإدراكية والوظيفية عن بعد في الفصام52 والضعف الإدراكي الخفيف53. بالإضافة إلى ذلك، تمت إضافة التدريب المعرفي كتدخل مشترك لتعزيز فعالية التدخلات الأخرى، مثل علاجات الأعراض السلبية المعتمدة على التطبيقات في الفصام54والتدريب الرقمي على المهارات الوظيفية في MCI25. النتائج العامة هي أن معدل الالتزام والمكاسب التدريبية التي تم رؤيتها متشابهة جدا في المنزل وفي العيادة، لفئات تتراوح من الفصام إلى MCI وADRD. الالتزام ليس مثاليا أبدا، وتتأثر مكاسب التدريب بالفروق الفردية في الخصائص 55,56. أحد العوامل التي قد تؤدي إلى تحقيق مكاسب كافية والالتزام هو أن إجراءات التدريب المعرفي، سواء أجريت في العيادة أو عن بعد، متطابقة في الأساس. القضايا المذكورة أعلاه حول التحديات التقنية وعدم القدرة على إطلاق البرامج هي نفسها بوضوح في التدريب عن بعد كما في التقييم عن بعد. الدراسات التي تلقى فيها المشاركون تدريبا شخصيا لتسهيل تشغيل وتشغيل البرنامج دون إشراف أبلغت عن أفضل التزام عن بعد (مثلا، 53).
الاستخدام العالمي للتقييمات والعلاجات الرقمية
كما ذكر أعلاه، كانت هناك عدة ترجمات لتقييمات الأوراق القديمة، بالإضافة إلى جهود دولية متعددة في المجال الرقمي. على سبيل المثال، تم تطوير تقييمات رقمية لعسر القراءة57 والمهارات الرياضية58 في إسبانيا، رغم أنه من غير الواضح ما إذا كانت هذه المهام قد ترجمت إلى لغات أخرى. في الصين، تم تطوير استراتيجية لتعديل اختبار صنع المسار ليشمل قياسا إضافيا للمهارات الحركية59 ، وطورت دراسة أخرى في الصين إجراء تداخل مزدوج المهمة لفحص معالجة الجمل المعقدة60. في سنغافورة، برنامج تدريب فريد عبر اللغات يشمل أفرادا ثنائيي اللغة مدربين على الإنجليزية ولغة آسيوية أخرى، بهدف تحسين الأداء المعرفي61. أفادت جميع هذه الدراسات بنجاح جهود تطوير وقبول، رغم أن واحدة فقط سمحت بمقارنة مباشرة لفائدة الاختبارات عبر اللغة داخل المجموعات الثقافية.
دور التحقق المحلي للاختبارات المترجمة
تم التحقق من صحة استراتيجيات التقييم الحضوري التقليدية الأكثر استخداما، مثل MCCB وBAC، بشكل واسع في لغات ومجموعات ثقافية مختلفة كما ذكر أعلاه. وعلى النقيض من ذلك، فإن صندوق أدوات NIH، وهو تقييم واسع النطاق يستهدف الأفراد الذين تتراوح أعمارهم بين 3 و85 عاما، يقدم فقط باللغة الإنجليزية ويدار على منصة رقمية فرديةواحدة 62. هناك معلومات إقليمية وعالمية أقل بكثير حول التحقق من صحة النسخ المنقولة رقميا من مهام وبرامج التدريب في التقييم المعرفي والوظيفي. على سبيل المثال، في دراسة ERUDITE63حول luvadaxistat، تم تطبيق BAC في ثماني لغات مختلفة، ولم تنشر سوى دراسةواحدة 64 تؤكد شكل لغوي مختلف (أي الإسبانية) من هذا التقييم بعد الهجرة الرقمية. تم استخدام بعض التقييمات المباشرة إلى الرقمية، مثل VRFCAT، في نسخ مترجمة في دراسات تضم أكثر من 30 لغة مختلفة65. مرة أخرى، لا توجد قاعدة أدلة كبيرة لاستخدام VRFCAT عبر اللغات، رغم أنه تم تقديم تأكيد لتشابه الأشكال المتوازية عند تطوير النسخة الأصلية باللغة الإنجليزية من التقييم. من المرجح أن تكون معلومات التحقق التي تم جمعها من خلال النسخ القديمة من المهام المنقولة رقميا ذات صلة كبيرة إذا لم تغير الترحيل أي ميزات في الاختبار، لكن هناك عددا من اللغات التي لم تدرس فيها مقاييس النتائج، وهي الهجرات القديمة والرقمية، من حيث خصائصها النفسية. ومع ذلك، كما ذكر في مراجعتين مختلفتين20,21 لاضطراب اضطراب الفصام والفصام، لم يتم إيلاء اهتمام كبير لخصائص المهام على المستوى الدولي بعد التعديل والهجرة الرقمية.
كانت التحديات في هاتين الدراستين أن VRFCAT أظهر تباينا أكبر من المتوقع، وأن عددا كبيرا من المشاركين حصلوا على درجات منخفضة جدا. من الممكن أن تكون الترجمات قد أثرت سلبا على الأداء. ومن المحتمل أيضا أن التحديات مع المختبرين غير المتمرسين أدت إلى سوء الإشراف على تفاعل المشاركين أثناء التقييمات. على الرغم من الاحتمال الواضح لتحديات المختبرين، إلا أنه من المبكر أيضا التفكير بأن ترجمة لغوية معتمدة ستضمن أداة متشابهة نفسيا. خلال عملية الهجرة الرقمية المنهجية، يجب فحص أداة إرث الورق والقلم الرصاص لتوليد درجات مشابهة للنسخة الرقمية، رغم أنه، كما أشار المراجعتان أعلاه، هذا غير موثق ليكون شائعا. الاستراتيجية الموضحة أعلاه للهجرة الرقمية ل LASSI-D ليست عرضة لهذه التحديات، لأنها تتضمن مقارنة نفسية منهجية لكل من الأشكال الرقمية المتوازية الثلاثة مع نتائج النسخة القديمة التي يديرها الإنسان عبر كل من الإسبانية والإنجليزية. ومع ذلك، فهي عملية مفصلة للغاية وسيكون من الصعب جدا تنفيذها في الوقت المناسب لتجربة سريرية من 30 لغة.
ما هو دور المختبر البشري؟
تشير البيانات إلى أن التحدي الرئيسي في التقييم والتدريب الرقمي غير الخاضع للإشراف هو تمكين المشاركين من جعل التكنولوجيا تعمل والوصول إلى النظام. قد تنبع تحديات أخرى، مثل تقارير المشاركين عن عدم التوافق التكنولوجي، أيضا من عدم إلمام المشاركين بالاستراتيجيات الرقمية وعدم قدرتهم على تشغيل التكنولوجيا. لذا، في نماذج التقييم غير الخاضع للإشراف، قد تكون التعليمات الشخصية قبل بدء التقييمات استراتيجية مفيدة أو حتى ضرورية.
تجرى بعض التقييمات التقنية بشكل أساسي خلال زيارات العيادة، بما في ذلك غالبية المهام المصممة للتقييم عن بعد في حالات الفصام. على سبيل المثال، يتطلب VRFCAT إشراف شخصي على التقييمات، وكذلك تطبيق BAC-App. يحتوي VRFCAT على مكون مقدمي يدار قبل التقييم الرسمي، حيث يجيب المختبر البشري على أي أسئلة ويعيد توجيه أي جهد غير كاف، بينما يعمل قسم التقييم الرئيسي بشكل مستمر. يوجه الممتحن للإشراف على المشارك وتقديم الإرشاد له إذا فشل في المثابرة في جهوده. ومع ذلك، وجدت دراسة حديثة ل VRFCAT أن بعض المشاركين كان لديهم العديد من "التقدم القسري"، أي أنهم لم يحلوا هدف اختبار خلال 300 ثانية. وبما أن بعض الأهداف مهمة قصيرة واحدة ("التقاط المحفظة"), فقد يشتبه في وجود إخفاقات في إشراف الفاحص. تدير تقنية تطبيق BAC جميع المحفزات وتجمع جميع البيانات، لكنها لا تزال تتطلب من المختبر البشري الإشراف على الأداء ودفع المهام الفرعية بعد إكمال المشارك. لا يتطلب نظام الحالة المضغوطة الإشراف على أداء المشاركين، لكن هناك تقارير متعددة عن أداء غير صالح في بعض مكونات النظام وانخفاض الحساسية تجاه الإعاقات في الفصام66 ، والتي قد تنشأ من أداء مستمر غير كاف ودرجات متقلبة من جانب المشاركين، ويمكن اكتشافها وتصحيحها بالإشراف الشخصي.
هل من الممكن استخدام الإشراف الرقمي؟
هناك اهتمام كبير حاليا بروبوتات الدردشة أو التدخلات النفسية الرقمية الأخرى التي تقدمها الذكاء الاصطناعي. من بين تحديات هذه التدخلات الحاجة إلى التواصل ثنائي الاتجاه، حيث يجب على معالج الذكاء الاصطناعي فهم تواصل العميل في الوقت الحقيقي والاستجابة بشكل مناسب. تم استخدام استراتيجية ذكاء اصطناعي مختلفة في تطوير LASSI-D. تم إنشاء صورة رمزية بشرية باستخدام الذكاء الاصطناعي وكانت تعمل كفني اختبار، تقدم جميع التعليمات والملاحظات التي يصدرها المختبر البشري في حالة اختبار قياسي. كما تم تعليم الصورة الرمزية الإجابة على مجموعة محددة مسبقا من الأسئلة الشائعة، والتي كانت تفعل عندما يلمس الفحص أيقونة "؟" على الشاشة. لم يكن هناك أي محاولة للتواصل التفاعلي في تلك المرحلة. كانت قبولية الإجراء مرتفعة جدا (95٪ من إكمال جلسات الاختبار) في فئة أقلية تتحدث الإسبانية بلغة واحدة، مع معدلات إتمام عالية جدا (أكثر من 96٪ من جلسات التقييم) وتفضيلات نوعية لمختبري الصور الرمزية على البشر.
إحدى الاحتمالات لتوسيع إرشادات الذكاء الاصطناعي للتقييم والتدريب غير الخاضع للإشراف هي تطوير نظام تدريب ومساعدة مصمم لمساعدة المشاركين على إعداد وبدء تقييماتهم أو تدريباتهم غير المراقبة لأول مرة. على الرغم من أنه لا يزال قيد التطوير، يتم تعديل FUNSAT ليشمل وحدة تعليمية أولية مع إرشادات الرموز البشرية لتدريب المشاركين المحتملين على التسجيل في التدريب، وتسجيل الدخول إلى الموقع الإلكتروني، وبدء جهود تدريبهم. هذه الاستراتيجيات أكثر احتمالا أن تقدم بشكل متسق ودقة مقارنة بالتفاعلات العلاجية عبر روبوتات الدردشة، لأن التواصل مع الأفاتار يعتمد على إجابات مسبقة على الأسئلة وتقديم تعليمات متسقة.
استراتيجيات رقمية أخرى
تركز المراجعة الحالية على التقييمات المعرفية المقصودة القائمة على الأداء. هناك مجموعة مثيرة للإعجاب من مقاييس التنمذج الظاهري الرقمي السلبي التي تم التخلص منها الآنويمكن ربطها بنتائج التقييم غير الخاضع للإشراف. تشمل هذه الخصائص تحديد الموقعالجغرافي 67، والنشاط البدني68، والسياق الاجتماعي69، والتفاعل مع الأجهزة70، وخصائص الكلام واللغة71. على الرغم من أن هذه ليست بالضرورة مقاييس للإدراك، إلا أنها تعكس عوامل بيئية محتملة قد تؤثر أيضا على الأداء المعرفي. على سبيل المثال، يمكن أن ترتبط حالة المزاج المستخلصة من استجابات الوجه أو الصوت، والسياق الاجتماعي، والتشتت الخلفي بالأداء المعرفي، خاصة أثناء التقييمات غير المراقبة. بعض التحديات المرتبطة بالتقييم غير المراقب قد تكون قابلة للكشف والتقليل من خلال الاستخدام المتزامن للنمذجة الرقمية السلبية للتحكم الإلكتروني. وبما أن هذه الإجراءات لا تتطلب جهدا متعمدا لجمع البيانات، فهي لا تضيف عبئا على التقييمات.
التقييم الرقمي وعلاج العجز الإدراكي والوظيفي واعدان للغاية لأنه يتيح توسيع نطاق العملية والوصول إلى المشاركين الذين قد لا يكون لديهم إمكانية الوصول لولا ذلك. تتيح التطورات التكنولوجية ترجمة المحفزات بسهولة، وإنشاء نماذج تقييم متوازية، والتسليم عن بعد. تشير معظم البيانات إلى أن نتائج التقييم والتدريب غير الخاضع للإشراف متقاربة جدا مع نتائج الاستراتيجيات القديمة، من حيث مؤشرات الأداء العالمية. ومع ذلك، هناك تحديات في كل من تفاعل المشاركين والميزات التقنية لتطوير الاختبار. العديد من المشاركين غير قادرين على إدارة التكنولوجيا دون إشراف. على الرغم من أن التكنولوجيا تجعل من السهل ترجمة المنبهات وخلق أشكال متوازية، إلا أنه لم يكن هناك اهتمام كاف للتشابه النفسي للترجمات الناتجة أو الأشكال الجديدة. النهج المنهجي لتقييم جودة الاختبار النفسي غير مبرر لأن التكنولوجيا تجعل من السهل توليد محفزات الاختبار.
بعض الدراسات العلاجية الدوائية التي استخدمت تقييمات النتائج الرقمية فشلت في تحديد تأثيرات العلاج، وقد يرتبط هذا الإخفاق جزئيا بنسخ مختلفة من الاختبارات، من حيث الأشكال المتوازية أو المنبهات المترجمة، دون أن تتقارب مع النسخة الأصلية. وقد ثبت أن هذه الاستراتيجيات، سواء بسبب مشاكل في أجهزة الاختبار أو التحديات مع النماذج المطورة حديثا، قد تؤدي إلى أداء اختبار متغير بشكل مفرط وبيانات مفقودة.
كان هناك نهج إضافي هو استخدام مساعدي اختبار وتدريب الصور الرمزية الموجهة بالذكاء الاصطناعي. هذه الأساليب تحمل وعدا كبيرا، لكنها تتطلب التحقق قبل النشر الكامل. في الحالات التي تستخدم فيها مثل هذه الاستراتيجيات، سيكون من الضروري اتباع نهج متدرج: حيث يقدم المساعد في البداية تعليمات مكتوبة بالكامل وتعليقات، ثم يدرب على نماذج لغوية كبيرة لفهم أسئلة المشاركين والتفاعل معهم.
السياق الاجتماعي للتقييم والتدخل مهم للحفاظ على الجهود المتعلقة بالتكنولوجيا. يمكن للمختبرين البشريين التكيف مع تحديات المشاركين وتسهيل التفاعل مع التدريب، مع تقديم المساعدة التقنية. يجب دمج هذا التفاعل في الأساليب الرقمية للتقييم المعرفي والتدريب غير المراقب لتوسيع نطاق هذه الاستراتيجيات. المشاركون الأكثر حاجة لهذه التقييمات واستراتيجيات التدخل هم أيضا الأكثر احتمالا لمساعدة ميسرة أثناء إدارة مهام تقييم المهارات المعرفية والوظيفية والتدريب بأنفسهم.
الملف التكميلي 1: القضايا المرتبطة بتطوير تقييمات صالحة قائمة على الأداء: التركيز على صحة وإمكانية تحمل التقييمات والتدريب الرقمي. يرجى الضغط هنا لتحميل هذا الملف.
تلقت الدكتورة هارفي رسوم استشارية أو تعويضات سفر من ألكيرميس، بي إم إس (كارونا ثيرابيوتكس)، بويهرينجر إنغلهيم، كينيكسيس، مينيرفا نيوروساينسز، نيوروكرين بيوساينسز، وديسكاينيفاي. لديه منحة بحثية من شركة إنتراسلوال ثيرابيوتيكس (التي أصبحت الآن جزءا من جونسون آند جونسون). يتلقى عوائد من التقييم الموجز للإدراك في الفصام (المملوك لشركة كلاريو، التي كانت سابقا WCG Endpoint Solutions, Inc، وسابقا Verasci، وموجودة ضمن MCCB). وهو المدير العلمي الرئيسي لشركة i-Function, Inc.، ومستشار علمي لشركة EMA Wellness, Inc. السيد كاليستروب هو المؤسس المشارك والرئيس التنفيذي لشركة i-Function, Inc.
تم تمويل البحث الداعم لتطوير FUNSAT وLASSI-D من قبل منح المعهد الوطني الأمريكي للشيخوخة (NIA) R44 AG074818-02، R43 AG057238-02، وR44 AG057238-04، مع بيتر كاليستروب كمحقق رئيسي.
طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه
طلب إذن