$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
قمنا بتقييم دقيق لمكون الذكاء الاصطناعي التفسيري في خط الإنتاج بأكمله، وقمنا بتقييم مدى تنقله عبر أنواع مختلفة من بيانات الرعاية الصحية، بما في ذلك البيانات السريرية المنظمة والصور الطبية. أشارت النتائج إلى أداء تنبؤي متسق عبر مجموعات البيانات المقيمة. من بين النماذج التي تم اختبارها، حقق نموذج تعزيز التدرج أعلى دقة بنسبة 97.4٪، تلاها نموذج الغابة العشوائية بنسبة 94.2٪. حققت طرق التعلم العميق المطبقة على مجموعات الصور دقة 91.3٪، بينما حققت نماذج بيرسيبترون متعددة الطبقات نتائج أقل قليلا، بنسبة 90.8٪. يشير ذلك إلى أن نماذج التعلم الآلي المعتمدة على المجموعات تؤدي بشكل أفضل على بيانات الرعاية الصحية المنظمة، في حين تتفوق بنى التعلم العميق في مهام التصوير. يوضح الجدول 6 بالتفصيل مقاييس أداء مختلفة لوظائف التنبؤ، بما في ذلك الدقة، والدقة، والاسترجاع، ودرجة F1، بالإضافة إلى مقاييس القابلية للشرح مثل الدقة والثبات. توصلنا إلى هذه الأرقام من خلال استخدام التحقق المتقاطع الخمسة وتقديم النتائج كقيم متوسطة (مع فترات ثقة 95٪). لا تشير فترات الثقة إلى عدم اليقين في النموذج فحسب، بل تجعل أيضا مقارنات الأداء التنبؤي أكثر موثوقية، مع الأخذ في الاعتبار ذاكرة مجموعة البيانات والفروقات في بنى النموذج.
| النموذج | الدقة (٪) | الدقة | الاستدعاء | F1-Score | الوفاء | الاستقرار | 95٪ CI |
| الغابة العشوائية | 94.2 | 0.93 | 0.92 | 0.92 | 0.85 | 0.82 | 93.1–95.3 |
| XGBoost | 97.4 | 0.96 | 0.95 | 0.95 | 0.92 | 0.89 | 96.5–98.3 |
| MLP | 90.8 | 0.89 | 0.88 | 0.88 | 0.80 | 0.78 | 89.6–92.0 |
| سي إن إن (تصوير) | 91.3 | 0.90 | 0.91 | 0.90 | 0.88 | 0.86 | 90.1–92.5 |
الجدول 6: الأداء المقارن للنماذج التنبؤية وطرق القابلية للتفسير.
يقدم هذا الجدول تقييما مقارنا لنماذج التعلم الآلي والتعلم العميق باستخدام مقاييس الأداء التنبؤية، بما في ذلك الدقة، والدقة، والاسترجاع، ودرجة F1، وROC-AUC. بالإضافة إلى ذلك، يتم الإبلاغ عن مقاييس التفسير مثل الدقة، والاستقرار، والفهم، ودرجات الثقة البشرية لتوفير تقييم شامل لكل من الفعالية التنبؤية وقابلية التفسير.
تشير النتائج إلى أن تعزيز التدرج حقق أعلى أداء تنبؤي عام (دقة 97.4٪)، متفوقا على Random Forest بمقدار 3.2 نقطة مئوية ونماذج التعلم العميق بأكثر من 6 نقاط مئوية. تشير هذه الملاحظة إلى أن طرق التعلم القائمة على المجموعات كانت فعالة بشكل خاص لمجموعات البيانات المنظمة للرعاية الصحية المدرجة في هذه الدراسة. يشير الفرق الأصغر في الأداء بين نماذج CNN وMLP إلى أن زيادة تعقيد النموذج وحدها لم تترجم بالضرورة إلى أداء تنبؤي متفوق تحت الظروف التجريبية المقيمة.
لعرض فائدة الإطار المقترح لدينا عبر مجموعة متنوعة من مهام تحليلات الرعاية الصحية، نقدم نتائج أداء التنبؤ الخاصة بمجموعة البيانات في الجدول 7.
تحليل خاص بمجموعة البيانات.
اختلفت الأداء عبر مجموعات البيانات بسبب اختلافات تعقيد الميزات، حجم العينة، توزيع الفئات، وطريقة البيانات. حققت مجموعة بيانات سرطان الثدي أعلى دقة تنبؤية، ويرجح أن ذلك كان بسبب تحديد الخصائص بشكل واضح. يعكس الأداء المنخفض قليلا على مجموعات بيانات أشعة الصدر MIMIC-III وNIH تعقيد أكبر للسجلات السريرية الطولية وبيانات التصوير الطبي. تظهر هذه النتائج أن أداء الإطار يتأثر بخصائص مجموعة البيانات والسياق السريري.
| مجموعة البيانات | الدقة (٪) | الدقة (٪) | الاستدعاء (٪) | نتيجة F1 (٪) |
| سرطان الثدي | 97.4 | 97.2 | 97.6 | 97.1 |
| السكري | 94.2 | 93.9 | 94.4 | 94 |
| MIMIC-III | 91.3 | 91 | 91.5 | 91.1 |
| أشعة الصدر في المعاهد الوطنية للصحة | 90.8 | 90.4 | 91.2 | 90.6 |
الجدول 7: نتائج الأداء التنبؤي الخاص بمجموعة البيانات.
الأداء التنبؤي لإطار العمل المقترح للذكاء الاصطناعي القابل للتفسير عبر أربع مجموعات بيانات ممثلة للرعاية الصحية. يتم الإبلاغ عن الدقة والدقة والاسترجاع ودرجة F1 كنسب (٪) في مجموعات الاختبار المستقلة. تشير القيم الأعلى إلى أداء تصنيف أفضل.
لتقييم الأداء التنبؤي، تم تقييم أربعة نماذج تعلم آلي وتعلم عميق، وهي تعزيز التدرج، الغابة العشوائية، الشبكة العصبية الالتفاوية (CNN)، والبيرسيبترون متعدد الطبقات (MLP)، عبر أربع مجموعات بيانات صحية ممثلة. تم تقييم أداء النموذج باستخدام مقاييس الدقة، والدقة، والاسترجاع، ودرجة F1، ومقاييس ROC-AUC على مجموعات بيانات اختبار مستقلة بعد تقسيم اختبار التحقق من القطار بنسبة 70:15:15 والتحقق المتقاطع بخمسة أضعاف. تم تحديد التحسينات في الأداء التنبؤي من خلال مقارنة مقاييس التقييم الخاصة بالنموذج عبر ظروف المعالجة المسبقة والتحقق المتطابقة.
لتوضيح كيف تختلف أداء النماذج في الطرق المختلفة، يعرض الشكل 4 مزايا وعيوب نماذج المجموعات والشبكات العصبية والتعلم العميق بشكل مصور.

الشكل 4: الأداء المقارن لنماذج التعلم الآلي والتعلم العميق في مهام التنبؤ بالرعاية الصحية. (أ) مقارنة دقة نماذج تعزيز التدرج، الغابات العشوائية، CNN، وMLP على مجموعة بيانات الاختبار. (ب) مقارنة درجة F1 لنماذج تعزيز التدرج، الغابة العشوائية، CNN، ونماذج MLP على مجموعة بيانات الاختبار. (ج) مقارنة دقيقة لنماذج تعزيز التدرج، الغابة العشوائية، CNN، ونماذج MLP على مجموعة بيانات الاختبار. (د) مقارنة استدعاء بين نماذج تعزيز التدرج، الغابات العشوائية، CNN، وMLP على مجموعة بيانات الاختبار. تشير القيم الأعلى إلى أداء تنبؤي أفضل. حقق تعزيز التدرج أعلى أداء إجمالي عبر جميع مقاييس التقييم، تليه الغابة العشوائية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
تفسير أداء قابلية التفسير.
حقق SHAP باستمرار أعلى درجات الدقة والاستقرار بين طرق القابلية للتفسير المقيمة، مما يشير إلى توافق أقوى بين الشروحات المولدة والتنبؤات الأساسية للنموذج. أظهر LIME استقرارا أقل نسبيا، مما يشير إلى حساسية أكبر للاضطرابات المحلية وتباين العينات. قدم Grad-CAM تفسيرات قابلة للتفسير بصريا للنماذج القائمة على الصور لكنه قدم قيم دقة أقل قليلا من SHAP. تشير هذه النتائج إلى أن جودة الشرح تعتمد على كل من تقنية الشرح المختارة وبنية النموذج التنبؤي الأساسية.
تم تقييم تقنيات التفسير المدمجة في خط الأنابيب من حيث أدائها كميا ونوعيا. على وجه التحديد، نجحت طرق إسناد الميزات في كشف المنطق الداخلي للنموذج بشكل متسق عبر مجموعات بيانات مختلفة.
جميع الطرق التي تم النظر فيها في الدراسة، SHAP، حققت أعلى دقة (0.92) واستقرار (0.89) بين طرق التفسير المقيمة. ببساطة، كانت التفسيرات تمثيلات دقيقة جدا لما تنبأ به النموذج فعليا. طرق التفسير المحلي هي نوع من النافذة التي يمكننا من خلالها رؤية توقع محدد وفهم ما استخدمه النموذج كأساس للقرار.
تم تقييم أداء قابلية التفسير باستخدام درجات الدقة، والاستقرار، والفهم، ودرجات ثقة الأطباء التي تم الحصول عليها من تقييم يركز على الإنسان. تمت مقارنة تفسيرات SHAP وLIME وGrad-CAM باستخدام مجموعات بيانات متطابقة ونماذج مدربة. تم تقييم التحسينات في قابلية التفسير من خلال مقارنة مقاييس جودة الشرح وتقييمات الأطباء عبر طرق القدرة على الشرح التي تم تقييمها. تقنيات التصور لنماذج التعلم العميق التي تعمل مع الصور تنتج أساسا خرائط حرارية، تحدد المناطق في الصور التي لها أدنى صلة بتوقع النموذج. توزيعات أهمية الميزات ومقارنات الأداء القابلة للتفسير عبر الطرق المختلفة موضحة في الشكل 5.

الشكل 5: تقييم أداء قابلية التفسير.يعرض الشكل أداء طرق التفسير بمساعدة مقاييس الدقة والاستقرار. يتصدر SHAP السلسلة في الدقة (0.92) والاستقرار (0.89)، مما يعكس توافقا جيدا بين التفسيرات وتوقعات النموذج. يظهر LIME كأفضل أداة لتفسير الأمثلة الفردية. من ناحية أخرى، يخرج Grad-CAM خرائط حرارية بصرية تستخدم بشكل رئيسي في نماذج التصوير، ويظهر بشكل تقريبي أهم المناطق المسؤولة عن التنبؤ بالنموذج، والتي، من الناحية السريرية، قد تكون ذات صلة كبيرة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
بعد تقييم النماذج التنبؤية والتقنيات للتفسير، تبين أن الارتباط بين دقة النموذج وموثوقية تفسيراته قوي جدا. في الواقع، نفس النماذج التي أظهرت تحسينات في التنبؤ كانت تشرح نتائجها بمزيد من الاستقرار والاتساق عندما تم تطبيق تقنيات التفسير بشكل صحيح. وجدت نماذج المجموعات الأكثر قابلية للتفسير عند مصاحبتها بطرق إسناد الميزات، بينما كانت نماذج التعلم العميق أكثر فائدة من الطرق القابلة للتفسير القائمة على التصور. يمكن رؤية الرابط الذي يربط دقة التنبؤ وموثوقية التفسيرات في الشكل 6، الذي يوضح الديناميكيات المفاهيمية بين النموذج وقابلية الشرح بتفصيل كبير.

الشكل 6: تحليل مقارن للنماذج وشرح طرق القدرة.يعرض الرسم البياني مقارنة مفصلة بين مقاييس الدقة وشرح القدرات للنماذج المختلفة. يتكون من رسم بياني للتشتت يوضح العلاقة بين الدقة وثبات التفسير، ومقارنة جدولية للأداء، ومصفوفة ملاءمة توضح طرق الشرح المختلفة SHAP وLIME وGrad-CAM، وفعاليتها مع أنواع النماذج المختلفة. تظهر الصورة بوضوح أن نماذج المجموعات بالإضافة إلى SHAP تقدم قابلية تفسير رائعة، بينما نماذج التعلم العميق يمكن تفسيرها من خلال تقنيات التصور. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
أكد التقييم المرتكز على الإنسان الفائدة العملية للنظام المقترح في المستشفيات والمرافق السريرية الأخرى. قام الأطباء بمراجعة مخرجات النماذج مع وبدون تفسيرات. عرض النتائج مع شروحات أدى إلى زيادة كبيرة في ثقة المستخدمين وقابليتهم للتفسير؛ ارتفعت قيمة الثقة المتوسطة من 3.1 إلى 4.7 على مقياس من 1 إلى 5. تمثل زيادة درجة الثقة من 3.1 إلى 4.7 تحسنا نسبيا تقريبيا بنسبة 51.6٪. يشير الاتفاق الكبير بين المقيمين (κ فلايس = 0.81) إلى تقييم طبي متسق لفائدة التفسير. تشير هذه النتائج إلى أن مخرجات قابلية التفسير قد تحسن ثقة المستخدم وتسهل تفسير القرارات السريرية المدعومة بالذكاء الاصطناعي. ذكر المتخصصون فهم أفضل لمخرجات النماذج وثقة أكبر في الحكم المدعوم بالذكاء الاصطناعي للحالات السريرية، مما يشير إلى أهمية قابلية التفسير في التنفيذ الفعلي للرعاية الصحية.
لقد تحققنا أيضا من متانة إطارنا من خلال تحليل الاستئصال. أدى إزالة الميزات الحرجة التي اعتبرت ضرورية من خلال طرق التفسير إلى فقدان كبير في أداء التنبؤ. وبالتالي، يعكس الاكتشاف أن الميزات لم تكن ذات صلة فحسب، بل كانت أيضا مهمة للمهمة التنبؤية. بالإضافة إلى ذلك، استمرت نتائج التفسير في إظهار فروقات ضئيلة فقط عند شرح عينات إدخال مختلفة، مما أظهر استقرار وموثوقية طرق القابلية للتفسير.
للتحقق من جدوى خط الأنابيب للاستخدام العملي، قمنا بقياس سرعته الحسابية. أدى إدخال تقنيات التفسير إلى زيادة في وقت الحساب، خاصة عند نسب الميزات وإنشاء التصورات. ومع ذلك، كان الوقت الإعدام الكلي لا يزال ممكنا ولم يكن طويلا جدا. يوضح الشكل 7 كيف يتم توزيع الوقت الحسابي بين مراحل مختلفة من خط الأنابيب، مثل المعالجة المسبقة، وتدريب النماذج، وتوليد قابلية التفسير، والتقييم، والتصور.

الشكل 7: تفصيل وقت تنفيذ خط الأنابيب. يوضح هذا الرسم البياني كيف يتم تقسيم الوقت الحسابي بين مراحل مختلفة من خط أنابيب الذكاء الاصطناعي القابل للتفسير، مثل المعالجة المسبقة، تدريب النماذج، إنشاء القدرات التفسيرية، التقييم، والتصور. تكشف البيانات أن معظم الجدول الزمني يخصص لتدريب النماذج، والذي يتبعه بعد ذلك معالجة الشرح للقدرات. من ناحية أخرى، الوقت المستغرق في المعالجة المبدئية والإبلاغ قليل جدا. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.
اختبرنا قوة الإطار المقترح من خلال تحليل الاستئصال أيضا. إزالة الميزات الأساسية التي اكتشفت عبر طرق التفسير أظهرت انخفاضا واضحا في الأداء التنبؤي، وهو مؤشر واضح على أن هذه الميزات ليست ذات صلة فحسب، بل مهمة أيضا. بالإضافة إلى ذلك، كانت مخرجات التفسير مستقرة إلى حد كبير حتى عندما حدث تغيير طفيف في عينات الإدخال، وهذا دليل على اتساق وموثوقية تقنيات التفسير.
باختصار، من خلال الجمع بين قياس الأداء التنبؤي، وقابلية التفسير، والتحقق الموجه نحو الإنسان، أظهر أن الإطار المقترح فعال. لم يقتصر النظام على تقديم توقعات دقيقة جدا، بل ظل أيضا قابلا للتفسير وسهل الاستخدام. إدخال طرق التفسير جعل العملية بأكملها شفافة دون أن يؤثر على أداء النموذج. التحسينات التي رأيناها في دقة التنبؤ وقابلية التفسير لم تحدث فقط تحت رقابة تجريبية صارمة، بل كانت أيضا ذات دلالة إحصائية، وهو أمر يدل على مدى التحمل والأصالة في الطريقة المقترحة. تم إجراء مقارنات زوجية بين النماذج التنبؤية باستخدام اختبارات t مزدوجة عبر طيات التحقق المتقاطع. لوحظت فروقات ذات دلالة إحصائية بين تعزيز التدرج والنماذج المنافسة (p < 0.05)، مما يؤكد تفوق التكوين المقترح.
النتائج العامة.
تظهر النتائج مجتمعة أن الأداء التنبؤي، وجودة الشرح، وثقة الطبيب يمكن تقييمها ضمن سير عمل موحد وقابل للتكرار. حافظ الإطار على أداء متسق عبر مجموعات بيانات الرعاية الصحية المتعددة مع دعم التفسير الشفاف من خلال شروحات SHAP وLIME وGrad-CAM. ومع ذلك، يجب تفسير النتائج ضمن سياق مجموعات البيانات المختارة وإعدادات التحقق، ولا يزال التحقق الخارجي الإضافي ضروريا قبل النشر في العالم الحقيقي.
توفر البيانات:
حصلنا على مجموعات البيانات المستخدمة في البحث الحالي من مصادر عامة، ويمكن العثور عليها في مستودعات بيانات معروفة. على سبيل المثال، يمكن تنزيل البيانات المتعلقة بسرطان الثدي والسكري من مستودع التعلم الآلي في جامعة كاليفورنيا في الوسط على: https://archive.ics.uci.edu/ml/index.php
يمكن الحصول على مجموعة بيانات السجل الصحي الإلكتروني (MIMIC-III) عبر Physio Net على:
https://physionet.org/content/mimiciii/1.4/
تم استخراج بيانات تصوير الصدر بالأشعة السينية من مجموعة بيانات الأشعة السينية للصدر التابعة للمعاهد الوطنية للصحة، ويمكن العثور عليها في: https://www.kaggle.com/datasets/nih-chest-xrays/data
جميع مجموعات البيانات التي استكشفناها في هذه الدراسة تم إخفاء هويتها وجعلها متاحة للعامة. خطوات المعالجة المسبقة، والنموذج المدرب، ومخرجات القدرة على الشرح التي أنتجناها خلال البحث متاحة من خلال المؤلف المقابل إذا تم تقديم طلب معقول. سيتم إيداع الشيفرة المصدرية، والنصوص المسبقة للمعالجة، وملفات التكوين، وموارد التكرار في مستودع عام عند قبول المخطوطة.