تواجه نماذج اللغة الكبيرة الخاصة بالرعاية الصحية تحديات أخلاقية وتقنية، حيث تعكس مثل نماذج اللغة الكبيرة الأخرى التحيزات الكامنة في بيانات تدريبها. يتحقق البروتوكول المعروض هنا من قمع أربعة أنواع من التحيز (الجنس، العرق، المهنة، الدين) باستخدام متغيرات المحفز عبر ثلاثة نماذج مفتوحة المصدر.
يتطلب اشتراك JoVE لعرض هذا المحتوى. تسجيل الدخول أو ابدأ نسخة تجريبية مجانية
مقالة بحثية
تعزيز العدالة في نماذج اللغة الكبيرة لتطبيقات الذكاء الاصطناعي السريري من خلال الضبط الدقيق والتوجيه
في هذه المقالة
ملخص
الملخص
يتم تطبيق نماذج اللغة الكبيرة (LLMs) بشكل متزايد على مجالات حساسة مثل الرعاية الطبية، والتي تطرح تحديات تقنية وأخلاقية متعددة. تشمل القضايا الأكثر إلحاحا التحيزات المدمجة في هذه النماذج، والتي تم تدريبها على مجموعات بيانات كبيرة قد تعكس تحاملات المجتمع. يمكن أن تؤدي هذه التحيزات إلى نتائج غير عادلة أو غير قابلة للتعميم أو حتى ضارة، مما يجعلها غير قابلة للتطبيق سريريا في العالم الحقيقي وغير متوافقة مع القيود الأخلاقية والتنظيمية. نفحص مدى فعالية كبت التحيز عندما يتم تحفيز النماذج المضبوطة بدقة عبر أربع فئات حاسمة (الجنس، العرق، المهنة، والدين). نقوم بتنظيم مجموعة بيانات استدلالية متنوعة يدويا وننشئ اثني عشر متغير من نوع الأوامر — ستة منها غير متحيزة — لاختبار مخرجات ثلاثة نماذج كبيرة مفتوحة المصدر: Llama2-7B، Mistral-7B، وDolly-7B. يتم تقييم العدالة وقابلية التفسير للمخرجات باستخدام مقياس تقييم التحيز، حيث تشير الدرجات المنخفضة إلى عدالة وتفسير أفضل. نلاحظ أيضا أن المحفزات غير المتحيزة تقلل من الانحياز، وضبط النموذج الدقيق يؤدي بشكل أفضل. تؤكد النتائج على الأهمية الحاسمة للعمل في الوقت المناسب، ومتانة النماذج، والتدقيق الأخلاقي المستمر لنشر نماذج اللغة الكبيرة الموثوقة والعادلة في بيئات واقعية، مثل التصوير الطبي، وصيانة السجلات الصحية الإلكترونية (EHR).
المقدمة
تتميز نماذج اللغة الكبيرة بصدى هائل كأدوات لدعم المهام المتنوعة، بما في ذلك اتخاذ القرار 1,2، توليد النصوص3، ترجمة النصوص4، تحليل مشاعر العملاء5، الإجابة على الأسئلة6، وتوليد التقارير السريرية7. حدثت عدة حالات في الآونة الأخيرة استخدمت فيها التطبيقات نماذج اللغة الكبيرة لإنتاج محتوى يضر بالأفراد أو المجموعات الاجتماعيةالمحرومة 8,9,10. السبب الرئيسي وراء هذه الردود ال....
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
البروتوكول
تجرى جميع التجارب على منصة Google Colab (A100 مع 40 جيجابايت رام RAM). لإجراء التجارب، تم جمع مفاتيح API (بطاقات النماذج) لLlama2-7B وMistral-7B وDolly-7B من موقع Hugging Face.
ينقسم البروتوكول إلى ثلاثة أجزاء. أولا، بناء مجموعة بيانات تعمل كأساس لتقييم التحيز الاجتماعي في نماذج اللغة الكبيرة (LLMs). ثم صمم اثني عشر مغيرا مميزا للمحفز، متوافقة مع العمل الذي قام به كمرزمان وكيم38 للتحقيق في وجود التحيز الاجتماعي في الاستدلالات التي تولدها نماذج اللغة الكبيرة (LLMs). ثم قم بضبط نماذج اللغة الكبيرة على مجموعة بيانات من الجمل غير المتحيزة المتعلقة بالعرق والدين والجنس والمهنة، واستكشفها ....
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
النتائج
باستخدام درجة التحيز المحددة في المعادلة 1، نجيب بشكل منهجي على أسئلة البحث ونقيم التحيزات المجتمعية في نماذج اللغة الكبيرة عبر أربعة أبعاد اجتماعية. توفر التخفيضات ذات الدلالة الإحصائية في درجات التحيز التي لوحظت صحة تجريبية للبروتوكول المقترح لتقليل التحيز في نماذج اللغة الكبيرة للمهام عالية المخاطر. لتقييم فعالية NeutralSet، أي مجموعة بيانات الاستدلال المنسقة، نقوم باستعلام جميع نماذج اللغة الكبيرة الثلاثة الأصلية على كل من StereoSet و NeutralSet من خلال الملف المعياري الأساسي ونحسب م.......
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
المناقشة
في هذا العمل، نقدم بروتوكولا قابلا للتوسع لتقليل التحيزات الاجتماعية في نماذج اللغة الكبيرة يستفيد من Llama2-7B13، Mistral-7B14، وDolly-7B15. يجمع هذا النهج بين هندسة المحفزات في HP2، وإزالة تحيز تعديلات الملاحقات، والضبط الدقيق المستهدف لتطوير بروتوكول لتقليل التحيز المستمر في مخرجات نماذج اللغة الكبيرة عبر الأبعاد المجتمعية الأربعة الرئيسية وهي النوع الاجتماعي، والعرق، والمهنة، والدين. أثناء تقييم النماذج الأصلية ب.......
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
الإفصاحات
المؤلفون ليس لديهم ما يكشفون عنه.
المواد
| الاسم | الشركة | رقم فهرسي | التعليقات |
|---|---|---|---|
| جوجل كولاب | جوجل | https://colab.research.google.com/ | يستخدم لتشغيل التجارب |
| ميندلي ديسكتوب | مندلي | https://www.mendeley.com/ | يستخدم لإدارة الاستشهادات والمراجع. |
المراجع
- STRUX: An LLM for decision-making with structured explanations. Lu, Y., Hu, Y., Foroosh, H., Jin, W., Liu, F. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies, , (2025).
- Eigner, E., Händler, T. Determinants of LLM-assisted decision-making. arXiv. , (2024).
- Wu, Y. Large Language Model and Text Generation.
الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.
إعادة الطباعة والأذونات
الوسوم
