نظام الإجابة على الأسئلة الدلالية للمجال المغلق كحالة استخدام لنماذج BERT القائمة على المحولات

ملخص

تصمم هذه الدراسة نظاما تعليميا تكيفيا لاستخراج المعرفة من النص للإجابة على الأسئلة ، ومقارنة نموذج Google-BERT و DistilBERT و RoBERTa و TF-IDF ، باستخدام تشابه جيب التمام ، على زمن الوصول والتعميم الدلالي. يعمل Google-BERT بشكل أفضل ، على الرغم من أن النظام لا يزال حساسا للأخطاء الإملائية ، مما يؤكد الحاجة إلى معالجة مسبقة قوية للتطبيق العملي.

الملخص

لاستخراج المعرفة من الملفات النصية والإجابة على أسئلة المستخدمين من خلال العثور على المعلومات الصحيحة في السياق ، تم تصميم نظام التعلم التكيفي ، مثل نظام الإجابة على الأسئلة (QAS) ، لهذا الغرض. يشجع هذا التركيز على مزيد من الدراسة حول أنظمة الإجابة المباشرة واستخدام الاختبارات واسعة النطاق لمهام الإجابة على الأسئلة (QA). لتسهيل ذلك ، يتم استخدام مجموعة بيانات ضمان الجودة (SCD-QA) الدلالية ذات المجال المغلق (SCD-QA) ، والتي تشمل كلا من الأسئلة الواقعية وغير الواقعية ، جنبا إلى جنب مع نماذج المحولات المدربة مسبقا. في هذه الدراسة ، يتم قياس القدرة على إجراء الاستدلالات ومقارنتها بين ثلاثة نماذج محولات مدربة مسبقا ، مثل Google-BERT و DistilBERT و RoBERTa ، على مجموعة بيانات SQuAD ، ونموذج TF-IDF الكلاسيكي القائم على الكلمات الرئيسية مع تشابه جيب التمام. تظهر النتائج أن Google-BERT يحقق أفضل أداء ، مع متوسط درجة المطابقة التامة (EM) 90.0 ومتوسط زمن انتقال يبلغ 1.27 ثانية. يعمل النظام أيضا بشكل جيد على الأسئلة ذات المرادفات ، مما يظهر فهما قويا للمعنى. لكنه لا يعمل بشكل كاف على الأسئلة التي تحتوي على أخطاء إملائية ، مما يشير إلى أنه حساس للأخطاء الإملائية ويتطلب معالجة مبكرة أفضل أثناء الاستخدام.

المقدمة

معالجة اللغة الطبيعية (NLP) هي مجال فرعي للذكاء الاصطناعي (الذكاء الاصطناعي) حيث يمكن إنشاء QAS ، مما يسمح لأنظمة الكمبيوتر بإنشاء إجابات تلقائيا للأسئلة¹. تركز البرمجة اللغوية العصبية بشكل أساسي على فهم وتفسير اللغة المكتوبة بطريقة تحاكي العمليات المعرفية للدماغ البشري². يؤدي الانخراط في هذه المهام إلى تأسيس البرمجة اللغوية العصبية كتقنية محورية في بناء نظام قادر على توليد استجابات شبيهة بالإنسان.

QAS ، الذي يستجيب لأسئلة المستخدم ، هو أحد الأمثلة على كيفية استخدام البرمجة اللغوية العصبية³. QAS هو مجال دراسة يتضمن بحثا من مختلف المجالات ذات المشكلات الشائعة ، مثل استرجاع المعلومات (IR) واستخراج المعلومات (IE) والبرمجة اللغوية العصبية. في الوقت الحاضر ، تؤدي محركات البحث المعاصرة بشكل أساسي مهام استرجاع المستندات⁴. بمعنى آخر ، عند تزويدها بكلمات رئيسية محددة ، تنتج محركات البحث هذه حصريا قائمة بالمستندات ذات الصلة المرتبة بناء على الملاءمة وتحتوي على الكلمات الرئيسية المحددة. لا يقدمون إجابة دقيقة. الغرض من QAS هو مساعدة الأفراد في تحديد إجابات دقيقة لاستفسارات معينة ضمن مجالات موضوعات محدودة⁵. يمكن تجميع QAS بناء على الفئات التالية الموضحة في الشكل 1⁶. يعمل كل من QAS الواقعي وغير الواقعي باستخدام اللغة الطبيعية (NL) وهما مصممان للرد على الأسئلة المطروحة في NL. يستخدم النظام تقنيات البرمجة اللغوية العصبية لتقديم إجابات بناء على المجموعة⁷ المتاحة.

الشكل 1: تصنيف أنظمة ضمان الجودة. يوضح الشكل خريطة ذهنية للمكونات الأساسية لنظام ضمان الجودة. يوجد في المركز نظام ضمان الجودة ، الذي يتعامل مع أنواع مختلفة من الأسئلة ، بما في ذلك الأسئلة الحقائقية ، وغير الواقعية ، والهجينة ، والمرئيات ، والمحادثة ، وأسئلة الاختيار من متعدد. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

تقدم هذه الدراسة نظام الإجابة على الأسئلة الدلالية ذات المجال المغلق (SCD-QA) للرد على المستخدمين في NL حول سياسات وإجراءات قبول الدكتوراه. يستخدم النظام قواعد ولوائح الدكتوراه PDF⁸ كسياق أساسي له وينفذ نموذج تمثيلات التشفير ثنائي الاتجاه المستندة إلى المحولات من المحولات (BERT) ⁹ كإطار رئيسي لتوليد الاستجابات. الهدف هو تصميم QAS قائم على الأسئلة الشائعة من الناحية الدلالية يقدم إجابات دقيقة للأسئلة الشائعة ، مما يسهل على الطلاب المقبولين حديثا العثور بسرعة على المعلومات الأساسية التي يحتاجونها.

لتحقيق هذا الهدف ، تم استخدام ثلاثة نماذج BERT معروفة على نطاق واسع قائمة على المحولات: Google-BERT⁹ و DistilBERT^10،11 و RoBERTa^12،13 ، وكلها مدربة على مجموعة بيانات الإجابة على الأسئلة في ستانفورد (SQuAD) ¹⁴. تم تقييم أدائهم باستخدام معلمتين حاسمتين: المطابقة الدلالية ، المقاسة بواسطة المطابقة التامة (EM) ¹⁴ ، وزمن انتقال النموذج¹⁵ ، الذي تم تحليله بمتوسط أوقات رد الفعل. بالإضافة إلى ذلك ، تم استخدام قاعدة بيانات المتجهات (VD) ^16،17 لتخزين التضمينات الدلالية ، مما يسهل استرجاع السياق الأكثر صلة من الناحية الدلالية لسؤال المستخدم بناء على درجات التشابه الدلالي.

مراجعة الأدبيات

لقد أصلحت النماذج القائمة على المحولات مجال البرمجة اللغوية العصبية ، مما أدى إلى تحسينات كبيرة في QAS. وقد أكد إدخال BERT⁹ بقوة على معماريات المحولات كعنصر أساسي في تطوير QAS قوي ودقيق. في هذا القسم ، يتم تقديم مراجعة شاملة للتحسينات الحديثة في النماذج القائمة على المحولات والتضمينات الدلالية ، مع التركيز على صلتها بضمان الجودة للحوار الدلالي (SeCD). يتم إجراء تحليل مقارن لتبرير دمج هذه النماذج في هذا العمل ، مع التأكيد على قدرتها على تحقيق رؤى ذات مغزى في هذا المجال.

تستخدم البنى المستندة إلى المحولات مثل BERT و DistilBERT و RoBERTa منهجية الاهتمام الذاتي لالتقاط العلاقات السياقية المعقدة في النص ، مما يجعلها مثالية للمهام التي تحتاج إلى فهم دلالي كبير ، مثل QAS. هذه النماذج ، جنبا إلى جنب مع محولات الجمل المتخصصة ، تولد تضمينات دلالية ، وتساعد على تمكين استرجاع السياق بسرعة ودقيقة من خلال عمليات البحث عن التشابه القائمة على المتجهات في SeCD QA. تركز الأبحاث الحديثة على تحسين هذه النماذج وتقنيات التضمين لتعزيز الإنتاجية وقابلية التوسع والكفاءة ، خاصة للاستخدامات الخاصة بالمهام مثل SCD-QA.

قدم Sengupta et ^al.18 نهجا إبداعيا لتعزيز QAS متعدد الخيارات (MCQAS) للأسئلة القائمة على العلم من خلال ضبط نماذج BERT. في إطارهم ، قاموا أولا بتقييم التشابه الدلالي الموزع بين أزواج الأسئلة والأجوبة ثم قاموا بتغذية درجات التشابه هذه ، جنبا إلى جنب مع الميزات الأصلية ، في طبقة تصنيف. حقق هذا النهج المشترك درجة F1 بنسبة 90.2٪ في مجموعة بيانات SciQ ، مما يسلط الضوء على فعالية BERT في QASs الخاصة بالمهام التي تتطلب فهما دقيقا وتصنيفا دقيقا.

قارن Cichecki et ^al.19 بين ChatGPT ونماذج BERT المضبوطة بدقة لأنظمة دعم التصميم الذكية ووجدوا أن نماذج BERT المضبوطة بدقة تتفوق على نماذج اللغات الكبيرة للأغراض العامة (LLMs) مثل ChatGPT في المهام الخاصة بالمجال ، مما يحقق درجة F1 بنسبة 88.5٪ على مجموعة بيانات مصممة خصيصا. تظهر الدراسة أهمية الضبط الدقيق للمجال الخاص لتحسين أداء النموذج في التطبيقات المتخصصة.

درس Guo et ^al.20 كفاءة استراتيجيات الضبط الدقيق الخاصة بالمهمة ل QASs في إطار ميزانيات التعليقات التوضيحية المحدودة. كشف عملهم أن نهج الضبط المزدوج - في البداية على مجموعة بيانات ضمان الجودة العامة مثل SQuAD ، متبوعا بالضبط الدقيق لمجموعة بيانات خاصة بالمهمة - يحقق تقدما كبيرا بنسبة 15٪ في درجة F1 على مجموعات البيانات مثل COVID-QA. تسلط هذه النتيجة الضوء على الدور الحاسم للضبط الدقيق المتسلسل في تحسين أداء SeCD QASs.

فحص Pudasaini و Shakya²¹ تطبيق نماذج BERT المضبوطة بدقة ل QA في أوراق البحوث الطبية الحيوية ، حيث أبلغوا عن درجات EM و F1 بنسبة 83.89٪ و 89.67٪ على التوالي ، على مجموعة بيانات ضمان الجودة الطبية الحيوية المخصصة التي يتم الحصول عليها من PubMed. من خلال الاستفادة من نقل التعلم باستخدام PubMedBERT ، أوضحت تقنيتهم قدرة ملحوظة على معالجة الاستفسارات الطبية الحيوية المعقدة ، مع التأكيد على إمكانية الضبط الدقيق للمهمة في هذا المجال.

اقترح Baek et ^al.22 إطار عمل تحفيز نموذج اللغة المعززة بالمعرفة ل QA للرسم البياني المعرفي صفر لقطة (KG). يستخدم هذا النهج أوجه التشابه الدلالية لاسترداد الحقائق ذات الصلة من KG ودمجها في سؤال الإدخال. ونتيجة لذلك ، حققت درجة F1 تبلغ حوالي 85٪ على مجموعات بيانات KG-QA. يوضح العمل إمكانات الجمع بين نماذج KGs والمحولات ، مما يسلط الضوء على فوائد زيادة المعرفة في تحسين أداء ضمان الجودة.

وصف Hu et ^al.23 QAS المصمم لمجال تسجيل الأسرة ، مستفيدا من KG جنبا إلى جنب مع النماذج المستندة إلى BERT (RoBERTa-BiLSTM-MultiHeadAttention) لتصنيف النية والتحليل الدلالي. من خلال تبسيط الأسئلة إلى كيانات الحدث الفردي وعلاقات النية ، حقق هذا دقة عالية في الاستعلام عن البيانات المنظمة. علاوة على ذلك ، تؤكد قابلية التوسع في المنهجية إلى المجالات الأخرى على قدرتها على التطبيق على نطاق واسع في QAS المستندة إلى KG.

قدم Luo et ^al.24 مخططا يستند إلى BERT لقاعدة المعرفة (KB) QA ، حيث يدمج نموذج التقليم متعدد الحبيبات (MGPM) مع الاهتمام الواعي بالعلاقة. يحقق نهجهم دقة كبيرة بنسبة 94.4٪ على SimpleQuestions و 68.6٪ على WebQuestionsSP و 63.7٪ على WebQuestions. تظهر هذه النتائج فعالية BERT في الاستفادة من التشابه الدلالي لاستعلامات البيانات المنظمة. بشكل عام ، تسلط هذه الدراسة الضوء على إمكانات النماذج القائمة على المحولات ل KB-QA ، لا سيما في السيناريوهات التي يكون فيها تحديد الكيان والعلاقات بدقة مهما.

صمم Wu et ^al.25 إطار عمل توليد معزز للاسترداد لضمان الجودة في إدارة البناء ، مع التركيز بشكل خاص على استفسارات السلامة والامتثال. من خلال دمج التضمينات الدلالية المستندة إلى BERT مع نموذج محول توليدي و KG خاص بالمهمة ، حقق نهجهم درجة F1 بنسبة 88.7٪ على مجموعة بيانات ضمان الجودة المتعلقة بالبناء. توضح هذه الدراسة إمكانية الجمع بين الفهم الدلالي والاسترجاع المستند إلى KG لتحسين الدقة في مجموعة بيانات ضمان الجودة الخاصة بالمهمة لإدارة البناء.

قام Peng et ^al.26 بتقييم LLMs بشكل منهجي ، بما في ذلك النماذج المستندة إلى BERT و GPT ، لضمان الجودة الطبية. من خلال الجمع بين فهم BERT السياقي والقدرات التوليدية ل GPT ، استخدموا التوليد المعزز للاسترجاع والضبط الدقيق للمجال لتحقيق درجة F1 بنسبة 86.2٪ على مجموعة بيانات من PubMed والملاحظات السريرية. تسلط هذه الدراسة الضوء على إمكانات النماذج الجماعية لتحسين دقة الاستدلال في الرعاية الصحية ، حيث يكون كل من السياق والتوليد الدقيق أمرا بالغ الأهمية.

استعرض Gardazi et ^al.27 استخدام BERT في مهام البرمجة اللغوية العصبية مثل ضمان الجودة وتحليل المشاعر والتعرف على الكيانات المسماة (NER). أظهر تحليلهم أن نماذج BERT المضبوطة بدقة تحقق درجات F1 تتراوح بين 85٪ و 92٪ على مجموعات بيانات ضمان الجودة الخاصة بالمهمة مثل SQuAD. هذا يدل على أن BERT ينتج بشكل موثوق تضمينات سياقية فعالة ويضيف KGs ، مما يجعله مناسبا تماما ل SeCD QAS.

أصبحت النماذج المستندة إلى المحولات الخيار الحاسم ل SeCD QASs نظرا لقدرتها الفريدة على التقاط المعالجة الحساسة للسياق ، والتوسع بكفاءة ، والتكيف مع المهام الخاصة بالمجال. يوضح الجدول 1 هذه الميزة الحاسمة من خلال مقارنة النماذج القائمة على المحولات بالطرق البديلة التي تم فحصها في هذه الدراسة^{18،20،22،23،24،25}.

أقبل	الميزات الرئيسية	مزايا	القيود	مقاييس الأداء (SQuAD)	ملاءمة حالة الاستخدام
النماذج القائمة على المحولات (BERT و RoBERTa و DistilBERT)	نمذجة السياق ثنائي الاتجاه ، الاهتمام الذاتي ، الضبط الدقيق للبيانات الخاصة بالمجال 16 ، 17 ، 19 ، 24 ، 25	دقة عالية وفهم دلالي قوي وقابل للتطوير باستخدام قواعد بيانات المتجهات 18 و 20 و 22 و 24 و 25	تكلفة حسابية أعلى ، تتطلب تدريبا مسبقا 17 ، 18	EM: 80-90٪ ، F1: 85-93٪ 16 ، 17 ، 19 ، 24 ، 25	مثالي للمجال المغلق (CD) -QA وأنظمة الأسئلة الشائعة والبحث الدلالي 16 ، 17 ، 19 ، 20 ، 22 ، 24 ، 25
الأنظمة التقليدية القائمة على القواعد	قواعد مصنوعة يدويا، مطابقة الكلمات الرئيسية 16	تكلفة حسابية منخفضة ، تنفيذ بسيط 16	قابلية محدودة للتوسع وسوء التعامل مع الاستعلامات المعقدة 16 و18	EM: 50-60٪ ، F1: 55-65٪ 16	QAS الأساسية مع البيانات المنظمة 16
الشبكات العصبية المتكررة (RNNs)	المعالجة المتسلسلة ، معماريات LSTM / GRU 19	الأداء المعتدل للمهام المتسلسلة 19	صراعات مع التبعيات بعيدة المدى ، استنتاج أبطأ 19 ، 9	EM: 65-75٪ ، F1: 70-80٪ 19	مهام البرمجة اللغوية العصبية العامة ، أقل فعالية للقرص المضغوط 19 ، 9
أنظمة الاسترجاع المستندة إلى الكلمات الرئيسية	TF-IDF ، خوارزميات BM25 18 ، 22	استرجاع سريع ، استخدام منخفض للموارد 18 ، 22	يقتصر على المطابقة على مستوى السطح ، وضعف الفهم الدلالي 18 ، 22	EM: 40-50٪ ، F1: 45-55٪ 18 ، 22	استرجاع المستندات ، غير مناسب لمعايير QAS 18 ، 22 الدقيقة
الشبكات العصبية التلافيفية (CNNs)	استخراج المعالم المحلية ، الطبقات التلافيفية 25	كفاءة في تصنيف النص القصير ، الاستدلال السريع 25	فهم سياقي محدود ، أقل فعالية ل QAS 25 المعقد	EM: 60-70٪ ، F1: 65-75٪ 25	تصنيف النص ، غير مثالي ل CD-QA 25
الشبكات العصبية للرسم البياني (GNNs)	النمذجة القائمة على الرسم البياني ، التفكير العلائقي 20	فعال للتفكير متعدد القفزات ، يلتقط علاقات المستندات 20	تعقيد حسابي عالي ، يتطلب بيانات منظمة 20	EM: 70-80٪ ، F1: 75-85٪ 20	QAS متعدد القفزات، أقل ملاءمة للقرص المضغوط أحادي السياق QA 20
النظم القائمة على الرسم البياني المعرفي	تمثيل المعرفة المنظمة، ربط الكيان 21	قوي لاستعلامات البيانات المنظمة، ويستفيد من المعرفة الخارجية 21	يتطلب رسوما بيانية معرفية مسبقة الصنع، تقتصر على الكيانات المعروفة 21	EM: 65-75٪ ، F1: 70-80٪ 21	QAS الخاص بالمجال مع البيانات المنظمة 21
نماذج معززة للانتباه	آليات الانتباه المعززة، المعالجة التي تركز على السياق 24	تركيز محسن على مقاطع النص ذات الصلة ، دقة عالية 24	تكلفة حسابية أعلى ، تنفيذ معقد 24	EM: 85-90٪ ، F1: 88-92٪ 24	CD-QA معقد، أسئلة غير واقعية 24
نماذج حقيبة الكلمات	التمثيل القائم على تردد الكلمات 22	بسيط وخفيف الوزن من الناحية الحسابية 22	ضعف الفهم الدلالي ، غير فعال للاستفسارات المعقدة 22 ، 25	EM: 35-45٪ ، F1: 40-50٪ 22	استرجاع النص الأساسي، غير مناسب لمعيار QAS 22 و25
النماذج العصبية الهجينة (CNN + RNN)	يجمع بين المعالجة المحلية والمتسلسلة 25	الموازنة بين الفهم المحلي والسياقي 25	تعقيد معتدل ، صراع مع سياقات طويلة 25	EM: 68-78٪ ، F1: 72-82٪ 25	مهام البرمجة اللغوية العصبية العامة، ملاءمة معتدلة للقرص المضغوط QA 25
نماذج اللغة الإحصائية	ارتباطات الكلمات الاحتمالية 18	سريع للاستعلامات البسيطة ، استخدام منخفض للموارد 18	فهم محدود للسياقات ، ضعف قابلية التوسع 18	EM: 45-55٪ ، F1: 50-60٪ 18	QAS أساسي ، غير مناسب للقرص المضغوط المعقد 18

الجدول 1: مقارنة النماذج القائمة على المحولات مع الأساليب الأخرى ل QAS. يوفر الجدول مقارنة جنبا إلى جنب لمختلف أساليب نظام ضمان الجودة ، بما في ذلك النماذج المستندة إلى المحولات والأنظمة المستندة إلى القواعد و RNNs وغيرها. يلخص ميزاتها الرئيسية ونقاط قوتها وضعفها وأدائها على SQuAD والمهام الأنسب لها ، مثل ضمان الجودة المضغوط والبحث الدلالي وتصنيف النص.

الهدف الرئيسي من هذا البحث هو تعزيز وصول الطلاب إلى المعلومات المؤسسية من خلال تطوير أنظمة SCD-QA فعالة وقابلة للتطوير ودقيقة في البرمجة اللغوية العصبية. على وجه التحديد ، تطبق هذه الدراسة التأكيدية وتتحقق من صحة النماذج القائمة على المحولات المدربة مسبقا في مجال سياسات القبول لدرجة الدكتوراه. الهدف هو إثبات فعاليتها وجدواها العملية من خلال دمج المطابقة الدلالية وتقييم زمن انتقال النموذج والاسترجاع الدلالي المدفوع ب VD. يقدم هذا النهج تحليلا متعمقا لتقديم إجابات دقيقة خاصة بالمجال في سياق مؤسسي مركز. يوضح الشكل 2 الإطار المعماري الشامل للنظام.

الشكل 2: المخطط العام لنظام SCD-QA. يوضح الشكل مخططا انسيابيا لنظام ضمان الجودة الذي يستخدم نماذج لغوية كبيرة (LLMs). يبدأ بملف سياق وسؤال المستخدم ، والتي يتم التعامل معها بواسطة ثلاثة نماذج: Google-BERT و DistilBERT و RoBERTa ، ونموذج واحد قائم على الكلمات الرئيسية: TF-IDF. يقوم النظام بتقييم أداء كل نموذج باستخدام قائمة مرجعية، ثم يختار الأفضل بناء على النتائج. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

البروتوكول

الأساس النظري الشامل

مكون QAS: يتكون إطار عمل QAS من ثلاثة أجزاء ، كما هو موضح في الشكل 3: 1) وحدة معالجة الأسئلة (QPM) ، 2) وحدة معالجة المستندات (DPM) ، و 3) وحدة استخراج الإجابة وصياغتها (AEFM). يتلقى النظام أسئلة تنقسم إلى فئتين رئيسيتين: Factoid و Non-Factoid. عادة ما تستخدم الأسئلة الواقعية كلمات استفهامية مثل ماذا أو أين أو متى أو من، بينما تستخدم الأسئلة غير الواقعية كلمات مثل كيف ولماذا.

DPM: من القائمة المتوفرة ، يمكن للمستخدم تحديد مقطع معين. بعد ذلك ، يتم تمييز كل رمز مميز في المقطع باستخدام علامة جزء من الكلام (POS). لاستخراج الأفعال ، حدد جميع الرموز المميزة الموسومة على أنها أفعال. اجمع بين هذه الأفعال مع قائمة من الأفعال غير التقليدية وقم بتطبيق المنطق على الأفعال العادية. قم بإنشاء بنية بيانات (صفيف) تحتوي على الأفعال المستخرجة والأزمنة وأشكالها.

QPM: يتلقى النظام مدخلات في شكل سؤال من المستخدم. يتم ترميز النص باستخدام فئة StringTokenizer، ويتم تخزين الرموز المميزة الناتجة في بنية بيانات منفصلة. ثم يتم إرجاع هيكل البيانات هذا لمزيد من الاستخدام داخل البرنامج.

AEFM: الخطوة الأولى هي تحديد الفعل في السؤال المحدد. تتم الآن مطابقة الفعل الذي تم تحديده مؤخرا مع الرموز المميزة التي تم إنشاؤها أثناء مرحلة معالجة المستند. يتم استخدام الحالة المختارة لنوع معين من الأسئلة الواقعية (مثل ماذا أو متى) لاستخراج الإجابة وبناءها بطريقة أكثر دقة.

قبل اختيار نوع الاستجواب ، يطلب من المستخدم أولا تحديد المقطع الذي يختاره. إدارة الجودة هي المسؤولة عن معالجة سؤال المستخدم وإعادة توجيهه إلى AEFM. يستخدم AEFM عمليات الاستخراج التي تم الحصول عليها من DPM والمستندات المعالجة التي تحتوي على التنسيق الموسوم لمستند الإدخال الأصلي. ستقوم الوحدة بتمرير الخوارزميات المطلوبة إلى وحدة الصياغة للحصول على الإجابة المطلوبة.

الشكل 3: مكونات QAS. يوضح الشكل العملية المكونة من أربع خطوات لنظام ضمان الجودة: الأسئلة ، ومعالجة الأسئلة ، ومعالجة الإجابة ، والإجابة. في معالجة الأسئلة، يصنف النظام السؤال. في معالجة الإجابة ، يجد المستندات والمقاطع ويراجعها لإنتاج الإجابة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

نموذج BERT: لاكتشاف الارتباطات بين الكلمات في النص ، تستخدم طريقة BERT محولا. هناك آليتان في المحول - جهاز تشفير ووحدة فك^{تشفير 28} ، ولكن هناك حاجة إلى جهاز التشفير فقط ل BERT. يتخذ BERT نهجا ثنائي الاتجاه ويمسح نص الإدخال بشكل منهجي لتعليم نفسه معنى الكلمات في سياقها. يأخذ برنامج التشفير كمدخلات سلسلة من الرموز المميزة التي تم توجيهها. ثم يتم تغذية المتجهات في الشبكة العصبية ، والتي تنتج سلسلة من المتجهات التي تعكس المدخلات. يتغير متجه إخراج الكلمة اعتمادا على الجملة التي تظهر فيها. قد يختلف متجه الكلمة اعتمادا على السياق الذي تظهر فيه. على سبيل المثال ، "مثل" في "يحب أن يلعب الكريكيت" لها ناقل مختلف عن "مثل" في "وجهه تحول إلى اللون الأحمر مثل الطماطم". يبدأ النهج بمرحلة من معالجة النص قبل الانتقال إلى مرحلة بناء النماذج. تتم مناقشة الخطوات التي يتخذها BERT لمعالجة النص في القسم^{التالي 28}.

معالجة النصوص: ويمثل نموذج BERT نص المدخلات وفقا لمجموعة محددة من المبادئ. بالإضافة إلى ذلك ، يساهم هذا العامل في تحسين أداء النموذج. يتكون تضمين الإدخال في BERT من مزيج من ثلاثة أنواع متميزة من التضمينات²⁸.

تضمين الموضع (PEs): لمعرفة المعلومات المتعلقة بالطلب في عمليات التضمين، يتم استخدام PEs. تستخدم PEs لاستعادة المعلومات حول الترتيب المفقود في المحولات. تقوم BERT بتطوير PEs مميزة خصيصا لكل نقطة في تسلسل الإدخال. يمتلك BERT القدرة على نقل المعلومات الموضعية للكلمات داخل الجملة من خلال استخدام PEs. يتيح ذلك ل BERT التقاط وتمثيل تسلسل الكلمات أو ترتيبها بشكل فعال.

تضمينات الجمل (SEs): بالإضافة إلى ذلك ، لمساعدة النموذج في التمييز بين الجملتين الأولى والثانية ، يتعلم BERT تضمينا فريدا لكل منهما. كما أنه قادر على قبول الجمل المزدوجة كمدخلات لأنشطة مثل ضمان الجودة.

عمليات تضمين الرمز المميز (TEs): يتم تدريس TEs لكل رمز مميز في مفردات الرمز المميز ل WordPiece. تشتمل مفردات الرمز المميز WordPiece على وحدات كلمات فرعية مشتقة من الكلمات الموجودة داخل المجموعة. كمثال توضيحي ، ستشمل مجموعة المفردات هذه جميع الكلمات الفرعية التي يمكن تصورها لمصطلح السؤال ، بما في ذلك Questio و Questi وما إلى ذلك.

يتم إنشاء تمثيل إدخال الرمز المميز عن طريق جمع تضمينه معا على مستويات المقطع والموضع. لهذا السبب ، فهو نهج تضمين واسع النطاق يوفر ثروة من المعلومات للنموذج. يصور الشكل 4⁹ تضمينات نموذج BERT.

الشكل 4: تضمينات BERT. يوضح الشكل كيفية إنشاء عمليات تضمين الإدخال لنموذج المحول. يبدأ بتسلسل الإدخال: [CLS] السماء [MASK] غائمة [SEP] ستمطر [SEP]. يتلقى كل رمز مميز في التسلسل تضمينه الخاص ، مثل E_the أو E _[MASK]. بعد ذلك ، تتم إضافة تضمينات الجملة لكل جملة ، مثل E_A للجملة الأولى و E_B للجملة الثانية. يتم أيضا تضمين التضمينات الموضعية ، المسماة E₀ إلى E₉ ، للإشارة إلى موضع كل رمز مميز. يتم دمج كل هذه لتشكيل تضمينات المدخلات النهائية. تم تعديل هذا الرقم من⁹. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

تصميم QAS باستخدام BERT: لأغراض توضيحية ، افحص هذا السؤال جنبا إلى جنب مع فقرة مستخرجة من إدخال ويكيبيديا حول دوري كرة القدم²⁸.

سؤال: أين تأسس دوري كرة القدم؟

ممر: في عام 1888 ، تأسس دوري كرة القدم في إنجلترا ، ليصبح الأول من بين العديد من مسابقات كرة القدم الاحترافية. خلال القرن العشرين ، نمت العديد من أنواع كرة القدم المختلفة لتصبح من أكثر الرياضات الجماعية شعبية في العالم.

الجواب: إنجلترا

يستخدم نموذج BERT استخراج الرمز المميز من كل من السؤال والسياق ، ثم دمجهما في مدخلات موحدة. كما ذكرنا سابقا ، تبدأ العملية باستخدام رمز [CLS] ، والذي يعمل كمؤشر لبدء الجملة. بالإضافة إلى ذلك ، يتم استخدام فاصل [SEP] لفصل السؤال والمقطع بشكل واضح. بالإضافة إلى الرمز المميز [SEP] ، يدمج BERT SEs للتمييز بين السؤال والمقطع²⁸ الذي يحتوي على الإجابة. يستخدم BERT اثنين من SEs ، أحدهما مخصص للسؤال والآخر للمقطع ، لتحديد تمييز واضح بينهما. يتم دمج التضمينات لاحقا مع تمثيل واحد ساخن²⁸ من الرموز المميزة للتمييز بين السؤال والمقطع. هذه العملية موضحة في الشكل 5.

الشكل 5: تمثيل مدخلات BERT. يوضح الشكل كيفية إنشاء تضمينات المدخلات ل QAS المستند إلى BERT. يبدأ بالرمز المميز [CLS] ، ثم السؤال كم عدد؟ [سبتمبر], والمقطع [برت] كبيرة هو, كل مع جملة تضمينات ([أ] للسؤال, [ب] للمقطع). يتم دمج الرموز المميزة والجملة والتضمينات الموضعية لإجراء المدخلات النهائية. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

بعد ذلك ، يتم استخدام التمثيل المضمن^{المجمع 28} للسؤال والسياق كمدخلات في نموذج BERT. يتم تعديل الطبقة المخفية النهائية من BERT لاستخدام SoftMax لإنشاء توزيعات احتمالية. تحدد هذه التوزيعات مؤشرات البداية والنهاية لسلسلة فرعية داخل جملة نص الإدخال ، والتي تمثل إجابة ، كما هو موضح في الشكل 6 ، للتمثيل المرئي.

الشكل 6: سير عمل معالجة BERT لضمان الجودة. يوضح الشكل كيفية عمل نموذج BERT لضمان الجودة. يقدم تسلسل إدخال يتضمن سؤالا ، مميزا برمز تصنيف [CLS] في البداية ورمز فاصل [SEP] في النهاية ، متبوعا بسياق ، مفصولا بآخر [SEP]. يتم تحويل الرموز المميزة في هذا التسلسل إلى تضمينات. ثم يتنبأ النموذج بمواضع البداية والنهاية للإجابة داخل المقطع. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

قاعدة بيانات المتجهات (VD): VD^17،18 هو نظام متخصص لتخزين تمثيلات المتجهات عالية الأبعاد للبيانات وإدارتها وفهرستها والاستعلام عنها بكفاءة. غالبا ما يتم إنشاء المتجهات من نماذج التعلم العميق وتغليف المعلومات الدلالية أو السياقية حول البيانات. يمثل كل بعد من أبعاد المتجه ميزة معينة. التضمينات هي تمثيلات رقمية لكائنات مثل النصوص والصور ومقاطع الفيديو والصوت. تستخدم هذه التضمينات في تطبيقات مختلفة ، بما في ذلك التعلم الآلي (ML) ، والبرمجة اللغوية العصبية ، وأنظمة التوصية ، ورؤية الكمبيوتر ، والأشعة تحت الحمراء. تسهل VDs عمليات البحث الفعالة عن التشابه والاستعلام الدلالي عن طريق تجميع الكائنات المتشابهة بالقرب من بعضها البعض في مساحة المتجه. Facebook الذكاء الاصطناعي Similarity Search (FAISS)²⁹ هو VD بارز يستخدم في هذه الدراسة لتحديد السياق الأكثر صلة باستفسارات المستخدم. يوضح الجدول 2 الخصائص الرئيسية ل VDs وحالات استخدامها.

ميزة	وصف
بيانات عالية الأبعاد	يعالج البيانات بمئات أو آلاف الأبعاد.
أقرب جار تقريبي (ANN)	يتيح عمليات البحث السريعة عن التشابه عن طريق تقريب المسافات.
قابلية التوسع	يدعم مجموعات البيانات واسعة النطاق مع مليارات المتجهات.
تكامل	غالبا ما يتكامل مع أطر عمل وأدوات الذكاء الاصطناعي / التعلم الآلي لسير العمل السلس.
الاستعلامات في الوقت الحقيقي	يوفر عمليات بحث متجهة بزمن انتقال منخفض للتطبيقات التفاعلية.

الجدول 2: الخصائص الرئيسية ل VD. يسلط الجدول الضوء على الميزات المهمة ل VD. وتشمل هذه معالجة البيانات عالية الأبعاد، وإجراء عمليات بحث سريعة عن التشابه باستخدام خوارزميات ANN، والتوسع إلى مجموعات البيانات الكبيرة، والعمل باستخدام أدوات الذكاء الاصطناعي والتعلم الآلي، ودعم الاستعلامات السريعة في الوقت الفعلي للاستخدام التفاعلي.

مقاييس تقييم الأداء: تم تقييم نظام SCD-QA باستخدام مقياسين أساسيين: درجة EM¹⁴ وزمن انتقال النموذج¹⁵. تقيم درجة EM ، وهي مقياس قياسي في دراسات ضمان الجودة ، دقة التنبؤ من خلال قياس نسبة الإجابات المتوقعة التي تتطابق تماما مع الحقيقة الأساسية. بالنسبة لمجموعة من أسئلة N ، يتم تحديد درجة EM رسميا في المعادلة 1 على النحو التالي:

حيث (1)

يعين هذا المقياس درجة 1 للمطابقة التامة مع الإجابة المرجعية، و0 لأي فرق.

يحدد مقياس زمن الانتقال إجمالي وقت المعالجة المطلوب من قبل النظام لإنشاء استجابة لاستعلام فردي. يتم حساب هذا المقياس على أنه متوسط الوقت المنقضي عبر جميع الاستعلامات، كما هو موضح في المعادلة 2:

(2)

حيث يبدأ T_i و T_endi هما الطوابع الزمنية التي تشير إلى بداية ونهاية معالجة استعلام i^th ، على التوالي. يتم الإبلاغ عن زمن الوصول بالثانية ويلتقط استجابة النظام ، بما في ذلك جميع المراحل من معالجة الإدخال إلى إنشاء الإجابات.

أسلوب

من أجل تنفيذ SCD-QA ، تم دمج دراسات الاختبار التالية في هذه الورقة.

مجموعة بيانات SCD-QA: تم تقديم مجموعة بيانات^{مقترحة 30} لتنفيذ نظام SCD-QA. مجموعة البيانات هذه مشتقة من مجموعة نصية تحتوي على الدكتوراه قواعد لعام 2022⁸ ، لإرشادات الطلاب من NIT أروناتشال براديش ، الهند. لإنشاء نظام SCD-QA ، من الضروري إنشاء ملف JSON يشمل جميع المعلومات ذات الصلة بتنسيق دقيق. يتم إنشاء مجموعة البيانات من المجموعة النصية باستخدام أداة التعليقات التوضيحية Haystack (الإصدار 2.18.1)³¹ ، وهو إطار عمل مفتوح المصدر. تسهل هذه الأداة إنشاء مجموعة بيانات SCD-QA بأسلوب SQuAD¹⁴. يتم عرض خطوات إنشاء مجموعة بيانات مشروحة من نوع SQuAD من ملف PDF في الشكل 7 ، ويتم توضيح هيكل مجموعة البيانات الخاصة بنا بأسلوب SQuAD في الشكل 8.

الشكل 7: خطوات إنشاء مجموعة بيانات مشروحة من ملف PDF. يوضح الشكل سير عمل تدريجي لإنشاء مجموعة بيانات مشروحة على غرار SQuAD باستخدام أدوات Haystack. يحدد العملية من استخراج النص من ملفات PDF ، وتنظيفه وتقسيمه إلى مقاطع ، والتعليق التوضيحي يدويا على أزواج الأسئلة والأجوبة ، وتخزين التعليقات التوضيحية بتنسيق SQuAD JSON ، وأخيرا تصدير مجموعة البيانات لتدريب النموذج. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الشكل 8: هيكل مجموعة بيانات ضمان الجودة الواقعية. يعرض الشكل بنية بيانات JSON التي تمثل فقرة وزوج ضمان الجودة من مجموعة بيانات. يحتوي على قسم فقرات يحتوي على مجموعة من الأسئلة والأجوبة. يسأل سؤال واحد ، ما هو الحد الأدنى للعلامة المطلوبة للقبول في الدكتوراه العلوم؟ يحتوي كل سؤال على معرف ومجموعة من الإجابات. تتضمن الإجابة معرف المستند ومعرف السؤال وعلامات النص بنسبة 60٪ وموضع البداية للإجابة وفئة إجابة غير محددة. تم تعيين علامة is_impossible على خطأ. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

يتم تنظيم مجموعة البيانات كقائمة من القواميس ، حيث يحتوي كل قاموس على حقول رئيسية مثل البيانات والفقرات والسؤال و answer_id و document_id و question_id والنص و answer_start و answer_end و is_impossible والسياق.

البيانات: يحتوي على معلومات الإجابة الإجمالية على الأسئلة.
الفقرات: سياق معين، مع أسئلته وأجوباته.
سؤال: سؤال معين.
answer_id: رقم تعريف فريد لكل نص إجابة.
document_id: رقم تعريف فريد لكل سياق.
question_id: رقم تعريف فريد لكل سؤال.
text: نص الإجابة.
answer_start: موقع بدء الإجابة للإجابة الصحيحة في السياق.
answer_end: موقع نهاية الإجابة للإجابة الصحيحة في السياق.
is_impossible: يوضح ما إذا كانت الإجابة على السؤال المطروح متاحة في السياق أم لا.
السياق: مجموعة النص التي يمكن العثور على إجابة منها.
تتبع جميع الأسئلة ال 80 في مجموعة البيانات المقترحة تنسيق الأسئلة الواقعية وغير الواقعية. وترد في الجدول 3 عينات من بعض أنواع الأسئلة المؤطرة.

الاسئله

من هو PS؟

ما هو حجم خط المستند الحديث؟

كم عدد أيام إجازة الأمومة؟

الجدول 3: عينة سؤال من مجموعة البيانات. يوضح الجدول أمثلة على نوعين من الأسئلة: الأول والثاني سؤالان واقعيان ، بينما الثالث سؤال غير واقعي.

FAISS: FAISS (الإصدار faiss_cpu-1.9.0)^29،32 ، الذي طوره Facebook الذكاء الاصطناعي Research (FAIR) ، هو مكتبة مفتوحة المصدر تسهل البحث الفعال عن التشابه وتجميع المتجهات الكثيفة. تم تصميمه خصيصا لإدارة البيانات واسعة النطاق وعالية الأبعاد بشكل فعال. يسهل هذا النظام عمليات البحث السريعة والقابلة للتطوير في شبكات الشبكة العصبية داخل مجموعات البيانات التي تضم ملايين أو مليارات المتجهات. يتم استخدامه على نطاق واسع في التطبيقات المتعلقة بالتضمينات ، بما في ذلك البرمجة اللغوية العصبية وأنظمة التوصية واسترجاع الصور أو الفيديو. تقدم FAISS طرق فهرسة متعددة ، بما في ذلك Flat (القوة الغاشمة) ، والملف المقلوب (IVF) ، والرسوم البيانية الهرمية للملاحة في العالم الصغير (HNSW) ، وتكميم المنتج (PQ). تمكن هذه الطرق المستخدمين من تحسين أداء البحث وفقا لحجم البيانات والأبعاد ومواصفات الأجهزة. في هذه الدراسة ، يتم استخدام الفهرسة المسطحة ، والتي تقوم بإجراء بحث بالقوة الغاشمة باستخدام مسافة L2 (الإقليدية) لتحديد أقرب الجيران. تدعم قابلية التوسع في النظام كلا من تطبيقات وحدة المعالجة المركزية ووحدة معالجة الرسومات ، مما يتيح حسابات عالية الأداء عبر مجموعات بيانات شاملة. بالإضافة إلى ذلك ، فإنه يوفر المرونة لتحسين التوازن بين السرعة والدقة بناء على متطلبات التطبيق المحددة. يستخدم FAISS بشكل متكرر في البرمجة اللغوية العصبية لتقييم التشابه الدلالي في عمليات التضمين ، مثل BERT أو Word2Vec. يتم استخدام FAISS في QAS لتخزين وإدارة التمثيلات المتجهة للوثائق أو الجمل. يقوم بإجراء عمليات بحث تقريبية في ANN³³ لاسترداد السياق الأكثر صلة بأسئلة المستخدم ، مما يعزز البحث الدلالي مع التضمينات من نماذج المحولات مثل BERT. FAISS هي أداة أساسية في سير عمل الذكاء الاصطناعي والتعلم الآلي نظرا لتعدد استخداماتها.

نموذج BERT-large-uncasd-whole-word-masking-finetuned- SQuAD: يستخدم العمل الحالي نموذجا لغويا مدربا مسبقا يعرف باسم BERT-large-uncased-whole-word-masking finetuned-squad⁹ لتطوير QAS واقعي باستخدام مجموعة البيانات المقترحة في الدراسة. خضع نموذج BERT لتدريب مسبق على BookCorpus ، وهي مجموعة بيانات من 11,038 كتابا^{غير منشور 9} ، بالإضافة إلى ويكيبيديا الإنجليزية ، باستثناء القوائم والجداول والعناوين. النموذج المعني غير مغلف ، مما يعني أنه لا يميز بين الكلمتين الإنجليزية والإنجليزية. النموذج عبارة عن نموذج محول مدرب مسبقا تم تدريبه على كمية كبيرة من البيانات الإنجليزية باستخدام نهج خاضع للإشراف الذاتي. تم تدريب النموذج مسبقا حصريا على النصوص الأولية ، دون أي تعليقات توضيحية بشرية. هذا يسمح لها بالاستفادة من كمية كبيرة من البيانات المتاحة للجمهور. تتضمن عملية التدريب المسبق إنشاء مدخلات وتسميات تلقائيا من النصوص المقدمة. تم تدريب النموذج بهدفين محددين⁹:

الامتيازات والرهون البحرية: تتضمن العملية إخفاء عشوائي 15٪ ⁹ من الكلمات في جملة الإدخال. ثم يعالج النموذج الجملة المقنعة بأكملها ويتنبأ بالكلمات المقنعة. يختلف هذا النهج عن الشبكات العصبية المتكررة التقليدية (RNNs) ، والتي عادة ما تعالج الكلمات بالتتابع ، ومن نماذج الانحدار الذاتي مثل GPT ، والتي تستخدم الإخفاء الداخلي للرموز المستقبلية. تمكن الوظيفة النموذج من الحصول على تمثيل ثنائي الاتجاه للجملة.

NSP: خلال مرحلة ما قبل التدريب ، يجمع النموذج بين جملتين مقنعتين كمدخلات. في بعض الحالات ، تكون هذه الجمل متجاورة في النص الأصلي ، مما يشير إلى وجود علاقة مباشرة. في حالات أخرى ، ليست كذلك ، مما يعني أنه لا يوجد قرب أو سياق أصلي يربطها. تتضمن الخطوة التالية النموذج الذي يتنبأ بما إذا كانت الجملتان متماسكتين منطقيا.

يتميز النموذج الحالي بالتكوين اللاحق: تتكون بنية النموذج من 24 طبقة ، ببعد مخفي يبلغ 1024. يستخدم 16 رأسا للانتباه ويبلغ إجمالي 336 مليون معلمة⁹.

يستخدم WordPiece لترميز النصوص بحجم مفردات مكون من 30,000 كلمة في خطوات المعالجة المسبقة. ستبدو مدخلات النموذج بعد ذلك كما يلي: [CLS] الجملة أ [SEP] الجملة ب [SEP]. الشرط الوحيد هو أن يكون الطول الإجمالي للجمل المجمعة أقل من 512 رمزا⁹. ينتج عن النموذج المدرب مسبقا المحدد الناتج اللاحق: درجة F1 التي تم تحقيقها هي 93.15٪ ، في حين أن درجة المطابقة الدقيقة هي 86.91٪ ⁹.

نموذج Distilbert / distilbert-base-casd-distilled-squad: نموذج DistilBERT¹⁰ هو متغير أكثر إحكاما وسرعة وكفاءة لنموذج BERT⁹ ، تم تطويره للحفاظ على غالبية القدرة الدلالية ل BERT على الفهم بينما يكون أقل كثافة في استخدام الموارد وأكثر ملاءمة للتطبيقات العملية ذات القدرة الحسابية المحدودة. تم ضبط الإصدار distilbert-base-cased-distilled-squad بدقة على SQuAD¹⁴ لمهام ضمان الجودة. يستخدم النموذج بنية المحولات ، بما في ذلك حجم منخفض يبلغ 66 مليون معلمة على عكس 110 مليون معلمة في BERT ، مع الحفاظ على 97٪ من فعالية BERT في فهم اللغة. يصل DistilBERT إلى هذا باستخدام طريقة تعرف باسم تقطير المعرفة ، والتي تنقل المعلومات من نموذج BERT الأكبر إلى نموذج DistilBERT الأكثر إحكاما. نظرا لصغر حجمه ، يمكنه استنتاج المعلومات بسرعة أكبر واستخدام ذاكرة أقل ، مما يجعله مثاليا للتطبيقات محدودة الموارد مثل الأجهزة المحمولة أو الأجهزة الحافة. يوضح النموذج ، الذي تم ضبطه بعناية على مجموعة بيانات SQuAD 1.1 ، كفاءة استثنائية في مهام ضمان الجودة الاستخراجية ، حيث يكون الهدف هو تحديد موقع جزء من النص من سياق محدد يجيب على سؤال. يحقق DistilBERT ما يقرب من 85٪ من درجة BERT في F1 على لوحة المتصدرين SQuAD ويحتفظ بجزء كبير من القدرة اللغوية ل BERT ، على الرغم من حجمه الصغير. يعد هذا النموذج حلا فعالا بشكل استثنائي لوظائف ضمان الجودة على مستوى الإنتاج ، مما يحسن الأداء والكفاءة الحسابية.

ديب ست / روبرتا قاعدة فرقة 2: يعد الطراز^12,13 deepset / roberta-base-squad2 متغيرا دقيقا من بنية RoBERTa. إنه مصمم خصيصا لمجموعة بيانات SQuAD¹⁴ 2.0 ، والتي تتضمن أسئلة تمت الإجابة عليها وأسئلة لا يمكن الإجابة عليها. يلغي إطار عمل RoBERTa المحسن هذا وظائف NSP^{البالغ عددها 9} وظائف في BERT. كما أنه يستخدم الإخفاء الديناميكي أثناء التدريب لتعزيز الكفاءة والأداء في مهام فهم NL. يحتوي النموذج على 125 مليون معلمة ويستخدم محولا ثنائي الاتجاه. هذا يسمح لها بالحصول على معلومات سياقية من كلا الاتجاهين والتفوق في مهام ضمان الجودة الاستخراجية.

يتيح الضبط الدقيق على SQuAD 2.0 للنموذج تحديد مدى الاستجابة الصحيح في سياق معين والتعرف على عدم وجود إجابة. يستخدم رمز ترميز زوج البايت (BPE) الذي يعالج ترميز الكلمات الفرعية ويحافظ على حساسية حالة الأحرف. هذا يحسن قدرته على معالجة الكلمات غير الشائعة والمعقدة. يعمل النموذج بشكل جيد ، حيث يحقق ما يقرب من 85٪ -90٪ F1 و 80٪ -85٪ EM. قدرتها على اكتشاف الأسئلة التي لا يمكن الإجابة عليها ونشرها الفعال تجعله ذا قيمة لخدمة العملاء واسترجاع المعرفة والمساعدين الافتراضيين.

الطريقة الأكثر فعالية لنشر نماذج BERT المضبوطة بدقة من SQuAD للضمان الجودة هي استخدام خط أنابيب Hugging Face Transformers³⁴. يعمل إطار العمل هذا على تبسيط الترميز وتنسيق الإدخال وتحميل النموذج والمعالجة اللاحقة للإخراج. هذه النماذج معترف بها على نطاق واسع لفعاليتها في ضمان الجودة الاستخراجي ، حيث تكون الإجابة عبارة عن مدى نص يتم استرداده مباشرة من السياق المحدد. لتوجيه التنفيذ، يوضح الإجراء التالي خطوات تنفيذ نماذج BERT.

الإدخال والإعداد: تتطلب هذه العملية أربعة مدخلات رئيسية ومعلمات الإعداد: اسم النموذج ، المحدد كمعرف سلسلة من Hugging Face Hub (على سبيل المثال ، google-bert / bert-large-uncased-whole-word-masking-finetuned-squad ، distilbert / distilbert-base-cased-distilled-squad ، أو deepset / roberta-base-squad2) ؛ السؤال (Q) ، المقدم كسلسلة تحتوي على الاستعلام ؛ والسياق (C) ، وهي سلسلة تمثل النص أو المقطع ذي الصلة. الأداة الأساسية المستخدمة هي وظيفة خط الأنابيب عالية المستوى من مكتبة محولات Hugging Face (الإصدار 4.57.0) في Python (الإصدار 3.12.12).

العملية: التنفيذ (خط أنابيب الوجه المعانق): تتكون العملية من ست خطوات أساسية وتستخدم خط أنابيب Hugging Face لمعالجة تعقيد مهمة ضمان الجودة:

تثبيت المكتبة: ابدأ بتثبيت المكتبة المطلوبة باستخدام الأمر pip install transformers. يتيح هذا التثبيت الوصول إلى النماذج ووظائف البنية الأساسية لخط الأنابيب المبسطة.

خط أنابيب الاستيراد: استيراد وظيفة خط الأنابيب باستخدام: من مسار استيراد المحولات.

تهيئة مسار ضمان الجودة: قم بتهيئة مسار ضمان الجودة باستخدام qa_pipeline = pipeline ("إجابة على الأسئلة", model=""). يقوم هذا الأمر بتنزيل النموذج والرمز المميز ، مما يجعلها جاهزة للاستدلال.

تحديد الإدخال: تعيين السؤال = ... والسياق = ... لإعداد بيانات النموذج.

تشغيل الاستدلال: قم بتمرير السؤال والسياق إلى خط الأنابيب مع النتيجة = qa_pipeline(سؤال = سؤال ، سياق = سياق). يعالج النموذج المدخلات ويقدم إجابة.

استخراج الإجابة: احصل على سلسلة الإجابة من قاموس الإخراج باستخدام: الإجابة = النتيجة ['الإجابة'].

الناتج: تنتج العملية العديد من معلمات الإخراج بالترتيب التالي: الإجابة (امتداد النص المستخرج من السياق ، يتم تقديمه كسلسلة) ، والنتيجة (قيمة الفاصلة العائمة التي تحدد ثقة النموذج في تنبؤه) ، ومؤشرات البداية والنهاية (الأعداد الصحيحة التي تحدد مواضع الأحرف لمدى الإجابة داخل السياق).

محولات الجملة / all-MiniLM-L6-v2: all-MiniLM-L6-v2³⁵ هو محول جملة مدرب مسبقا من مكتبة Sentence-Transformers (الإصدار 5.1.1) ³⁶. تم تحسينه لتضمين النص بكفاءة ودقة. تم تطويره على إطار عمل MiniLM من Microsoft ، ويتضمن ست طبقات محولات وتضمينات 384 بعد. يوازن هذا التصميم بين الأداء والكفاءة الحسابية ، مما يجعله مناسبا للتطبيقات في الوقت الفعلي. تم تدريب النموذج على أكثر من مليار زوج من العبارات من مجموعات البيانات مثل SNLI و MultiNLI ومعايير STS والبيانات التي يتم الزحف إليها على الويب. نتيجة لذلك ، فإنه يوضح الكفاءة في التشابه الدلالي والتجميع والمهام المتعلقة بالبحث. نظرا لصغر حجمه (~ 22 ميجابايت) وأداء الاستدلال المحسن ، فإن all-MiniLM-L6-v2 يبسط تطبيقات مثل البحث الدلالي واكتشاف الازدواجية وتصنيف النص. على الرغم من أنها خفيفة الوزن ، إلا أنها توفر دقة قوية في المعايير مثل STS-B و SICK-R ، مما يجعلها خيارا فعالا لكل من السيناريوهات القابلة للتطوير والموارد المحدودة. يتم توضيح سير العمل لإنشاء التضمين باستخدام Sentence-Transformer في الشكل 9 أدناه.

الشكل 9: خطوة عملية التضمين باستخدام نموذج محول الجملة. يوضح الشكل سير العمل لإنشاء تضمينات نصية باستخدام إطار عمل محولات الجملة. يحدد العملية من استيراد المكتبات وتحميل نموذج مدرب مسبقا إلى إعداد البيانات النصية ، وإنشاء عمليات تضمين ، وتحويلها إلى مصفوفات NumPy ، وتخزينها للمهام النهائية مثل الفهرسة أو البحث عن التشابه. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

الخوارزمية المقترحة: توضح هذه الدراسة منهجية مقترحة في الخوارزمية 1 لتطوير نظام SCD-QA القائم على SeCD ، وهو قادر على معالجة كل من الأسئلة الواقعية وغير الواقعية التي يطرحها المستخدمون.

الخوارزمية 1: خوارزمية نظام SCD-QA المقترح القائم على SeCD
الإدخال: مجموعة من ملفات السياق الأولية (C) واستعلام المستخدم (Q).
الإخراج: LLM الأمثل المحدد المستند إلى المحول (M') ، والاستجابة الناتجة عن M '.
سياقات المعالجة المسبقة: قم بتعليق السياق الخام مجموعة C لإنشاء مجموعة بيانات منظمة بتنسيق D_SQuAD .
D_SQuAD = f_annonate (C)
إنشاء تضمين السياق: استخدم_تضمين محول الجملة f لتحويل كل سياق c d_SQuAD إلى تضمين e^c.

تخزين التضمينات: قم بتخزين E_c في قاعدة بيانات متجهة V للبحث الفعال عن التشابه.

إنشاء تضمين الاستعلام: قم بتحويل استعلام المستخدم Q إلى تضمين e_q باستخدام نفس محول الجملة.

استرجاع السياق: استرجاع تضمين السياق الأكثر صلة من قاعدة البيانات V بناء على التشابه مع_eq.

حيث sim (_{e q} ، e_c) ، هي وظيفة التشابه.
تمرير السياق إلى LLMs: قم بتغذية السياق المسترجع في 3 LLMs تستند إلى المحولات: Google-BERT (M₁) و DistilBERT (M₂) و RoBERTa (M₃) والنموذج التقليدي: TF-IDF + Cosine Similarity (M₄)

تقييم النموذج: قارن الردود {R₁ ،_{R 2} ،_{R 3} ،_{R 4}} باستخدام دالة التقييم f_eval ، والتي تسجل كل استجابة.

حدد أفضل نموذج: حدد النموذج M 'مع أعلى درجة تقييم S '

إنشاء الإخراج النهائي: استخدم M 'لإنشاء الاستجابة النهائية R بناء على

انتهاء

تحدد عملية الخوارزمية المقترحة نهجا منهجيا (الشكل 10) لاختيار LLM مثالي قائم على المحولات لمعالجة أسئلة المستخدم. وهو يشتمل على المعالجة المسبقة ، واسترجاع السياق القائم على التضمين ، والتقييم متعدد النماذج لضمان إجابات عالية الجودة وذات صلة بالسياق. أدناه ، يتم شرح العملية خطوة بخطوة للتوضيح:

إعداد البيانات ومعالجتها المسبقة: تتضمن المرحلة الأولى معالجة البيانات النصية الأولية-

الإدخال: يتم تكييف الملفات النصية الأولية⁸ في النظام.

أداة التعليقات التوضيحية³¹: يتم تحويل الإدخال إلى مجموعة بيانات منظمة بتنسيق SQuAD¹⁴ . تتضمن هذه الخطوة إنشاء أزواج ضمان الجودة. كما أنه ينظم البيانات النصية ذات الصلة في كتل سياق محددة جيدا.

الإخراج: مجموعة البيانات جاهزة الآن لإنشاء عمليات تضمين.

إنشاء تضمين السياق: لتمكين استرجاع السياق الفعال والقابل للتطوير ، يتم تطبيق نموذج محول الجملة^35،36 المدرب على مجموعة البيانات المشروحة. يحول هذا المحول النص إلى تضمينات عالية الأبعاد تلتقط المعنى الدلالي. يتم تخزين التضمينات في VD ، FAISS^29،32 لتمكين عمليات البحث السريعة القائمة على التشابه.

معالجة استعلام المستخدم: عندما يرسل المستخدم سؤالا ، تتم معالجة السؤال بواسطة نفس الجملة محول^35،36. يؤدي هذا إلى إنشاء تضمين مماثل في نفس مساحة المتجه^29،32 مثل تضمين السياق. يضمن هذا التصميم إمكانية مطابقة الاستعلام مع إدخالات السياق ذات الصلة.

استرجاع السياق باستخدام تشابه المتجه: باستخدام مقياس التشابه (على سبيل المثال ، تشابه جيب التمام) ، يقارن النظام تضمين الاستعلام بتضمين السياق المخزن. يختار النظام السياق الأكثر صلة بناء على أعلى درجة تشابه. وهذا يضمن تمرير السياق ذي الصلة فقط إلى نماذج الخادم النهائية. تقلل العملية من النفقات الحسابية وتحسن الملاءمة.

تقييم النموذج عبر LLMs متعددة: يتم تقييم السياق المحدد من خلال ثلاثة LLMs تستند إلى المحولات: Google-BERT²⁸ و DistilBERT¹⁰ و RoBERTa¹². يتم تقييمه أيضا من خلال TF-IDF³⁷ التقليدي المستند إلى الكلمات الرئيسية مع نموذج تشابه جيب التمام. يعالج كل نموذج السياق وينشئ ردا على سؤال المستخدم.

التقييم المقارن: يتم تقييم الردود من نماذج LLM الأربعة باستخدام مقياسين رئيسيين. أولا ، يتم تقييم المطابقة الدلالية بواسطة EM¹⁴. ثانيا ، يتم تحليل زمن انتقال النموذج بمتوسط رد الفعل مضروبا^{في 15}.

اختيار النموذج والإخراج النهائي: يتم تحديد النموذج الأفضل أداء باعتباره LLM المناسب لسؤال المستخدم. يتم النظر في الاستجابة النهائية من النموذج المحدد. هذا يضمن التوازن بين الكفاءة الحسابية وجودة الاستجابة.

الشكل 10: سير عمل نظام SCD-QA باستخدام النماذج القائمة على المحولات. يوضح الشكل كيفية عمل نظام SCD-QA. أولا ، تتم معالجة ملف السياق الخام بواسطة أداة تعليق توضيحي لإنشاء مجموعة بيانات بتنسيق SQuAD. يقوم محول الجملة بعد ذلك بإنشاء عمليات تضمين، والتي يتم تخزينها في قاعدة بيانات متجه FAISS. عندما يطرح المستخدم سؤالا ، يقوم النظام بإنشاء تضمين له وتحديد السياق الأكثر صلة. يقارن ثلاثة نماذج قائمة على المحولات - Google-BERT و DistilBERT و RoBERTa ، ودرجة تشابه جيب التمام التقليدية TFIDF + جيب التمام - ويستخدم الأفضل أداء لتقديم الإجابة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

النتائج

استخدم تنفيذ نظام SCD-QA أربعة LLMs ومجموعة بيانات من 80 سؤالا واقعيا وغير واقعي. تم إجراء المعالجة في Google Colab ، باستخدام وحدات معالجة الرسومات NVIDIA Tesla T4 (إصدار برنامج التشغيل: 550.54.15 ، إصدار CUDA: 12.4) مع ذاكرة وصول عشوائي للنظام 12.7 جيجابايت وذاكرة وصول عشوائي (RAM) بسعة 15 جيجابايت من وحدة معالجة الرسومات ومساحة قرص 112.6 جيجابايت. تم تقييم أداء النموذج باستخدام مقياسين: EM¹⁴ للمطابقة الدلالية وزمن انتقال النموذج¹⁵ لأوقات ...

المناقشة

تقدم هذه الدراسة نظام SCD-QA ، الذي يستفيد من نماذج اللغة القائمة على المحولات لتقديم استجابات دقيقة ومدركة للسياق من المستندات المؤسسية المنظمة. يتكون سير عمل النظام من: (1) المعالجة المسبقة للبيانات. (2) تضمين التوليد باستخدام محول الجملة الحديث ، all-MiniLM-L6-v2 ؛ (3) الاسترجاع القائم على التشابه من خلال FAISS. و (4) تقييم نموذجي شامل. تم اختبار خط الأنابيب على مجموعة بيانات SCD-QA ، والتي تتضمن 80 سؤالا مشروحا بعناية وقابلا للإجابة عليه وغير واقعي مستمدة من وثائق السياسة المؤسسية.

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
كل MiniLM-L6-v2	مايكروسوفت	الإصدار 5.1.1	نموذج محول جملة مدرب مسبقا لإنشاء تضمينات عالية الأبعاد. يحول النص إلى تضمينات لاسترجاع السياق.
أداة التعليق	كومه قش	الإصدار 2.18.1	منصة لهيكلة النصوص الخام بصيغة SQuAD. يعد مجموعة البيانات عن طريق إنشاء أزواج ضمان الجودة وكتل السياق.
نموذج DistilBERT	وجه العناق	NA	نموذج لغوي خفيف الوزن يعتمد على المحولات مع متطلبات حسابية أقل. عند تقييمها للمقارنة، توفر زمن استجابة أقل ولكن دقة أقل.
مرض فايس الجنسي	فيسبوك	faiss_cpu-1.9.0	الأمراض المنقولة جنسيا قابلة للتوسع للبحث القائم على التشابه. يخزن ويسترجع التضمينات عالية الأبعاد لمطابقة الاستعلامات بكفاءة.
نموذج Google-BERT	جوجل	NA	نماذج كبيرة كبيرة معتمدة على المحولات مع نمذجة سياق ثنائية الاتجاه. النموذج الأساسي لتوليد إجابات دقيقة على الاستعلامات الواقعية وغير الواقعية.
بطاقات رسومات NVIDIA Tesla T4	NVIDIA	إصدار التعريف: 550.54.15 نسخة CUDA: 12.4	بطاقات رسومات بذاكرة RAM بسعة 15 جيجابايت لاستنتاج النموذج. يوفر قوة حسابية لمعالجة وتقييم نماذج اللغة الكبيرة (LLMs).
بايثون	مؤسسة بايثون للبرمجيات	الإصدار 3.12.12	تعد بايثون لغة برمجة رائدة في مجال معالجة اللغة الطبيعية (NLP) بسبب بنياغها البسيط، ومكتباتها الشاملة، ودعمها القوي من المجتمع. يدعم مجموعة واسعة من مهام معالجة اللغة الطبيعية، بما في ذلك المعالجة المسبقة للنصوص الأساسية وتطبيقات التعلم الآلي المعقدة.
نموذج روبيرتا	ديبست	NA	نموذج اللغة الكبير المبني على المحولات مع استراتيجيات تدريب محسنة. تم تقييمها للمقارنة، حيث توازن الدقة والكمون.
مجموعة بيانات SCD-QA ك SQuAD  تنسيق	NA	الإصدار 2.0	تنسيق موحد لأزواج الأسئلة والأجوبة. مجموعة بيانات هياكل للتوافق مع نماذج المحولات.