نظام الإجابة على الأسئلة الدلالية للمجال المغلق كحالة استخدام لنماذج BERT القائمة على المحولات

ملخص

تصمم هذه الدراسة نظاما تعليميا تكيفيا لاستخراج المعرفة من النص للإجابة على الأسئلة ، ومقارنة نموذج Google-BERT و DistilBERT و RoBERTa و TF-IDF ، باستخدام تشابه جيب التمام ، على زمن الوصول والتعميم الدلالي. يعمل Google-BERT بشكل أفضل ، على الرغم من أن النظام لا يزال حساسا للأخطاء الإملائية ، مما يؤكد الحاجة إلى معالجة مسبقة قوية للتطبيق العملي.

الملخص

لاستخراج المعرفة من الملفات النصية والإجابة على أسئلة المستخدمين من خلال العثور على المعلومات الصحيحة في السياق ، تم تصميم نظام التعلم التكيفي ، مثل نظام الإجابة على الأسئلة (QAS) ، لهذا الغرض. يشجع هذا التركيز على مزيد من الدراسة حول أنظمة الإجابة المباشرة واستخدام الاختبارات واسعة النطاق لمهام الإجابة على الأسئلة (QA). لتسهيل ذلك ، يتم استخدام مجموعة بيانات ضمان الجودة (SCD-QA) الدلالية ذات المجال المغلق (SCD-QA) ، والتي تشمل كلا من الأسئلة الواقعية وغير الواقعية ، جنبا إلى جنب مع نماذج المحولات المدربة مسبقا. في هذه الدراسة ، يتم قياس القدرة على إجراء الاستدلالات ومقارنتها بين ثلاثة نماذج محولات مدربة مسبقا ، مثل Google-BERT و DistilBERT و RoBERTa ، على مجموعة بيانات SQuAD ، ونموذج TF-IDF الكلاسيكي القائم على الكلمات الرئيسية مع تشابه جيب التمام. تظهر النتائج أن Google-BERT يحقق أفضل أداء ، مع متوسط درجة المطابقة التامة (EM) 90.0 ومتوسط زمن انتقال يبلغ 1.27 ثانية. يعمل النظام أيضا بشكل جيد على الأسئلة ذات المرادفات ، مما يظهر فهما قويا للمعنى. لكنه لا يعمل بشكل كاف على الأسئلة التي تحتوي على أخطاء إملائية ، مما يشير إلى أنه حساس للأخطاء الإملائية ويتطلب معالجة مبكرة أفضل أثناء الاستخدام.

المقدمة

معالجة اللغة الطبيعية (NLP) هي مجال فرعي للذكاء الاصطناعي (الذكاء الاصطناعي) حيث يمكن إنشاء QAS ، مما يسمح لأنظمة الكمبيوتر بإنشاء إجابات تلقائيا للأسئلة¹. تركز البرمجة اللغوية العصبية بشكل أساسي على فهم وتفسير اللغة المكتوبة بطريقة تحاكي العمليات المعرفية للدماغ البشري². يؤدي الانخراط في هذه المهام إلى تأسيس البرمجة اللغوية العصبية كتقنية محورية في بناء نظام قادر على توليد استجابات شبيهة بالإنسان.

QAS ، الذي يستجيب لأسئلة المستخدم ، هو أحد الأمثلة على كيفية استخدام البرمجة اللغوية العصبية³. QAS هو مجال دراسة يتضمن بحثا من مختلف المجالات ذات المشكلات الشائعة ، مثل استرج....

البروتوكول

الأساس النظري الشامل

مكون QAS: يتكون إطار عمل QAS من ثلاثة أجزاء ، كما هو موضح في الشكل 3: 1) وحدة معالجة الأسئلة (QPM) ، 2) وحدة معالجة المستندات (DPM) ، و 3) وحدة استخراج الإجابة وصياغتها (AEFM). يتلقى النظام أسئلة تنقسم إلى فئتين رئيسيتين: Factoid و Non-Factoid. عادة ما تستخدم الأسئلة الواقعية كلمات استفهامية مثل ماذا أو أين أو متى أو من، بينما تستخدم الأسئلة غير الواقعية كلمات مثل كيف ولماذا.

DPM: من القائمة المتوفرة ، يمكن للمستخدم تحديد مقطع معين. بعد ذلك ، يتم تمييز كل رمز مميز في المقطع باستخدام علامة جزء من الكلام (POS). لاستخراج الأفعال ، ح....

النتائج

استخدم تنفيذ نظام SCD-QA أربعة LLMs ومجموعة بيانات من 80 سؤالا واقعيا وغير واقعي. تم إجراء المعالجة في Google Colab ، باستخدام وحدات معالجة الرسومات NVIDIA Tesla T4 (إصدار برنامج التشغيل: 550.54.15 ، إصدار CUDA: 12.4) مع ذاكرة وصول عشوائي للنظام 12.7 جيجابايت وذاكرة وصول عشوائي (RAM) بسعة 15 جيجابايت من وحدة معالجة الرسومات ومساحة قرص 112.6 جيجابايت. تم تقييم أداء النموذج باستخدام مقياسين: EM¹⁴ للمطابقة الدلالية وزمن انتقال النموذج¹⁵ لأوقات .......

المناقشة

تقدم هذه الدراسة نظام SCD-QA ، الذي يستفيد من نماذج اللغة القائمة على المحولات لتقديم استجابات دقيقة ومدركة للسياق من المستندات المؤسسية المنظمة. يتكون سير عمل النظام من: (1) المعالجة المسبقة للبيانات. (2) تضمين التوليد باستخدام محول الجملة الحديث ، all-MiniLM-L6-v2 ؛ (3) الاسترجاع القائم على التشابه من خلال FAISS. و (4) تقييم نموذجي شامل. تم اختبار خط الأنابيب على مجموعة بيانات SCD-QA ، والتي تتضمن 80 سؤالا مشروحا بعناية وقابلا للإجابة عليه وغير واقعي مستمدة من وثائق السياسة المؤسسية.

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
كل MiniLM-L6-v2	مايكروسوفت	الإصدار 5.1.1	نموذج محول جملة مدرب مسبقا لإنشاء تضمينات عالية الأبعاد. يحول النص إلى تضمينات لاسترجاع السياق.
أداة التعليق	كومه قش	الإصدار 2.18.1	منصة لهيكلة النصوص الخام بصيغة SQuAD. يعد مجموعة البيانات عن طريق إنشاء أزواج ضمان الجودة وكتل السياق.
نموذج DistilBERT	وجه العناق	NA	نموذج لغوي خفيف الوزن يعتمد على المحولات مع متطلبات حسابية أقل. عند تقييمها للمقارنة، توفر زمن استجابة أقل ولكن دقة أقل.
مرض فايس الجنسي	فيسبوك	faiss_cpu-1.9.0	الأمراض المنقولة جنسيا قابلة للتوسع للبحث القائم على التشابه. يخزن ويسترجع التضمينات عالية الأبعاد لمطابقة الاستعلامات بكفاءة.
نموذج Google-BERT	جوجل	NA	نماذج كبيرة كبيرة معتمدة على المحولات مع نمذجة سياق ثنائية الاتجاه. النموذج الأساسي لتوليد إجابات دقيقة على الاستعلامات الواقعية وغير الواقعية.
بطاقات رسومات NVIDIA Tesla T4	NVIDIA	إصدار التعريف: 550.54.15 نسخة CUDA: 12.4	بطاقات رسومات بذاكرة RAM بسعة 15 جيجابايت لاستنتاج النموذج. يوفر قوة حسابية لمعالجة وتقييم نماذج اللغة الكبيرة (LLMs).
بايثون	مؤسسة بايثون للبرمجيات	الإصدار 3.12.12	تعد بايثون لغة برمجة رائدة في مجال معالجة اللغة الطبيعية (NLP) بسبب بنياغها البسيط، ومكتباتها الشاملة، ودعمها القوي من المجتمع. يدعم مجموعة واسعة من مهام معالجة اللغة الطبيعية، بما في ذلك المعالجة المسبقة للنصوص الأساسية وتطبيقات التعلم الآلي المعقدة.
نموذج روبيرتا	ديبست	NA	نموذج اللغة الكبير المبني على المحولات مع استراتيجيات تدريب محسنة. تم تقييمها للمقارنة، حيث توازن الدقة والكمون.
مجموعة بيانات SCD-QA ك SQuAD  تنسيق	NA	الإصدار 2.0	تنسيق موحد لأزواج الأسئلة والأجوبة. مجموعة بيانات هياكل للتوافق مع نماذج المحولات.