تصنيف البريد العشوائي مع آلات ناقلات الدعم باستخدام انتباه درجة رتبة Van der Waerden

Summary

تقترح هذه الدراسة نهجا مبتكرا يعتمد على آلة ناقلات الدعم المدمجة مع آلية انتباه الميزات المحسنة لدرجة Van der Waerden ، والتي تهدف إلى معالجة تحديات بيانات البريد العشوائي المتناثرة عالية الأبعاد وتحسين أداء تصنيف الكشف عن البريد العشوائي.

Abstract

مع توسع استخدام البريد الإلكتروني ، أصبح البريد العشوائي تحديا خطيرا ، مما يهدد أمن الشبكة ويقلل من كفاءة الاتصال. تواجه طرق الكشف التقليدية قيودا مستمرة: غالبا ما تكافح نماذج التعلم الآلي التقليدية مع البيانات المتناثرة عالية الأبعاد ، بينما يتطلب التعلم العميق موارد حسابية كبيرة.

تقدم هذه الدراسة ميزة درجة رتبة Van der Waerden ميزة آلة ناقلات الدعم المحسنة للانتباه (VWR-Attn-SVM) لمعالجة هذه المشكلات. تطبق الطريقة تحويل رتبة Van der Waerden لتطبيع ميزات النص ، وتحسين المتانة ضد القيم المتطرفة والحفاظ على العلاقات الترتيبية. تعمل آلية الانتباه المحسنة على تحسين اختيار الميزة من خلال المعالجة غير الخطية مع التنظيم ، مما يسلط الضوء على الميزات الأكثر صلة باكتشاف البريد العشوائي.

تظهر التجارب على UCI Spambase ومجموعات بيانات البريد العشوائي الإندونيسية أن VWR-Attn-SVM يتفوق على المصنفات التقليدية من حيث الدقة والدقة والاستدعاء ودرجة F1 و AUC. من خلال الجمع بين الأداء العالي والتكلفة الحسابية المنخفضة ، توفر الطريقة حلا فعالا وقابلا للتفسير لتصنيف البريد العشوائي ، مع امتداد محتمل إلى منصات نصية أخرى مثل المراسلة ووسائل التواصل الاجتماعي.

Introduction

في العصر الرقمي المعاصر ، الذي يتميز بالتطور السريع للإنترنت والتقنيات الرقمية ، ظل البريد الإلكتروني حجر الزاوية الذي لا غنى عنه في مجالات المعاملات الإلكترونية والاتصال المؤسسي ، على الرغم من الظهور المستمر والابتكار لمنصات الرسائل الفورية^ووسائل التواصل الاجتماعي 1. تمنحها قدرتها على تجاوز الحدود الزمنية والمكانية مزايا فريدة ، مما يسمح بالتواصل السلس في جميع أنحاء العالم في أي وقت. ومع ذلك ، فقد أدى هذا التبني المكثف إلى ظهور قضية ملحة وضارة - الانتشار المتفشي للرسائل غير المرغوب فيها. استغلت الجهات الفاعلة الخبيثة أنظمة البريد الإلكتروني كوسائل لتوزيع كميات هائلة من الإعلانات التجارية غير المرغوب فيها والبرامج الضارة والمحتوى غير القانوني. وفقا للبحث ، من عام 2012 إلى عام 2023 ، ارتفعت نسبة البريد العشوائي العالمي في إجمالي حركة مرور البريد الإلكتروني بنسبة 7700٪ ^2،3. لا يؤدي هذا التدفق من البريد العشوائي إلى تعطيل عمليات البريد الإلكتروني العادية للمستخدمين فحسب ، بل يشكل أيضا تهديدات متعددة الأوجه. إنه يقوض الخصوصية الشخصية من خلال كشف المعلومات الحساسة ، ويعرض أمن الشركة للخطر من خلال مخاطر خروقات البيانات والإصابة بالبرامج الضارة ، بل ويزعزع استقرار النظام الاقتصادي من خلال تسهيل الأنشطة الاحتيالية^4،5. يقلل التصنيف الفعال للرسائل غير المرغوب فيها من الخسائر المالية المتعلقة بالتصيد الاحتيالي بنسبة 40-60٪ ⁶ ، مما يسلط الضوء على القيمة العملية لطرق التصفية الفعالة والدقيقة. وبالتالي ، برز تطوير نموذج فعال ودقيق للكشف عن البريد العشوائي كمجال بحث حاسم لضمان أمن الشبكة وتعزيز الكفاءة.

تركزت مجموعة كبيرة من الأبحاث الحالية حول اكتشاف البريد العشوائي حول التعلم الآلي ومنهجيات التعلم العميق. في مجال التعلم الآلي التقليدي ، تم استكشاف مجموعة متنوعة من التقنيات وتطبيقها. تم استخدام الأساليب المستندة إلى القواعد ، مثل أشجار القرار⁷ ، لاتخاذ قرارات التصنيف بناء على قواعد محددة مسبقا مشتقة من ميزات البيانات. كما أظهرت طرق التعزيز^8،9،10 ، التي تجمع العديد من المتعلمين الضعفاء في طريقة قوية ، ونظرية المجموعات التقريبية¹¹ ، التي تتعامل مع عدم اليقين وعدم الدقة في البيانات ، إمكانات. بالإضافة إلى ذلك ، تم استخدام الأساليب الإحصائية بما في ذلك الانحدار اللوجستي ، و K-أقرب الجيران (KNN) ^12،13 ، و Naive Bayes^14،15،16 ، و SVM^17،18،19 على نطاق واسع. تعتمد هذه الأساليب عادة على طرق استخراج الميزات التقليدية مثل TF-IDF. في حين أن TF-IDF فعال في تحديد أهمية الكلمات في المستند ، إلا أنه يكافح لالتقاط العلاقات الدلالية المعقدة والفروق السياقية الدقيقة المتأصلة في نصوص البريد الإلكتروني. علاوة على ذلك ، عند مواجهة بيانات عالية الأبعاد ومتفرقة ، وهو أمر نموذجي في مساحات ميزات البريد الإلكتروني ، غالبا ما تواجه هذه الطرق اختناقات حسابية. يمكن أن تؤدي قوتها المحدودة إلى الوقوع في شرك الحلول المثلى المحلية أثناء عملية التدريب ، وبالتالي تقييد دقة التصنيف والقدرة على تعميم النماذج بشدة.

برز التعلم العميق ، بقدرته الرائعة على الاستخراج التلقائي للميزات ، كبديل قوي في اكتشاف البريد العشوائي. خطت الخوارزميات ، مثل الشبكات العصبية التلافيفية (CNN) ^20،21،22 ، والشبكات العصبية المتكررة (RNN) ²³ ، وشبكات الذاكرة طويلة المدى قصيرة المدى (LSTM) ^24،25 ، بالإضافة إلى النماذج الحديثة المستندة إلى المحولات مثل Word2vec و BERT^26،27 ، خطوات كبيرة في تحسين أداء التصنيف. CNNs بارعة في استخراج الميزات المحلية من البيانات ، ويمكن ل RNNs و LSTMs التعامل مع البيانات المتسلسلة بشكل جيد ، والتقاط التبعيات الزمنية في النص ، وتتفوق النماذج المستندة إلى المحولات في التنقيب عن العلاقات الدلالية المعقدة ومعلومات السياق. توفر طرق البرمجة اللغوية العصبية الفعالة الحديثة ، مثل مصنفات النصوص المستندة إلى TinyML²⁸ ، خطوط أساس قوية لتصنيف البريد العشوائي. تم تحسين طرازات TinyML للأجهزة الطرفية ذات الذاكرة المحدودة. نقارن طريقتنا بهذه الأساليب في قسم النتائج ، مع تسليط الضوء على المقايضات بين الدقة والكفاءة الحسابية ومرونة النشر. ومع ذلك ، فإن نماذج التعلم العميق هذه تأتي مع مجموعة من القيود الخاصة بها. عادة ما تتطلب عددا كبيرا من معلمات التدريب ، مما يؤدي إلى ارتفاع متطلبات الموارد الحسابية وأوقات التدريب الممتدة. تتطلب نماذج التعلم العميق مثل BERT ذاكرة أكثر من 3 إلى 5 أضعاف وأوقات تدريب أطول 10 مرات من SVMs^{التقليدية 29} ، مما يجعلها أقل ملاءمة للبيئات المحدودة الموارد. وهذا يجعلها أقل عملية للنشر في البيئات المحدودة الموارد، مثل الأجهزة المحمولة أو الخوادم المنخفضة. علاوة على ذلك ، غالبا ما تجعلها بنيتها المعقدة أقل قابلية للتفسير ، مما قد يكون عيبا كبيرا في التطبيقات التي يكون فيها فهم عملية صنع القرار للنموذج أمرا بالغ الأهمية.

على هذه الخلفية، يتمثل الهدف الشامل لهذه الدراسة في تطوير نهج مبتكر يمكنه التغلب على قيود الأساليب الحالية ومعالجة التحديات التي تفرضها الطبيعة عالية الأبعاد والمتفرقة لبيانات البريد العشوائي بشكل فعال. تمثل ميزة Van der Waerden Rank Score المقترحة SVM المحسنة للانتباه (VWR-Attn-SVM) تكاملا جديدا للتقنيات التي تهدف إلى تحسين أداء الكشف عن البريد العشوائي (الشكل 1). يكمن المبدأ الأساسي وراء VWR-Attn-SVM في تصميمه الفريد الذي يجمع بين نقاط القوة في المكونات المتعددة.

الشكل 1: مخطط التدفق العام للبحث حول تصنيف البريد العشوائي باستخدام VWR-Attn-SVM. يوضح هذا المخطط الانسيابي سير عمل تصنيف البريد العشوائي بناء على درجة رتبة Van der Waerden وميزة SVM المحسنة للانتباه ، والتي تغطي إعداد البيانات (التحميل ، والتقسيم ، والمعالجة المسبقة) ، والإعداد التجريبي ، والتحقق من الارتباطات الإحصائية لتسمية ميزة TF-IDF ، والكشف عن البريد العشوائي المستند إلى SVM المعزز للانتباه ، ومقارنة المصنفات المتعددة. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

تعالج آلية انتباه الميزات المحسنة الأساسية عينات البريد الإلكتروني الفردية ذات الأبعاد المحددة. من خلال تطبيق تحويل رتبة Van der Waerden ، فإنه يقوم بتطبيع ميزات نص البريد الإلكتروني المشوهة بواسطة ترددات الكلمات غير الطبيعية إلى شكل قياسي يشبه التوزيع العادي. يعزز هذا التحول بشكل كبير متانة النموذج ، مما يمكنه من التعامل بشكل أفضل مع تباين بيانات البريد الإلكتروني. تم تفضيل درجات رتبة Van der Waerden على التحجيم اللوغاريتمي والتحويلات الكمية لثلاثة أسباب: (1) قوية لميزات القيم المتطرفة غير المرغوب فيها (على سبيل المثال ، ترددات الكلمات القصوى) ، على عكس مقياس السجل الذي يضخم ضوضاء التردد المنخفض ؛ (2) الحفاظ على العلاقات الترتيبية للميزات (حاسمة للتسلسل الهرمي لمؤشر البريد العشوائي مثل "مجاني" مقابل "فوز") ، بينما يقوم الكم بتحويل التوزيعات المسطحة ؛ (3) تطبيع إلى [0،1] ، وتسهيل تكامل آلية الانتباه وضمان الترجيح المتسق (الشكل 2).

الشكل 2: مخطط انسيابي تجريبي. (A-C) مهام سير العمل لتصنيف البريد العشوائي ، والتي تغطي معالجة البيانات ، واختيار الميزات ، وتدريب النموذج ، والتقييم ، والمقارنة مع / بدون تحويل درجة رتبة Van der Waerden. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

من الناحية الهيكلية ، تتميز الآلية بشبكة متصلة بالكامل من طبقتين لتحويل المعالم غير الخطية (الشكل 2). تعمل الطبقة الأولى ، المجهزة بوظيفة تنشيط LeakyReLU ، على تقليل أبعاد الإدخال مع إدخال عدم الخطية وتتضمن طبقة Dropout للتخفيف من الإفراط في التركيب. الطبقة الثانية ، باستخدام وظيفة Sigmoid ، تنتج أوزان الانتباه التي يمكنها تحديد أهمية كل ميزة بدقة. تم دمج استراتيجية تنظيم L1 / L2 في النموذج لتحسين اختيار الميزة ، حيث يعزز تنظيم L1 التناثر ، وفحص الميزات الأقل صلة بشكل فعال ، ويمنع تنظيم L2 الإفراط في التركيب عن طريق تقييد حجم الأوزان. خلال مرحلة التدريب ، يتم اعتماد إطار عمل تعليمي متعدد المهام ، يجمع بين فقدان إعادة بناء الميزة وفقدان التصنيف لتحسين معلمات النموذج. يسمح ذلك ل VWR-Attn-SVM بالتكيف بدقة مع ميزات TF-IDF عالية الأبعاد والمتناثرة لنصوص البريد الإلكتروني ، والتي تتميز بالطبيعة المعقدة لمحتوى البريد الإلكتروني.

تم تحسين طريقتنا لمجموعات بيانات البريد العشوائي المستندة إلى النص التي تتراوح من عدة آلاف إلى عشرة آلاف (على سبيل المثال ، Spambase ، مجموعة بيانات البريد العشوائي الإندونيسية (الملف التكميلي 1)) وتتطلب موارد حسابية قياسية (معالج Intel Core i7 ، 16 جيجابايت من ذاكرة الوصول العشوائي) للتدريب ؛ يمكن تشغيل الاستدلال على كمبيوتر محمول قياسي (Intel Core i5 ، ذاكرة وصول عشوائي 8 جيجابايت) بزمن انتقال دون ثانية. تشمل القيود الرئيسية الأداء المحدود على الرسائل غير النصية غير المرغوب فيها (على سبيل المثال، البريد العشوائي المضمن في الصور) والاعتماد على ميزات النص المنظم. بالمقارنة مع التقنيات البديلة الحالية ، تتمتع VWR-Attn-SVM بالعديد من المزايا الرائعة. يختلف عن طرق التعلم الآلي التقليدية ، فهو لا يعتمد فقط على استخراج الميزات الأساسية ولكنه يتعلم بنشاط وزن الميزات وفقا لأهميتها من خلال آلية الانتباه المحسنة ، لالتقاط ميزات أكثر صلة بتصنيف البريد العشوائي بشكل أفضل. على عكس نماذج التعلم العميق ، فإنه يحقق توازنا إيجابيا بين الأداء والكفاءة الحسابية. يتطلب موارد حسابية أقل وأوقات تدريب أقصر ، مما يجعله أكثر ملاءمة لمجموعة واسعة من التطبيقات ، خاصة تلك ذات الموارد المحدودة. لا ينطبق هذا النهج المبتكر على المهمة المحددة للكشف عن البريد العشوائي في أنظمة البريد الإلكتروني فحسب ، بل ينطوي أيضا على إمكانية الامتداد إلى قنوات الاتصال النصية الأخرى ، مثل تطبيقات المراسلة الفورية ومنصات الوسائط الاجتماعية وخدمات الرسائل القصيرة ، حيث توجد مشكلات مماثلة لنشر المحتوى غير المرغوب فيه والضارة. بشكل عام ، يمثل VWR-Attn-SVM تقدما كبيرا في مجال اكتشاف البريد العشوائي ، حيث يقدم حلا أكثر عملية وكفاءة وتنوعا لمكافحة مشكلة البريد العشوائي المستمرة في مشهد الاتصالات الرقمية.

Protocol

1. التحضير التجريبي (الملف التكميلي 2 والملف التكميلي 3)

1. وصف البيانات: قم بتحميل مجموعة بيانات البريد العشوائي مفتوحة المصدر من مستودع التعلم الآلي ل UCI للكشف عن البريد الإلكتروني غير المرغوب فيه³⁰. وثق أن مجموعة البيانات تحتوي على 4,601 مثيلا مع 57 ميزة مستمرة وتسمية فئة واحدة، بما في ذلك 1,813 عينة غير مرغوب فيها (39.4٪) و2,788 عينة غير مرغوب فيها (60.6٪) (الجدول 1).
2. استيراد المكتبة
   1. استيراد المكتبات الأساسية (انظر جدول المواد).
   2. قم بتعيين بذرة عشوائية عالمية على 42 لضمان تكرار النتائج.
3. تكوين إعدادات الرسم: استخدم Times New Roman للنص الإنجليزي ، وحل مشكلات عرض علامة الطرح ، وقم بتعيين حجم الخط إلى 16 لتحسين قابلية القراءة.

الجدول 1: ملخص إحصائيات مجموعة البيانات وتعريفات الميزات. يعرض هذا الجدول متغيرات لتصنيف الرسائل غير المرغوب فيها، بما في ذلك تكرار الكلمات (word_freq_WORD) وتكرار الأحرف (char_freq_CHAR) ومقاييس طول تشغيل رأس المال ومتغير الفئة المستهدفة، مع أوصاف لكل نوع متغير ومعناه. الرجاء النقر هنا لتنزيل هذا الجدول.

2. تجربة للتحقق من الارتباط الإحصائي بين ميزات وتسميات TF-IDF (الملف التكميلي 2 والملف التكميلي 3)

1. المعالجة المسبقة للبيانات
   1. تحميل مجموعات البيانات (الملف التكميلي 1): مجموعة البيانات الأولى: spambase.csv; مجموعة البيانات الثانية: spam_indonesian.csv.
   2. افحص توزيع تصنيفات البريد الإلكتروني غير المرغوب فيها وغير المرغوب فيها واحسب نسبة كل فئة.
   3. قم بتحويل هذه الميزات إلى بينارث باستخدام المتوسط كعتبة لاختبار مربع كاي القادم.
      ملاحظة: تأكد من أن ملف البريد العشوائي موجود في دليل العمل الصحيح أو قم بتوفير مسار الملف الكامل عند استخدام أمر القراءة.
2. المعالجة المسبقة لاختبار البيانات (الملف التكميلي 2 والملف التكميلي 3)
   1. استخدم sklearn.feature_selection.chi2 لاختبار مربع كاي على ميزات TF-IDF الثنائية:
      نداء الرمز:
      من sklearn.feature_selection استيراد chi2
      chi2_values ، p_values = chi2 (df_binary ، df ['البريد العشوائي'])
      significant_features_chi2 = [feature_cols[i] ل i في np.where (p_values < 0.05) [0]]
      print(f"عدد الميزات المهمة: {len(significant_features_chi2)}")
      المخرجات المتوقعة: مجموعة فرعية من الميزات (على سبيل المثال، 35 من أصل 57) مع ارتباط إحصائي بتصنيفات الرسائل غير المرغوب فيها، بما في ذلك كلمات رئيسية مثل "مجاني" أو "إزالة".
   2. إجراء تنفيذ باستخدام sklearn.feature_selection.f_classif:
      نداء الرمز:
      من sklearn.feature_selection استيراد f_classif
      f_values ، f_p_values = f_classif (df [feature_cols] ، df ['spam'])
      significant_features_f = [feature_cols[i] ل i في np.where (f_p_values < 0.05) [0]]
      print(f"الميزات المحتجزة: {len(significant_features_f)}")
      ملاحظة: يحتفظ هذا عادة ب 40-50 ميزة (يعتمد على مجموعة البيانات) ، متداخلة جزئيا مع نتائج مربع كاي.
      قبل إجراء الاختبارات الإحصائية، تحقق من تنسيق البيانات والمعلمات لضمان نتائج دقيقة.
3. التصور
   1. حدد أهم 20 ميزة مع أصغر قيم p من نتائج اختبار مربع كاي.
   2. قم بالإنشاء باستخدام seaborn.heatmap:
      نداء الرمز:
      استيراد Seaborn ك SNS
      top_indices = np.argsort (p_values) [: 20]
      top_features = [feature_cols[i] ل i في أعلى $\_$مؤشرات]
      corr_matrix = df[top_features + ['البريد العشوائي']].corr()
      plt.figure (figsize = (12 ، 10))
      sns.heatmap(corr_matrix ، annot = True ، cmap = 'coolwarm')
      plt.show()
      ملاحظة: النمط المتوقع: مجموعة المعالم المتعلقة بالبريد العشوائي مع تسمية البريد العشوائي باللون الأحمر (ارتباط إيجابي).

3. تصنيف SVM المعزز للانتباه للكشف عن البريد العشوائي (الملف التكميلي 2 والملف التكميلي 3)

1. المعالجة المسبقة للبيانات
   1. تحميل البيانات: تقسيم البيانات باستخدام تقسيم اختبار sklearn.model selection.train مع البذور الثابتة:
      نداء الرمز:
      من sklearn.model تحديد استيراد اختبار قطار الانقسام
      قطار X ، اختبار X ، قطار y ، اختبار y = تقسيم اختبار القطار (X ، y ، حجم الاختبار = 0.3 ، الحالة العشوائية = 42)
   2. التوحيد القياسي وموازنة الطبقة: التنفيذ عبر أخذ العينات imblearn.over. SMOTE (تقنية أخذ العينات الزائدة للأقلية الاصطناعية (SMOTE) ³¹):
      نداء الرمز:
      من imblearn.over استيراد أخذ العينات SMOTE
      # الافتراضي: استراتيجية أخذ العينات = "تلقائي" ، k neighbours = 5
      smote = SMOTE (حالة عشوائية = 42)
      X قطار smote ، y قطار smote = smote.fit resample (قطار X ، قطار y)
      توزيع فئة الأرصدة (على سبيل المثال ، من 85:15 إلى 50:50).
2. بنية نموذج انتباه الميزة المحسنة: صمم آلية تتعلم أوزان أهمية المعالم عبر تحويلات غير خطية متعددة الطبقات. قم بتعيين أوزان انتباه أعلى للميزات الهامة لتعزيز تأثيرها.
   1. المعالجة المسبقة للميزة (اختياري)
      1. قم بتطبيق تحويل الرتبة العادية ل Van der Waerden على ميزات الإدخال. قم بتحويل الميزات الأولية إلى توزيع طبيعي تقريبي لتحسين متانة النموذج. استخدم الصيغة:
         
         حيث يمثل x متجه ميزة TF-IDF لعينة ، فإن R (x) هي رتبة قيمة الميزة ، و d هو طول المتجه (d = 57) ، و ^φ-1 هي دالة التوزيع التراكمي العكسي للتوزيع الطبيعي القياسي.
         ملاحظة:استخدم معلمة use_rank_transform (منطقية) للتحكم في تمكين تحويل الرتبة العادية لمعالجة الميزات.
   2. التحويل غير الخطي متعدد الطبقات: تعلم تمثيلا غير خطي للمعالم من خلال شبكة متصلة بالكامل من طبقتين.
      1. تحويل الطبقة الأولى: استخدم الصيغة:
         
         حيث W₁ R^k×d و k = 64 (الخلايا العصبية المخفية).
         تم تنفيذه في Keras باستخدام LeakyReLU:
         نداء الرمز:
         من tensorflow.keras.layers استيراد كثيف
         self.dense1 = كثيف (وحدات = 64 ، # 256 ل VWR-Attn-SVM
         activation='relu متسرب', # المنحدر السلبي الافتراضي=0.01
         منظم النواة = منظمات.L1 L2 (L1 = 0.0002 ، L2 = 0.0002))
         ملاحظة: أضف طبقة تسرب بمعدل تسرب 0.2 لمنع الإفراط في التركيب.
      2. تحويل الطبقة الثانية: قم بتطبيق تحويل الطبقة الثانية باستخدام Sigmoid لتوليد أوزان انتباه في النطاق [0،1]. استخدم الصيغة:
         
         حيث W₂ R^d×k و R^k هي أوزان الانتباه لكل ميزة. حدد Sigmoid بدلا من SoftMax للحفاظ على استقلالية أهمية الميزات المتعددة.
         تطبيق تنشيط Keras Sigmoid لأوزان الانتباه:
         نداء الرمز:
         self.dense2 = كثيف (شكل الإدخال [-1] ، التنشيط = 'سيني' ،
         منظم النواة = منظمات.L1 L2 (L1 = 0.0002 ، L2 = 0.0002))
   3. ترجيح الميزات: قم بتحسين الميزات المهمة من خلال إجراء الضرب حسب العناصر باستخدام أوزان الانتباه. استخدم الصيغة:
      
      حيث يشير إلى الضرب حسب العنصر.
3. تدريب نموذج انتباه الميزة المحسنة
   1. تحسين هدف المهام المتعددة: تقليل وظيفة الخسارة المرجحة التي تجمع بين فقدان إعادة الإعمار وفقدان الانتروبيا المتقاطعة لتدريب النموذج. تأكد من أن آلية الانتباه تحتفظ بالمعلومات الهامة مع التركيز على الميزات ذات الصلة بالتصنيف. استخدم الصيغة:
      
      الاستفادة من متوسط خسارة الخطأ التربيع
      لإعادة بناء ميزات الإدخال وتطبيق خسارة الانتروبيا المتقاطعة
      إلى مهمة التصنيف.
      تنفيذ خسارة مخصصة متعددة المهام في PyTorch: خسارة مخصصة في Keras مع alpha = 0.5:
      نداء الرمز:
      model.compile(optimizer='Adam',loss={
      'enhanced_feature_attention':'mse','classification':
      'binary_crossentropy'},loss_weights={
      "enhanced_feature_attention": 0.5 ، "التصنيف": 0.5})
      تتميز أرصدة alpha = 0.5 بإعادة البناء (MSE) والتصنيف (الانتروبيا المتقاطعة) ، مما يؤدي إلى تقارب مستقر خلال 50-100 حقبة.
      ملاحظة: قم بتطبيق التنظيم المختلط L1/L2 (الشبكة المرنة، القوة الافتراضية 0.001) على كلتا الطبقتين المتصلتين بالكامل لتحسين تحديد المعالم والتعميم.
   2. إعدادات المعلمات: قم بتعيين معامل الوزن α للتحكم في الأهمية النسبية للخسارتين واستخدم α = 0.5 في الكود. قم بتكوين حجم الدفعة على أنه 64، وقم بتعيين عدد الفترات على أنها 200، وخصص 10٪ من البيانات لمجموعة التحقق من الصحة.
   3. إضافة وظائف معاودة الاتصال.
      عمليات استدعاء Keras مع المعلمات الافتراضية:
      نداء الرمز:
      من tensorflow.keras.callbacks استيراد EarlyStopping و ReduceLROnPlateau
      عمليات الاسترجاعات = [EarlyStopping(monitor='val_loss', patience=5, mode='min', restore_best_weights
      = صحيح) ، تقليل LROnPlateau (مراقب = 'val_loss' ، العامل = 0.5 ، الصبر = 5 ، min_lr = 0.0005 ، مطول = 1)]
      1. قم بدمج معاودة الاتصال EarlyStopping لإيقاف عملية التدريب عندما لا تتحسن خسارة التحقق من الصحة لمدة 5 فترات متتالية.
      2. أضف معاودة الاتصال ReduceLROnPlateau لضبط معدل التعلم بشكل متكيف. اضبط عامل الاضمحلال على 0.5 والحد الأدنى لمعدل التعلم على 0.0002.
   4. إنشاء ميزات وزن الانتباه: بعد التدريب، استخرج أوزان الانتباه من طبقة انتباه الميزات المحسنة. قم بإنشاء ميزات مرجحة لكل من مجموعات التدريب والاختبار. قم بتغذية هذه الميزات في مصنف SVM.
4. تقييم النموذج
   ملاحظة: تدريب وتقييم موازين تقسيم اختبار القطار 70-30. يعالج SMOTE عدم توازن الفصل ، ويحسن الأداء على البيانات النصية غير المتوازنة. يعمل MinMaxScaler على تثبيت النماذج المستندة إلى المسافة. الوحدات: سعة التوازن 64 (Attn-SVM) و 128 (VWR-Attn-SVM) ؛ 128 يستوعب تعقيد تحويل رتبة Van-der-Waerden. يمنع التسرب (0.2) الإفراط في التجهيز، وهو معيار لمجموعات البيانات الصغيرة والمتوسطة. تنظيم L1 / L2 (0.0002-0.002): L1 يحفز التناثر. L2 يحد من حجم الوزن. أوزان الخسارة المتساوية (MSE: 0.5 ، الانتروبيا المتقاطعة: 0.5) توازن إعادة البناء وتعلم التصنيف. العصور: 200 (Attn-SVM) ، 300 (VWR-Attn-SVM) مع التوقف المبكر (الصبر = 5) لتجنب الإفراط في التجهيز. حجم الدفعة 64 يوازن بين الكفاءة والاستقرار. يقوم ReduceLROnPlateau (العامل = 0.5 ، الصبر = 5-10) بضبط معدلات التعلم (دقيقة 0.0001-0.0005) لتحسين التقارب.
   1. تصميم دراسة الاستئصال والمقارنات: تحديد النماذج التالية للمقارنة: SVM الأساسي: SVM التقليدي مع نواة دالة الأساس الشعاعي (RBF) ؛ Attn-SVM: SVM مع آلية انتباه الميزة المحسنة. VWR-Attn-SVM: SVM يجمع بين تحويل Van der Waerden والاهتمام المحسن بالميزات.
   2. مقاييس التقييم (الجدول 2): تقييم أداء النموذج باستخدام الدقة والدقة والاستدعاء ودرجة F1 و AUC.
5. تصور الانتباه وتفسير النموذج
   1. تصور أوزان الانتباه للميزات الرئيسية
      مخطط شريط Matplotlib لأفضل 15 ميزة:
      نداء الرمز:
      استيراد matplotlib.pyplot ك PLT
      top_indices = np.argsort (-avg_weights) [:15]
      top_features = [feature_names[i] ل i في top_indices]
      top_weights = avg_weights[top_indices]
      plt.figure (figsize = (12 ، 8))
      plt.barh (top_features ، top_weights ، اللون = 'أزرق السماء')
      plt.xlabel ("وزن الانتباه")
      plt.title ("أوزان انتباه الميزة الأعلى")
      plt.show()
   2. مقارنة تأثير تحويل الرتبة العادية: قارن أداء النموذج (الدقة والدقة والاستدعاء ودرجة F1 و AUC) مع وبدون تمكين use_rank_transform . قم بتمييز الاختلافات الرئيسية في المقاييس في جدول منسق.
   3. مقارنة أهمية الميزة: تحليل الاتساق بين السمات المهمة التي تم تحديدها بواسطة الاختبارات الإحصائية (على سبيل المثال ، مربع كاي) وآلية الانتباه.
      ملاحظة: إذا كانت الموارد الحسابية محدودة ، فقم بتقليل عدد الوحدات (على سبيل المثال ، إلى 32) أو حقبة (على سبيل المثال ، إلى 100). اضبط l1_reg/l2_reg لموازنة تعقيد النموذج (القيم الأعلى تعزز التنظيم).

4. مقارنة بين المصنفات المتعددة (الملف التكميلي 2 والملف التكميلي 3)

1. تعريف قاموس المصنف. قم بإنشاء قاموس للمصنفات للمقارنة، بما في ذلك KNN وLogistic Regression وAdaBoost وNaive Bayes وSVM مع نواة RBF (المعلمات الافتراضية).
2. تهيئة إطارات بيانات النتائج. قم بإنشاء أربعة إطارات بيانات لتخزين مقاييس التقييم، مع الأعمدة: المصنف والدقة والدقة والاستدعاء وF1-Score وAUC.
3. تدريب وتقييم المصنفات. لكل مصنف، قم بتنفيذ الخطوات التالية.
   أمثلة على المصنفات مع المعلمات والبذور:
   نداء الرمز:
   من sklearn.linear_model استيراد LogisticRegression
   من sklearn.svm استيراد SVC
   lr = الانحدار اللوجستي (random_state = RANDOM_SEED ، max_iter = 1000)
   svm = GridSearchCV (SVC (random_state = RANDOM_SEED ، الاحتمال = صواب) ،
   param_grid={'C': [0.001,0.01 1, 10,100,1000], 'جاما': [0.001,0.01 1, 10,100,1000],
   kernel': ['RBF', 'خطي']}, السيرة الذاتية = 5, scoring = 'f1')
   ملاحظة: تستخدم جميع الطرز random_state = 42 للتكرار.
   1. تدريب المصنف على بيانات التدريب المتوسعة.
   2. التنبؤ بالاحتمالات وحسابها في كل من مجموعات التدريب والاختبار.
   3. إنشاء تقارير التصنيف وتخزين المقاييس في إطارات البيانات المقابلة.
4. دمج نتائج SVM لتحسين انتباه الميزات. دمج مقاييس الأداء من Attn-SVM وVWR-Attn-SVM (من التجربة 3) في إطارات البيانات الموجودة.
5. طباعة النتائج المقارنة. عرض جداول التقييم لرسائل البريد الإلكتروني غير المرغوب فيها والبريد العشوائي في كل من مجموعات التدريب والاختبار.
6. تصور النتائج. استخدم sns.barplot لرسم مقاييس أداء المصنف. قم بتدوير ملصقات المحور x بمقدار 45 درجة لسهولة القراءة. قم بتحسين التخطيط وعرض المؤامرة باستخدام plt.show ().
   تفسير مخرجات sns.barplot:
   نداء الرمز:
   استيراد Seaborn ك SNS
   sns.barplot (x = 'Classifier' ، y = 'F1-Score' ، البيانات = النتائج)

5. مخطط مقارنة للأداء متعدد المقاييس للمصنفات المختلفة في وقت التدريب / الاختبار والذاكرة (الملف التكميلي 4)

1. المعالجة المسبقة للبيانات: تحميل spambase.csv أو spam_indonesian.csv ؛ مقسمة إلى 70٪ تدريب / 30٪ مجموعات اختبار ؛ توحيد الميزات باستخدام MinMaxScaler.
2. تدريب النموذج: تدريب KNN ، الانحدار اللوجستي ، AdaBoost ، Naive Bayes ، SVM (مع البحث عن الشبكة) ، Attn-SVM ، و VWR-Attn-SVM.
3. تقييم الأداء: حساب الدقة والدقة والاستدعاء ودرجة F1 و AUC.
4. تحليل الموارد: سجل وقت التدريب ووقت الاختبار واستخدام الذاكرة.
5. التصور: إنشاء مخططات أداء متعددة المقاييس ومخططات استهلاك الموارد.
   المعلمات الرئيسية: بذرة عشوائية = 42 ؛ شبكة SVM (C: [0.01،0.1،1،10،100] ؛ جاما: [0.01،0.1،1،10،100] ؛ النواة: ['rbf'، 'خطي'])؛ تستخدم نماذج الانتباه شبكات متصلة بالكامل من طبقتين ، وتنظيم L1 / L2 ، والتسرب.
   الإخراج: جداول الأداء ، جداول الموارد ، الرسوم البيانية متعددة المقاييس ، مخططات الوقت / الذاكرة ، تصورات وزن الانتباه.

6. النتائج التجريبية ل CNN أو RNN أو LSTM أو المحولات (الملف التكميلي 5)

1. المعالجة المسبقة: قم بتحميل spambase.csv أو spam_indonesian.csv ، وقم بتطبيق SMOTE لعدم توازن الفصل إذا لزم الأمر ، وتقسيمه إلى قطار / اختبار (70/30).
2. التدريب: بناء CNN ، RNN ، LSTM ، المحولات ؛ آدم (0.001) ، الانتروبيا المتقاطعة الثنائية ، batch_size = 32 ، العصور = 10 ، التوقف المبكر (الصبر = 5) ، وجدولة معدل التعلم.
3. التقييم: دقة الحوسبة ، الدقة ، الاستدعاء ، F1 ، AUC ؛ سجل وقت التدريب / الاختبار واستخدام الذاكرة.
4. التصور: إنشاء مؤامرات مقارنة الأداء والموارد. حفظ نتائج CSV.
5. الإخراج: جدول مقاييس الأداء ، جدول استهلاك الموارد ، مخططات المقارنة ، ملفات CSV.

7. تعليمات الكود التكميلي

1. لتشغيل التعليمات البرمجية ونسخ الأشكال: ضع spam.csv أو spam_indonesian.csv في نفس الدليل. قم بتثبيت التبعيات عبر pip install numpy pandas matplotlib seaborn scikit-learn tensorflow imbalanced-learn psutil. تنفيذ البرنامج النصي. سيقوم تلقائيا بمعالجة البيانات ، وتدريب النماذج ، وإنشاء / عرض جميع الأشكال (خرائط الحرارة ، مخططات الأداء) أثناء التنفيذ.

Results

للبدء ، وفقا للبروتوكول التجريبي المعمول به ، يقدم الشكل 1 لمحة عامة عن المخطط الانسيابي العام لهذه الدراسة. الشكل 2 ، يصور بالتتابع المخططات الانسيابية للتشغيل للتجارب 2. بالإضافة إلى ذلك ، يعرض الجدول 1 بشكل أساسي ترددات الكلمات والأحرف داخل مجموعة بيانات البريد الإلكتروني غير المرغوب فيه ، spam.csv.

فيما يتعلق بتقييم أداء النموذج ، تم استخدام خمسة مقاييس رئيسية: الدقة والدقة والاستدعاء والدرجة F1 والمنطقة الواقعة ت...

Discussion

تحققت هذه الدراسة من فعالية VWR-Attn-SVM بناء على مجموعة بيانات Spambase ، مما يوفر رؤى لمعالجة الطبيعة عالية الأبعاد والمتناثرة لبيانات البريد العشوائي. كشفت التجارب أن عددا قليلا فقط من الميزات في بيانات البريد العشوائي لها علاقة قوية مع الملصقات. تتعامل النماذج التقليدية مع جميع الميزات على قدم المساواة ، مما يؤدي إلى ضعف الأداء ، في حين أن آلية الانتباه لهذا النموذج يمكن أن تزن الميزات الرئيسية ديناميكيا. بعد دمج تحويل رتبة Van der Waerden (VWR) ، يحقق النموذج تقارب أسرع للخسارة ، وت...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
<القوي>ملف تكميلي 2: code_new.py؛ الملف التكميلي 3: code_indonesian.py.
نومبي	مطورو نومبي		مكتبة للحوسبة العددية بلغة بايثون
الباندا	فريق تطوير الباندا		مكتبة معالجة البيانات وتحليلها
matplotlib	Matplotlib Developers		مكتبة لإنشاء تصورات ثابتة ومتحركة وتفاعلية
سيبورن	مايكل واسكوم وآخرون.		مكتبة تصور البيانات الإحصائية المبنية على matplotlib
سكيكيت-لرن	فريق مطوري scikit-learn		مكتبة تعلم الآلة التي تضم خوارزميات تصنيف وانحدار وتجميع متنوعة
تنسورفلو	جوجل		إطار عمل تعلم الآلة مفتوح المصدر، بما في ذلك واجهة برمجة تطبيقات كيراس لبناء الشبكات العصبية
imblearn	مطورو التعلم غير المتوازن		مكتبة للتعامل مع مجموعات البيانات غير المتوازنة، بما في ذلك SMOTE لأخذ عينات زائدة
التحذيرات	مكتبة بايثون القياسية		وحدة لإصدار رسائل التحذير
ملف <قوي>تكميلي 4: code_compute_time.py
نومبي	مطورو نومبي		مكتبة الحوسبة العددية للغة بايثون
الباندا	فريق تطوير الباندا		مكتبة معالجة وتحليل البيانات
matplotlib	مطوري ماتبلوتليب		مكتبة التصور لإنشاء المخططات والأشكال
سيبورن	مايكل واسكوم وآخرون.		مكتبة تصور البيانات الإحصائية المبنية على matplotlib
سكيكيت-لرن	فريق مطوري scikit-learn		مكتبة تعلم الآلة مع أدوات التصنيف، الانحدار، والمعالجة المسبقة
تنسورفلو	جوجل		إطار عمل تعلم آلي مفتوح المصدر مع واجهة برمجة تطبيقات Keras للشبكات العصبية
imblearn	فريق مطوري التعلم غير المتوازن.		مكتبة للتعامل مع مجموعات البيانات غير المتوازنة (بما في ذلك SMOTE)
التحذيرات	مكتبة بايثون القياسية		وحدة لإصدار رسائل التحذير
الوقت	مكتبة بايثون القياسية		وحدة للدوال المرتبطة بالزمن
PSUTIL	جيامباولو رودولا		مكتبة لاسترجاع معلومات النظام ومراقبة استخدام الموارد
os	مكتبة بايثون القياسية		وحدة للتفاعل مع نظام التشغيل
<الملف القوي>الإضافي 5: DNN.py.
الباندا	فريق تطوير الباندا		مكتبة معالجة وتحليل البيانات
نومبي	مطورو نومبي		مكتبة الحوسبة العددية للغة بايثون
الوقت	مكتبة بايثون القياسية		وحدة للدوال المرتبطة بالزمن
PSUTIL	جيامباولو رودولا		مكتبة استرجاع معلومات النظام ومراقبة الموارد
matplotlib	مطوري ماتبلوتليب		مكتبة التصور لإنشاء المخططات والأشكال
سكيكيت-لرن	فريق مطوري scikit-learn		مكتبة التعلم الآلي مع أدوات معالجة البيانات المسبقة، واختيار النماذج، والمقاييس
imblearn	فريق مطوري التعلم غير المتوازن.		مكتبة للتعامل مع مجموعات البيانات غير المتوازنة (بما في ذلك SMOTE)
تنسورفلو	جوجل		إطار عمل تعلم آلي مفتوح المصدر مع واجهة برمجة تطبيقات Keras لبناء الشبكات العصبية