סיווג דואר זבל עם מכונות וקטוריות תומכות באמצעות ציון דירוג ואן דר וארדן תשומת לב

Summary

מחקר זה מציע גישה חדשנית המבוססת על מכונת וקטור תומכת המשולבת עם מנגנון קשב תכונות משופר של דירוג ואן דר וארדן, במטרה להתמודד עם האתגרים של נתוני דואר זבל דלילים בממדים גבוהים ולשפר את ביצועי הסיווג של זיהוי דואר זבל.

Abstract

ככל שהשימוש בדוא"ל מתרחב, דואר זבל הפך לאתגר קריטי, המאיים על אבטחת הרשת ומפחית את יעילות התקשורת. שיטות זיהוי קונבנציונליות מתמודדות עם מגבלות מתמשכות: מודלים מסורתיים של למידת מכונה נאבקים לעתים קרובות עם נתונים דלילים בממדים גבוהים, בעוד שלמידה עמוקה דורשת משאבים חישוביים משמעותיים.

מחקר זה מציג את תכונת ציון הדירוג של Van der Waerden עם תכונת וקטור תמיכה משופרת (VWR-Attn-SVM) כדי לטפל בבעיות אלה. השיטה מיישמת טרנספורמציה של דירוג ואן דר וארדן כדי לנרמל תכונות טקסט, לשפר את החוסן מול חריגים ולשמור על קשרים סידוריים. מנגנון קשב משופר מייעל עוד יותר את בחירת התכונות באמצעות עיבוד לא ליניארי עם רגולציה, ומדגיש את התכונות הרלוונטיות ביותר לזיהוי דואר זבל.

ניסויים במערכי הנתונים של UCI Spambase ו-Indonesian Spam מראים ש-VWR-Attn-SVM עולה על המסווגים המסורתיים בדיוק, דיוק, זיכרון, ניקוד F1 ו-AUC. על ידי שילוב של ביצועים גבוהים עם עלות חישובית מופחתת, השיטה מספקת פתרון יעיל וניתן לפירוש לסיווג דואר זבל, עם פוטנציאל הרחבה לפלטפורמות מבוססות טקסט אחרות כגון הודעות ומדיה חברתית.

Introduction

בעידן הדיגיטלי העכשווי, המאופיין בהתפתחות המהירה של האינטרנט והטכנולוגיות הדיגיטליות, דואר אלקטרוני נותר אבן פינה הכרחית בתחומי העסקאות האלקטרוניות והתקשורת התאגידית, למרות ההופעה והחדשנות המתמשכת של פלטפורמות מסרים מיידיים ומדיה חברתית¹. היכולת שלה לחצות גבולות זמן ומרחב מעניקה לה יתרונות ייחודיים, ומאפשרת תקשורת חלקה ברחבי העולם בכל עת. עם זאת, אימוץ נרחב זה הוליד בעיה דחופה ומזיקה - התפשטות משתוללת של דואר זבל. שחקנים זדוניים ניצלו מערכות דואר אלקטרוני ככלי להפצת כמויות עצומות של פרסומות מסחריות לא רצויות, תוכנות זדוניות ותוכן לא חוקי. על פי מחקר, בין השנים 2012 ל-2023, שיעור הספאם העולמי בסך תעבורת הדוא"ל זינק ב-7700%^2,3. הצפה זו של דואר זבל לא רק משבשת קשות את פעולות הדוא"ל הרגילות של המשתמשים אלא גם מהווה איומים מרובי פנים. זה מערער את הפרטיות האישית על ידי חשיפה פוטנציאלית של מידע רגיש, מסכן את אבטחת החברה באמצעות הסיכון לפרצות נתונים והדבקות בתוכנות זדוניות, ואפילו מערער את הסדר הכלכלי על ידי הקלה על פעילויות הונאה ^4,5. סיווג אפקטיבי של דואר זבל מפחית את ההפסדים הכספיים הקשורים לדיוג ב-40-60%⁶, ומדגיש את הערך המעשי של שיטות סינון יעילות ומדויקות. כתוצאה מכך, פיתוח מודל זיהוי דואר זבל יעיל ומדויק התגלה כתחום מחקר מכריע להבטחת אבטחת הרשת ושיפור היעילות.

גוף משמעותי של מחקרים קיימים על זיהוי דואר זבל התמקד במתודולוגיות למידת מכונה ולמידה עמוקה. בתחום למידת המכונה המסורתית, מגוון רחב של טכניקות נחקר ויושם. שיטות מבוססות כללים, כגון עצי החלטה⁷, שימשו לקבלת החלטות סיווג על סמך כללים מוגדרים מראש הנגזרים מתכונות נתונים. שיטות חיזוק ^8,9,10, המאגדות מספר לומדים חלשים ללומדים חזקים, ותורת הקבוצות הגסה¹¹, העוסקת באי ודאות וחוסר דיוק בנתונים, הראו גם הן פוטנציאל. בנוסף, נעשה שימוש נרחב בשיטות סטטיסטיות כולל רגרסיה לוגיסטית, K-nearest Neighbors (KNN)^12,13, Naive Bayes 14,15,16 ו-SVM 17,18,19. גישות אלו מסתמכות בדרך כלל על שיטות חילוץ תכונות מסורתיות כמו TF-IDF. בעוד ש-TF-IDF יעיל בכימות חשיבותן של מילים במסמך, הוא מתקשה ללכוד את הקשרים הסמנטיים המורכבים והניואנסים ההקשריים הטמונים בטקסטים בדוא"ל. יתרה מכך, כאשר מתמודדים עם נתונים בעלי מימדים גבוהים ודלילים, האופייניים למרחבי תכונות דואר אלקטרוני, שיטות אלו נתקלות לעתים קרובות בצווארי בקבוק חישוביים. החוסן המוגבל שלהם יכול להוביל להילכדות בפתרונות אופטימליים מקומיים במהלך תהליך האימון, ובכך להגביל מאוד את דיוק הסיווג ויכולת ההכללה של הדגמים.

למידה עמוקה, עם היכולת המדהימה שלה לחילוץ תכונות אוטומטי, התגלתה כאלטרנטיבה רבת עוצמה בזיהוי דואר זבל. אלגוריתמים, כגון רשתות עצביות קונבולוציוניות (CNN)20,21,22, רשתות עצביות חוזרות (RNN)²³ ורשתות זיכרון לטווח קצר ארוכות (LSTM)^24,25, כמו גם מודלים עדכניים יותר מבוססי רובוטריקים כגון Word2vec ו-BERT^26,27, עשו צעדים משמעותיים בשיפור ביצועי הסיווג. CNNs מיומנים בחילוץ תכונות מקומיות מנתונים, RNNs ו-LSTMs יכולים להתמודד היטב עם נתונים עוקבים, לכידת תלות זמנית בטקסט, ומודלים מבוססי רובוטריקים מצטיינים בכריית קשרים סמנטיים מורכבים ומידע הקשר. שיטות NLP יעילות עדכניות, כגון מסווגי טקסט מבוססי TinyML²⁸, מציעות קווי בסיס חזקים לסיווג דואר זבל. דגמי TinyML מותאמים עבור התקני קצה עם זיכרון מוגבל. אנו משווים את השיטה שלנו לגישות אלה בסעיף התוצאות, תוך הדגשת פשרות בין דיוק, יעילות חישובית וגמישות פריסה. עם זאת, מודלים אלה של למידה עמוקה מגיעים עם סט מגבלות משלהם. הם בדרך כלל דורשים מספר רב של פרמטרי אימון, וכתוצאה מכך דרישות משאבי חישוב גבוהות וזמני הכשרה ממושכים. מודלים של למידה עמוקה כמו BERT דורשים פי 3-5 יותר זיכרון וזמני אימון ארוכים פי 10 מאשר SVMs מסורתיים²⁹, מה שהופך אותם לפחות מתאימים לסביבות מוגבלות במשאבים. זה הופך אותם לפחות מעשיים לפריסה בסביבות מוגבלות במשאבים, כגון מכשירים ניידים או שרתים נמוכים. יתרה מכך, הארכיטקטורות המורכבות שלהם הופכות אותן לרוב לפחות ניתנות לפרשנות, מה שיכול להוות חיסרון משמעותי ביישומים שבהם הבנת תהליך קבלת ההחלטות של המודל היא קריטית.

על רקע זה, מטרת העל של מחקר זה היא לפתח גישה חדשנית שיכולה להתגבר על מגבלות השיטות הקיימות ולהתמודד ביעילות עם האתגרים שמציב האופי הגבוה והדליל של נתוני דואר זבל. ה-Van der Waerden Rank Score Feature Attention-Enhanced SVM (VWR-Attn-SVM) המוצע מייצג אינטגרציה חדשה של טכניקות שמטרתן לשפר את ביצועי זיהוי דואר הזבל (איור 1). העיקרון הבסיסי מאחורי ה-VWR-Attn-SVM טמון בעיצוב הייחודי שלו המשלב את החוזקות של רכיבים מרובים.

איור 1: תרשים זרימה כולל של מחקר על סיווג דואר זבל עם VWR-Attn-SVM. תרשים זרימה זה ממחיש את זרימת העבודה של סיווג דואר זבל המבוסס על ציון דירוג Van der Waerden ו-SVM משופר קשב, המכסה הכנת נתונים (טעינה, פיצול, עיבוד מקדים), הכנה ניסויית, אימות מתאמים סטטיסטיים של תווית תכונות TF-IDF, זיהוי דואר זבל מבוסס SVM משופר קשב והשוואה מרובת מסווגים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

מנגנון תשומת הלב המשופר של הליבה מעבד דוגמאות דוא"ל בודדות עם ממד ספציפי. על ידי החלת טרנספורמציה של דירוג ואן דר וארדן, היא מנרמלת את תכונות טקסט הדוא"ל המעוותות על ידי תדירות מילים חריגה לצורה סטנדרטית דמוית התפלגות נורמלית. טרנספורמציה זו משפרת משמעותית את חוסן המודל, ומאפשרת לו להתמודד טוב יותר עם השונות של נתוני הדואר האלקטרוני. ציוני הדירוג של ואן דר וארדן הועדפו על פני קנה מידה של לוג וטרנספורמציות קוונטיליות משלוש סיבות: (1) חריגים של תכונות חזקות לדואר זבל (למשל, תדירות מילים קיצוניות), בניגוד לקנה מידה של לוג שמגביר רעש בתדר נמוך; (2) שימור קשרים סידוריים של תכונות (קריטי להיררכיית אינדיקטורים של דואר זבל כמו "חופשי" לעומת "ניצחון"), בעוד שטרנספורמציה קוונטילית משטחת התפלגויות; (3) לנרמל ל-[0,1], להקל על אינטגרציה של מנגנון הקשב ולהבטיח שקלול עקבי (איור 2).

איור 2: תרשים זרימה ניסיוני. (A-C) זרימות עבודה עבור סיווג דואר זבל, המכסים טיפול בנתונים, בחירת מאפיינים, אימון מודלים, הערכה והשוואה עם/בלי טרנספורמציה של ציון דירוג Van der Waerden. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

מבחינה מבנית, המנגנון כולל רשת דו-שכבתית המחוברת במלואה עבור טרנספורמציה של מאפיינים לא-ליניאריים (איור 2). השכבה הראשונה, המצוידת בפונקציית הפעלה LeakyReLU, מפחיתה את ממדי הקלט תוך הכנסת אי-ליניאריות ומשלבת שכבת Dropout כדי להפחית התאמת יתר. השכבה השנייה, באמצעות פונקציית סיגמואיד, מפיקה משקלי קשב שיכולים לכמת במדויק את החשיבות של כל תכונה. אסטרטגיית ויסות L1/L2 משולבת במודל כדי לייעל את בחירת התכונות, כאשר רגולציה של L1 מקדמת דלילות, סינון יעיל של תכונות פחות רלוונטיות, והסדרת L2 מונעת התאמת יתר על ידי הגבלת גודל המשקולות. במהלך שלב האימון, מאומצת מסגרת למידה מרובת משימות, המשלבת אובדן שחזור תכונות ואובדן סיווג כדי לייעל את פרמטרי המודל. זה מאפשר ל-VWR-Attn-SVM להסתגל במדויק לתכונות ה-TF-IDF הדלילות והממדיות של טקסטים בדוא"ל, האופייניות לאופי המורכב של תוכן דוא"ל.

השיטה שלנו מותאמת למערכי נתונים מבוססי טקסט הנעים בין כמה אלפים לעשרת אלפים (למשל, Spambase, מערך נתונים של דואר זבל אינדונזי (קובץ משלים 1)) ודורשת משאבי חישוב סטנדרטיים (מעבד Intel Core i7, 16 GB RAM) לאימון; ניתן להפעיל הסקה במחשב נייד רגיל (Intel Core i5, 8 GB RAM) עם חביון של תת-שנייה. האילוצים העיקריים כוללים ביצועים מוגבלים בדואר זבל שאינו טקסט (למשל, דואר זבל מוטמע בתמונה) והסתמכות על תכונות טקסט מובנה. בהשוואה לטכנולוגיות חלופיות קיימות, ל-VWR-Attn-SVM יש כמה יתרונות יוצאי דופן. בשונה משיטות למידת מכונה מסורתיות, היא אינה מסתמכת רק על חילוץ תכונות בסיסיות אלא לומדת באופן פעיל לשקלל תכונות לפי חשיבותן באמצעות מנגנון הקשב המשופר, כדי ללכוד טוב יותר תכונות רלוונטיות יותר לסיווג דואר זבל. בניגוד למודלים של למידה עמוקה, הוא משיג איזון חיובי בין ביצועים ליעילות חישובית. זה דורש פחות משאבי חישוב וזמני הכשרה קצרים יותר, מה שהופך אותו למתאים יותר למגוון רחב של יישומים, במיוחד אלה עם משאבים מוגבלים. גישה חדשנית זו ישימה לא רק למשימה הספציפית של זיהוי דואר זבל במערכות דואר אלקטרוני, אלא גם טומנת בחובה פוטנציאל להרחבה לערוצי תקשורת מבוססי טקסט אחרים, כגון אפליקציות מסרים מיידיים, פלטפורמות מדיה חברתית ושירותי SMS, שבהם קיימות בעיות דומות של הפצת תוכן לא רצוי וזדוני. בסך הכל, ה-VWR-Attn-SVM מייצג התקדמות משמעותית בתחום זיהוי דואר זבל, ומציע פתרון מעשי, יעיל ורב-תכליתי יותר למאבק בבעיה המתמשכת של דואר זבל בנוף התקשורת הדיגיטלית.

Protocol

1. הכנה לניסויים (קובץ משלים 2 וקובץ משלים 3)

1. תיאור נתונים: טען את מערך הנתונים של דואר זבל בקוד פתוח ממאגר למידת המכונה של UCI לזיהוי דואר זבל³⁰. תעד כי מערך הנתונים מכיל 4,601 מופעים עם 57 תכונות רציפות ותווית מחלקה אחת, כולל 1,813 דואר זבל (39.4%) ו-2,788 דגימות שאינן דואר זבל (60.6%) (טבלה 1).
2. ייבוא ספרייה
   1. ייבא את הספריות החיוניות (ראה טבלת החומרים).
   2. הגדר זרע אקראי גלובלי ל-42 כדי להבטיח את יכולת השחזור של התוצאות.
3. קביעת תצורה של הגדרות התוויה: השתמש ב-Times New Roman עבור טקסט באנגלית, פתור בעיות תצוגה של סימן חיסור והגדר את גודל הגופן ל-16 לקריאות משופרת.

טבלה 1: סיכום של סטטיסטיקות מערכי נתונים והגדרות תכונות. טבלה זו מציגה משתנים לסיווג דואר זבל, כולל תדירות מילים (word_freq_WORD), תדירות תווים (char_freq_CHAR), מדדי אורך ריצה הונית ומשתנה מחלקת היעד, עם תיאורים של כל סוג ומשמעות של משתנה. אנא לחץ כאן להורדת טבלה זו.

2. ניסוי לאימות הקשר הסטטיסטי בין תכונות ותוויות TF-IDF (קובץ משלים 2 וקובץ משלים 3)

1. עיבוד מקדים של נתונים
   1. טען את מערכי הנתונים (קובץ משלים 1): מערך הנתונים הראשון: spambase.csv; מערך נתונים שני: spam_indonesian.csv.
   2. בדוק את התפלגות תוויות הדואר האלקטרוני של דואר זבל ולא דואר זבל וחשב את החלק היחסי של כל קטגוריה.
   3. הפוך את התכונות הללו לבינאריות באמצעות הממוצע כסף למבחן חי בריבוע הקרוב.
      הערה: ודא שקובץ דואר הזבל נמצא בספריית העבודה הנכונה או ספק את נתיב הקובץ המלא בעת שימוש בפקודה קריאה.
2. עיבוד מקדים של בדיקת נתונים (קובץ משלים 2 וקובץ משלים 3)
   1. השתמש ב-sklearn.feature_selection.chi2 לבדיקת חי בריבוע על תכונות TF-IDF בינאריות:
      קריאת קוד:
      מ sklearn.feature_selection יבוא chi2
      chi2_values, p_values = chi2(df_binary, df['ספאם'])
      significant_features_chi2 = [feature_cols[i] עבור i ב-np.where(p_values < 0.05)[0]]
      print(f"מספר תכונות משמעותיות: {len(significant_features_chi2)}")
      פלט צפוי: תת-קבוצה של תכונות (למשל, 35 מתוך 57) עם שיוך סטטיסטי לתוויות ספאם, כולל מילות מפתח כמו "חינם" או "הסר".
   2. בצע יישום באמצעות sklearn.feature_selection.f_classif:
      קריאת קוד:
      מ sklearn.feature_selection ייבוא f_classif
      f_values, f_p_values = f_classif(df[feature_cols], df['דואר זבל'])
      significant_features_f = [feature_cols[i] עבור i ב-np.where(f_p_values < 0.05)[0]]
      print(f"תכונות שמורות: {len(significant_features_f)}")
      הערה: זה בדרך כלל שומר על 40-50 תכונות (תלוי במערך הנתונים), חופף חלקית לתוצאות חי בריבוע.
      לפני הפעלת בדיקות סטטיסטיות, אמת את פורמט הנתונים והפרמטרים כדי להבטיח תוצאות מדויקות.
3. ויזואליזציה
   1. בחר את 20 התכונות המובילות עם ערכי ה-p הקטנים ביותר מתוצאות בדיקת חי בריבוע.
   2. צור באמצעות seaborn.heatmap:
      קריאת קוד:
      ייבוא Seaborn כ-SNS
      top_indices = np.argsort(p_values)[:20]
      top_features = [feature_cols[i] עבור i במדדים top$\_$]
      corr_matrix = df[top_features + ['דואר זבל']].corr()
      plt.figure (figsize = (12, 10))
      sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
      plt.show()
      הערה: דפוס צפוי: אשכול תכונות הקשורות לדואר זבל עם תווית דואר הזבל באדום (מתאם חיובי).

3. סיווג SVM משופר קשב לזיהוי דואר זבל (קובץ משלים 2 וקובץ משלים 3)

1. עיבוד מקדים של נתונים
   1. טעינת נתונים: פיצול נתונים באמצעות פיצול מבחן sklearn.model selection.train עם זרע קבוע:
      קריאת קוד:
      מ- Sklearn.Model Selection ייבוא פיצול מבחן רכבת
      רכבת X, מבחן X, רכבת y, מבחן y = פיצול מבחן רכבת (X, y, גודל מבחן = 0.3, מצב אקראי = 42)
   2. סטנדרטיזציה ואיזון מעמדות: יישום באמצעות דגימת imblearn.over. SMOTE (טכניקת דגימת יתר של מיעוט סינתטי (SMOTE)³¹):
      קריאת קוד:
      מ- imblearn.over דגימה לייבא SMOTE
      # ברירת מחדל: אסטרטגיית דגימה = 'אוטומטי', k שכנים = 5
      smote=SMOTE (מצב אקראי=42)
      X train smote, y train smote = smote.fit resample (X train, y train)
      מאזן את התפלגות המעמדות (למשל, מ-85:15 עד 50:50).
2. ארכיטקטורת מודל תשומת לב משופרת לתכונות: תכנן מנגנון שלומד משקלי חשיבות תכונה באמצעות טרנספורמציות לא ליניאריות רב-שכבתיות. הקצה משקלי קשב גבוהים יותר לתכונות קריטיות כדי לשפר את ההשפעה שלהן.
   1. עיבוד מקדים של תכונות (אופציונלי)
      1. החל טרנספורמציה של דרגה נורמלית של Van der Waerden על תכונות קלט. המר תכונות גולמיות להתפלגות נורמלית משוערת כדי לשפר את חוסן המודל. השתמש בנוסחה:
         
         כאשר x מייצג את וקטור התכונה TF-IDF של מדגם, R(x) הוא הדירוג של ערך התכונה, d הוא אורך הווקטור (d=57), ^ו-φ-1 הוא פונקציית ההתפלגות המצטברת ההפוכה של ההתפלגות הנורמלית הסטנדרטית.
         הערה:השתמש בפרמטר use_rank_transform (בוליאני) כדי לשלוט בהפעלת טרנספורמציה של הדירוג הרגיל לעיבוד תכונות.
   2. טרנספורמציה לא ליניארית רב-שכבתית: למד ייצוג לא ליניארי של תכונות באמצעות רשת דו-שכבתית המחוברת במלואה.
      1. המרת שכבה ראשונה: השתמש בנוסחה:
         
         כאשר W₁ R^{k×d ו-k}=64 (נוירונים נסתרים).
         מיושם ב-Keras עם LeakyReLU:
         קריאת קוד:
         מ- tensorflow.keras.layers לייבא צפוף
         self.dense1=צפוף (יחידות=64, # 256 עבור VWR-Attn-SVM
         activation='relu דולף', # ברירת מחדל שיפוע שלילי=0.01
         Kernel regularizer=Regularizers.L1 L2(L1=0.0002, L2=0.0002))
         הערה: הוסף שכבת נשירה עם שיעור נשירה של 0.2 כדי למנוע התאמת יתר.
      2. המרת שכבה שנייה: החל את טרנספורמציית השכבה השנייה באמצעות Sigmoid כדי ליצור משקלי קשב בטווח [0,1]. השתמש בנוסחה:
         
         כאשר W₂ R^d×k ו-R ^k הם משקולות הקשב עבור כל תכונה. בחר Sigmoid במקום SoftMax כדי לשמור על עצמאות החשיבות של תכונות מרובות.
         יש למרוח את הפעלת Keras Sigmoid למשקלי קשב:
         קריאת קוד:
         self.dense2 = צפוף(צורת קלט[-1], הפעלה='סיגמואיד',
         Kernel regularizer=Regularizers.L1 L2(L1=0.0002, L2=0.0002))
   3. שקלול תכונות: שפר תכונות חשובות על ידי ביצוע כפל לפי אלמנטים עם משקלי קשב. השתמש בנוסחה:
      
      כאשר מציין כפל לפי אלמנטים.
3. אימון מודל הקשב המשופר לתכונות
   1. אופטימיזציה של מטרה מרובת משימות: למזער פונקציית אובדן משוקלל המשלבת אובדן שחזור ואובדן אנטרופיה צולבת כדי לאמן את המודל. ודא שמנגנון הקשב שומר על מידע קריטי תוך התמקדות במאפיינים הרלוונטיים לסיווג. השתמש בנוסחה:
      
      השתמש באובדן שגיאה ממוצע בריבוע
      לשחזור תכונות קלט והחלת אובדן האנטרופיה הצולבת
      למשימת הסיווג.
      יישם אובדן ריבוי משימות מותאם אישית ב-PyTorch: אובדן מותאם אישית ב-Keras עם alpha=0.5:
      קריאת קוד:
      model.compile(optimizer='adam',loss={
      'enhanced_feature_attention':'MSE','סיווג':
      'binary_crossentropy'},loss_weights={
      'enhanced_feature_attention': 0.5, 'סיווג': 0.5})
      alpha=0.5 מאזן שחזור תכונות (MSE) וסיווג (אנטרופיה צולבת), מה שמוביל להתכנסות יציבה בתוך 50-100 תקופות.
      הערה: החל רגולציה מעורבת L1/L2 (רשת אלסטית, חוזק ברירת מחדל 0.001) על שתי השכבות המחוברות במלואן כדי לשפר את בחירת התכונות וההכללה.
   2. הגדרות פרמטר: הגדר את מקדם המשקל α כדי לשלוט בחשיבות היחסית של שני ההפסדים והשתמש ב-α = 0.5 בקוד. הגדר את גודל האצווה כ-64, הגדר את מספר התקופות כ-200 והקצה 10% מהנתונים עבור ערכת האימות.
   3. הוסף פונקציות התקשרות חוזרת.
      קריאות חוזרות של Keras עם פרמטרי ברירת מחדל:
      קריאת קוד:
      מ- tensorflow.keras.callbacks לייבא EarlyStopping, ReduceLROnPlateau
      callbacks = [EarlyStopping(monitor='val_loss', patience=5, mode='min', restore_best_weights
      =True), ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=5, min_lr=0.0005, verbose=1)]
      1. שלב את ההתקשרות החוזרת של EarlyStop כדי לעצור את תהליך האימון כאשר אובדן האימות אינו משתפר במשך 5 תקופות רצופות.
      2. הוסף את ההתקשרות החוזרת של ReduceLROnPlateau כדי להתאים את קצב הלמידה באופן אדפטיבי. הגדר את גורם הדעיכה ל-0.5 ואת קצב הלמידה המינימלי ל-0.0002.
   4. יצירת תכונות משקל קשב: לאחר האימון, חלצו את משקלי הקשב משכבת הקשב של התכונה המשופרת. צור תכונות משוקללות הן עבור ערכות ההדרכה והן עבור ערכות הבדיקה. הזינו תכונות אלה למסווג ה-SVM.
4. הערכת מודל
   הערה: פיצול של 70-30 מבחני אימון מאזן בין אימון והערכה. SMOTE מטפל בחוסר איזון בכיתה, ומשפר את הביצועים בנתוני טקסט לא מאוזנים. MinMaxScaler מייצב מודלים מבוססי מרחק. יחידות: קיבולת איזון של 64 (Attn-SVM) ו-128 (VWR-Attn-SVM); 128 מתאים למורכבות הטרנספורמציה של דרגת ואן-דר-וארדן. נשירה (0.2) מונעת התאמת יתר, סטנדרטית עבור מערכי נתונים קטנים עד בינוניים. רגולציה L1/L2 (0.0002-0.002): L1 גורם לדלילות; L2 מגביל את גודל המשקל. משקלי אובדן שווים (MSE: 0.5, אנטרופיה צולבת: 0.5) מאזנים שחזור ולמידת סיווג. תקופות: 200 (Attn-SVM), 300 (VWR-Attn-SVM) עם עצירה מוקדמת (סבלנות=5) כדי למנוע התאמת יתר. גודל אצווה 64 מאזן יעילות ויציבות. ReduceLROnPlateau (גורם = 0.5, סבלנות = 5-10) מתאים את קצב הלמידה (מינימום 0.0001-0.0005) להתכנסות טובה יותר.
   1. תכנון מחקר אבלציה והשוואות: הגדר את המודלים הבאים להשוואה: SVM בסיסי: SVM מסורתי עם ליבת פונקציית בסיס רדיאלית (RBF); Attn-SVM: שרת אחסון וירטואלי עם מנגנון קשב משופר; VWR-Attn-SVM: שרת אחסון וירטואלי המשלב טרנספורמציה של Van der Waerden ותשומת לב משופרת לתכונות.
   2. מדדי הערכה (טבלה 2): הערך את ביצועי המודל באמצעות דיוק, דיוק, זיכרון, ציון F1 ו-AUC.
5. ויזואליזציה של קשב ופרשנות מודלים
   1. הדמיה של משקלי קשב של תכונות עיקריות
      Matplotlib barplot עבור 15 התכונות המובילות:
      קריאת קוד:
      ייבא matplotlib.pyplot כ- PLT
      top_indices = np.argsort(-avg_weights)[:15]
      top_features = [feature_names[i] עבור i ב-top_indices]
      top_weights = avg_weights[top_indices]
      plt.figure (figsize = (12, 8))
      plt.barh(top_features, top_weights, color='skyblue')
      plt.xlabel('משקל תשומת לב')
      plt.title('משקלי תשומת הלב של התכונה העליונה')
      plt.show()
   2. השוואת ההשפעה של טרנספורמציה של דירוג רגיל: השווה את ביצועי המודל (דיוק, דיוק, זיכרון, ציון F1, AUC) עם ובלי use_rank_transform מופעל. הדגשת ההבדלים העיקריים במדדים בטבלה מעוצבת.
   3. השוואת חשיבות תכונה: נתח את העקביות בין מאפיינים חשובים שזוהו על ידי מבחנים סטטיסטיים (למשל, חי בריבוע) לבין מנגנון הקשב.
      הערה: אם משאבי החישוב מוגבלים, צמצם את מספר היחידות (למשל, ל-32) או תקופות (למשל, ל-100). התאם את l1_reg/l2_reg כדי לאזן את מורכבות המודל (ערכים גבוהים יותר משפרים את הרגולציה).

4. השוואה בין מסווגים מרובים (קובץ משלים 2 וקובץ משלים 3)

1. הגדר מילון מסווג. צור מילון של מסווגים להשוואה, כולל KNN, רגרסיה לוגיסטית, AdaBoost, Naive Bayes ו-SVM עם ליבת RBF (פרמטרי ברירת מחדל).
2. אתחול מסגרות נתונים של תוצאות. צור ארבע מסגרות נתונים לאחסון מדדי הערכה, עם עמודות: מסווג, דיוק, דיוק, אחזור, ניקוד F1 ו- AUC.
3. הכשרה והערכה של מסווגים. עבור כל מסווג, בצע את השלבים הבאים.
   מסווגים לדוגמה עם פרמטרים וזרעים:
   קריאת קוד:
   מ sklearn.linear_model לייבא LogisticRegression
   מ- sklearn.svm ייבוא SVC
   lr = LogisticRegression(random_state=RANDOM_SEED, max_iter=1000)
   svm = GridSearchCV(SVC(random_state=RANDOM_SEED, הסתברות=True),
   param_grid={'C': [0.001,0.01 1, 10,100,1000], 'גמא': [0.001,0.01 1, 10,100,1000],
   kernel': ['rbf', 'ליניארי']}, cv=5, scoring='f1')
   הערה: כל הדגמים משתמשים ב-random_state=42 לשחזור.
   1. תרגול המסווג על נתוני אימון בקנה מידה.
   2. לחזות ולחשב הסתברויות הן בערכות ההדרכה והן בערכות הבדיקות.
   3. צור דוחות סיווג ואחסן את המדדים במסגרות הנתונים המתאימות.
4. שלב תוצאות SVM משופרות של תשומת לב לתכונות. שלב מדדי ביצועים מ-Attn-SVM ו-VWR-Attn-SVM (מניסוי 3) במסגרות הנתונים הקיימות.
5. הדפס תוצאות השוואתיות. הצג טבלאות הערכה עבור הודעות דואר אלקטרוני שאינן דואר זבל ודואר זבל הן בערכות הדרכה והן בערכות בדיקות.
6. הציגו את התוצאות באופן חזותי. השתמש ב- sns.barplot כדי להתוות מדדי ביצועים של מסווג. סובב תוויות ציר x ב- 45° לקריאות. בצע אופטימיזציה של הפריסה והצג את העלילה באמצעות plt.show().
   פרשנות של פלטי sns.barplot:
   קריאת קוד:
   ייבוא Seaborn כ-SNS
   sns.barplot(x='Classifier', y='F1-Score', data=results)

5. טבלת השוואה של ביצועים רב-מטריים של מסווגים שונים בזמן אימון/מבחן וזיכרון (קובץ משלים 4)

1. עיבוד מקדים של נתונים: טען spambase.csv או spam_indonesian.csv; מחולק ל-70% אימונים/30% ערכות מבחן; תקנן תכונות עם MinMaxScaler.
2. אימון מודל: אימון KNN, רגרסיה לוגיסטית, AdaBoost, Naive Bayes, SVM (עם חיפוש רשת), Attn-SVM ו-VWR-Attn-SVM.
3. הערכת ביצועים: חשב דיוק, דיוק, אחזור, ניקוד F1 ו-AUC.
4. ניתוח משאבים: רשום את זמן האימון, זמן הבדיקה והשימוש בזיכרון.
5. תצוגה חזותית: צור תרשימי ביצועים רב-מטריים ותרשימי צריכת משאבים.
   פרמטרים עיקריים: זרע אקראי = 42; רשת SVM (C:[0.01,0.1,1,10,100]; גמא:[0.01,0.1,1,10,100]; ליבה:['rbf','ליניארי']); מודלים של תשומת לב משתמשים ברשתות דו-שכבתיות מחוברות במלואן, ויסות L1/L2 ו-Dropout.
   פלט: טבלאות ביצועים, טבלאות משאבים, תרשימים רב-מטריים, תרשימי זמן/זיכרון, הדמיות משקל קשב.

6. תוצאות ניסוי של CNN, RNN, LSTM או רובוטריקים (קובץ משלים 5)

1. עיבוד מקדים: טען spambase.csv או spam_indonesian.csv, החל SMOTE לחוסר איזון בכיתה במידת הצורך, מפוצל לרכבת/מבחן (70/30).
2. הכשרה: בניית CNN, RNN, LSTM, רובוטריק; Adam(0.001), אנטרופיה צולבת בינארית, batch_size=32, תקופות=10, עצירה מוקדמת (סבלנות=5) ותזמון קצב למידה.
3. הערכה: דיוק חישוב, דיוק, אחזור, F1, AUC; תיעוד זמן אימון/מבחן ושימוש בזיכרון.
4. הדמיה: צור עלילות ביצועים והשוואת משאבים; שמור תוצאות CSV.
5. פלט: טבלת מדדי ביצועים, טבלת צריכת משאבים, תרשימי השוואה, קבצי CSV.

7. הוראות קוד משלימות

1. כדי להפעיל את הקוד ולשכפל איורים: מקם spam.csv או spam_indonesian.csv באותה ספרייה. התקן תלות באמצעות pip להתקין numpy pandas matplotlib seaborn scikit-learn tensorflow לא מאוזן-ללמוד psutil. בצע את הסקריפט; הוא יעבד נתונים באופן אוטומטי, יאמן מודלים וייצר/יציג את כל הדמויות (מפות חום, עלילות ביצועים) במהלך הביצוע.

Results

כדי להתחיל, בהתאם לפרוטוקול הניסוי שנקבע, איור 1 מספק סקירה כללית של תרשים הזרימה הכולל של מחקר זה. איור 2, מתאר ברצף את תרשימי הזרימה של הפעולה של ניסויים 2. בנוסף, טבלה 1 מציגה בעיקר את תדירות המילים והתווים בתוך מערך הנתונים של דואר הזבל, spam.csv.

לגבי הערכת ביצועי המודל, נעשה שימוש בחמישה מדדים מרכזיים: דיוק, דיוק, זיכרון, ציון F1 והאזור מתחת לעקומת המאפיין התפעולי של המקלט (AUC). טבלה 2 מגדירה א...

Discussion

מחקר זה אימת את היעילות של VWR-Attn-SVM בהתבסס על מערך הנתונים של Spambase, וסיפק תובנות לטיפול באופי הממדי והדליל של נתוני דואר זבל. ניסויים גילו שרק לתכונות מעטות בנתוני דואר זבל יש מתאם חזק עם תוויות; מודלים מסורתיים מתייחסים לכל התכונות באופן שווה, מה שמוביל לביצועים גרועים, בעוד שמנגנון הקשב של מודל זה יכול לשקול באופן דינמי תכונות מפתח. לאחר שילוב טרנספורמציה של דירוג Van der Waerden (VWR), המודל משיג התכנסות הפסדים מהירה יותר, הכללה חזקה יותר, משקלי תכונות מאוזנים ולוכד יותר מידע ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
<חזק>קובץ משלים 2: code_new.py; קובץ משלים 3: code_indonesian.py.
numpy	מפתחי NumPy		ספרייה למחשוב נומרי בפייתון
פנדה	צוות פיתוח הפנדות		ספרייה לעיבוד וניתוח נתונים
matplotlib	Matplotlib Developers		ספרייה ליצירת ויזואליזציות סטטיות, מונפשות ואינטראקטיביות
סיבורן	מייקל ווסקום ואחרים.		ספריית ויזואליזציה סטטיסטית של נתונים המבוססת על matplotlib
סקיקיט-לרן	צוות מפתחי scikit-learn		ספריית למידת מכונה הכוללת אלגוריתמים שונים לסיווג, רגרסיה ואשכול
טנסורפלו	גוגל		מסגרת למידת מכונה בקוד פתוח, כולל Keras API לבניית רשתות עצביות
imblearn	מפתחים בלמידה לא מאוזנת		ספרייה לטיפול במאגרי נתונים לא מאוזנים, כולל SMOTE לדגימת יתר
אזהרות	ספריית הסטנדרטים של פייתון		מודול להוצאת הודעות אזהרה
<חזק>קובץ משלים 4: code_compute_time.py
numpy	מפתחי NumPy		ספריית מחשוב נומרי לפייתון
פנדה	צוות פיתוח הפנדות		ספריית עיבוד וניתוח נתונים
matplotlib	מפתחי Matplotlib		ספריית ויזואליזציה ליצירת גרפים ודמויות
סיבורן	מייקל ווסקום ואחרים.		ספריית ויזואליזציה סטטיסטית של נתונים שנבנתה על matplotlib
סקיקיט-לרן	צוות מפתחי scikit-learn		ספריית למידת מכונה עם כלים לסיווג, רגרסיה ועיבוד מקדים
טנסורפלו	גוגל		מסגרת למידת מכונה בקוד פתוח עם Keras API לרשתות נוירונים
imblearn	צוות מפתחים בלמידה לא מאוזנת		ספרייה לטיפול במערכי נתונים לא מאוזנים (כולל SMOTE)
אזהרות	ספריית הסטנדרטים של פייתון		מודול להוצאת הודעות אזהרה
זמן	ספריית הסטנדרטים של פייתון		מודול לפונקציות הקשורות לזמן
פסטיל	ג'יאמפאולו רודולה		ספרייה לשליפת מידע מערכתי ומעקב אחר שימוש במשאבים
מערכת הפעלה	ספריית הסטנדרטים של פייתון		מודול לאינטראקציה עם מערכת ההפעלה
<חזק>קובץ משלים 5: DNN.py.
פנדה	צוות פיתוח הפנדות		ספריית עיבוד וניתוח נתונים
numpy	מפתחי NumPy		ספריית מחשוב נומרי לפייתון
זמן	ספריית הסטנדרטים של פייתון		מודול לפונקציות הקשורות לזמן
פסטיל	ג'יאמפאולו רודולה		ספרייה לשליפת מידע מערכת וניטור משאבים
matplotlib	מפתחי Matplotlib		ספריית ויזואליזציה ליצירת גרפים ודמויות
סקיקיט-לרן	צוות מפתחי scikit-learn		ספריית למידת מכונה עם כלים לעיבוד נתונים מוקדם, בחירת מודלים ומדדים
imblearn	צוות מפתחים בלמידה לא מאוזנת		ספרייה לטיפול במערכי נתונים לא מאוזנים (כולל SMOTE)
טנסורפלו	גוגל		מסגרת למידת מכונה בקוד פתוח עם Keras API לבניית רשתות עצביות