Spam-Klassifizierung mit Support Vector Machines unter Verwendung des Van-der-Waerden-Rangs Score Achtung

Summary

Diese Studie schlägt einen innovativen Ansatz vor, der auf Support Vector Machine basiert, die in einen durch den Van-der-Waerden-Rang erweiterten Feature-Aufmerksamkeitsmechanismus integriert ist, der darauf abzielt, die Herausforderungen hochdimensionaler spärlicher Spam-Daten anzugehen und die Klassifizierungsleistung der Spam-Erkennung zu verbessern.

Abstract

Mit der zunehmenden E-Mail-Nutzung ist Spam zu einer kritischen Herausforderung geworden, die die Netzwerksicherheit bedroht und die Kommunikationseffizienz verringert. Herkömmliche Detektionsmethoden stoßen an anhaltende Grenzen: Herkömmliche Modelle des maschinellen Lernens haben oft Probleme mit hochdimensionalen, spärlichen Daten, während Deep Learning erhebliche Rechenressourcen erfordert.

In dieser Studie wird eine Van der Waerden Rank Score Feature Attention-Enhanced Support Vector Machine (VWR-Attn-SVM) vorgestellt, um diese Probleme zu lösen. Die Methode wendet die Van-der-Waerden-Rangtransformation an, um Textfeatures zu normalisieren, die Robustheit gegenüber Ausreißern zu verbessern und ordinale Beziehungen beizubehalten. Ein verbesserter Aufmerksamkeitsmechanismus optimiert die Merkmalsauswahl durch nichtlineare Verarbeitung mit Regularisierung, wobei die für die Spam-Erkennung relevantesten Merkmale hervorgehoben werden.

Experimente mit der UCI Spambase und den indonesischen Spam-Datensätzen zeigen, dass VWR-Attn-SVM herkömmliche Klassifikatoren in Bezug auf Genauigkeit, Präzision, Erinnerung, F1-Score und AUC übertrifft. Durch die Kombination von hoher Leistung und reduzierten Rechenkosten bietet die Methode eine effiziente und interpretierbare Lösung für die Spam-Klassifizierung mit potenzieller Erweiterung auf andere textbasierte Plattformen wie Messaging und soziale Medien.

Introduction

Im heutigen digitalen Zeitalter, das durch die rasante Entwicklung des Internets und der digitalen Technologien gekennzeichnet ist, ist E-Mail trotz des kontinuierlichen Aufkommens und der Innovation von Instant Messaging- und Social-Media-Plattformen ein unverzichtbarer Eckpfeiler in den Bereichen elektronische Transaktionen und Unternehmenskommunikation geblieben¹. Seine Fähigkeit, zeitliche und räumliche Grenzen zu überschreiten, verleiht ihm einzigartige Vorteile, die eine nahtlose Kommunikation rund um den Globus zu jeder Zeit ermöglichen. Diese umfassende Einführung hat jedoch zu einem dringenden und schädlichen Problem geführt - der unge....

Protocol

1. Versuchsvorbereitung (Ergänzungsdatei 2 und Ergänzungsdatei 3)

1. Datenbeschreibung: Laden Sie den Open-Source-Spam-Datensatz aus dem UCI Machine Learning Repository für die Spam-E-Mail-Erkennung³⁰. Dokumentieren Sie, dass das Dataset 4.601 Instanzen mit 57 kontinuierlichen Features und 1 Klassenbezeichnung enthält, darunter 1.813 Spam- (39,4 %) und 2.788 Nicht-Spam-Stichproben (60,6 %) (Tabelle 1).
2. Import von Bibliotheken
   1. Importieren Sie die wesentlichen Bibliotheken (siehe Materialtabelle).
   2. Legen Sie einen globalen Zufallswert auf

Results

Zu Beginn gibt Abbildung 1 gemäß dem etablierten Versuchsprotokoll einen Überblick über das Gesamtflussdiagramm dieser Studie. Abbildung 2 zeigt sequenziell die Ablaufdiagramme der Vorgänge in Versuch 2. Darüber hinaus enthält Tabelle 1 in erster Linie die Wort- und Zeichenhäufigkeiten innerhalb des Spam-E-Mail-Datensatzes spam.csv.

Bei der Bewertung der Modellleistung wurden fünf Schlüsselmetriken verwendet: Genauigk.......

Discussion

Diese Studie verifizierte die Wirksamkeit von VWR-Attn-SVM auf der Grundlage des Spambase-Datensatzes und lieferte Erkenntnisse für den Umgang mit der hochdimensionalen und spärlichen Natur von Spam-Daten. Experimente zeigten, dass nur wenige Merkmale in Spam-Daten eine starke Korrelation mit Labels aufweisen. Herkömmliche Modelle behandeln alle Funktionen gleich, was zu einer schlechten Leistung führt, während der Aufmerksamkeitsmechanismus dieses Modells wichtige Funktionen dynamisch g.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Ergänzungsakte 2: code_new.py; Ergänzende Akte 3: code_indonesian.py.
Numpy	NumPy-Entwickler		Bibliothek für numerisches Rechnen in Python
Pandas	Pandas Entwicklungsteam		Bibliothek für Datenmanipulation und -analyse
matplotlib	Matplotlib Developers		Bibliothek zur Erstellung statischer, animierter und interaktiver Visualisierungen
Seaborn	Michael Waskom et al.		Statistische Datenvisualisierungsbibliothek basierend auf Matplotlib
scikit-learn	scikit-learn Entwicklerteam		Maschinelle Lernbibliothek mit verschiedenen Klassifikations-, Regressions- und Clustering-Algorithmen
Tensorflow	Googeln		Open-Source-Machine-Learning-Framework, einschließlich der Keras-API zum Aufbau neuronaler Netzwerke
imblearn	Entwickler mit ungleichem Lernen		Bibliothek zur Behandlung unausgeglichener Datensätze, einschließlich SMOTE für Übersampling
Warnungen	Python Standardbibliothek		Modul zum Aussenden von Warnmeldungen
Ergänzungsakte 4: code_compute_time.py
Numpy	NumPy-Entwickler		Numerische Rechenbibliothek für Python
Pandas	Pandas Entwicklungsteam		Datenmanipulations- und Analysebibliothek
matplotlib	Matplotlib-Entwickler		Visualisierungsbibliothek zum Erstellen von Diagrammen und Figuren
Seaborn	Michael Waskom et al.		Statistische Datenvisualisierungsbibliothek basierend auf Matplotlib
scikit-learn	scikit-learn Entwicklerteam		Maschinelle Lernbibliothek mit Klassifikations-, Regressions- und Vorverarbeitungswerkzeugen
Tensorflow	Googeln		Open-Source-Machine-Learning-Framework mit Keras-API für neuronale Netze
imblearn	Entwicklerteam für unausgewogenes Lernen		Bibliothek zur Behandlung unausgeglichener Datensätze (einschließlich SMOTE)
Warnungen	Python Standardbibliothek		Modul zum Aussenden von Warnmeldungen
Zeit	Python Standardbibliothek		Modul für zeitbezogene Funktionen
Psutil	Giampaolo Rodola		Bibliothek zum Abrufen von Systeminformationen und Überwachung des Ressourcenverbrauchs
Os	Python Standardbibliothek		Modul zur Interaktion mit dem Betriebssystem
Ergänzungsakte 5: DNN.py.
Pandas	Pandas Entwicklungsteam		Datenmanipulations- und Analysebibliothek
Numpy	NumPy-Entwickler		Numerische Rechenbibliothek für Python
Zeit	Python Standardbibliothek		Modul für zeitbezogene Funktionen
Psutil	Giampaolo Rodola		Bibliothek für Systeminformationsabruf und Ressourcenüberwachung
matplotlib	Matplotlib-Entwickler		Visualisierungsbibliothek zum Erstellen von Diagrammen und Figuren
scikit-learn	scikit-learn Entwicklerteam		Maschinelle Lernbibliothek mit Datenvorverarbeitung, Modellauswahl und Metrik-Tools
imblearn	Entwicklerteam für unausgewogenes Lernen		Bibliothek zur Behandlung unausgeglichener Datensätze (einschließlich SMOTE)
Tensorflow	Googeln		Open-Source-Machine-Learning-Framework mit Keras API zum Aufbau neuronaler Netzwerke