Spam Classificatie met Ondersteuning Vector Machines Met behulp van Van der Waerden Rank Score Let op

Summary

Deze studie stelt een innovatieve aanpak voor op basis van Support Vector Machine geïntegreerd met een Van der Waerden rank-score-verbeterd aandachtsmechanisme, met als doel de uitdagingen van hoogdimensionale schaarse spamgegevens aan te pakken en de classificatieprestaties van spamdetectie te verbeteren.

Abstract

Naarmate het gebruik van e-mail toeneemt, is spam een kritieke uitdaging geworden, die de netwerkbeveiliging bedreigt en de communicatie-efficiëntie vermindert. Conventionele detectiemethoden hebben te maken met hardnekkige beperkingen: traditionele machine learning-modellen worstelen vaak met hoogdimensionale schaarse gegevens, terwijl deep learning aanzienlijke rekenkracht vereist.

Deze studie introduceert een Van der Waerden rank score-functie attention-enhanced Support Vector Machine (VWR-Attn-SVM) om deze problemen aan te pakken. De methode past Van der Waerden rangtransformatie toe om tekstkenmerken te normaliseren, de robuustheid tegen uitschieters te verbeteren en ordinale relaties te behouden. Een verbeterd aandachtsmechanisme optimaliseert de selectie van functies verder door middel van niet-lineaire verwerking met regularisatie, waarbij de functies worden gemarkeerd die het meest relevant zijn voor spamdetectie.

Experimenten met de UCI Spambase en Indonesische spam-datasets tonen aan dat VWR-Attn-SVM beter presteert dan traditionele classificaties op het gebied van nauwkeurigheid, precisie, herinnering, F1-score en AUC. Door hoge prestaties te combineren met lagere rekenkosten, biedt de methode een efficiënte en interpreteerbare oplossing voor spamclassificatie, met mogelijke uitbreiding naar andere op tekst gebaseerde platforms zoals messaging en sociale media.

Introduction

In het hedendaagse digitale tijdperk, dat wordt gekenmerkt door de snelle evolutie van het internet en digitale technologieën, is e-mail een onmisbare hoeksteen gebleven op het gebied van elektronische transacties en bedrijfscommunicatie, ondanks de voortdurende opkomst en innovatie van instant messaging en sociale mediaplatforms¹. Het vermogen om tijdelijke en ruimtelijke grenzen te overstijgen, geeft het unieke voordelen, waardoor naadloze communicatie over de hele wereld op elk moment mogelijk is. Deze grootschalige acceptatie heeft echter geleid tot een urgent en schadelijk probleem: de ongebreidelde verspr....

Protocol

1. Experimentele voorbereiding (Aanvullend Dossier 2 en Aanvullend Dossier 3)

1. Gegevensbeschrijving: Laad de open-source spamgegevensset uit de UCI Machine Learning Repository voor detectie van spam-e-mail³⁰. Documenteer dat de dataset 4.601 exemplaren bevat met 57 continue functies en 1 klasselabel, waaronder 1.813 spam (39,4%) en 2.788 niet-spam (60,6%) samples (Tabel 1).
2. Bibliotheek importeren
   1. Importeer de essentiële bibliotheken (zie de Materiaaltabel).
   2. Stel een globale willekeurige seed in op

Results

Om te beginnen, volgens het vastgestelde experimentele protocol, geeft figuur 1 een overzicht van het algemene stroomschema van deze studie. Figuur 2 geeft achtereenvolgens de werkingsstroomschema's van experimenten 2 weer. Bovendien presenteert tabel 1 voornamelijk de woord- en tekenfrequenties binnen de spam-e-maildataset, spam.csv.

Met betrekking tot de evaluatie van de modelpresta.......

Discussion

Dit onderzoek verifieerde de effectiviteit van VWR-Attn-SVM op basis van de Spambase-dataset en bood inzichten voor het aanpakken van de hoogdimensionale en schaarse aard van spamgegevens. Experimenten hebben aangetoond dat slechts enkele functies in spamgegevens een sterke correlatie hebben met labels; Traditionele modellen behandelen alle kenmerken gelijk, wat leidt tot slechte prestaties, terwijl het aandachtsmechanisme van dit model de belangrijkste kenmerken dynamisch kan wegen. Na .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Supplemental File 2: code_new.py; Supplemental File 3: code_indonesian.py.
numpy	NumPy Developers		Library for numerical computing in Python
pandas	pandas Development Team		Library for data manipulation and analysis
matplotlib	Matplotlib Developers		Library for creating static, animated, and interactive visualizations
seaborn	Michael Waskom et al.		Statistical data visualization library based on matplotlib
scikit-learn	scikit-learn Developers Team		Machine learning library featuring various classification, regression, and clustering algorithms
tensorflow	Google		Open-source machine learning framework, including Keras API for building neural networks
imblearn	imbalanced-learn Developers		Library for handling imbalanced datasets, including SMOTE for oversampling
warnings	Python Standard Library		Module for issuing warning messages
Supplemental File 4: code_compute_time.py
numpy	NumPy Developers		Numerical computing library for Python
pandas	pandas Development Team		Data manipulation and analysis library
matplotlib	Matplotlib Developers		Visualization library for creating plots and figures
seaborn	Michael Waskom et al.		Statistical data visualization library built on matplotlib
scikit-learn	scikit-learn Developers Team		Machine learning library with classification, regression, and preprocessing tools
tensorflow	Google		Open-source machine learning framework with Keras API for neural networks
imblearn	imbalanced-learn Developers Team		Library for handling imbalanced datasets (includes SMOTE)
warnings	Python Standard Library		Module for issuing warning messages
time	Python Standard Library		Module for time-related functions
psutil	Giampaolo Rodola		Library for retrieving system information and monitoring resource usage
os	Python Standard Library		Module for interacting with the operating system
Supplemental File 5: DNN.py.
pandas	pandas Development Team		Data manipulation and analysis library
numpy	NumPy Developers		Numerical computing library for Python
time	Python Standard Library		Module for time-related functions
psutil	Giampaolo Rodola		Library for system information retrieval and resource monitoring
matplotlib	Matplotlib Developers		Visualization library for creating plots and figures
scikit-learn	scikit-learn Developers Team		Machine learning library with data preprocessing, model selection, and metrics tools
imblearn	imbalanced-learn Developers Team		Library for handling imbalanced datasets (includes SMOTE)
tensorflow	Google		Open-source machine learning framework with Keras API for building neural networks