Classificazione dello spam con macchine a vettori di supporto che utilizzano il punteggio di rango di Van der Waerden Attenzione

Summary

Questo studio propone un approccio innovativo basato su Support Vector Machine integrato con un meccanismo di attenzione delle caratteristiche potenziato dal punteggio di Van der Waerden, con l'obiettivo di affrontare le sfide dei dati di spam sparsi ad alta dimensione e migliorare le prestazioni di classificazione del rilevamento dello spam.

Abstract

Con l'espansione dell'utilizzo della posta elettronica, lo spam è diventato una sfida critica, minacciando la sicurezza della rete e riducendo l'efficienza della comunicazione. I metodi di rilevamento convenzionali devono affrontare limitazioni persistenti: i modelli tradizionali di machine learning spesso hanno difficoltà con dati sparsi ad alta dimensione, mentre il deep learning richiede notevoli risorse computazionali.

Questo studio introduce una macchina vettoriale di supporto con maggiore attenzione (VWR-Attn-SVM) per risolvere questi problemi. Il metodo applica la trasformazione del rango di Van der Waerden per normalizzare le funzionalità del testo, migliorando la robustezza rispetto ai valori anomali e preservando le relazioni ordinali. Un meccanismo di attenzione migliorato ottimizza ulteriormente la selezione delle funzionalità attraverso l'elaborazione non lineare con regolarizzazione, evidenziando le funzionalità più rilevanti per il rilevamento dello spam.

Gli esperimenti sui set di dati UCI Spambase e Indonesian Spam mostrano che VWR-Attn-SVM supera i classificatori tradizionali in termini di accuratezza, precisione, richiamo, punteggio F1 e AUC. Combinando prestazioni elevate con costi computazionali ridotti, il metodo fornisce una soluzione efficiente e interpretabile per la classificazione dello spam, con potenziale estensione ad altre piattaforme basate su testo come la messaggistica e i social media.

Introduction

Nell'era digitale contemporanea, caratterizzata dalla rapida evoluzione di Internet e delle tecnologie digitali, l'e-mail è rimasta un pilastro indispensabile nell'ambito delle transazioni elettroniche e della comunicazione aziendale, nonostante la continua nascita e innovazione delle piattaforme di messaggistica istantanea e dei social media¹. La sua capacità di trascendere i confini temporali e spaziali gli conferisce vantaggi unici, consentendo una comunicazione senza interruzioni in tutto il mondo in qualsiasi momento. Tuttavia, questa ampia adozione ha dato origine a un problema urgente e dannoso: la dilagante diffusione dello spam. I mali....

Protocol

1. Preparazione sperimentale (File Supplementare 2 e File Supplementare 3)

1. Descrizione dei dati: caricare il set di dati di spam open source dall'UCI Machine Learning Repository per il rilevamento delle e-mail di spam³⁰. Documentare che il set di dati contiene 4.601 istanze con 57 funzionalità continue e 1 etichetta di classe, inclusi 1.813 campioni di spam (39,4%) e 2.788 campioni non spam (60,6%) (Tabella 1).
2. Importazione della libreria
   1. Importa le librerie essenziali (vedi la Tabella dei Materiali).
   2. Imposta un seme casuale globale su....

Results

Per iniziare, secondo il protocollo sperimentale stabilito, la Figura 1 fornisce una panoramica del diagramma di flusso complessivo di questo studio. La Figura 2, illustra in sequenza i diagrammi di flusso delle operazioni degli esperimenti 2. Inoltre, la Tabella 1 presenta principalmente le frequenze di parole e caratteri all'interno del set di dati di posta indesiderata, spam.csv.

Per quanto riguarda la valutazione .......

Discussion

Questo studio ha verificato l'efficacia di VWR-Attn-SVM sulla base del set di dati Spambase, fornendo informazioni per affrontare la natura altamente dimensionale e sparsa dei dati di spam. Gli esperimenti hanno rivelato che solo alcune caratteristiche nei dati di spam hanno una forte correlazione con le etichette; I modelli tradizionali trattano tutte le funzionalità allo stesso modo, portando a prestazioni scadenti, mentre il meccanismo di attenzione di questo modello può pesare dinami.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
File Supplementare 2: code_new.py; File supplementare 3: code_indonesian.py.
numpy	Sviluppatori NumPy		Libreria per il calcolo numerico in Python
Panda	Team di sviluppo pandas		Libreria per la manipolazione e l'analisi dei dati
matplotlib	Matplotlib Developers		Libreria per creare visualizzazioni statiche, animate e interattive
Seaborn	Michael Waskom et al.		Libreria di visualizzazione statistica dei dati basata su matplotlib
scikit-learn	Team di sviluppatori scikit-learn		Libreria di machine learning che presenta vari algoritmi di classificazione, regressione e clustering
Tensorflow	Google		Framework open source di machine learning, inclusa l'API Keras per la costruzione di reti neurali
imblearn	Sviluppatori con apprendimento sbilanciato		Libreria per la gestione di dataset sbilanciati, incluso SMOTE per il sovracampionamento
Avvertenze	Libreria Standard Python		Modulo per l'emissione di messaggi di avvertimento
File Supplementare 4: code_compute_time.py
numpy	Sviluppatori NumPy		Libreria di calcolo numerico per Python
Panda	Team di sviluppo pandas		Libreria di manipolazione e analisi dei dati
matplotlib	Sviluppatori Matplotlib		Libreria di visualizzazione per creare grafici e figure
Seaborn	Michael Waskom et al.		Libreria di visualizzazione statistica dei dati costruita su matplotlib
scikit-learn	Team di sviluppatori scikit-learn		Libreria di machine learning con strumenti di classificazione, regressione e preprocessing
Tensorflow	Google		Framework di machine learning open-source con API Keras per reti neurali
imblearn	Team sviluppatori di imparaggio sbilanciato		Libreria per la gestione di dataset squilibrati (include SMOTE)
Avvertenze	Libreria Standard Python		Modulo per l'emissione di messaggi di avvertimento
Ore	Libreria Standard Python		Modulo per funzioni legate al tempo
psutil	Giampaolo Rodola		Libreria per recuperare informazioni di sistema e monitorare l'utilizzo delle risorse
sistema operativo	Libreria Standard Python		Modulo per interagire con il sistema operativo
Fascicolo Supplementare 5: DNN.py.
Panda	Team di sviluppo pandas		Libreria di manipolazione e analisi dei dati
numpy	Sviluppatori NumPy		Libreria di calcolo numerico per Python
Ore	Libreria Standard Python		Modulo per funzioni legate al tempo
psutil	Giampaolo Rodola		Libreria per il recupero delle informazioni di sistema e il monitoraggio delle risorse
matplotlib	Sviluppatori Matplotlib		Libreria di visualizzazione per creare grafici e figure
scikit-learn	Team di sviluppatori scikit-learn		Libreria di machine learning con preprocessing dati, selezione dei modelli e strumenti per le metriche
imblearn	Team sviluppatori di imparaggio sbilanciato		Libreria per la gestione di dataset squilibrati (include SMOTE)
Tensorflow	Google		Framework di machine learning open-source con API Keras per la costruzione di reti neurali