Klasyfikacja spamu z pomocą maszyn wektorowych wsparcia używających ocen rangi van der Waerden Uwaga

Summary

Niniejsze badanie proponuje innowacyjne podejście oparte na Support Vector Machine zintegrowanym z mechanizmem zwracania uwagi na cechy zwiększanym przez rangę Van der Waerdena, mającym na celu rozwiązanie wyzwań związanych z wysokowymiarowymi, rzadkimi danymi spamowymi oraz poprawę wydajności wykrywania spamu w klasyfikacji.

Abstract

Wraz ze wzrostem użycia poczty elektronicznej, spam stał się poważnym wyzwaniem, zagrażając bezpieczeństwu sieci i obniżającym efektywność komunikacji. Tradycyjne metody wykrywania napotykają trwałe ograniczenia: tradycyjne modele uczenia maszynowego często mają trudności z wysokowymiarowymi, rzadkimi danymi, podczas gdy uczenie głębokie wymaga znacznych zasobów obliczeniowych.

Niniejsze badanie wprowadza funkcję Van der Waerdena z wynikiem rankingu Van der Waerdena z uwzględnieniem uwagi (VWR-Attn-SVM), aby rozwiązać te problemy. Metoda ta stosuje transformację rang Van der Waerdena do normalizacji cech tekstu, poprawiając odporność na wartości odstające i zachowując relacje porządkowe. Ulepszony mechanizm uwagi dodatkowo optymalizuje wybór cech poprzez nieliniowe przetwarzanie z regularizacją, podkreślając cechy najbardziej istotne dla wykrywania spamu.

Eksperymenty na zbiorach danych UCI Spambase i Indonesian Spam pokazują, że VWR-Attn-SVM przewyższa tradycyjne klasyfikatory pod względem dokładności, precyzji, przypomnienia, wyniku F1 i AUC. Łącząc wysoką wydajność z niższymi kosztami obliczeniowymi, metoda ta zapewnia efektywne i interpretowalne rozwiązanie klasyfikacji spamu, z potencjalnym rozszerzeniem na inne platformy tekstowe, takie jak komunikacja czy media społecznościowe.

Introduction

We współczesnej erze cyfrowej, charakteryzowanej szybkim rozwojem internetu i technologii cyfrowych, e-mail pozostaje niezbędnym filarem w dziedzinie transakcji elektronicznych i komunikacji korporacyjnej, pomimo ciągłego pojawiania się i innowacji w zakresie komunikacji natychmiastowej i platform mediów społecznościowych¹. Jego zdolność do przekraczania granic czasowych i przestrzennych daje mu unikalne zalety, umożliwiając płynną komunikację na całym świecie w dowolnym momencie. Jednak ta powszechna adopcja doprowadziła do palącego i szkodliwego problemu – powszechnego rozprzestrzeniania się spamu. Złośliwi aktorzy wykorzystywali systemy pocz....

Protocol

1. Przygotowanie eksperymentalne (Plik uzupełniający 2 i Plik uzupełniający 3)

1. Opis danych: Załaduj otwarty zbiór danych spamowych z repozytorium uczenia maszynowego UCI dla wykrywania spamu³⁰. Dokumentuj, że zbiór danych zawiera 4 601 przypadków z 57 ciągłymi cechami i 1 etykietą klasy, w tym 1 813 próbek spamu (39,4%) i 2 788 próbek niespamowych (60,6%) (Tabela 1).
2. Import biblioteki
   1. Importuj niezbędne biblioteki (patrz Tabela materiałów).
   2. Ustaw globalne losowe zasiedzenie na 42 , aby zapewnić powtarzalność wyników.

Results

Na początek, zgodnie z ustalonym protokołem eksperymentalnym, Rysunek 1 przedstawia przegląd ogólnego schematu przepływowego tego badania. Rysunek 2, kolejno przedstawia schematy działania Eksperymentów 2. Dodatkowo, Tabela 1 przedstawia głównie częstotliwość słów i znaków w zbiorze danych spamowych e-maili, spam.csv.

W ocenie wydajności modelu zastosowano pięć kluczowych wskaźników: dokładność, precyzję, przypomnieni.......

Discussion

Badanie to potwierdziło skuteczność systemu VWR-Attn-SVM na podstawie zbioru danych Spambase, dostarczając informacji dotyczących problemów wysokowymiarowych i rzadkich danych spamowych. Eksperymenty wykazały, że tylko nieliczne cechy w danych spamowych mają silną korelację z etykietami; Tradycyjne modele traktują wszystkie cechy jednakowo, co prowadzi do słabej wydajności, podczas gdy mechanizm uwagi tego modelu może dynamicznie ważyć kluczowe cechy. Po integracji transformacji rangowej Van der Waerdena (VWR) model osią.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Plik Dodatkowy 2: code_new.py; Plik uzupełniający 3: code_indonesian.py.
numpy	Deweloperzy NumPy		Biblioteka do obliczeń numerycznych w Pythonie
Pandy	Zespół Rozwojowy Pandas		Biblioteka do manipulacji i analizy danych
matplotlib	Matplotlib Developers		Biblioteka do tworzenia statycznych, animowanych i interaktywnych wizualizacji
Seaborn	Michael Waskom i inni.		Biblioteka wizualizacji danych statystycznych oparta na matplotlib
scikit-learn	Zespół deweloperski scikit-learn		Biblioteka uczenia maszynowego zawierająca różne algorytmy klasyfikacji, regresji i klastrowania
tensorflow	Google		Open-source framework uczenia maszynowego, w tym Keras API do budowy sieci neuronowych
imblearn	Programiści imbalanced-learn		Biblioteka do obsługi niezrównoważonych zbiorów danych, w tym SMOTE do nadpróbkowania
Ostrzeżenia	Standardowa biblioteka Pythona		Moduł do wysyłania komunikatów ostrzegawczych
Plik uzupełniający 4: code_compute_time.py
numpy	Deweloperzy NumPy		Biblioteka obliczeń numerycznych dla Pythona
Pandy	Zespół Rozwojowy Pandas		Biblioteka manipulacji i analizy danych
matplotlib	Twórcy Matplotlib		Biblioteka wizualizacji do tworzenia wykresów i figur
Seaborn	Michael Waskom i inni.		Biblioteka wizualizacji danych statystycznych oparta na matplotlib
scikit-learn	Zespół deweloperski scikit-learn		Biblioteka uczenia maszynowego z narzędziami do klasyfikacji, regresji i wstępnego przetwarzania
tensorflow	Google		Open-source framework uczenia maszynowego z Keras API dla sieci neuronowych
imblearn	Zespół deweloperów imbalanced-learn		Biblioteka do obsługi niezrównoważonych zbiorów danych (obejmuje SMOTE)
Ostrzeżenia	Standardowa biblioteka Pythona		Moduł do wysyłania komunikatów ostrzegawczych
Godzina	Standardowa biblioteka Pythona		Moduł funkcji związanych z czasem
psutil	Giampaolo Rodola		Biblioteka do pobierania informacji systemowych i monitorowania zużycia zasobów
system operacyjny	Standardowa biblioteka Pythona		Moduł do interakcji z systemem operacyjnym
Supplemental File 5: DNN.py.
Pandy	Zespół Rozwojowy Pandas		Biblioteka manipulacji i analizy danych
numpy	Deweloperzy NumPy		Biblioteka obliczeń numerycznych dla Pythona
Godzina	Standardowa biblioteka Pythona		Moduł funkcji związanych z czasem
psutil	Giampaolo Rodola		Biblioteka do wyszukiwania informacji systemowych i monitorowania zasobów
matplotlib	Twórcy Matplotlib		Biblioteka wizualizacji do tworzenia wykresów i figur
scikit-learn	Zespół deweloperski scikit-learn		Biblioteka uczenia maszynowego z narzędziami do wstępnego przetwarzania danych, wyboru modeli i metryk
imblearn	Zespół deweloperów imbalanced-learn		Biblioteka do obsługi niezrównoważonych zbiorów danych (obejmuje SMOTE)
tensorflow	Google		Open-source framework uczenia maszynowego z Keras API do budowy sieci neuronowych