Классификация спама с помощью метода опорных векторов с использованием метода Ван дер Вардена Rank Score Attention

Summary

В этом исследовании предлагается инновационный подход, основанный на методе опорных векторов, интегрированном с механизмом Ван дер Вардена с улучшенным вниманием к признакам, направленный на решение проблем многомерных разреженных данных о спаме и повышение производительности классификации при обнаружении спама.

Abstract

По мере роста использования электронной почты спам становится серьезной проблемой, угрожающей безопасности сети и снижающей эффективность связи. Традиционные методы обнаружения сталкиваются с постоянными ограничениями: традиционные модели машинного обучения часто испытывают трудности с многомерными разреженными данными, в то время как глубокое обучение требует значительных вычислительных ресурсов.

В этом исследовании представлена функция оценки рангов Ван дер Вардена с улучшенным вниманием Метод опорных векторов (VWR-Attn-SVM) для решения этих проблем. Метод применяет преобразование рангов Ван дер Вардена для нормализации текстовых объектов, повышения устойчивости к выбросам и сохранения порядковых отношений. Улучшенный механизм внимания дополнительно оптимизирует выбор признаков за счет нелинейной обработки с регуляризацией, выделяя функции, наиболее важные для обнаружения спама.

Эксперименты на наборах данных UCI Spambase и Indonesian Spam показали, что VWR-Attn-SVM превосходит традиционные классификаторы по точности, точности, запоминаемости, F1-score и AUC. Сочетая высокую производительность со сниженными вычислительными затратами, метод обеспечивает эффективное и интерпретируемое решение для классификации спама с потенциальным расширением на другие текстовые платформы, такие как обмен сообщениями и социальные сети.

Introduction

В современную цифровую эпоху, характеризующуюся быстрым развитием Интернета и цифровых технологий, электронная почта остается незаменимым краеугольным камнем в области электронных транзакций и корпоративной коммуникации, несмотря на постоянное появление и инновации платформ мгновенного обмена сообщениями и социальных сетей¹. Его способность преодолевать временные и пространственные границы наделяет его уникальными преимуществами, обеспечивая бесперебойную связь по всему миру в любое время. Тем не менее, такое широкое внедрение породило насущную и пагубную проблему - безудержное распространение спама. Злоумышленники использовали системы электрон....

Protocol

1. Подготовка к эксперименту (Дополнительный файл 2 и Дополнительный файл 3)

1. Описание данных: Загрузите набор данных о спаме с открытым исходным кодом из репозитория машинного обучения UCI для обнаружения спама по электронной почте³⁰. Задокументируйте, что набор данных содержит 4 601 экземпляр с 57 непрерывными признаками и 1 меткой класса, включая 1 813 образцов спама (39,4%) и 2 788 образцов, не являющихся спамом (60,6%) (Таблица 1).
2. Импорт библиотеки
   1. Импортируйте необходимые библиотеки (см. Таблицу материалов).
   2. Установите глобальное случайно....

Results

Для начала, в соответствии с установленным протоколом эксперимента, на рисунке 1 представлен обзор общей блок-схемы данного исследования. На рисунке 2 последовательно изображены блок-схемы операций экспериментов 2. Кроме того, в таблице 1 в основном представлены частоты употребления слов и символов в наборе данных спам-писем spam.csv.

Что касается оценки производительности модели, использовались пять ключевых метрик: .......

Discussion

Это исследование подтвердило эффективность VWR-Attn-SVM на основе набора данных Spambase, что дало представление о многомерном и разреженном характере данных о спаме. Эксперименты показали, что только некоторые признаки в данных о спаме имеют сильную корреляцию с метками; Традиционные модели одинаково обрабатывают все функции, что приводит к снижению производительности, в то время как механизм внимания этой модели может динамически оценивать ключевые функции. После интеграции рангового п.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
<Сильный>Дополнительный файл 2: code_new.py; Дополнительный файл 3: code_indonesian.py.
numpy	Разработчики NumPy		Библиотека для численных вычислений на Python
Панды	Команда разработки панд		Библиотека для обработки и анализа данных
matplotlib	Matplotlib Developers		Библиотека для создания статичных, анимированных и интерактивных визуализаций
Сиборн	Майкл Уаском и др.		Библиотека визуализации статистических данных на базе matplotlib
scikit-learn	Команда разработчиков scikit-learn		Библиотека машинного обучения, включающая различные алгоритмы классификации, регрессии и кластеризации
тензорный поток	Google		Открытый фреймворк машинного обучения, включая API Keras для построения нейронных сетей
imblearn	Разработчики с дисбалансированным обучением		Библиотека для работы с несбалансированными наборами данных, включая SMOTE для перевыборки
Предупреждения	Стандартная библиотека Python		Модуль для выдачи предупреждающих сообщений
Дополнительный файл 4: code_compute_time.py
numpy	Разработчики NumPy		Численная вычислительная библиотека для Python
Панды	Команда разработки панд		Библиотека обработки и анализа данных
matplotlib	Разработчики Matplotlib		Библиотека визуализации для создания сюжетов и фигур
Сиборн	Майкл Уаском и др.		Библиотека визуализации статистических данных, построенная на matplotlib
scikit-learn	Команда разработчиков scikit-learn		Библиотека машинного обучения с инструментами классификации, регрессии и предобработки
тензорный поток	Google		Открытый фреймворк машинного обучения с API Keras для нейронных сетей
imblearn	команда разработчиков с несбалансированным обучением		Библиотека для обработки несбалансированных наборов данных (включает SMOTE)
Предупреждения	Стандартная библиотека Python		Модуль для выдачи предупреждающих сообщений
Время	Стандартная библиотека Python		Модуль для функций, связанных со временем
psutil	Джампаоло Родола		Библиотека для получения информации о системе и мониторинга использования ресурсов
ОС	Стандартная библиотека Python		Модуль для взаимодействия с операционной системой
Дополнительный файл 5: DNN.py.
Панды	Команда разработки панд		Библиотека обработки и анализа данных
numpy	Разработчики NumPy		Численная вычислительная библиотека для Python
Время	Стандартная библиотека Python		Модуль для функций, связанных со временем
psutil	Джампаоло Родола		Библиотека для поиска информации о системе и мониторинга ресурсов
matplotlib	Разработчики Matplotlib		Библиотека визуализации для создания сюжетов и фигур
scikit-learn	Команда разработчиков scikit-learn		Библиотека машинного обучения с инструментами предварительной обработки данных, выбора моделей и метрик
imblearn	команда разработчиков с несбалансированным обучением		Библиотека для обработки несбалансированных наборов данных (включает SMOTE)
тензорный поток	Google		Открытый фреймворк машинного обучения с API Keras для построения нейронных сетей