Исследовательская статья

Новая гибридная модель глубокого обучения для обнаружения атак в IoT-среде: сверточная нейронная сеть с трансформаторным подходом

DOI:

10.3791/68750

⸱

18 ноября 2025 г.

 , 
1Computer Science (FPA), Dada Lakhmi Chand State University of Performing and Visual Arts (DLCSUPVA), 2Faculty of Planning and Architecture, Dada Lakhmi Chand State University of Performing and Visual Arts (DLCSUPVA)

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В исследовании представлена гибридная модель глубокого обучения, объединяющая сверточные нейронные сети (CNN) и трансформаторы для обнаружения атак в IoT-средах. Используя набор данных CIC-IoT-2023, модель достигла высоких показателей производительности: точности 99,97% и снижения 0,0123, что продемонстрировало её эффективность в обнаружении атак в реальном времени.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Стремительное развитие устройств Интернета вещей (IoT) улучшило доступность и подключение. Тем не менее, растущая взаимосвязь этих сред создаёт новые уровни угрозы, требующие надёжного обнаружения аномалий. В этом исследовании представлен новый метод безопасности, основанный на глубоком обучении, для снижения конкретных угроз, связанных с сетями Интернета вещей. Предлагаемый подход использует глубокие нейронные сети для эффективного мониторинга паттернов активности сети и выявления потенциальных уязвимостей в связи в реальном времени. В этом исследовании предлагается гибридная модель CNN-Transformer для обнаружения и классификации атак в IoT-сетях. Для создания и тестирования этого подхода мы проанализировали набор данных CIC-IoT-2023, который включает 33 различных типа угроз IoT, распределенных по 7 категориям. Экспериментальные результаты показывают, что предлагаемая модель работает отлично, с точностью 99,96%, отзывом 99,96%, результатом F1 99,96% и точностью 99,97% при потере 0,0123. Кроме того, предлагаемая модель анализируется на основе вычислительного времени и затрат ресурсов, демонстрируя её эффективность в обнаружении и классификации атак с минимизированной вычислительной сложностью при сохранении высокой точности.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Технологии Интернета вещей значительно продвинулись в последние годы, и мы вошли в тесно взаимосвязанный цифровой мир. В настоящее время многие отрасли используют устройства Интернета вещей (IoT), включая здравоохранение, сельское хозяйство, транспорт, аэрокосмическую ипроизводственную отрасли. Известные эксперты прогнозируют, что Интернет вещей (IoT) и связанные с ним приложения существенно повлияют на мировую экономику к 2025 году, с годовым эффектом от 3,9 триллиона до 11,1 триллионадолларов. С другой стороны, из-за этого безупречного соединения возникают новые сложности, связанные с безопасностью. По мере развития IoT-устройств они становятся всё более уязвимыми к кибератакам, что делает необходимым предотвращение несанкционированного доступа и атак на эти устройства. В атмосфере с широким спектром устройств некоторые гаджеты более уязвимы к атаке, чемдругие. Эти устройства влияют не только на безопасность системы Интернета вещей, но и на каналы передачи, входящие в состав системы, и могут даже вызвать частичное или полное сбой сети передачи. Машинное обучение (ML) и глубокое обучение (DL) — это две области искусственного интеллекта (AI), которые значительно улучшили несколько областей, таких как системыздравоохранения 4, компьютерноезрение 5, беспроводнаясвязь 6 и сетеваябезопасность 7. Эти достижения стали возможны благодаря совершенствованию соответствующих технологий. Что касается Интернета вещей, обычно устанавливают системы обнаружения вторжений, основанные на глубоком обучении и машинномобучении 4,5.

Рекомендуемая система обнаружения вторжений сканирует сетевой трафик на предмет необычных потоков данных и обрабатывает пакеты, включая недавно захваченную безобидную информацию. Это позволяет системе выявлять инновационные атаки. Используются два подхода — на основе сигнатур и аномалий — для обнаружения интрузиев. Один из методов обнаружения вторжений, основанный на сигнатрах, — это проверка трафика пакетов внутри сети и сравнение найденных значений с теми, что обозначены как сигнатуры известных атак. Это делается для выявления уязвимостей в сети. Методы, основанные на аномалиях, используются для идентификации атак путём записи пользовательских параметров, которые отличаются от считающихся аутентичными для пользователей параметров. Поэтому для улучшения обнаружения атак в этом исследовании введена модель глубокого обучения, сочетающая трансформатор с сверточной нейронной сетью (CNN). Для создания многопространственных подмножеств признаков, позволяющих более полное нелинейное представление, исходные данные преобразуются в несколько подпространств с использованием компонента CNN в предлагаемой модели. После этого ассоциации признаков окончательно определяются, и более глубокие качества, такие как детализированные признаки, извлекаются с помощью компонента Transformer. В конечном итоге функция softmax выстраивает связи между признаками и метками. Предлагаемый подход демонстрирует выдающуюся эффективность в обнаружении атак, сочетая лучшие особенности подхода CNN и модели Transformer.

Ниже выделены основные цели этого исследования: (i) Создание продвинутой структуры для обнаружения аномалий в контексте Интернета вещей. Этот фреймворк позволяет улучшить обнаружение вредоносной информации, создаваемой гетерогенными устройствами Интернета вещей (IoT), которые были взломаны или скомпрометированы. (ii) Исследование демонстрирует эффективный метод извлечения релевантных характеристик из наборов данных для обнаружения аномалий на основе IoT. При применении к этим устройствам эта техника делает обнаружение атак более эффективным. (iii) Для выявления атак в статье представлена адаптивная модель с использованием трансформаторов и CNN. Эта модель направлена на обнаружение вторжений в среду Интернета вещей, исходящих из сети. (iv) Для тестирования и проверки предлагаемой модели с использованием набора данных безопасности CIC-IoT23 используется метод многоклассовой классификации. Используя технику мультиклассовой классификации, оценка успешно различает семь атак, запущенных ботнетами IoT, и безвредный трафик. (v) Используя ряд характеристик, предлагаемый подход сравнивается с современными методологиями. Это сравнительное исследование показывает, что предлагаемый подход лучше и эффективно выявляет атаки на Интернет вещей (IoT).

Предлагаемая гибридная модель CNN-Transformer лучше обобщает и обладает надёжностью, чем традиционные методы IDS на основе сигнатур ианомалий 2,5, поскольку сочетает извлечение пространственных признаков с временным вниманием. Он достигает лучшей точности и отзывов с меньшим количеством ручной инженерии функций, чем традиционные методы ML/DL 6,8. Ранние гибридные модели 9,10 не могли адаптироваться к изменениям в реальном времени. Предлагаемый подход решает эту задачу с помощью лёгкой архитектуры и оптимизации.

Быстро расширяющаяся область IoT и связанных с ним проблем безопасности привела к значительным исследованиям обнаружения вторжений. Обзор литературы сосредоточен на ключевых исследовательских работах и их вкладе, чтобы обеспечить более глубокое понимание решений, которые в настоящее время считаются передовыми технологиями.

Гибридная модель, использующая адаптивную архитектуру CNN-GRU, была предложена Нанданваром иКатарьей 11 с целью обнаружения и классификации атак ботнетов в промышленных условиях Интернета вещей (IIoT).

С результатом F1 98,59% и точностью 98,75% с использованием набора данных CIC-IoT2023, Джони и др.12 предложили модель на основе LSTM, которая успешно предсказывает закономерности кибератак. В этом исследовании была предложена стратегия ансамбля машинногообучения 8 как метод бинарной классификации для обнаружения и уничтожения ложных данных в IoT-сетях. Модель использует комплекс машин градиентного бустера для выявления аномалий и смягчения атак с нулевым днём. Модель достигла точности 98,27%. Кроме того, точность и отзыв достигли 96,40% и 95,70% соответственно, что делает их подходящими для важных приложений IoT. де Кальдас Фильо и др.13 разработали гибридную систему обнаружения вторжений (IDS), объединяющую сетевые и хост-ориентированные IDS. Эта интегрированная система реагирования на вторжения (IRS) проактивно обнаруживает и предотвращает угрозы нулевого дня. Автор также использовал децентрализованную федеративную систему обучения для выявления аномалий с помощью глубокого обучения. Это федеративное обучение и обнаружение с помощью глубокого обучения достигает точности обнаружения 89,753% в децентрализованной инфраструктуре IoT. Wang и др.14 представили инструмент обнаружения угроз под названием ThreatInsight, который снизил потребность в журналах системного аудита. ThreatInsight выявляет и присваивает атакующих, используя подходы, основанные на фактах и семантическом мышлении. Создавая аналитические отчёты, технология улучшает возможности раннего обнаружения в системах защиты кибербезопасности и обеспечивает анализ в реальном времени.

Чай и др. 15 представили метод обнаружения вредоносного ПО с использованием динамической свёртки для адаптивного извлечения признаков и класса признаков. Автор предложил динамическую функцию активации, использующую корреляции выборок для уменьшения влияния нерелевантных характеристик, основанную на анализе двойной выборки. Расстояние между выборками запросов и прототипами рассчитывается с помощью метода на основе метрик для успешной идентификации вредоносного ПО. С точки зрения экспериментальных результатов, этот метод демонстрирует значительные улучшения по сравнению с существующими алгоритмами обнаружения вредоносного ПО с несколькими выстрелами. Шах и др.16 представляют модель системы на базе искусственного интеллекта, направленную на повышение безопасности IoT, выявляя вредоносных пользователей с помощью бинарной классификации и используя блокчейн-технологии для безопасного хранения данных. Он решает потенциальные уязвимости блокчейн-смарт-контрактов, внедряя алгоритмы глубокого обучения для классификации, в конечном итоге обеспечивая комплексную систему безопасности, оцениваемую с помощью различных показателей производительности.

Луо и др.17 представили новую систему для приложений Интернета вещей (IoT) — EDL-WADS, которая включает четыре модуля: модуль обучения функциям для представления URL-запросов, модуль глубокого обучения с тремя моделями для различных представлений запросов URL, модуль принятия решений для интеграции результатов моделей с помощью ансамблевого классификатора и модуль тонкой настройки для обновлений в реальном времени. EDL-WADS превзошёл базовые модели с точностью 99,47%, 99,29% уровнем истинных положительных результатов, 99,70% точностью и 0,0033% ложноположительных результатов на различных наборах данных. Её ограничения включали концентрацию системы на SQL-инъекции и обнаружении межсайтовых скриптов, а также низкую производительность модели CNN.

Тянь и др.18 представили распределённый метод глубокого обучения для обнаружения атак в интернете путем анализа URL. Система развернута на периферийных устройствах и предназначена для выявления веб-угроз. Для проведения экспериментов с системой использовались две параллельные глубокие модели, и система сравнивалась с существующими системами с использованием различных наборов данных. Система конкурентоспособна для обнаружения веб-атак с точностью 99,410%, TPR 98,91% и 99,55% обычных запросов.

Чай и др.19 предложили MalFSCIL — новую структуру, использующую метод разъединённого обучения с вариационным автоэнкодером для снижения катастрофического забвения, а также метод динамического определения границ на основе прототипирования классов для точного определения границ при принятии решений. Этот подход превосходит другие методы обнаружения и классификации вредоносного ПО на открытых и корпоративных наборах данных. Таблица 19, 7, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32 содержит краткий обзор существующих работ.

Таблица 1: Литература по существующим исследованиям по обнаружению атак IoT с использованием ML/DL. Таблица содержит краткий обзор существующих работ. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Предлагаемая модель CNN-Transformer обеспечивает полную безопасность для IoT-сетей, поскольку она напрямую решает узкие возможности атак и ограниченные возможности обучения функциям предыдущих методов. Сочетание сверточного кодирования с механизмами самовнимания устраняет низкие границы обнаружения, характерные для более ранних методовCNN только 10,13 или только Transformer33. Кроме того, конкретные изменения, внесённые в каждый слой кодирования CNN, делают передачу доменов более эффективной, сокращая время обучения и вычислительные расходы. Эти улучшения позволяют использовать аналитику безопасности в реальном времени в операционных IoT-настройках. Предлагаемая модель — это большой шаг в защите экосистем IoT от новых, более сложных угроз.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом разделе рассматриваются материалы и методы, связанные с системами обнаружения атак, в среде IoT. Для повторения экспериментов на наборе данных CIC-IoT-2023 этот протокол описывает конкретные процедуры. Последующий Таблица материалов содержит список всего используемого аппаратного и программного обеспечения. Python (pandas, scikit-learn и TensorFlow Keras) используется для реализации конвейера, который запускается на Google Colab с PySpark, доступным для предварительной обработки больших файлов. Подробное описание процедур предварительной обработки данных предоставлено.

Набор данных
Набор данных CIC-IoT-2023, опубликованный Канадским институтом кибербезопасности Университета Нью-Брансуика. «CIC IoT dataset 2023» (страница UNB CIC datasets) и статья34 являются официальной страницой и статьёй CIC для набора данных. Набор данных можно скачать с сайта CIC и он доступен широкой публике. Вместо использования сырых PCAP в этом исследовании используются заранее извлечённые CSV-файлы признаков (flows/features). Wireshark/mergecap и CICFlowMeter используются в исходных экспериментах, которые генерировали набор данных; в этой работе используются featured CSV. Этот набор данных основан на реальных IoT-устройствах и используется в данном исследовании. В наборе данных включены записи о 33 известных атаках на 105 различных IoT-устройствах. В отличие от предыдущих наборов данных IoT, CIC-IoT-2023 включает широкий спектр типов атак. Количество каждой метки, связанной с безвредным трафиком, показано на рисунке 1. Всего этот набор данных состоит из 46 атрибутов и одной метки. По сравнению с CSE-CIC-IDS 2018, где было 84 функции, у CIC-IoT-2023 на 37 функций меньше.

figure-protocol-1
Рисунок 1: Количество атак в наборе данных CICIoT2023. В наборе данных CICIot2023 описаны названия различных типов атак и безобидные записи. Эти различные типы атак в целом делятся на 7 классов атак. Всего существует 8 классов, включая безобидных в мультиклассовой классификации. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Предварительная обработка данных
Наборы данных не должны использоваться в алгоритмах глубокого обучения без достаточной предварительной обработки. Предварительная обработка выполняется для обеспечения алгоритма более тонких данных, что в конечном итоге делает модель более эффективной. Выход предварительного конвейера — кодирование после метки, масштабирование признаков и выбор признаков — называется «Конечные данные» и служит входом для компонентов CNN и Transformer. Следующие шаги выполнены в Google Colab с использованием Python. В этом исследовании использовались Python 3.8.10, pandas 1.3.4, NumPy 1.21.4, scikit-learn 1.0.2, matplotlib 3.4.3 и TensorFlow/Keras 2.6.0. Случайный посев был установлен на 42 для всех ранов.

Сбор данных
Этот этап включает очистку данных, полученных из реальных контекстов, поскольку часто содержит множество ошибок и несоответствий. Если в наборе данных есть текстовые значения, например, невозможно использовать такие значения в глубоком обучении без предварительного преобразования в числовую форму. При работе с набором данных первым делом нужно удалять пустые значения и убирать ячейки без данных. Строки с отсутствующими данными были исключены, чтобы избежать негативных последствий для модели.

Набор данных CIC-IoT-2023 загружается с помощью pd.read_csv('ciciot2023_features_part.csv'). В этом исследовании использовался Google Colab для обучения моделей и PySpark для начальной очистки. Для обнаружения отсутствующих используются следующие методы: df.shape, df.info(), df.isnull().sum() и df.duplicated().sum() для дубликатов. Дублирующие устраняются с помощью df.drop_duplicates(inplace=True). Тип числового столбца проверяется по формуле df[col] = pd.to_numeric(df[col], errors='coerce'). Если появляются новые NaN, обработка пропущенного значения применяется заново. Признаки, которые являются постоянными или почти постоянными, также исключаются с помощью df.drop(columns=low_variance_cols, inplace=True).

Кодирование меток
Следующий шаг — преобразовать текстовые метки в числовое представление, чтобы модель могла их понять. Для бинарной классификации существуют два отдельных типа меток. Всего 46 686 579 записей, из которых 45 588 384 обозначены как вредоносные атаки. С учётом 1 098 195 записей, безвредный лейбл установлен на 0. В мультиклассовой классификации выделяется семь различных типов атак. Всего всего восемь лейблатов, включая безобидный трафик. На рисунке 2 показано количество каждой категории этих меток. Мультиклассовые карты, используемые в этом исследовании: 0 для доброкачественного, 1 для DoS, 2 для DDoS, 3 для разведки, 4 для веб-атаки, 5 для подделки, 6 для грубой силы и 7 для мираи-атаки.

figure-protocol-2
Рисунок 2: Процент классов атак, включая безобидный трафик. В мультиклассовой классификации выделяется семь различных типов атак. Всего всего восемь лейблатов, включая безобидный трафик. На рисунке показано количество каждой категории этих меток. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Масштабирование признаков
Масштабирование признаков — распространённый метод повышения общей производительности моделей глубокого обучения. Масштабирование признаков в данном исследовании осуществляется с помощью технологий Min Max Scaler и Standard Scaler. Исследования не использовали их для тестирования; вместо этого он использовал скейлер только на обучающем наборе для предотвращения утечки данных. Данные могут быть нормализованы до распределения с нулевым средним и одним стандартным отклонением с помощью метода стандартного масштабера. Один из способов — делить исходное число на стандартное отклонение. Для этой функции StandardScaler() вызывается импортом StandardScaler из sklearn.preprocessing. Применяя диапазон, часто от 0 до 1, минимальный максимальный масштабер нормализует данные. Для реализации этого использовалась функция MinMaxScaler() из scikit-learn.

Как указано в уравнении (1), нормализующая формула выглядит так:

figure-protocol-3(1)

Где X означает исходное значение точки, а Xnormalized — преобразованную форму, Xmin — наименьшее значение переменной, а Xmax — наибольшее значение переменной в наборе данных.

Выбор функций
Включение всех характеристик из больших наборов данных в обучение не всегда полезно. Признаки внутри набора данных могут иметь корреляцию и не улучшать результат. Кроме того, чрезмерное количество ценностей увеличивает стоимость обучения. Чтобы найти признаки, которые не нужны, мы вычисляем их корреляционные матрицы и исключаем из набора датаных те, что имеют сильные корреляции. Коэффициент корреляции Пирсона, количественно определяющий линейную зависимость между двумя признаками, используется для вычисления этой корреляции. Значение между -1 и +1 получается делением ковариации двух переменных на произведение их стандартных отклонений. Это необязательно и выполняется в конвейере с помощью Recursive Feature Elimination (RFE) для выбора признаков с помощью классификатора дерева решений. Рекурсивное устранение признаков многократно находит наиболее релевантные признаки, обучая модель классификатора и отбрасывая наименее значимые. Код использует RFE из sklearn.feature_selection с классификатором дерева принятия решений в качестве оценщика. После внедрения рекурсивного устранения признаков было выбрано 30 из 46 характеристик для каждой из семи категорий атак, как показано в Таблице 2. Особенность может быть отнесена к множеству классификаций атак. После завершения процесса, описанного на рисунке 3, выполняется выбор классов атак, включённых в набор данных. Современные CNN отлично учат иерархические представления из исходных данных, но предварительный выбор небольшого, качественного набора функций с помощью RFE имеет значительные преимущества. Во-первых, RFE с классификатором дерева принятия решений быстро удаляет шумные или избыточные данные, которые могут задерживать сходимость в ранних учебных циклах. Во-вторых, сосредоточение CNN на небольшом пуле действительно ценных сигналов снижает перенагон, что крайне важно в наборах данных IoT-трафика с сильно искаженными, безвредными и вредными паттернами. Метод рекурсивной элиминации дерева принятия решений ранжирует признаки для лучшей объяснимости модели и выявления специфических для области смещений до глубокого обучения. Наконец, инициализация CNN-Transformer на этом урезанном наборе функций обеспечивает более быструю сходимость и снижает использование памяти GPU, доказывая, что RFE активно ускоряет и стабилизирует сквозное обучение функциям.

Таблица 2: Избранные особенности набора данных «CIC-IoT-2023». 30 из 46 характеристик были выбраны для каждой из семи категорий атак в этом исследовании с использованием RFE. В таблице описаны выбранные 30 признаков. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

figure-protocol-4
Рисунок 3: Работа предлагаемой гибридной модели. Завершение процесса описано на рисунке. Выполняется процесс выбора классов атак, включённых в набор данных. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Разделите набор данных на 80% и 20% тестовый, следуя следующему шагу: train_test_split (X_train, y_train, test_size=0.20, random_state=42). Тренировочный набор на 80% дополнительно делится с помощью train_test_split(X_train, y_train, test_size=0,20,random_state=42). Вся система выбора модели и настройка гиперпараметров выполняются с использованием этих точных разделений. Синтетическая техника перевыборки меньшинств (SMOTE) используется при проблеме классового дисбаланса. Только тренировочный набор подвергся SMOTE после разделения и масштабирования. Эффект SMOTE представлен в результатах. После RFE исследование идёт параллельно ветвлениям CNN и Transformer, используя те же 30 признаков, которые были выбраны для каждого образца. Дополнительные детали обработки этих 30 особенностей приведены в разделе предлагаемой методологии.

Предлагаемая методология
Эффективная система безопасности для IoT-систем, способная более точно обнаруживать атаки, будет создана с помощью модели глубокого обучения. Предлагается гибридная стратегия безопасности, сочетающая сверточные нейронные сети (CNN) с моделями трансформаторов. Этот метод включает обучение архитектуры CNN с использованием весов из большего набора данных, а затем тонкую настройку параметров модели с использованием меньшего набора данных в качестве цели. Основная цель этой модели — повысить эффективность обнаружения вторжений в IoT.

В этом исследовании использовалась платформа PySpark — Google Colab, которая позволяет пользователям запускать программы на Python на Apache Spark. С использованием пакетов Scikit-learn и Keras были разработаны алгоритмы глубокого обучения. Для обучения и тестирования модели использовалась следующая конфигурация: операционная система: Mac OS v12.6; - M2 Apple Silicon; - 13,3-дюймовый дисплей; - 8-ядерный процессор; - 8-ядерная видеокарта; - 32 ГБ оперативной памяти; - SSD объёмом 256 ГБ.

Канадский институт кибербезопасности (CIC) создал комплексный набор данных по угрозам IoT для продвижения приложений анализа безопасности в практических IoT-средах34. Всего было совершено 33 атаки на сеть из 105 подключённых устройств в системе IoT. Всего 46 179 314 инцидентов атаки делятся на семь групп: DDoS, Recon, DoS, веб-ориентированные, спуфинг и грубая сила, помимо Mirai. В обучающем наборе 37 349 263 экземпляра, в тестовом наборе — 8 830 051, а в наборе данных — всего 46 характеристик. В каждом случае злонамеренные IoT-устройства запускают атаки на другие IoT-устройства. Всего от атак пострадали 67 IoT-устройств и 38 устройств Zigbee и Z-Wave, подключённых к 5 хабам. Сеть подключённых датчиков, камер, микроконтроллеров и умных домашних устройств может быть создана для выполнения различных типов атак и записи их трафика. Wireshark захватывает сетевой трафик в формате PCAP для дальнейшего анализа. Поскольку каждый эксперимент хранит два потока данных, mergecap используется для объединения файлов PCAP. Для составления набора данных использовались различные IoT-устройства, включая аудиоплееры, видеорекордеры, хабы, розетки, системы домашней автоматизации, освещение, датчики и гаджеты NextGen.

В этом разделе представлена подробная методология исследования, состоящая из множества последовательных этапов, используемых в исследовании. Кроме того, часть последовательно определяет предложенный алгоритм и предоставляет подробную блок-схему исследовательского процесса.

CNN
Алгоритм CNN использует искусственную нейронную сеть — подход глубокого обучения. Рисунок 4 иллюстрирует базовый алгоритм, используемый CNN: полностью связанные слои, пулирование, плоскость и свёртка — все это часть системы. CNN не может функционировать без слоя свёртки. Полученные данные клетки обрабатываются сверточным слоем.

В уравнении (2) выходной объём (Vo) определяется P (шаг), Vi (входной объём), S (размер ядра нейрона сверточного слоя) и M (нулевое заполнение).

figure-protocol-5(2)

Затем используется фильтр для извлечения свойств входного значения во время свёртки. Этот слой создаёт карту объектов. Уменьшение размера входных данных путем пулинга упрощает обучение и уменьшает количество параметров для вычисления. Слой пула может быть выбран либо с использованием наибольшего значения в заданном размере, либо среднего значения. Разработанная техника включает два слоя свёртки и два уровня пулирования. Здесь начинается процесс извлечения признаков. Полученные данные признаков предоставляются для вычислений. Алгоритмы CNN доступны в одном, двух или трёх измерениях. Модель использовала сверточную нейронную сеть с одной измерением. Слои в зоне классификации называются сплющенными, полностью связанными. Данные должны быть сжаты после сверточной фазы, чтобы их можно было использовать в полностью связной фазе. Плоский слой — это место, где проводится этот процесс. Внутри полностью связанного слоя используется традиционная парадигма искусственных нейронных сетей. Чтобы применить CNN к данным, не основанным на изображениях, входные размеры должны быть преобразованы. В результате CNN может использовать одномерные сверточные слои, которые являютсяодномерными 35.

figure-protocol-6
Рисунок 4: Базовый алгоритм CNN. Описываются основы работы и компоненты модели CNN. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Обучение на трансформерах
Кроме того, для проведения дальнейших экспериментов мы используем модель моделирования трансформаторов. Модель может одновременно обрабатывать все точки последовательности благодаря механизму самоконцентрации трансформатора. В результате увеличивается время обучения модели и более эффективное использование компьютерных ресурсов трансформатором во время вывода и обучения. Трансформатор в основном состоит из серии сложенных энкодеров и декодеров. Процесс кодирования включает изменение одного языка в другой, но процесс декодирования включает определение вероятности существования другого языка с использованием предыдущих результатов. Поскольку энкодеры в основном отвечают за извлечение признаков, предлагаемая модель использует исключительно компоненты энкодера. Кодировщик трансформатора состоит из вложения ввода/положения, нейронной сети прямой передачи, нормализации слоёв, многоголового самовнимания и остаточной сети.

Для подготовки входных данных к обработке трансформатором используется слой вложения для преобразования категориальных характеристик в плотные векторные представления. Вложение позиции показывает, как признаки связаны последовательно, а вложение входов — как разные входы связаны в общем пространстве. До того как трансформатор обрабатывает категориальные характеристики, это исследование использует вложение входов для преобразования их в плотные векторы.

Расширение механизма внимания, многоголовый механизм самовнимания лежит в основе архитектуры трансформаторов. Используя масштабируемое точечное произведение, это исследование применяет многоголовый механизм самосознания.

figure-protocol-7(3)

где соответственно обозначаются матрица запросов (Q), матрица ключей (K), матрица значений (V) и размерность матрицы ключей (dk). Позволяя модели концентрироваться на данных из различных признаков, отображаемых в отдельные подпространства, что приводит к различным значениям внимания, многоголовой механизм внимания с масштабируемым точечным произведением отличается от механизма внимания с масштабированным точечным произведением. Перенастройка реже вероятна, если уровень внимания рассчитывается независимо для каждой головы. Конкретная формулировка следующая:

figure-protocol-8(4)

figure-protocol-9 (5)

Где h — количество голов внимания, модель dv и d представляют размерность v и модели. Тоже

figure-protocol-10

Далее используется нормализация слоёв для стабилизации процесса обучения. Чтобы предотвратить взрыв градиента, нормализация слоя ограничивает выход каждого слоя определённым диапазоном. Это может улучшить как сходимость, так и скорость обучения модели. В то время как пакетная нормализация учитывает пакетные данные, нормализация слоёв — нет.

Предложенная модель CNN-Transformer
Это исследование предлагает гибридную технику CNN-трансформатора для обнаружения вторжений в сети IoT, учитывая явные преимущества обеих архитектур. На рисунке 5 показаны основные компоненты предлагаемой гибридной технологии CNN-трансформатор. После выполнения всех этапов предварительной обработки, включая очистку, нормализацию, кодирование меток и выбор признаков, каждый выбор в наборе данных представлен 30-мерным вектором признаков, который называется Final Data. Одни и те же Конечные данные дублируются и подаются параллельно обеим ветвям гибридной модели. Затем эти итоговые данные отправляются одновременно в блоки CNN и Transformer. CNN и трансформатор никак не зависят друг от друга; они могут одновременно работать с одними и теми же входными данными. Плоские выходы двух ветвей, CNN и Transformer, объединяются для получения сплавленного вектора признаков, который передаётся плотным слоям, которые их классифицируют. Блок CNN меняет форму входа на (num_features, 1), чтобы сверточные операции можно было выполнять между измерениями признаков для поиска локальных пространственных закономерностей. В то же время ветвь трансформера преобразует тот же вход в последовательный формат и отправляет его в пространство вложения с более высокой размерностью, за которой следует позиционное кодирование. Это позволяет трансформатору сосредоточиться на себе в пространстве признаков и находить глобальные контекстуальные связи. Уникальная конструкция трансформатора используется для извлечения признаков, а сигмоидная функция и полностью связанные слои обеспечивают отображение между признаками и метками. Модель CNN-трансформатора структурно представлена на рисунке 5. В результате получилась система классификации атак из восьми категорий, в составе которой входят DDoS, Recon, DoS, доброкачественные, веб-ориентированные, подделки, грубая сила и Mirai. Процесс оценки предлагаемого трансформатора CNN показан на рисунке 5.

figure-protocol-11
Рисунок 5: Архитектура предлагаемой модели. На рисунке показана форма входа и процесс оценки предлагаемого трансформатора CNN. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Две одномерные сверточные нейронные сети (CNN) с фильтрами по 64 и 128 единиц, размером из 3 ядра, двумя слоями максимального пула, шагом выравнивания, тремя плотными слоями по 256, 128 и 64 единицы, а также тремя слоями dropout составляют слой сверточной нейронной сети (CNN).

Входные данные обрабатываются через одномерный сверточный слой с функцией активации ReLU, 64 фильтрами, ядром 3x3 и шагом 1x1 в первом слое. После предыдущего слоя следует слой MaxPooling1D с размером пула 2. Чтобы сделать модель более гибкой и снизить вычислительные затраты, этот слой уменьшает пространственные размеры выходной площади. Третий слой — ещё один одномерный сверточный слой; у него 128 фильтров, ядро трёх размеров, шаг один и функция активации под названием ReLU. Используя больше фильтров для извлечения входных характеристик, этот слой похож на первый уровень максимального пула. Выход первого слоя затем обрабатывается с помощью этой техники. После этого после второго слоя свертки добавлялся максимальный слой пула, размер пула также был 2. Опять же, этот слой используется для уменьшения дискретизации карт объектов. Пятый слой — это плоский слой, который берёт выход предыдущего слоя и превращает его в одномерный вектор.

Полученные подмножества признаков встраиваются на вход в качестве последнего шага перед тем, как стать входом трансформатора. Кроме того, для оценки значимости каждой головы используется многоголовное внимание — одномерный вектор из восьми голов с размерностью в 32 ключи. Многоголовочный слой внимания является основным компонентом трансформатора. Этот слой позволяет модели адаптивным образом учиться на встроенных представлениях различных характеристик. Многоголовый слой внимания состоит из нескольких голов самовнимания, которые также называют «масштабируемым точечным вниманием». После применения нормализации слоя с эпсилоном, установленным на 1e-6, цель — устранить расхождения масштаба между различными характеристиками и обеспечить стабильность выхода. Поддерживая выход каждого слоя в заранее определённом диапазоне, нормализация слоя снижает вероятность взрыва градиента. После выхода трансформатора следует слой выравнивания, который упрощает его сочетание с CNN, сведя его к одному вектору.

Следующий шаг — объединить плоские выходы CNN и Transformer с помощью слоя конкатенации. Функция активации «relu», регуляризация L2 и плотный слой с 256 единицами следуют за плоским слоем. Затем следует слой dropout с частотой 0,5, который помогает избежать перенасадки. Далее следует дополнительный плотный слой из 128 единиц с использованием L2-регуляризации и функции активации «relu». Процент выброса в дополнительном слое выброса составляет 0,3. Функция активации ReLU, регуляризация L2 и плотный слой на 64 единицы составляют следующий слой. Следующий слой представляет собой слой с выпадением скорости 0,2, случайным образом исключающий 20% единиц внутри. Плотный слой с функцией активации softmax создаёт вероятностное распределение для выходных классов последнего слоя. В этом слое ровно столько же единиц, сколько и выходных классов.

Предлагаемая модель может быть выражена численно следующим образом:
Пусть X — входные данные CNN, где X figure-protocol-12 R(n×1) после изменения формы, а n — количество выбранных признаков соответственно. X помещается в пространство вложения более высокомерного размера формы R(n × d_model) для блока Трансформера. Прежде чем перейти к механизму самовнимания, используется позиционное кодирование.

Ниже приведено выражение операции на слое Conv1D, который использует 64 фильтра и размер ядра 3:

figure-protocol-13(6)

где Yi,j — выходi-го фильтра в позиции j, k — ядро размера 3, b1figure-protocol-14 R64 — член смещения для каждого фильтра, Wk — веса фильтра, а ReLU — функция активации. Далее применяется слой MaxPooling с размером пула 2, получая выходZ 1,j.

figure-protocol-15(7)

Дополнительный слой свёртки ID с размером ядра 3 и 128 фильтрами включен в качестве третьего слоя модели; Её выражение:

figure-protocol-16(8)

Где k — ядро размера 3, b2 figure-protocol-17 R128 — член смещения для каждого фильтра, а ReLU — функция активации. Применяется ещё один максимальный слой пула, получая вход со второго слоя свёртки с размером пула 2. Выход Z2,j задаётся формулой:

figure-protocol-18(9)

Пятый слой — это плоский слой, выраженный как:

figure-protocol-19(10)

Далее идут слои трансформаторов, которые включают слой вложения, слой внимания с несколькими головами и нормализацию слоёв

figure-protocol-20(11)

E — вектор вложения для входного класса метки c, а We — матрица весов, содержащая векторы вложения для всех категорий. Это отображает каждое целое число из c в плотный вектор из 32 вещественных компонент. Далее идёт слой внимания с несколькими головами, сформулированный в уравнениях (3), (4) и (5).

Матрица ключей имеет размер dk =32 и размерность h=8. Модель dv и d означают соответствующие размерности V и модели. Тожеfigure-protocol-21

Для выхода x = MultiHead(Q,K,V) нормализация слоя обеспечивает:

figure-protocol-22(12)

Где y — нормализованный выход, γ и β — обучаемые параметры, а μ и σ2 обозначают среднее и дисперсию для x соответственно. Далее идёт слой выравнивания трансформатора, определяемый как

figure-protocol-23

В конце всех слоёв результирующее выражение отображается как

figure-protocol-24

figure-protocol-25

figure-protocol-26

figure-protocol-27

figure-protocol-28

figure-protocol-29

figure-protocol-30

figure-protocol-31

Где Z1figure-protocol-32R256, Z2figure-protocol-33R128, Z3figure-protocol-34R64 и Yfigure-protocol-35R8. Эта гибридная модель также вычисляет функцию потерь для мультиклассовой классификации, которую можно выразить как

figure-protocol-36

где:
Yc обозначает истинную метку (кодированную однофазной) для класса cc,
Y'c — предсказанная вероятность для класса c
Предложенный алгоритм подробно объясняется в Таблице 3 .

Таблица 3: Предложенный алгоритм CNN-Transformer. Предложенный алгоритм объяснен пошагово в таблице 3. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом разделе представлены параметры оценки вместе с результатами теста.

Метрики оценки эффективности
Эффективность моделей может оцениваться с помощью нескольких определённых критериев для оценки. Точность, воспоминание, точность, результат F1, ROC, матрица путаницы и другие статистические показатели приведены в таблице 4. Данные о общей производительности моделей предоставляются на основе метрик.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Модель CNN-Transformer была протестирована на наборах данных CICIoT2023: 80% было зарезервировано для обучения, а 20% — для тестирования. Модель достигла точности 99,97%, результата F1 99,96%, отзыва 99,97%, точности 99,96% и снижения 0,0123%, что подтвердило её эффективность для обнаружения IoT-вторжений. Подходы на основе CNN, аналогичные выводам13, эффективно обнаруживают малые пространственные закономерности в характеристиках сетевого трафика; однако они часто...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

У авторов нет конфликта интересов, которые можно было бы заявлять.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Я хочу выразить свою особую благодарность и благодарность моей наставнице, доктору Симе, за то, что она поделилась своими знаниями и опытом в этом исследовании.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Apple M2 (8-ядерный процессор)ЯблокоН/Д(OS) предоставляет среду, в которой работают фреймворки и инструменты глубокого обучения.
Набор данных CICIoT2023УНБhttps://www.unb.ca/cic/datasets/iot2023.htmlПублично доступный daset IoT
Keras 2.6.0Керасhttps://keras.io/API, работающий поверх TensorFlow, обеспечивающий удобный интерфейс.
Matplotlib 3.4.3Matplotlib https://matplotlib.org/Библиотека визуализации для Python.
NumPy 1.21.4Numpyhttps://numpy.org/Фундаментальный пакет для научных вычислений на Python
Видеокарта NVIDIA Tesla P100 (16 ГБ видеопамяти)Google Colab ProН/ДТренировочное оборудование
Панды 1.3.4Пандыhttps://pandas.pydata.org/Инструмент анализа и обработки данных.
Python 3.8.10Фонд программного обеспечения Pythonhttps://www.python.org/downloads/release/python-3810/Самый популярный язык для глубокого обучения благодаря обширным библиотекам и поддержке сообщества.
Scikit-Learn 1.0.2Scikit Learnhttps://scikit-learn.org/Библиотека машинного обучения для Python.
Сиборн 0.11.2Сиборнhttps://seaborn.pydata.org/Библиотека визуализации статистических данных.
Оперативная память системыН/ДН/Д32 ГБ ОЗУ
TensorFlow 2.6.0Googlehttps://www.tensorflow.org/Широко используется благодаря своим комплексным инструментам и библиотекам.

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Abbas, S., et al. A novel federated edge learning approach for detecting cyberattacks in IoT infrastructures. IEEE Access. 11, 112189-112198 (2023).
  2. Asharf, J., et al. A review of intrusion detection systems using machine and deep learning in internet of things: challenges, solutions and future directions. Electronics. 9 (7), 1177(2020).
  3. Qiu, J., Tian, Z., Du, C., Zuo, Q., Su, S., Fang, B. A survey on access control in the age of internet of things. IEEE Internet Things J. 7 (6), 4682-4696 (2020).
  4. Zhang, K., et al. Compacting deep neural networks for internet of things: methods and applications. IEEE Internet Things J. 8 (15), 11935-11959 (2021).
  5. Farooq, U., Tariq, N., Asim, M., Baker, T., Al-Shamma'a, A. Machine learning and the internet of things security: solutions and open challenges. J Parallel Distrib Comput. 162, 89-104 (2022).
  6. Regan, C., et al. Federated IoT attack detection using decentralized edge data. Mach Learn Appl. 8, 100263(2022).
  7. Sarhan, M., Layeghy, S., Moustafa, N., Portmann, M. Cyber threat intelligence sharing scheme based on federated learning for network intrusion detection. J Netw Syst Manage. 31 (1), (2023).
  8. Verma, P., et al. A novel intrusion detection approach using machine learning ensemble for IoT environments. Appl Sci. 11 (21), 10268(2021).
  9. Rajagopal, S., Kundapur, P. P., Hareesha, K. S. A stacking ensemble for network intrusion detection using heterogeneous datasets. Secur Commun Netw. 2020, 4586875(2020).
  10. Enhancing IoT security with CNN and LSTM-based intrusion detection systems. Gueriani, A., Kheddar, H., Mazari, A. C. Proc Int Conf Pattern Anal Intell Syst, 6, 1-7 (2024).
  11. Nandanwar, H., Katarya, R. Deep learning enabled intrusion detection system for industrial IoT environment. Expert Syst Appl. 249, 123808(2024).
  12. Jony, A. I., Arnob, A. K. B. A long short-term memory based approach for detecting cyber attacks in IoT using CIC-IoT2023 dataset. J Edge Comput. 3 (1), 28-42 (2024).
  13. de Caldas Filho, F. L., et al. Botnet detection and mitigation model for IoT networks using federated learning. Sensors. 23 (14), 6305(2023).
  14. Wang, Z., et al. ThreatInsight: innovating early threat detection through threat-intelligence-driven analysis and attribution. IEEE Trans Knowl Data Eng. 36 (12), 9388-9402 (2024).
  15. Chai, Y., Du, L., Qiu, J., Yin, L., Tian, Z. Dynamic prototype network based on sample adaptation for few-shot malware detection. IEEE Trans Knowl Data Eng. 35 (5), 4754-4766 (2023).
  16. Shah, H., et al. Deep learning-based malicious smart contract and intrusion detection system for IoT environment. Mathematics. 11 (2), 418(2023).
  17. Luo, C., et al. A novel web attack detection system for internet of things via ensemble classification. IEEE Trans Ind Inform. 17 (8), 5810-5818 (2021).
  18. Tian, Z., et al. A distributed deep learning system for web attack detection on edge devices. IEEE Trans Ind Inform. 16 (3), 1963-1971 (2020).
  19. Chai, Y., et al. MalFSCIL: a few-shot class-incremental learning approach for malware detection. IEEE Trans Inf Forensics Secur. 20, 2999-3014 (2025).
  20. Maghrabi, L. A. Automated network intrusion detection for internet of things: security enhancements. IEEE Access. 12, 30839-30851 (2024).
  21. He, M., et al. Reinforcement learning meets network intrusion detection: a transferable and adaptable framework for anomaly behavior identification. IEEE Trans Netw Serv Manage. 21 (2), 2477-2492 (2024).
  22. Oseni, A., et al. An explainable deep learning framework for resilient intrusion detection in IoT-enabled transportation networks. IEEE Trans Intell Transp Syst. 24 (1), 1000-1014 (2023).
  23. Khan, F., et al. Trustworthy and reliable deep-learning-based cyberattack detection in industrial IoT. IEEE Trans Ind Inform. 19 (1), 1030-1038 (2023).
  24. IoT anomaly detection using a multitude of machine learning algorithms. Balega, M., et al. Proc IEEE Appl Imagery Pattern Recognit Workshop, 2022, 1-7 (2022).
  25. A hybrid machine learning approach to anomaly detection in industrial IoT. Jayesh, T. P., et al. Proc Int Conf Adv Comput Commun Embedded Syst, 3, 32-36 (2023).
  26. Mezina, A., Burget, R., Travieso-Gonzalez, C. M. Network anomaly detection with temporal convolutional network and U-Net model. IEEE Access. 9, 143608-143622 (2021).
  27. Ahmad, Z., et al. Anomaly detection using deep neural network for IoT architecture. Appl Sci. 11 (15), 7050(2021).
  28. Raman, M., et al. An efficient intrusion detection technique based on support vector machine and improved binary gravitational search algorithm. Artif Intell Rev. 53, (2020).
  29. Thaseen, I. S., et al. A hadoop based framework integrating machine learning classifiers for anomaly detection in the internet of things. Electronics. 10 (16), 1955(2021).
  30. Almiani, M., et al. Deep recurrent neural network for IoT intrusion detection system. Simul Model Pract Theory. 101, 102031(2020).
  31. A novel approach to detect IoT malware by system calls using deep learning techniques. Shobana, M., Poonkuzhali, S. Proc Int Conf Innovative Trends Inf Technol, 2020, 1-5 (2020).
  32. Farsi, M. Application of ensemble RNN deep neural network to the fall detection through IoT environment. Alex Eng J. 60 (1), 199-211 (2021).
  33. Tseng, S. M., Wang, Y. Q., Wang, Y. C. Multiclass intrusion detection based on transformer for IoT networks using CIC-IoT-2023 dataset. Future Internet. 16 (8), 284(2024).
  34. Neto, E. C. P., et al. CICIoT2023: a real-time dataset and benchmark for large-scale attacks in IoT environment. Sensors. 23 (13), 5941(2023).
  35. Tsimenidis, S., Lagkas, T., Rantos, K. Deep learning in IoT intrusion detection. J Netw Syst Manage. 30 (1), 8(2021).
  36. Kamal, H. Advanced hybrid transformer-CNN deep learning model for effective intrusion detection systems with class imbalance mitigation using resampling techniques. Future Internet. 16 (12), 481(2024).
  37. Alghieth, M. DeepECG-Net: a hybrid transformer-based deep learning model for real-time ECG anomaly detection. Sci Rep. 15 (1), 20714(2025).
  38. Kethineni, K., Pradeepini, G. Intrusion detection in internet of things-based smart farming using hybrid deep learning framework. Clust Comput. 27 (2), 1719-1732 (2024).
  39. Alharbi, A., et al. Botnet attack detection using local global best bat algorithm for industrial internet of things. Electronics. 10 (11), 1341(2021).
  40. Kunang, Y. N., et al. Attack classification of an intrusion detection system using deep learning and hyperparameter optimization. J Inf Secur Appl. 58, 102804(2021).
  41. Han, W., et al. Heterogeneous data-aware federated learning for intrusion detection systems via meta-sampling in artificial intelligence of things. IEEE Internet Things J. 11 (8), 13340-13354 (2024).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

IoTIoTCIC IoT 2023

Похожие статьи