Nowatorski hybrydowy model głębokiego uczenia do wykrywania ataków w środowisku IoT: konwolucyjne sieci neuronowe z podejściem transformera

Podsumowanie

Badanie przedstawia hybrydowy model głębokiego uczenia łączący konwolucyjne sieci neuronowe (CNN) i Transformers do wykrywania ataków w środowiskach IoT. Wykorzystując zbiór danych CIC-IoT-2023, model osiągnął wysokie wskaźniki wydajności: 99,97% dokładności i stratę 0,0123, co potwierdza skuteczność wykrywania ataków w czasie rzeczywistym.

Streszczenie

Szybki rozwój urządzeń Internetu Rzeczy (IoT) zwiększył łączność i dostępność. Niemniej jednak rosnąca wzajemna spójność tych środowisk stwarza nowe poziomy zagrożenia, wymagające solidnego wykrywania anomalii. W tym badaniu przedstawiono nową metodę bezpieczeństwa opartą na uczeniu głębokim, mającą na celu ograniczenie szczególnych zagrożeń związanych z sieciami Internetu Rzeczy. Proponowane podejście wykorzystuje głębokie sieci neuronowe do efektywnego monitorowania wzorców aktywności sieciowej oraz wykrywania potencjalnych luk w komunikacji w czasie rzeczywistym. W niniejszym badaniu proponowany jest hybrydowy model CNN-Transformer do wykrywania i klasyfikacji ataków w sieciach IoT. Aby stworzyć i przetestować to podejście, przeanalizowaliśmy zbiór danych CIC-IoT-2023, który obejmuje 33 różne typy zagrożeń IoT podzielone na 7 odrębnych kategorii. Wyniki eksperymentalne pokazują, że proponowany model działa znakomicie, z precyzją 99,96%, przywołaniem 99,96%, wynikiem F1 99,96% oraz dokładnością 99,97% przy utracie 0,0123. Ponadto proponowany model jest analizowany na podstawie czasu obliczeniowego i zużycia zasobów, co wykazuje jego skuteczność w wykrywaniu i klasyfikacji ataków, przy minimalnej złożoności obliczeniowej przy zachowaniu wysokiej dokładności.

Wprowadzenie

Technologia Internetu Rzeczy znacznie się rozwinęła w ostatnich latach i weszliśmy w silnie połączony cyfrowy świat. Wiele różnych branż obecnie korzysta z urządzeń Internetu Rzeczy (IoT), w tym opieka zdrowotna, rolnictwo, transport, lotnictwo i produkcja¹. Znani eksperci prognozują, że Internet Rzeczy (IoT) i powiązane aplikacje znacząco wpłyną na światową gospodarkę do 2025 roku, z rocznymi efektami od 3,9 biliona dolarów do 11,1^{biliona dolarów}. Z drugiej strony, z powodu tego bezbłędnego połączenia pojawiają się nowe trudności związane z bezpieczeństwem. W miarę rozwoju urządzeń IoT stają się coraz bardziej podatne na cyberataki, co sprawia, że konieczne jest zapobieganie nieautoryzowanemu dostępowi i atakom na te urządzenia. W atmosferze z szerokim zakresem urządzeń niektóre gadżety są bardziej podatne na atak niż inne³. Te urządzenia nie tylko wpływają na bezpieczeństwo systemu Internetu Rzeczy, ale także na kanały transmisyjne będące częścią systemu, a mogą nawet spowodować częściową awarię sieci transmisyjnej lub jako całości. Uczenie maszynowe (ML) i głębokie uczenie (DL) to dwie gałęzie sztucznej inteligencji (AI), które znacząco udoskonaliły kilka dziedzin, takich jak systemy opieki zdrowotnej⁴, widzenie komputerowe⁵, komunikacja bezprzewodowa⁶ i bezpieczeństwo sieci⁷. Te postępy stały się możliwe dzięki ulepszeniu ich odpowiednich technologii. Jeśli chodzi o Internet Rzeczy, powszechną praktyką jest instalowanie systemów wykrywania włamań opartych na głębokim uczeniu i uczeniu maszynowym ^4,5.

Sugerowany system wykrywania włamań skanuje ruch sieciowy pod kątem nietypowych przepływów danych i przetwarza pakiety, w tym niedawno przechwycone nieszkodliwe informacje. Pozwala to systemowi identyfikować innowacyjne ataki. Do wykrywania włamań stosuje się dwa podejścia: oparte na sygnaturach i anomalii. Jedną z metod wykrywania włamań, która opiera się na sygnaturach, jest kontrola ruchu pakietów wewnątrz sieci oraz porównywanie wartości znalezionych z tymi oznaczonymi jako sygnatury znanych ataków. Robi się to, aby zidentyfikować luki w sieci. Metody oparte na anomaliach są stosowane do identyfikacji ataków poprzez rejestrowanie parametrów użytkownika, które wykazują odchylenia od parametrów uznawanych za autentyczne dla użytkowników. Dlatego, aby poprawić wykrywanie ataków, badania te wprowadzają model głębokiego uczenia łączący Transformer z konwolucyjną siecią neuronową (CNN). Aby stworzyć wieloprzestrzenne podzbiory cech umożliwiające bardziej szczegółową nieliniową reprezentację, oryginalne dane są przekształcane w kilka podprzestrzeni za pomocą komponentu CNN w proponowanym modelu. Następnie skojarzenia cech są finalizowane, a głębsze cechy, takie jak szczegółowe cechy, są wyodrębniane za pomocą komponentu Transformer. Ostatecznie funkcja softmax buduje relacje między cechami a etykietami. Sugerowane podejście wykazuje znakomite wyniki w wykrywaniu ataków, łącząc najlepsze cechy podejścia CNN i modelu Transformer.

Poniżej podkreślono główne cele tych badań: (i) Zbudowanie zaawansowanych ram wykrywania anomalii w kontekście Internetu Rzeczy. Te ramy umożliwiają lepsze wykrywanie złośliwych informacji generowanych przez heterogeniczne urządzenia Internetu Rzeczy (IoT), które zostały zhakowane lub przejęte. (ii) Badania pokazują skuteczną metodę wydobywania istotnych cech z zbiorów danych w celu wykrywania anomalii opartych na IoT. Stosowane do tych urządzeń technika ta zwiększa skuteczność wykrywania ataków. (iii) Aby zidentyfikować ataki, artykuł przedstawia model adaptacyjny wykorzystujący Transformers i CNN. Model ten ma na celu wykrywanie włamań do środowiska Internetu Rzeczy, które pochodzą z tej sieci. (iv) Do testowania i weryfikacji proponowanego modelu przy użyciu zbioru danych bezpieczeństwa CIC-IoT23 stosuje się technikę klasyfikacji wieloklasowej. Stosując technikę klasyfikacji wieloklasowej, ocena skutecznie rozróżnia siedem ataków przeprowadzonych przez botnety IoT od nieszkodliwego ruchu. (v) Stosując szereg cech, proponowane podejście jest porównywane z obecnymi metodologiami. To porównanie pokazuje, że proponowane podejście jest lepsze i skuteczne w identyfikacji ataków na Internet Rzeczy (IoT).

Proponowany hybrydowy model CNN-Transformer lepiej uogólnia i jest odporny^niż tradycyjne metody IDS ^2,5 oparte na sygnaturach i anomaliach, ponieważ łączy ekstrakcję cech przestrzennych z uwagą czasową. Zapewnia lepszą dokładność i wycofania przy mniejszej ręcznej inżynierii funkcji niż tradycyjne metody ML/DL ^6,8. Wcześniejsze hybrydowe modele ^9,10 nie mogły dostosować się do zmian w czasie rzeczywistym. Proponowane podejście rozwiązuje ten problem poprzez zastosowanie lekkiej architektury i optymalizacji.

Szybko rozwijająca się dziedzina IoT i związane z nią kwestie bezpieczeństwa skłoniły do znaczących badań nad wykrywaniem włamań. Przegląd literatury koncentruje się na kluczowych pracach badawczych i ich wkładach, aby zapewnić głębsze zrozumienie rozwiązań obecnie uznawanych za najnowocześniejsze.

Model hybrydowy wykorzystujący adaptacyjną architekturę CNN-GRU został zaproponowany przez Nandanwara i Kataryę¹¹ w celu wykrywania i klasyfikowania ataków botnetów w środowiskach Przemysłowego Internetu Rzeczy (IIoT).

Z wynikiem F1 na poziomie 98,59% i skutecznością 98,75% wykorzystując zbiór danych CIC-IoT2023, Jony i ^in.12 zaproponowali model oparty na LSTM, który skutecznie przewiduje wzorce cyberataków. W^tym badaniu zaproponowano strategię zespołu uczenia maszynowego jako binarną metodę klasyfikacji wykrywającej i eliminującej fałszywe dane w sieciach IoT. Model wykorzystuje zespół maszyny wzmacniającej gradient do wykrywania nieprawidłowości i ograniczania ataków zerowych dni. Model osiągnął dokładność 98,27%. Ponadto precyzja i przywołanie wynoszą odpowiednio 96,40% i 95,70%, co czyni je odpowiednimi dla kluczowych zastosowań IoT. de Caldas Filho i ^in.13opracowali hybrydowy system wykrywania włamań (IDS), który łączy IDS sieciowy i hostowy. Ten zintegrowany system reagowania na włamania (IRS) proaktywnie wykrywa i zapobiega zagrożeniom zerowym dniom. Autor wykorzystał także zdecentralizowany system uczenia federacyjnego do identyfikacji anomalii za pomocą głębokiego uczenia. To federacyjne szkolenie i detekcja z użyciem głębokiego uczenia osiągają dokładność wykrywania 89,753% w zdecentralizowanej infrastrukturze IoT. Wang i ^in.14 zaprezentowali narzędzie do wykrywania zagrożeń o nazwie ThreatInsight, które zmniejszyło potrzebę stosowania logów audytu systemowego. ThreatInsight identyfikuje i przypisuje atakujących za pomocą podejść oparty na faktach i rozumowaniu semantycznym. Dzięki tworzeniu raportów analitycznych technologia poprawia możliwości wczesnego wykrywania w systemach ochrony cyberbezpieczeństwa i oferuje analizę w czasie rzeczywistym.

Chai i ^in.15 zaprezentowali metodę wykrywania złośliwego oprogramowania wykorzystującą dynamiczną konwolucję do adaptacyjnego wyodrębniania cech i cech klas. Autor zasugerował dynamiczną funkcję aktywacji, która wykorzystuje korelacje próby do zmniejszenia wpływu nieistotnych cech, opartą na analizie podwójnej próby. Odległość między próbkami zapytań a prototypami oblicza się za pomocą techniki metrycznej, aby skutecznie zidentyfikować złośliwe oprogramowanie. Pod względem wyników eksperymentalnych metoda ta wykazuje znaczące ulepszenia w porównaniu z istniejącymi algorytmami wykrywania malware z kilkoma ujęciami. Shah i ^in.16 przedstawiają model systemu oparty na AI, mający na celu zwiększenie bezpieczeństwa IoT poprzez wykrywanie złośliwych użytkowników za pomocą klasyfikacji binarnej oraz wykorzystanie technologii blockchain do bezpiecznego przechowywania danych. Zajmuje się potencjalnymi exploitami inteligentnych kontraktów blockchain poprzez implementację algorytmów głębokiego uczenia do klasyfikacji, ostatecznie zapewniając kompleksowe ramy bezpieczeństwa oceniane na podstawie różnych wskaźników wydajności.

Luo i ^in.17wprowadzili nowatorski system dla aplikacji Internetu Rzeczy (IoT), EDL-WADS, który składa się z czterech modułów: modułu uczenia się cech reprezentujących zapytania URL, modułu deep learning z trzema modelami różnorodnych reprezentacji żądań URL, modułu decyzyjnego do integracji wyników modeli za pomocą klasyfikatora zespołowego oraz modułu precyzyjnego dostrojenia aktualizacji w czasie rzeczywistym. EDL-WADS pokonał modele bazowe z dokładnością 99,47%, wskaźnikiem prawdziwie pozytywnych wyników 99,29%, precyzją 99,70% oraz 0,0033 wskaźnikiem fałszywie pozytywnych wyników w testach na różnych zbiorach danych. Ograniczenia obejmowały koncentrację systemu na wstrzykiwaniu SQL i wykrywaniu skryptów międzyomiejscowych, a także słabą wydajność modelu CNN.

Tian i ^in.18przedstawili rozproszoną, opartą na głębokim uczeniu metodę wykrywania ataków w sieci poprzez analizę adresów URL. Wdrażany na urządzeniach brzegowych, system został zaprojektowany do identyfikacji zagrożeń sieciowych. Do przeprowadzenia eksperymentów nad systemem zastosowano dwa równoległe modele głębokie, a system porównano z istniejącymi systemami na podstawie różnych zbiorów danych. System jest konkurencyjny pod względem wykrywania ataków internetowych z dokładnością 99,410%, wskaźnikiem TPR 98,91% oraz 99,55% wykrywalności zwykłych żądań.

Chai i ^in.19zaproponowali MalFSCIL, nowatorskie ramy wykorzystujące podejście treningowe z odłączonym autoenkoderem wariacyjnym do redukcji katastroficznego zapominania oraz dynamiczną technikę wyznaczania granic opartą na prototypowaniu klasowym do dokładnego wyznaczania granic decyzyjnych. To podejście przewyższa inne metody wykrywania i klasyfikacji złośliwego oprogramowania na otwartych i korporacyjnych zbiorach danych. Tabela 1 9,7,20,21,22,23,24,25,26,27,28,29,30,31,32 zawiera krótki przegląd istniejących prac.

Tabela 1: Literatura istniejących prac nad wykrywaniem ataków IoT z wykorzystaniem ML/DL. Tabela zawiera krótki przegląd istniejących prac. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Proponowany model CNN-Transformer zapewnia pełne bezpieczeństwo dla sieci IoT, ponieważ bezpośrednio odpowiada na wąskie możliwości ataku i ograniczone możliwości uczenia cech wcześniejszych metod. Połączenie kodowania splotowego z mechanizmami samouwagi eliminuje niskie granice wykrywalności wcześniejszych metod^{CNN 10, 13}lub^{Transformer 33}. Ponadto konkretne zmiany, które wprowadziliśmy w każdej warstwie kodowania CNN, sprawiają, że transfer domeny jest bardziej efektywny, jednocześnie skracając czas treningu i nakłady obliczeniowe. Te ulepszenia umożliwiają wykorzystanie analityki bezpieczeństwa w czasie rzeczywistym w operacyjnych warunkach IoT. Proponowany model to duży krok w ochronie ekosystemów IoT przed nowymi, bardziej złożonymi zagrożeniami.

Protokół

Ta sekcja omawia materiały badawcze i metody związane z detekcją ataków w środowisku IoT. Aby powtórzyć eksperymenty na zbiorze danych CIC-IoT-2023, protokół ten określa konkretne procedury. Następny Arkusz materiałów zawiera listę całego używanego sprzętu i oprogramowania. Do implementacji pipeline'u używa się Pythona (pandas, scikit-learn i TensorFlow Keras), który działa w Google Colab z dostępnym PySpark do wstępnego przetwarzania dużych plików. Szczegółowy opis procedur wstępnego przetwarzania danych został przedstawiony.

Dataset
Zestaw danych CIC-IoT-2023, opublikowany przez Kanadyjski Instytut Cyberbezpieczeństwa Uniwersytetu Nowego Brunszwiku. "CIC IoT dataset 2023" (strona zbiorów danych CIC UNB) oraz artykuł³⁴ zbioru danych to oficjalna strona i artykuł zbioru danych CIC. Zbiór danych można pobrać ze strony internetowej CIC i jest dostępny dla ogółu społeczeństwa. Zamiast używać surowych PCAP, w tych badaniach wykorzystywane są wcześniej wypakowane pliki cech CSV (flows/feature). W surowych eksperymentach generujących zbiór danych wykorzystywane są Wireshark/mergecap oraz CICFlowMeter; W tej pracy wykorzystano wyróżnione pliki CSV. Ten zbiór danych pochodzi z rzeczywistych urządzeń IoT i jest wykorzystywany w tych badaniach. W zbiorze danych znajdują się rekordy z 33 znanych ataków na 105 różnych urządzeń IoT. W przeciwieństwie do wcześniejszych zbiorów danych IoT, CIC-IoT-2023 obejmuje szeroką gamę typów ataków. Ilość każdej etykiety powiązanej z łagodnym ruchem przedstawiona jest na Rysunku 1. Łącznie 46 atrybutów i 1 etykieta składa się z tego zbioru danych. W porównaniu do CSE-CIC-IDS 2018, który miał 84 funkcje, CIC-IoT-2023 ma o 37 funkcji mniej.

Rysunek 1: Liczba ataków w zbiorze danych CICIoT2023. Opisano nazwy liczników różnych typów ataków i łagodnych rekordów w zbiorze danych CICIot2023. Te różne typy ataków dzieli się ogólnie na 7 klas ataków. Łącznie istnieje 8 klas, w tym łagodne w klasyfikacji wieloklasowej. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Wstępne przetwarzanie danych
Zbiory danych nie powinny być wykorzystywane w algorytmach głębokiego uczenia bez odpowiedniego wstępnego przetwarzania. Wstępne przetwarzanie jest wykonywane, aby dostarczyć algorytmowi dokładniejsze dane, co ostatecznie zwiększa efektywność modelu. Wyjście potoku wstępnego przetwarzania – po kodowaniu etykiet, skalowaniu cech i wyborze cech – nazywane jest "Ostatecznymi Danymi" i służy jako wejście zarówno do komponentów CNN, jak i Transformera. Następujące kroki są w Google Colab z użyciem Pythona. W tych badaniach wykorzystano Python 3.8.10, pandas 1.3.4, NumPy 1.21.4, scikit-learn 1.0.2, matplotlib 3.4.3 oraz TensorFlow/Keras 2.6.0. Losowe rozstawienie ustawiono na 42 dla wszystkich punktów.

Pozyskiwanie danych
Ten etap obejmuje czyszczenie danych uzyskanych z rzeczywistych kontekstów, ponieważ często zawierają one wiele błędów i niespójności. Jeśli zbiór danych zawiera wartości tekstowe, na przykład, nie da się ich wykorzystać w treningu głębokim bez wcześniejszego przekształcenia ich w formę liczbową. Podczas pracy z zestawem danych pierwszą czynnością jest usunięcie pustych wartości i usunięcie komórek bez danych. Wiersze z brakującymi danymi zostały usunięte, aby uniknąć negatywnych skutków dla modelu.

Zbiór danych CIC-IoT-2023 jest ładowany za pomocą pd.read_csv('ciciot2023_features_part.csv'). W tych badaniach wykorzystano Google Colab do treningu modeli oraz PySpark do początkowego czyszczenia. Aby wykryć brak, stosuje się następujące metody: df.shape, df.info(), df.isnull().sum() oraz df.duplicated().sum() dla duplikatów. Duplikaty są eliminowane za pomocą df.drop_duplicates(inplace=True). Typ kolumny numerycznej jest weryfikowany za pomocą formuły df[col] = pd.to_numeric(df[col], errors='coresistce'). Jeśli pojawią się nowe NaN, obsługa wartości brakujących jest ponownie stosowana. Cechy będące stałe lub prawie stałe są również eliminowane za pomocą df.drop(columns=low_variance_cols, inplace=True).

Kodowanie etykiet
Kolejnym krokiem jest przekształcenie etykiet tekstowych w reprezentację liczbową, aby model mógł je zrozumieć. W klasyfikacji binarnej istnieją dwa odrębne rodzaje etykiet. Istnieje 46 686 579 rekordów, z czego 45 588 384 oznaczonych jako złośliwe ataki. Przy 1 098 195 płytach, łagodna wytwórnia jest ustawiona na 0. W klasyfikacji wieloklasowej wyróżnia się siedem odrębnych typów ataków. Łącznie jest osiem etykiet, wliczając łagodny ruch. Rysunek 2 pokazuje liczbę tych etykiet w każdej kategorii. Mapowanie wieloklasowe używane w tych badaniach to: 0 dla Benign, 1 dla DoS, 2 dla DDoS, 3 dla rozpoznania, 4 dla ataku webowego, 5 dla spoofingu, 6 dla bruteForce i 7 dla ataku mirai.

Rysunek 2: Procent klas ataku w tym ruch łagodny. W klasyfikacji wieloklasowej wyróżnia się siedem odrębnych typów ataków. Łącznie jest osiem etykiet, wliczając łagodny ruch. Rysunek pokazuje liczbę tych etykiet w każdej kategorii. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Skalowanie cech
Skalowanie cech to powszechna metoda poprawy ogólnej wydajności modeli deep learning. Skalowanie cech w tym badaniu realizowane jest za pomocą technologii Min Max Scaler oraz Standard Scaler. Badania nie wykorzystały ich do testów; zamiast tego używał tylko skalera na zbiorze treningowym, aby zapobiec wyciekom danych. Dane można znormalizować do rozkładu zerowej średniej i jednego odchylenia standardowego za pomocą metody Standard Scaler. Jednym ze sposobów jest podzielenie oryginalnej liczby przez odchylenie standardowe. Dla tej funkcji StandardScaler() wywołuje się przez import StandardScaler ze sklearn.preprocessing. Stosując zakres, często od 0 do 1, Min Max Scaler normalizuje dane. Do implementacji tego zastosowano funkcję MinMaxScaler() ze scikit-learn.

Jak wskazano w równaniu (1), wzór normalizujący to:

     (1)

Gdy X oznacza wartość punktową z oryginalnym wzorem, a Xnormalized dla formy przekształconej, Xmin oznacza najniższą wartość zmiennej, natomiast Xmax oznacza najwyższą wartość zmiennej w zbiorze danych.

Wybór funkcji
Włączanie wszystkich cech z dużych zbiorów danych do treningu nie zawsze jest pomocne. Cechy w zbiorze danych mogą wykazywać korelację i nie mogą poprawiać wyniku. Ponadto zbyt wiele opłat zwiększa koszty szkolenia. Aby znaleźć cechy, które nie są potrzebne, obliczamy ich macierze korelacji i wykluczamy te o silnych korelacjach ze zbioru danych. Współczynnik korelacji Pearsona, który ilościowo określa liniową zależność między dwoma cechami, służy do obliczenia korelacji. Wartość między -1 a +1 uzyskuje się, dzieląc kowariancję dwóch zmiennych przez iloczyn ich odchyleń standardowych. Jest to opcjonalne i wykonywane w pipeline za pomocą Rekurencyjnej Eliminacji Cech (RFE) do wyboru cech za pomocą klasyfikatora drzewa decyzyjnego. Rekurencyjne eliminowanie cech wielokrotnie znajduje najbardziej istotne cechy poprzez trenowanie modelu klasyfikatora i odrzucanie tych najmniej istotnych. Kod wykorzystuje RFE z sklearn.feature_selection z klasyfikatorem drzewa decyzji jako estymatorem. Po wdrożeniu eliminacji cech rekurencyjnych, 30 z 46 cech zostało wybranych dla każdej z siedmiu kategorii ataków, jak pokazano w Tabeli 2. Cecha może być zaliczana do wielu klasyfikacji ataku. Po zakończeniu procesu opisanego na Rysunku 3 następuje proces wyboru klas ataków zawartych w zbiorze danych. Nowoczesne CNN doskonale uczą się hierarchicznych reprezentacji z surowych danych, ale wstępne wybranie niewielkiego, wysokiej jakości zestawu funkcji za pomocą RFE ma znaczące zalety. Po pierwsze, RFE z klasyfikatorem drzewa decyzyjnego szybko usuwa zaszumione lub redundantne dane, które mogłyby opóźnić zbieżność podczas wczesnych cykli treningowych. Po drugie, skupienie CNN na mniejszej puli faktycznie wartościowych sygnałów zmniejsza nadmierne dopasowanie, co jest kluczowe w zbiorach danych ruchu IoT o silnie zniekształconych, łagodnych i szkodliwych wzorcach. Rekurencyjna metoda eliminacji w drzewie decyzyjnym klasyfikuje cechy dla lepszej wyjaśnialności modelu oraz identyfikacji uprzedzeń specyficznych dla dziedziny przed głębokim trenowaniem. Wreszcie, inicjalizacja CNN-Transformera na tym ograniczonym zestawie funkcji zapewnia szybszą konwergencję i niższe zużycie pamięci GPU, co dowodzi, że RFE aktywnie przyspiesza i stabilizuje uczenie cech end-to-end.

Tabela 2: Wybrane cechy zbioru danych "CIC-IoT-2023". 30 z 46 cech zostało wybranych dla każdej z siedmiu kategorii ataków w tym badaniu przy użyciu RFE. Tabela opisuje wybrane 30 cech. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Rysunek 3: Praca proponowanego modelu hybrydowego. Zakończenie procesu przedstawiono na rysunku. Proces wyboru klas ataków zawartych w zestawie danych jest realizowany. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Podziel zbiór danych na zestaw testowy 80% i zestaw testowy 20%, podążając za krokiem: train_test_split (X_train, y_train, test_size=0,20, random_state=42). Zestaw treningowy 80% jest dalej dzielony za pomocą train_test_split(X_train, y_train, test_size=0,20,random_state=42). Cały wybór modelu i strojenie hiperparametrów odbywa się za pomocą tych precyzyjnych podziałów. Technika nadpróbkowania syntetycznej mniejszości (SMOTE) jest stosowana, gdy występuje problem nierównowagi klasowej. Tylko zestaw treningowy poddawał się SMOTE po podziale i skalowaniu. Efekt SMOTE jest przedstawiony w wynikach. Po RFE badanie równolegle przebiega między gałęziami CNN i Transformer, wykorzystując te same 30 cech, które zostały wybrane dla każdej próbki. Dalsze szczegóły dotyczące przetwarzania tych 30 cech są opisane w proponowanej sekcji metodologicznej.

Proponowana metodologia
Skuteczne ramy bezpieczeństwa systemów IoT, które będą mogły dokładniej wykrywać ataki, zostaną zbudowane przy pomocy modelu głębokiego uczenia. Proponowana jest hybrydowa strategia bezpieczeństwa łącząca konwolucyjne sieci neuronowe (CNN) z modelami transformerów. Metoda ta polega na trenowaniu architektury CNN przy użyciu wag z większego zbioru danych, a następnie precyzyjnym dostrojeniu parametrów modelu z użyciem mniejszego zbioru danych jako celu. Głównym celem tego modelu jest poprawa efektywności wykrywania włamań w IoT.

W tych badaniach wykorzystano platformę PySpark, Google Colab, która pozwala użytkownikom uruchamiać programy Pythona na Apache Spark. Korzystając z pakietów Scikit-learn i Keras, opracowano algorytmy głębokiego uczenia. Do trenowania i testowania modelu zastosowano następującą konfigurację: System operacyjny: Mac OS v12.6; - M2 Apple Silicon; - Wyświetlacz 13,3 cala; - 8-rdzeniowy procesor; - 8-rdzeniowa karta graficzna; - 32 GB RAM; - 256 GB SSD.

Kanadyjski Instytut Cyberbezpieczeństwa (CIC) stworzył kompleksowy zbiór danych o zagrożeniach IoT, aby rozwijać aplikacje analizy bezpieczeństwa w praktycznych środowiskach IoT³⁴. Łącznie doszło do 33 ataków na sieć 105 podłączonych urządzeń w systemie IoT. Przy łącznej liczbie 46 179 314 incydentów, ataki dzieli się na siedem grup: DDoS, Recon, DoS, webowe, spoofing i brutalna siła, oprócz Mirai. W zbiorze treningowym znajduje się 37 349 263 przypadków, w zbiorze testowym 8 830 051 przypadków, a w zbiorze danych łącznie 46 cech. W każdym przypadku złośliwe urządzenia IoT przeprowadzają ataki na inne urządzenia IoT. Łącznie 67 urządzeń IoT oraz 38 urządzeń Zigbee i Z-Wave podłączonych do 5 hubów zostało dotkniętych atakami. Sieć połączonych czujników, kamer, mikrokontrolerów i urządzeń inteligentnego domu może być skonfigurowana do przeprowadzania różnych typów ataków i rejestrowania ruchu z nich powstałego. Wireshark rejestruje ruch sieciowy w formacie PCAP do dalszej analizy. Ponieważ każdy eksperyment przechowuje dwa strumienie danych, mergecap służy do łączenia plików PCAP. Do kompilacji zestawu danych użyto różnych urządzeń IoT, w tym odtwarzaczy audio, rejestratorów wideo, hubów, gniazdek zasilających, systemów automatyki domowej, oświetlenia, czujników oraz gadżetów NextGen.

Ta sekcja przedstawia szczegółową metodologię badawczą składającą się z wielu kolejnych faz stosowanych w badaniu. Ponadto część ta definiuje proponowany algorytm sekwencyjnie i przedstawia szczegółowy schemat przepływowy procesu badawczego.

CNN
Algorytm CNN wykorzystuje sztuczną sieć neuronową, czyli podejście do głębokiego uczenia. Rysunek 4 ilustruje algorytm używany przez CNN: w pełni połączone warstwy, pulowanie, spłaszczanie i splot są jego częścią. CNN nie może funkcjonować bez warstwy splotowej. Odbierane dane komórkowe są przetwarzane przez warstwę splotową.

W równaniu (2) objętość wyjściowa (Vo) jest określana przez P (krok), Vi (objętość wejściowa), S (rozmiar jądra neuronu warstwy splotowej) oraz M (zerowe wypełnienie).

     (2)

Następnie filtr służy do wyodrębniania właściwości wartości wejściowej podczas splotu. Ta warstwa tworzy mapę cech. Zmniejszenie rozmiaru danych wejściowych poprzez pulowanie upraszcza trening i zmniejsza liczbę parametrów do obliczenia. Warstwę poolingu można wybrać na podstawie największej wartości w danym rozmiarze lub średniej tych wartości. Opracowana technika obejmuje dwie warstwy splotu oraz dwa poziomy poolingu. Proces wyodrębniania cech rozpoczyna się tutaj. Uzyskane dane cech są udostępniane do obliczeń. Algorytmy CNN są dostępne w jednowymiarowym, dwu- lub trzech wymiarach. Model wykorzystywał splotową sieć neuronową o zaledwie jednym wymiarze. Warstwy w obszarze klasyfikującym nazywane są spłaszczonymi, w pełni połączonymi. Dane muszą być spłaszczone po fazie splotowej, aby mogły być używane w fazie w pełni połączonej. To właśnie warstwa spłaszczona jest miejscem, gdzie ten proces jest realizowany. W warstwie w pełni połączonej stosuje się konwencjonalny paradygmat sztucznych sieci neuronowych. Aby zastosować CNN do danych nieobazowanych na obrazach, wymiary wejściowe muszą zostać przekształcone. W rezultacie CNN może używać jednowymiarowych warstw splotowych o^{wymiarze 35}.

Rysunek 4: Podstawowy algorytm CNN. Opisano podstawowe działanie i elementy modelu CNN. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Uczenie się transformatorów
Ponadto, aby prowadzić dalsze eksperymenty, korzystamy z ram modelowania transformatorów. Model może jednocześnie obsługiwać wszystkie punkty sekwencji dzięki mechanizmowi samokontroli transformatora. W rezultacie trwa szybszy czas treningu modelu oraz lepsze wykorzystanie zasobów komputerowych przez transformator podczas wnioskowania i trenowania. Transformator składa się głównie z serii nałożonych enkoderów i dekoderów. Proces kodowania polega na zmianie jednego języka na inny, natomiast proces dekodowania polega na określeniu prawdopodobieństwa pojawienia się innego języka na podstawie wcześniejszych wyników. Ponieważ enkodery odpowiadają głównie za wyodrębnianie cech, proponowany model wykorzystuje wyłącznie komponenty enkodera. Enkoder transformatora składa się z osadzenia wejścia/pozycji, sieci neuronowej z wyprzedzeniem, normalizacji warstw, wielogłowicowej samouwagi oraz sieci resztkowej.

Aby przygotować dane wejściowe do przetwarzania przez transformator, stosuje się warstwę osadzenia, która przekształca cechy kategoryczne w gęste reprezentacje wektorowe. Osadzenie pozycji pokazuje, jak cechy są połączone sekwencyjnie, natomiast osadzanie wejściowe pokazuje, jak różne wejścia są powiązane w wspólnej przestrzeni. Zanim transformator przetworzy cechy kategoryczne, badania te wykorzystują osadzanie wejściowe do przekształcenia ich w gęste wektory.

Rozszerzenie mechanizmu uwagi, mechanizm samouwagi wielogłowicowy jest fundamentem architektury transformatora. Korzystając z skalowanego iloczynu skalowego, badania te wykorzystują mechanizm wielogłowej samouwagi.

   (3)

gdzie odpowiednio oznaczane są macierze zapytań (Q), macierz klucza (K), macierz wartości (V) oraz wymiar macierzy klucza (dk). Pozwalając modelu na koncentrację danych z różnych cech mapowanych na oddzielne podprzestrzenie, co skutkuje wyraźnymi wartościami uwagi, mechanizm uwagi skalowanej w skali skalowanej skali skalowej różni się od mechanizmu uwagi skalowanej dot-product. Nadmierne dopasowanie jest mniej prawdopodobne, gdy poziomy uwagi obliczane są niezależnie dla każdej głowy. Konkretna formuła jest następująca:

    (4)

(5)

Gdzie h to liczba głów uwagi,_model d_v i d reprezentuje wymiar v i model. Też

Następnie stosuje się normalizację warstw, aby ustabilizować proces treningu. Aby zapobiec eksplozji gradientów, normalizacja warstw ogranicza wyjście każdej warstwy do określonego zakresu. Dzięki temu można poprawić zarówno zbieżność, jak i szybkość treningu modelu. Podczas gdy normalizacja wsadowa uwzględnia dane wsadowe, normalizacja warstw tego nie robi.

Proponowany model CNN-Transformer
Badania te oferują hybrydową technikę CNN-Transformer do wykrywania włamań w sieciach IoT, uwzględniając unikalne zalety obu architektur. Rysunek 5 przedstawia główne elementy proponowanej techniki hybrydy CNN-Transformer. Po wykonaniu wszystkich etapów wstępnego przetwarzania, w tym czyszczenia, normalizacji, kodowania etykiet i wyboru cech, każda próbka w zbiorze danych jest reprezentowana przez 30-wymiarowy wektor cech, zwany Ostatecznymi Danymi. Te same Dane Końcowe są duplikowane i przesyłane równolegle do obu gałęzi modelu hybrydowego. Następnie te Ostateczne Dane są jednocześnie przesyłane do bloków CNN i Transformer. CNN i transformer w żaden sposób na sobie nie polegają; Oba mogą pracować na tych samych danych wejściowych w tym samym czasie. Spłaszczone wyjścia dwóch gałęzi, CNN i Transformer, są łączone, tworząc fuzjonowany wektor cech, który jest przekazywany do gęstych warstw, które je klasyfikują. Blok CNN zmienia kształt wejściowy na (num_features, 1), aby można było wykonywać operacje splotowe pomiędzy wymiarami cech w celu znalezienia lokalnych wzorców przestrzennych. Jednocześnie gałąź Transformera zmienia to samo wejście na format sekwencyjny i wysyła je do przestrzeni osadzenia o wyższych wymiarach, po czym następuje kodowanie pozycyjne. Pozwala to transformatorowi skupić się na przestrzeni funkcji i znaleźć globalne relacje kontekstowe. Unikalna konstrukcja transformatora służy do wyodrębniania cech, natomiast funkcja sigmoidalna i warstwy całkowicie połączone zapewniają połączenie mapowania między cechami i etykietami. Model CNN-Transformer jest strukturalnie przedstawiony na Rysunku 5. Efektem jest system klasyfikacji ataków podzielony na osiem kategorii, z DDoS, Rozpoznawczym, DoS, Benign, Web-based, Spoofing, Brute Force i Mirai jako elementami. Proces oceny proponowanego transformatora CNN przedstawiono na Rysunku 5.

Rysunek 5: Architektura proponowanego modelu. Rysunek przedstawia kształt wejściowy oraz proces oceny proponowanego transformatora CNN. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Dwie jednowymiarowe sieci neuronowe splotowe (CNN) z filtrami 64- i 128-jednostkowymi oraz rozmiarem 3 jądr, dwie warstwy maksymalnej puli, krok spłaszczania, trzy gęste warstwy o liczbie 256, 128 i 64 jednostek oraz trzy warstwy dropout tworzą warstwę sieci neuronowej splotowej (CNN).

Dane wejściowe są przetwarzane przez warstwę 1D splotową z funkcją aktywacji ReLU, 64 filtrami, jądrem 3x3 oraz krokiem 1x1 w pierwszej warstwie. Po poprzedniej warstwie znajduje się warstwa MaxPooling1D o rozmiarze puli 2. Aby uczynić model bardziej elastycznym i zmniejszyć jego koszty obliczeniowe, warstwa ta zmniejsza wymiary przestrzenne obszaru wyjściowego. Warstwa trzecia to kolejna warstwa jednowymiarowa splotowa; posiada 128 filtrów, jądro o trzech rozmiarach, krok jeden oraz funkcję aktywacyjną o nazwie ReLU. Dzięki większej liczbie filtrów do wyodrębniania cech wejściowych, ta warstwa jest podobna do pierwszej warstwy max pooling. Następnie wynik pierwszej warstwy jest przetwarzany tą techniką. Następnie po drugiej warstwie splotowej dodano warstwę maksymalnej puli, której rozmiar puli również wynosił 2. Ponownie ta warstwa służy do zmniejszania liczby map cech. Piąta warstwa to warstwa spłaszczająca i przyjmuje wyjście z poprzedniej warstwy i przekształca je w wektor jednowymiarowy.

Uzyskane podzbiory cech są wprowadzane jako ostatni krok przed przekształceniem transformatora. Dodatkowo do oceny znaczenia każdej głowy używa się wielogłowej uwagi — jednowymiarowego wektora ośmiu głów o wymiarze 32 kluczy. Warstwa wielogłowicowej uwagi jest głównym elementem transformatora. Ta warstwa pozwala modelowi uczyć się z osadzonych reprezentacji różnych cech w sposób adaptacyjny. Warstwa wielogłowicowej uwagi składa się z kilku głowic samouwagi, które nazywane są również "skalowaną uwagą iloczynu skalowego". Po zastosowaniu normalizacji warstw przy ustawieniu epsilon na 1e-6, celem jest wyeliminowanie rozbieżności skali między różnymi cechami i zapewnienie stabilności wyjściowej. Utrzymując wyjście każdej warstwy w określonym zakresie, normalizacja warstw zmniejsza prawdopodobieństwo eksplozji gradientów. Po wyjściu transformatora znajduje się warstwa spłaszczania, która upraszcza jego połączenie z CNN, redukując go do jednego wektora.

Kolejnym krokiem jest połączenie spłaszczonych wyjść CNN i Transformera za pomocą warstwy konkatenacyjnej. Funkcja aktywacji "relu", regularizacja L2 oraz warstwa gęsta o 256 jednostkach następują po warstwie spłaszczenia. Następnie następuje warstwa dropout o współczynniku 0,5, co pomaga uniknąć nadmiernego dopasowania. Następuje dodatkowa warstwa gęsta o 128 jednostkach wykorzystująca regularizację L2 oraz funkcję aktywacji "relu". Wskaźnik wypadków w dodatkowej warstwie wynosił 0,3. Funkcja aktywacji ReLU, regularizacja L2 oraz warstwa gęsta 64 jednostek tworzą kolejną warstwę. Kolejna warstwa ma formę warstwy dropout o tempie 0,2, losowo eliminującej 20% jednostek znajdujących się w środku. Gęsta warstwa z funkcją aktywacji softmax tworzy rozkład prawdopodobieństwa dla klas wyjściowych ostatniej warstwy. W tej warstwie jest dokładnie tyle jednostek, ile jest klas wyjściowych.

Sugerowany model można wyrazić numerycznie następująco:
Niech X będzie danymi wejściowymi CNN, gdzie X R^(n×1) po przekształceniu, a n to liczba wybranych cech, odpowiednio. X jest umieszczany w przestrzeni osadzania o wyższych wymiarach o kształcie R^{(n × d_model)} dla bloku transformatora. Zanim przejdzie do mechanizmu samouwagi, stosuje się kodowanie pozycyjne.

Poniżej przedstawia się wyrażenie operacji na warstwie Conv1D, która wykorzystuje 64 filtry i rozmiar jądra 3:

   (6)

gdzie Y_i,j to wyjście w pozycji j_i-tego filtra, k to jądro o rozmiarze 3, b₁ R⁶⁴ to składnik polaryzacji dla każdego filtra, W_k oznacza wagi filtra, a ReLU to funkcja aktywacji. Następnie nakładana jest warstwa MaxPooling o rozmiarze puli 2, co daje wyjście Z_1,j.

   (7)

Dodatkowa warstwa konwolucyjna ID o rozmiarze 3 jądra i 128 filtrach jest dołączona jako trzecia warstwa modelu; Jego wyrażenie to:

   (8)

Gdzie k to jądro o rozmiarze 3, b₂ R¹²⁸ to składnik polaryzacji dla każdego filtra, a ReLU to funkcja aktywacji. Stosuje się kolejną warstwę max pool, która otrzymuje dane wejściowe z drugiej warstwy konwolucji o rozmiarze puli 2. Wyjście Z_2,j jest dane wzorem:

   (9)

Piąta warstwa to warstwa spłaszczająca wyrażona jako:

   (10)

Następnie są warstwy transformatorów, które obejmują warstwę osadzenia, warstwę wielogłowej uwagi oraz normalizację warstw

    (11)

E jest wektorem osadzenia dla etykiety klasy wejściowej c, a W_e to macierz wag zawierająca wektory osadzenia dla wszystkich kategorii. To odwzorowuje każdą liczbę całkowitą w c na gęsty wektor składający się z 32 rzeczywistych składowych. Następnie znajduje się warstwa wielogłowej uwagi, sformułowana w równaniach (3), (4) i (5).

Macierz klucza ma rozmiar d_k =32 oraz wymiar h=8. _Modele D_V i D oznaczają odpowiednie wymiary V i modelu. Też

Dla wyjścia x = MultiHead(Q,K,V), normalizacja warstw zapewnia:

    (12)

Gdzie y jest znormalizowanym wyjściem, γ i β są parametrami przyswajalnymi, a μ i σ² oznaczają średnią i wariancję dla x, odpowiednio. Następnie jest warstwa spłaszczająca transformatora, zdefiniowana jako

Na końcu wszystkich warstw wyraz końcowy jest pokazany jako

gdzie z₁r²⁵⁶, z₂r¹²⁸, z₃r⁶⁴ oraz yr⁸. Ten hybrydowy model oblicza również funkcję strat dla klasyfikacji wieloklasowej, którą można wyrazić jako

gdzie:
Y_c oznacza prawdziwą etykietę (zakodowaną one-hot) dla klasy cc,
Y'_c to przewidywane prawdopodobieństwo dla klasy c
Proponowany algorytm jest szczegółowo wyjaśniony w Tabeli 3 .

Tabela 3: Proponowany algorytm CNN-Transformer. Proponowany algorytm jest wyjaśniony krok po kroku w Tabeli 3. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Wyniki

Ta sekcja przedstawia parametry oceny wraz z wynikami testów.

Metryki oceny wydajności
Skuteczność modeli można ocenić za pomocą kilku określonych kryteriów oceny. Dokładność, przypomnienie, precyzja, wynik F1, ROC, macierz dezorientacji i inne metryki statystyczne przedstawione są w Tabeli 4. Wskaźniki dostarczają wgląd w ogólną wydajność modeli.

Tabela 4: Metryki oceny wyników. Dokładność, przypomnienie, prec...

Dyskusja

Model CNN-Transformer był testowany na zbiorach danych CICIoT2023, z 80% zarezerwowanymi na treningi, a 20% na testy. Model osiągnął dokładność 99,97%, wynik F1 99,96%, przypomnienie 99,97%, precyzję 99,96% oraz stratę 0,0123, co potwierdza jego skuteczność w wykrywaniu włamań IoT. Podejścia oparte na CNN, podobne do wyników¹³, są skuteczne w wykrywaniu małych wzorców przestrzennych w cechach ruchu sieciowego; jednak często wykazują ograniczenia w modelowaniu zależności o zasięgu długim zasięgiem....

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Apple M2 (procesor 8-rdzeniowy)	Jabłko	N/A	(OS) zapewnia środowisko, w którym działają ramy i narzędzia do głębokiego uczenia.
CICIoT2023 Dataset	UNB	https://www.unb.ca/cic/datasets/iot2023.html	Publicznie dostępny zestaw IoT
Keras 2.6.0	Keras	https://keras.io/	API działające na TensorFlow, zapewniające przyjazny interfejs.
Matplotlib 3.4.3	Matplotlib	https://matplotlib.org/	Biblioteka wizualizacji dla Pythona.
NumPy 1.21.4	Numpy	https://numpy.org/	Podstawowy pakiet do obliczeń naukowych z Pythonem
NVIDIA Tesla P100 GPU (16 GB VRAM)	Google Colab Pro	N/A	Sprzęt treningowy
Pandas 1.3.4	Pandy	https://pandas.pydata.org/	Narzędzie do analizy i manipulacji danymi.
Python 3.8.10	Python Software Foundation	https://www.python.org/downloads/release/python-3810/	Najpopularniejszy język do głębokiego uczenia ze względu na rozległe biblioteki i wsparcie społeczności.
scikit-learn 1.0.2	Scikit Learn	https://scikit-learn.org/	Biblioteka uczenia maszynowego dla Pythona.
Seaborn 0.11.2	Seaborn	https://seaborn.pydata.org/	Biblioteka wizualizacji danych statystycznych.
System RAM	N/A	N/A	32 GB RAM
TensorFlow 2.6.0	Google	https://www.tensorflow.org/	Szeroko wykorzystywany ze względu na swoje kompleksowe narzędzia i biblioteki.