$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Walidacja eksperymentalna i analiza wydajności
Walidacja oparta na chmurze
Aby przetestować efektywność i wykonalność proponowanego algorytmu, przeprowadzono testy symulacyjne w laboratorium kontrolowanej sieci. Weryfikacja została przeprowadzona na systemie operacyjnym Windows, a podstawowy algorytm jest kodowany w narzędziach programistycznych VC (Visual C++).
W przypadku danych eksperymentalnych wybraliśmy publicznie dostępny z http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html biór danych KDDCUP_10%, który jest powszechny w wykrywaniu włamań i modelowaniu zachowań sieci. Ogólny proces eksperymentalny jest bardzo podobny do podejścia opisanego wcześniejw 10, aby zapewnić porównywalność i wiarygodność wyników.
Główne parametry algorytmu ustawiono na: Przedział czasowy T = 10 s; liczba rund próbkowania h = 20; Próbki danych n = 1000.
Obliczyłem cyfrowe cechy modelu chmury zaufania na podstawie tych parametrów. Następnie algorytm podobieństwa chmury został użyty do identyfikacji najbardziej podobnej chmury zaufania kandydatów, co umożliwiło klasyfikację i ocenę stanów sieci.
Tabela 2 pokazuje wartości wybranej próby systemu oraz wyniki sytuacji analizy sieci. Potwierdzają one, że sugerowany system oceny zaufania oparty na chmurze ma potencjał, by efektywnie odzwierciedlać i uchwycić dynamikę oraz niepewność wieloaspektowych ustawień sieci.
Eksperyment potwierdza możliwość wdrożenia modeli chmurowych w połączeniu z oceną zaufania w czasie rzeczywistym i dostarcza ram do dalszego zastosowania w adaptacyjnym systemie zarządzania bezpieczeństwem.
Weryfikacja ataku
Aby dokładnie zweryfikować działanie proponowanego algorytmu w tym eksperymencie, konieczne jest ocenenie możliwości wykrywania ataków klasyfikacji binarnej, wieloklasyfikacyjnej oraz HMC w środowisku chmurowym. Ocena eksperymentalna dzieli się na trzy główne fazy: zastosowanie danych o atakach DDoS do sprawdzania funkcjonalności modułu AI, ocena funkcjonalności różnych algorytmów ML oraz analiza funkcjonalności modeli DL w celu prognozowania ataków.
Weryfikacja wydajności klasyfikacji binarnej
W pierwszej fazie eksperymentu zbiór danych ataków DDoS został użyty do weryfikacji modułu AI, którego głównym celem było sprawdzenie dokładności predykcji modelu w środowisku chmurowym. Zastosowaliśmy pięciokrotną metodę walidacji krzyżowej, a stosunek danych treningowych do danych testowych ustawiono na 8:2, czyli 80% danych było wykorzystywane do treningu, a 20% do testowania. W każdym eksperymencie używano innego zestawu testowego do weryfikacji modelu, aby upewnić się, że każda próbka pojawi się jako zestaw testowy raz. Proces szkoleniowy trwał 5 epok i osiągano średni wynik.
Zbiór danych dzieli się na dwie grupy: normalne i nieprawidłowe. Aby porównać wydajność różnych klasyfikatorów, wybrano następujące osiem popularnych klasyfikatorów ML: drzewo decyzyjne (DT), las losowy (RF), naiwnego Bayesa (NB), K-najbliższego sąsiada (KNN), maszynę wektorową wspierającą (jądro RBF) (SVM-RBF), liniową maszynę wektorową wspierającą (L-SVM) oraz algorytmy Bagging i Boosting do uczenia zespołowego. Wyniki porównania wydajności przedstawiono na Rysunku 6. Dzięki porównaniu wydajności tych klasyfikatorów ich wydajność w wykrywaniu ataków DDoS można kompleksowo ocenić na poziomie 20,21.
Wieloklasyfikacyjna weryfikacja wydajności
W drugiej fazie eksperymentu zbiór danych został rozszerzony o problemy wieloklasyfikacyjne, obejmujące różne typy ataków sieciowych, w tym DDoS, U2R (atak użytkownik-na-root), R2L (atak zdalny-na-lokalny), dane normalne itd. Problemy z wieloma klasyfikacjami testują zdolność modelu do identyfikowania i organizowania wielu typów ataków.
Do walidacji użyto pięciu klasyfikatorów DL, w tym MLP, CNN, RNN, sieć długiej pamięci krótkotrwałej (LSTM) oraz sieć GRU. Szczegółowe ustawienia parametrów każdego modelu przedstawiono w Tabeli 1, Tabeli 3 i Tabeli 4. Podczas walidacji wieloklasyfikacyjnej szczegółowo oceniano precyzję i przypomnienie modelu w wielu kategoriach.
Weryfikacja wydajności HMC w zakresie wieloklasyfikacyjnych
W trzecim etapie algorytm HMC został użyty do porównania wydajności wszystkich powyższych modeli ML i DL w zadaniach klasyfikacji wieloklasowej. Algorytm HMC znacząco poprawia dokładność wykrywania ataków drobnoziarnistych (takich jak U2R, R2L itp.) poprzez rozkładanie złożonych problemów wieloklasowych na wiele binarnych podproblemów klasyfikacji. Zalety HMC zostały potwierdzone poprzez poprawę dokładności wykrywania ataków w porównaniu z tradycyjnymi metodami klasyfikacji.
Wyniki eksperymentów i analiza
Dzięki eksperymentom w powyższych trzech etapach uzyskaliśmy wskaźniki wydajności każdego klasyfikatora i modelu DL pod różnymi typami ataków. Tabela 3 pokazuje wskaźniki wydajności, takie jak dokładność, wskaźnik wycofania, wartość F1 itp. w różnych metodach klasyfikacji. W eksperymencie HMC wykazało wysoką dokładność i odporność w wykrywaniu ataków wieloklasowych, zwłaszcza w przypadku ataków U2R i R2L. W porównaniu z tradycyjnymi metodami SVM i RF, HMC osiągnęło znaczącą poprawę.
Dzięki tym eksperymentom zweryfikowaliśmy skuteczność proponowanego modułu AI w wykrywaniu ataków w środowisku chmurowym oraz zapewniliśmy wiarygodną podstawę do dalszej optymalizacji modelu i wdrażania aplikacji.
Wyniki eksperymentalne wskazują, że spośród modeli ML metody Decision Tree (DT), Random Forest (RF) oraz ensemble (Bagging, Boosting) osiągnęły lepsze wyniki, osiągając wyniki F1 osiągające 1,0. Potwierdza to ich odporność i precyzję w rozróżnianiu wzorców DDoS od zwykłego ruchu. Dla porównania, naiwny model Bayesa (NB) radził sobie słabo w nieprawidłowym przewidywaniu pakietów, z wynikiem F1 0,62, co wskazuje, że model ma pewne ryzyko błędnej klasyfikacji przy złożonych typach ataków.
Rysunek 7 przedstawia wyniki MLP, CNN, RNN, LSTM i GRU. Po optymalizacji parametrów, binarne wyniki F1 modeli DL wynosiły odpowiednio 0,93 i 0,98, co wskazuje, że modele DL skutecznie rejestrują cechy głębokich danych, zwłaszcza przy przetwarzaniu danych o szeregach czasowych i rozpoznawaniu złożonych wzorców, i osiągają lepsze wyniki niż tradycyjne modele ML.
Kompleksowa analiza pokazuje, że drzewa decyzyjne, metody uczenia zespołowego oraz modele sieci neuronowych wykazują doskonałe wyniki w wykrywaniu ataków DDoS, jednak w konkretnych zastosowaniach wybór odpowiedniego modelu wymaga również uwzględnienia takich czynników jak typ ataku, objętość danych oraz zasoby obliczeniowe. Aby jeszcze bardziej zwiększyć możliwości wykrywania modelu, w przyszłości można integrować wiele modeli, aby osiągnąć wyższą dokładność i niższy wskaźnik fałszywych alarmów.
Rysunek 8 pokazuje lepszą wydajność modeli DL w porównaniu z tradycyjnymi bazami ML, utrzymując wartości F1 między 0,96 a 0,99, szczególnie na niezrównoważonych zbiorach danych. Jednak wydajność przewidywania klasy U2R wciąż jest poniżej przeciętnej w kategoriach szczegółowych, a klasyfikacja cyberataków wynosi zaledwie 0,49. Wydajność rozpoznawania kilku kategorii próbek (w tym U2R, cyberataków, BFA i botnetów) musi zostać poprawiona, zgodnie z łącznymi wynikami z Rysunku 9 i Rysunku 10.
W trzecim etapie użyto 13 pojedynczych klasyfikatorów, identycznych z poprzednimi, ale skupiających się na klasie mniejszościowej, aby porównać wyniki HMC. Według wyników, konstrukcja HMC oparta na AdaBoost przewyższa pakowanie torebkowe. W klasie U2R HMC oparte na AdaBoost ma wynik F1 0,5 (początkowy F1 to 0), natomiast HMC oparty na Baggingu ma wynik F1 0,67 (z 0,4 jako początkowa F1) dla klasy mniejszościowej. HMC oparty na AdaBoost uzyskał wynik F1 0,88 (oryginalny F1 0,71), podczas gdy HMC oparty na bagingu uzyskał wynik F1 0,9 (oryginalny F1 to 0) dla klasy ataku sieciowego. Wyniki te pokazują, że strategie uczenia się zespołowego (takie jak AdaBoost i Bagging) znacząco poprawiają zdolność predykcyjną wielu klasyfikatorów dla klas mniejszościowych.
Przypadek symulacji ataku
Aby dodatkowo zweryfikować praktyczność i odporność proponowanego modelu w rzeczywistym środowisku sieciowym, artykuł ten zaprojektował i wdrożył przypadek symulacji ataku oraz przeprowadził eksperyment symulacyjny scenariusza ataku DDoS. Środowisko symulacyjne opiera się na wirtualnej platformie obliczeniowej chmury, wykorzystującej wiele wirtualnych hostów do symulacji interakcji między zwykłymi użytkownikami a atakującymi. Scenariusz symulacji obejmuje mieszane środowisko sieciowe, gdzie normalny dostęp biznesowy i złośliwy ruch współistnieją.
W eksperymencie atakujący przeprowadził ataki UDP flood oraz SYN Flood na docelowy serwer przez wiele źródeł IP z różnych źródeł, próbując wyczerpać zasoby systemu docelowego i wpłynąć na dostępność normalnych usług. System nieustannie zbiera informacje o ruchu sieciowym, a główne parametry charakterystyczne związane z prędkością transmisji, czasem trwania sesji, częstotliwością dostępu do portów oraz liczbą nieprawidłowych połączeń są wykorzystywane.
Proponowany model oceny zaufania i wykrywania ataków jest implementowany w węźle monitorującym, aby analizować i kategoryzować ruch w czasie rzeczywistym. System może rejestrować pomyślną identyfikację we wczesnych fazach ataku za pomocą modelu chmury zaufania i mechanizmu dyskryminacji wieloklasyfikacyjnej, a podejrzane osoby efektywnie oznaczać jako niskiego zaufania i aktywować mechanizm reakcji.
Wyniki symulacji wskazują, że podczas symulowanego ruchu ataku ruch stanowi ponad 30% całkowitego ruchu. Proponowany system osiągnął 96% dokładności wykrywania, niską skuteczność fałszywie pozytywnych na poziomie 3% oraz opóźnienie odpowiedzi poniżej 2 s w symulowanych warunkach DDoS. Ten wynik potwierdza, że model ten ma obiecujące możliwości zastosowań w przeciwdziałaniu rozproszonym atakom oraz wzmacnianiu możliwości obrony bezpieczeństwa systemu.
Ponadto eksperyment ten rozszerzył test ataków wielostrzałowych i nieciągłych. Model zachowuje wysoką stabilność detekcji, co świadczy o jego dobrej zdolności uogólniania w złożonych warunkach dynamicznych sieci. Rodzaje ataków zostaną rozszerzone w przyszłości, w tym wstrzykiwanie danych, ataki phishingowe itp., aby w pełni przetestować elastyczność i skalowalność modelu wobec różnych zagrożeń.
Tabela 5 przedstawia statystyczną istotność poprawy wyników. Ta tabela przedstawia wyniki sparowanych testów t, które porównują modele bazowe z proponowanym ramowym systemem Adaptive ML-HMC-Trust pod względem głównych wskaźników wydajności. Tabela zawiera wartości średnie i odchylenia standardowego, wartości t, p oraz poziomy istotności dokładności, wyniku F1, wykrywania w klasie mniejszości, wskaźnika fałszywie dodatnich wyników oraz opóźnienia wykrywania.

Rysunek 1: Reprezentacja przepływu metodologicznego. Schemat blokowy ilustrujący proponowany framework SDN-cloud integrujący adaptacyjne ML, hierarchiczną klasyfikację oraz ocenę zaufania do wykrywania ataków w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Architektura usług chmurowych. Rysunek pokazuje ogólny model usług chmurowych stosowany w badaniach, warstwę kontrolną, warstwę przekazywania danych oraz warstwę usług. Architektura składa się z kontrolera Ryu OpenFlow, węzłów Open vSwitch oraz wirtualnych hostów chmurowych. Wszystkie połączenia to interakcje przepływu danych w czasie rzeczywistym oraz status łącza. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3: Model topologii sieci. Rysunek przedstawia trójwarstwową wirtualną topologię sieci wbudowaną w środowisku chmurowym. Obejmuje węzły hosta, warstwy przełączające, symulowane opóźnienia łącza oraz limity przepustowości. Topologia umożliwia rozdzielanie ruchu, trasowanie wielościeżkowe oraz przekierowanie przepływu ataku (w czasie rzeczywistym). Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 4: Architektura wykrywania zabezpieczeń oparta na HMC. Ilustracja pokazuje hierarchię hierarchii klasyfikacji wieloklasowej, łączącą uczenie zespołowe, ocenę zaufania oraz wielopoziomowe wykrywanie zagrożeń. Bloki reprezentują fazy klasyfikacji, pokazując przepływ od wykrywania ataków gruboziarnistych do drobnoziarnistych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 5: Proces oceny zaufania oparty na modelach chmurowych. Rysunek przedstawia sześć etapów procesu oceny zaufania: generowanie standardowej chmury zaufania, ekstrakcję atrybutów, tworzenie chmur atrybutów, obliczanie podobieństwa chmury, klasyfikację na poziomie zaufania oraz dynamiczną aktualizację zaufania. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 6: Wydajność uczenia maszynowego na zbiorze danych DDoS. Rysunek analizuje, jak osiem klasycznych modeli ML radzi sobie w binarnym układzie ruchu ataku normalnego i DDoS. Metryki to przypomnienie, precyzja, wynik F1 oraz ogólna dokładność. Paski błędu odzwierciedlają zmienność poprzez pięciokrotną walidację krzyżową. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 7: Wydajność modelu deep learning na zbiorze danych DDoS. Rysunek pokazuje wyniki klasyfikacji binarnej modeli MLP, CNN, RNN, LSTM i GRU. Pomiary wskazują wydajność modelu w serii cykli treningowych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 8: wydajność HMC vs. pojedynczy klasyfikator uczenia maszynowego. Rysunek pokazuje porównanie hierarchicznego wieloklasyfikacyjnego systemu z tradycyjnym klasyfikatorem ataków mniejszościowych, takich jak U2R i R2L. Prezentowane są wyniki F1, w tym paski błędu wskazujące na różnice między powtarzanymi eksperymentami. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 9: Wydajność klasyfikatora HMC vs. deep learning. Wartość ta wskazuje na ulepszenie wykrywania wieloklasowego przy użyciu HMC na modelach DL. Osiągi mniejszościowe są podkreślone, co jest znacznie lepsze w porównaniu z modelami pojedynczych DL. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 10: Wyniki symulacji ataku DDoS. Rysunek przedstawia wyniki monitorowania eksperymentu w czasie rzeczywistym w symulacji ataku, które wskazują szybkość ruchu, liczbę nieprawidłowych połączeń, czas reakcji metody detekcji oraz wyjście klasyfikacji systemu. Paski skali wskazują czas (w sekundach) oraz natężenie ruchu. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.
| Model | Tempo uczenia się | Wielkość partii | Epoki | Funkcja aktywacji |
| MLP | 0.001 | 64 | 30 | ReLU |
| CNN | 0.0005 | 32 | 50 | LeakyReLU |
| RNN | 0.001 | 64 | 40 | Tanh |
| LSTM | 0.0001 | 128 | 60 | Sigmoid |
| GRU | 0.001 | 64 | 45 | ReLU |
Tabela 1: Ustawienia parametrów modelu głębokiego uczenia. Ta tabela zawiera hiperparametry eksperymentów deep learning: rozmiar partii, tempo uczenia się, liczbę epok oraz specyfikacje architektury.
| Przykładowy identyfikator | Czas próbkowania (sekundy) | Stopień powierniczy ExExEx | Entropia EnEn | Hiper-Entropia HeHeHe | Wskaźnik podobieństwa | Poziom zaufania |
| 1 | 10 | 0.75 | 0.65 | 0.8 | 0.85 | Wysoko |
| 2 | 20 | 0.8 | 0.6 | 0.75 | 0.82 | Wysoko |
| 3 | 30 | 0.68 | 0.7 | 0.85 | 0.8 | Medium |
| 4 | 40 | 0.6 | 0.72 | 0.9 | 0.78 | Medium |
| 5 | 50 | 0.5 | 0.8 | 0.95 | 0.7 | Low |
| 6 | 60 | 0.45 | 0.85 | 0.96 | 0.65 | Low |
Tabela 2: Wartości próbek systemowych i analiza sytuacji sieciowej. Ta tabela przedstawia niektóre z przykładowych wartości środowiska chmurowego, takie jak statystyki ruchu, wartości zaufania oraz wyniki klasyfikacji.
| Klasyfikator | Dokładność | Precyzja | Przypomnienie | Wynik F1 |
| Drzewo decyzyjne (DT) | 85.20% | 84.30% | 86.10% | 85.20% |
| Losowy Las (RF) | 90.10% | 89.30% | 91.00% | 90.10% |
| Naive Bayes (NB) | 82.50% | 81.70% | 83.40% | 82.50% |
| K-Najbliżsi Sąsiedzi (KNN) | 87.40% | 86.80% | 88.10% | 87.40% |
| SVM-RBF | 88.90% | 88.10% | 89.50% | 88.80% |
| Liniowy SVM (L-SVM) | 87.80% | 87.20% | 88.50% | 87.80% |
| Pakowanie | 91.20% | 90.50% | 91.70% | 91.10% |
| Wzmacnianie | 92.30% | 91.90% | 92.60% | 92.20% |
Tabela 3: Porównanie wydajności klasyfikatorów uczenia maszynowego. Tabela przedstawia przywołanie, precyzję, dokładność oraz wyniki F1 dla wszystkich testowanych modeli ML.
| Model | Dokładność | Precyzja | Przypomnienie | Wynik F1 |
| MLP | 89.50% | 88.70% | 90.30% | 89.50% |
| CNN | 91.20% | 90.70% | 91.50% | 91.10% |
| RNN | 88.30% | 87.60% | 88.80% | 88.20% |
| LSTM | 92.10% | 91.80% | 92.40% | 92.10% |
| GRU | 91.80% | 91.40% | 92.10% | 91.70% |
Tabela 4: Porównanie wydajności klasyfikatorów głębokiego uczenia. Ta tabela przedstawia metryki wydajności modeli MLP, CNN, RNN, LSTM i GRU na podstawie wykrywania wieloklasowego.
| Metryka wydajności | Średnia bazowa (SD) | Proponowana średnia modelu (SD) | Wartość t | wartość p | Znaczenie |
| Dokładność | 0.89 (0.04) | 0.96 (0.02) | 8.72 | <0.001 | Znaczące |
| F1-Score | 0.84 (0.05) | 0.94 (0.03) | 9.15 | <0.001 | Znaczące |
| Wykrywanie klasy mniejszościowej (U2R/R2L) | 0.52 (0.08) | 0.81 (0.06) | 10.44 | <0.001 | Znaczące |
| Wskaźnik fałszywie pozytywnych wyników | 0.11 (0.03) | 0.04 (0.02) | –7.98 | <0.001 | Znaczące |
| Opóźnienie wykrywania (sekundy) | 3.10 (0.41) | 1.82 (0.33) | –9.27 | <0.001 | Znaczące |
Tabela 5: Statystyczna istotność poprawy wydajności. Ta tabela przedstawia wyniki sparowanych testów t, które porównują modele bazowe z proponowanym ramowym systemem Adaptive ML -HMC-Trust pod względem głównych wskaźników wydajności. Tabela zawiera wartości średnie i odchylenia standardowego, wartości t, p oraz poziomy istotności dokładności, wyniku F1, wykrywania w klasie mniejszości, wskaźnika fałszywie dodatnich wyników oraz opóźnienia wykrywania.