$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Experimentele validatie en prestatie-analyse
Cloudgebaseerde validatie
Om de efficiëntie en haalbaarheid van het voorgestelde algoritme te testen, werden simulatietests uitgevoerd in een gecontroleerd netwerklaboratorium. De verificatie werd uitgevoerd op het Windows-besturingssysteem en het kernalgoritme is gecodeerd in VC (Visual C++) programmeertools.
In het geval van experimentele data kozen we de publiek beschikbare KDDCUP_10%-dataset(http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html) die gebruikelijk is bij inbraakdetectie en het modelleren van netwerkgedrag. Het algemene experimentele proces lijkt sterk op de eerder beschrevenaanpak 10 om de vergelijkbaarheid en geloofwaardigheid van de uitkomsten te waarborgen.
De belangrijkste algoritmeparameters werden ingesteld op: Tijdinterval T = 10 s; aantal steekproefrondes h = 20; Gegevensmonsters n = 1000.
Berekende de digitale kenmerken van het trustcloudmodel met behulp van deze parameters. Vervolgens werd het algoritme van cloudsimilariteit gebruikt om de meest vergelijkbare vertrouwenswolk van de kandidaten te identificeren, wat de mogelijkheid bood om de netwerktoestanden te classificeren en te evalueren.
Tabel 2 toont de waarden van de geselecteerde systeemsteekproef en de uitkomsten van de netwerkanalysesituatie. Deze bevestigen dat het voorgestelde cloudgebaseerde trustevaluatiesysteem het potentieel heeft om efficiënt de dynamiek en onzekerheden van multifacettische netwerkinstellingen te vertegenwoordigen en te omvatten.
Het experiment bevestigt de mogelijkheid om cloudmodellen te implementeren in combinatie met realtime vertrouwensbeoordeling en biedt een kader voor verdere toepassing in het adaptieve beveiligingsbeheersysteem.
Aanvalsverificatie
Om een grondige verificatie van de prestaties van het voorgestelde algoritme in dit experiment uit te voeren, is het noodzakelijk om de aanvaldetectiecapaciteiten van binaire classificatie, multiclassificatie en HMC binnen een cloud computing-omgeving te evalueren. De experimentele beoordeling is onderverdeeld in drie hoofdfasen: de toepassing van DDoS-aanvalsdata voor het controleren van de functionaliteit van de AI-module, de evaluatie van de functionaliteit van verschillende ML-algoritmen, en de analyse van de functionaliteit van de DL-modellen om aanvallen te voorspellen.
Binaire classificatieprestatieverificatie
In de eerste fase van het experiment werd de DDoS-aanvaldataset gebruikt om de AI-module te verifiëren, waarvan het hoofddoel was om de voorspellingsnauwkeurigheid van het model in een cloud computing-omgeving te testen. We gebruikten een 5-voudige kruisvalidatiemethode en de verhouding van trainingsdata tot testdata werd ingesteld op 8:2, dat wil zeggen 80% van de data werd gebruikt voor training en 20% voor testen. In elk experiment werd een andere testset gebruikt om het model te verifiëren en ervoor te zorgen dat elk monster eenmaal als testset verscheen. Het trainingsproces duurde 5 epochs en het gemiddelde resultaat werd gemeten.
De dataset wordt ingedeeld in twee groepen: normaal en abnormaal. Om de prestaties van verschillende classifiers te vergelijken, werden de volgende acht gangbare ML-classifiers geselecteerd: decision tree (DT), random forest (RF), naïeve Bayes (NB), K-dichtstbijzijnde buur (KNN), support vector machine (RBF kernel) (SVM-RBF), lineaire support vector machine (L-SVM) en Bagging and Boosting-algoritmen voor ensemble learning. De resultaten van prestatievergelijkingen zijn weergegeven in Figuur 6. Door de prestatievergelijking van deze classifiers kan hun prestaties bij DDoS-aanvaldetectie volledig worden geëvalueerd 20,21.
Multiclassificatie-prestatieverificatie
In de tweede fase van het experiment werd de dataset uitgebreid naar multiclassificatieproblemen, met verschillende soorten netwerkaanvallen, waaronder DDoS, U2R (user-to-root attack), R2L (remote-to-local attack), normale data, enzovoort. Multiclassificatieproblemen testen het vermogen van het model om meerdere aanvalstypen te identificeren en te organiseren.
Vijf DL-classifiers werden gebruikt voor validatie, waaronder MLP, CNN, RNN, het Long Short-term Memory (LSTM) netwerk en het GRU-netwerk. De specifieke parameterinstellingen van elk model worden gepresenteerd in Tabel 1, Tabel 3 en Tabel 4. Bij het uitvoeren van multiclassificatievalidatie werden de precisie en het terugroepen van het model over meerdere categorieën in detail geëvalueerd.
Verificatie van HMC's multiclassificatieprestaties
In de derde fase werd het HMC-algoritme gebruikt om de prestaties van alle bovenstaande ML- en DL-modellen in multiclassificatietaken te vergelijken. Het HMC-algoritme verbetert de nauwkeurigheid van het detecteren van fijnkorrelige aanvallen (zoals U2R, R2L, enz.) aanzienlijk door complexe multiclass-problemen op te splitsen in meerdere binaire classificatie-subproblemen. De voordelen van HMC werden geverifieerd door de nauwkeurigheid van aanvaldetectie te verbeteren ten opzichte van traditionele classificatiemethoden.
Experimentele resultaten en analyse
Door de experimenten in de bovenstaande drie fasen verkregen we de prestatie-indicatoren van elk classifier en DL-model onder verschillende aanvalstypen. Tabel 3 toont prestatie-indicatoren zoals nauwkeurigheid, terugroeppercentage, F1-waarde, enzovoort in verschillende classificatiemethoden. In het experiment toonde HMC hoge nauwkeurigheid en robuustheid bij het detecteren van multiclass-aanvallen, vooral bij U2R- en R2L-aanvallen. In vergelijking met traditionele SVM- en RF-methoden heeft HMC aanzienlijke verbeteringen geboekt.
Met deze experimentele resultaten hebben we de effectiviteit van de voorgestelde AI-module voor aanvaldetectie in een cloud computing-omgeving geverifieerd en een betrouwbare basis geboden voor latere modeloptimalisatie en applicatie-implementatie.
Experimentele resultaten geven aan dat onder de ML-modellen Decision Tree (DT), Random Forest (RF) en ensemblemethoden (Bagging, Boosting) superieure prestaties behaalden, met F1-scores die 1,0 bereikten. Dit bevestigt hun robuustheid en precisie in het onderscheiden van DDoS-patronen van normaal verkeer. Daarentegen presteerde het naïeve Bayes (NB)-model slecht in het voorspellen van abnormale pakketten, met een F1-score van 0,62, wat aangeeft dat het model een bepaald risico op verkeerde classificatie heeft bij complexe aanvaltypes.
Figuur 7 toont de prestaties van MLP, CNN, RNN, LSTM en GRU. Na het optimaliseren van de parameters waren de binaire F1-scores van de DL-modellen respectievelijk 0,93 en 0,98, wat aangeeft dat de DL-modellen effectief de diepgaande datakenmerken vastleggen, vooral bij het verwerken van tijdreeksgegevens en complexe patroonherkenning, en dat ze beter presteren dan traditionele ML-modellen.
Uitgebreide analyse toont aan dat beslissingsbomen, ensemble-leermethoden en neurale netwerkmodellen allemaal uitstekende prestaties laten zien bij het detecteren van DDoS-aanvallen, maar in specifieke toepassingen moet de keuze van een geschikt model nog steeds rekening houden met factoren zoals aanvalstype, datavolume en rekenkrachten. Om de detectiecapaciteit van het model verder te verbeteren, kunnen in de toekomst meerdere modellen worden geïntegreerd om een hogere nauwkeurigheid en een lager valsalarmpercentage te bereiken.
Figuur 8 toont de superieure prestaties van DL-modellen ten opzichte van traditionele ML-baselines, waarbij F1-waarden tussen 0,96 en 0,99 worden gehandhaafd, vooral op ongebalanceerde datasets. De voorspellingsprestaties van de U2R-klasse zijn echter nog steeds ondermaats in de fijnmazige categorieën, en de cyberaanvalclassificatie is slechts 0,49. De herkenningsprestaties van enkele voorbeeldcategorieën (waaronder U2R, cyberaanvallen, BFA en botnets) moeten worden verbeterd, volgens de gecombineerde resultaten van Figuur 9 en Figuur 10.
In de derde fase werden 13 enkele classificatoren, die identiek zijn aan de vorige maar zich concentreren op de minderheidsklasse, gebruikt om de prestaties van HMC te vergelijken. Het op AdaBoost gebaseerde HMC-ontwerp presteert beter dan de bagging, volgens de resultaten. In de U2R-klasse heeft AdaBoost-gebaseerde HMC een F1-score van 0,5 (de initiële F1 is 0), terwijl HMC op Bagging een F1-score van 0,67 heeft (met 0,4 als initiële F1) voor de minderheidsklasse. HMC op AdaBoost gebaseerd behaalde een F1-score van 0,88 (het oorspronkelijke F1 was 0,71), terwijl HMC op Bagging een F1-score van 0,9 behaalde (de oorspronkelijke F1 was 0) voor de netwerkaanvalklasse. Deze resultaten tonen aan dat ensemble-leerstrategieën (zoals AdaBoost en Bagging) het voorspellende vermogen van meerdere classifiers bij minderheidsklassen aanzienlijk verbeteren.
Aanvalssimulatiegeval
Om de praktische en robuustheid van het voorgestelde model in een daadwerkelijke netwerkomgeving verder te verifiëren, ontwierp en implementeerde dit artikel een aanvalssimulatiecase en voerde een simulatie-experiment uit op het DDoS-aanvalscenario. De simulatieomgeving is gebouwd op een virtueel cloud computing-platform, waarbij meerdere virtuele hosts worden gebruikt om de interactie tussen normale gebruikers en aanvallers te simuleren. Het simulatiescenario omvat een gemengde netwerkomgeving waar normale zakelijke toegang en kwaadaardig verkeer naast elkaar bestaan.
In het experiment voerde de aanvaller UDP flood-aanvallen en SYN Flood-aanvallen uit op de doelserver via meerdere bron-IP's, waarbij men probeerde de doelsysteembronnen uit te putten en de beschikbaarheid van normale diensten te beïnvloeden. Het systeem verzamelt voortdurend informatie over netwerkverkeer, en belangrijke kenmerkende parameters met betrekking tot transmissiesnelheid, de duur van sessies, de frequentie van poorttoegang en het aantal abnormale verbindingen worden gebruikt.
Het voorgestelde model van vertrouwensevaluatie en aanvaldetectie wordt geïmplementeerd in de monitoringknoop om realtime verkeer te analyseren en te categoriseren. Het systeem kan succesvolle identificatie registreren in de vroege fasen van de aanval via het trust cloud-model en het multiclassificatie-discriminatiemechanisme, en de verdachte aanvallen efficiënt als laag vertrouwen markeren en een responsmechanisme activeren.
De bevindingen van de simulatie geven aan dat wanneer het gesimuleerde aanvalverkeer meer dan 30% van het totale verkeer uitmaakt. Het voorgestelde systeem behaalde 96% detectienauwkeurigheid, een lage vals-positievpercentage van 3%, en een responslatentie van minder dan 2 seconden onder gesimuleerde DDoS-condities. Dit resultaat bevestigt dat dit model veelbelovende toepassingsmogelijkheden biedt bij het aanpakken van verspreide aanvallen en het versterken van de beveiligingsverdedigingsmogelijkheden van het systeem.
Bovendien breidde dit experiment ook de test van meervoudige en niet-continue aanvallen uit. Het model behoudt een hoge detectiestabiliteit, wat wijst op zijn goede generalisatiecapaciteit in complexe dynamische netwerkcondities. De soorten aanvallen zullen in de toekomst worden uitgebreid, waaronder data-injectie, phishingaanvallen, enzovoort, om de flexibiliteit en schaalbaarheid van het model volledig te testen met diverse dreigingen.
Tabel 5 geeft de statistische significantie van prestatieverbeteringen weer. Deze tabel toont de resultaten van gepaarde t-tests die baselinemodellen vergelijken met het voorgestelde Adaptive ML-HMC-Trust-framework op basis van de belangrijkste prestatie-indicatoren. De tabel bestaat uit de gemiddelde en standaardafwijkingswaarden, t-waarden, p-waarden en de significantieniveaus van nauwkeurigheid, F1-score, minderheidsklassedetectie, vals-positieve frequentie en detectielatentie.

Figuur 1: Methodologie-flowrepresentatie. Stroomdiagram dat het voorgestelde SDN-cloud-framework illustreert en adaptieve ML, hiërarchische classificatie en vertrouwensevaluatie voor realtime aanvaldetectie integreert. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Cloudservice-architectuur. De figuur toont het algemene cloudservicemodel dat in het onderzoek wordt toegepast, de controlelaag, de dataforwarding-laag en de servicelaag. De architectuur bestaat uit Ryu OpenFlow-controller, Open vSwitch-nodes en gevirtualiseerde cloudhosts. De verbindingen zijn allemaal realtime datastroom en interacties tussen link-status en verbindingen. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Netwerktopologiemodel. De figuur toont de drielaagse virtuele netwerktopologie die in de cloudomgeving is gebouwd. Het omvat de hostknooppunten, schakellagen, gesimuleerde linkvertragingen en bandbreedtelimieten. De topologie maakt verkeersafscheiding, multi-path routing en het omleiden van aanvalsstromen (in realtime) mogelijk. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: HMC-gebaseerde beveiligingsdetectiearchitectuur. De figuur toont de hiërarchie van multiclassclassificatiehiërarchie, waarbij ensemble learning, vertrouwensbeoordeling en multi-level threat detection worden gecombineerd. De blokken vertegenwoordigen de classificatiefasen en tonen de stroom van grofkorrelige naar fijnkorrelige aanvaldetectie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Proces van evaluatie van trusten gebaseerd op cloudmodellen. De figuur vertegenwoordigt de zes stappen van het trustbeoordelingsproces via normale trustcloudgeneratie, attribuutextractie, attribuutwolkvorming, berekening van cloudgelijkheid, classificatie op trustniveau en dynamische trustupdate. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Machine learning-prestaties op DDoS-dataset. De figuur onderzoekt hoe acht klassieke ML-modellen presteren in een binaire opstelling van normaal versus DDoS-aanvalsverkeer. De meetwaarden zijn herinnering, precisie, F1-score en algemene nauwkeurigheid. Foutbalken weerspiegelen variabiliteit door 5-voudige kruisvalidatie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7: Prestaties van deep learning-modellen op DDoS-dataset. De figuur toont de binaire classificatieprestaties van MLP-, CNN-, RNN-, LSTM- en GRU-modellen. Metingen geven modelprestaties aan in een reeks trainingscycli. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8: HMC versus prestaties van enkele machine learning-classifiers. De figuur toont een vergelijking tussen hiërarchische multiclassificatie en de traditionele classificator van minderheidsaanvallen zoals U2R en R2L. F1-scores worden gepresenteerd, inclusief foutbalken die variatie tussen herhaalde experimenten aangeven. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9: HMC versus prestaties van deep learning classifiers. De waarde geeft de verbetering van multiclass-detectie aan met behulp van HMC op DL-modellen. De minderheidsprestaties worden benadrukt en zijn aanzienlijk verbeterd ten opzichte van enkelvoudige DL-modellen. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 10: DDoS-aanvalsimulatieresultaten. De figuur toont realtime monitoringsoutput van het experiment op de aanvalssimulatie, die het verkeersnelheid, het aantal abnormale verbindingen, de responstijd van de detectiemethode en de systeemclassificatie-output aangeeft. De schaalbalken geven de tijd (in seconden) en het verkeersvolume aan. Klik hier om een grotere versie van deze figuur te bekijken.
| Model | Leertempo | Batchgrootte | Tijdperken | Activatiefunctie |
| MLP | 0.001 | 64 | 30 | ReLU |
| CNN | 0.0005 | 32 | 50 | LeakyReLU |
| RNN | 0.001 | 64 | 40 | Tanh |
| LSTM | 0.0001 | 128 | 60 | Sigmoid |
| GRU | 0.001 | 64 | 45 | ReLU |
Tabel 1: Instellingen van deep learning-modelparameters. Deze tabel bevat de hyperparameters van deep learning-experimenten: de batchgrootte, de leersnelheid, het aantal epochs en de architectuurspecificaties.
| Voorbeeld-ID | Bemonsteringstijd (seconden) | Trust Degree ExExEx | Entropie EnEnEn | Hyper-Entropie HeHeHe | Gelijkenisscore | Vertrouwensniveau |
| 1 | 10 | 0.75 | 0.65 | 0.8 | 0.85 | Hoog |
| 2 | 20 | 0.8 | 0.6 | 0.75 | 0.82 | Hoog |
| 3 | 30 | 0.68 | 0.7 | 0.85 | 0.8 | Medium |
| 4 | 40 | 0.6 | 0.72 | 0.9 | 0.78 | Medium |
| 5 | 50 | 0.5 | 0.8 | 0.95 | 0.7 | Laag |
| 6 | 60 | 0.45 | 0.85 | 0.96 | 0.65 | Laag |
Tabel 2: Systeemsteekproefwaarden en netwerksituatie-analyse. Deze tabel geeft enkele steekproefwaarden van de cloudomgeving, zoals verkeersstatistieken, vertrouwenswaarden en classificatie-outputs.
| Classifier | Nauwkeurigheid | Precisie | Terugroeping | F1-score |
| Beslissingsboom (DT) | 85.20% | 84.30% | 86.10% | 85.20% |
| Willekeurig Bos (RF) | 90.10% | 89.30% | 91.00% | 90.10% |
| Naïeve Bayes (NB) | 82.50% | 81.70% | 83.40% | 82.50% |
| K-Dichtstbijzijnde Buren (KNN) | 87.40% | 86.80% | 88.10% | 87.40% |
| SVM-RBF | 88.90% | 88.10% | 89.50% | 88.80% |
| Lineaire SVM (L-SVM) | 87.80% | 87.20% | 88.50% | 87.80% |
| Zakken | 91.20% | 90.50% | 91.70% | 91.10% |
| Boosting | 92.30% | 91.90% | 92.60% | 92.20% |
Tabel 3: Vergelijking van de prestaties van machine learning classifiers. De tabel toont de terugroep-, precisie-, nauwkeurigheids- en F1-scores voor alle geteste ML-modellen.
| Model | Nauwkeurigheid | Precisie | Terugroeping | F1-score |
| MLP | 89.50% | 88.70% | 90.30% | 89.50% |
| CNN | 91.20% | 90.70% | 91.50% | 91.10% |
| RNN | 88.30% | 87.60% | 88.80% | 88.20% |
| LSTM | 92.10% | 91.80% | 92.40% | 92.10% |
| GRU | 91.80% | 91.40% | 92.10% | 91.70% |
Tabel 4: Prestatievergelijking van deep learning classifiers. Deze tabel presenteert prestatie-metrics van MLP-, CNN-, RNN-, LSTM- en GRU-modellen op basis van multiclass-detectie.
| Prestatiemaatstaf | Basisgemiddelde (SD) | Voorgesteld modelgemiddelde (SD) | T-waarde | p-waarde | Betekenis |
| Nauwkeurigheid | 0.89 (0.04) | 0.96 (0.02) | 8.72 | <0,001 | Belangrijk |
| F1-score | 0.84 (0.05) | 0.94 (0.03) | 9.15 | <0,001 | Belangrijk |
| Minderheidsklassedetectie (U2R/R2L) | 0.52 (0.08) | 0.81 (0.06) | 10.44 | <0,001 | Belangrijk |
| Vals-positief percentage | 0.11 (0.03) | 0.04 (0.02) | –7.98 | <0,001 | Belangrijk |
| Detectielatentie (seconden) | 3.10 (0.41) | 1.82 (0.33) | –9.27 | <0,001 | Belangrijk |
Tabel 5: Statistische significantie van prestatieverbeteringen. Deze tabel toont de resultaten van gepaarde t-tests die baselinemodellen vergelijken met het voorgestelde Adaptive ML -HMC-Trust kader op basis van de belangrijkste prestatie-indicatoren. De tabel bestaat uit de gemiddelde en standaardafwijkingswaarden, t-waarden, p-waarden en de significantieniveaus van nauwkeurigheid, F1-score, minderheidsklassedetectie, vals-positieve frequentie en detectielatentie.