$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Deneysel doğrulama ve performans analizi
Bulut tabanlı doğrulama
Önerilen algoritmanın verimliliği ve uygulanabilirliğini test etmek için, simülasyon testleri kontrollü bir ağ laboratuvar ortamında gerçekleştirildi. Doğrulama Windows işletim sisteminde gerçekleştirildi ve temel algoritma VC (Visual C++) programlama araçlarıyla kodlanmıştır.
Deneysel veriler için, müdahale tespiti ve ağ davranışının modellemesinde yaygın olan halka açık %KDDCUP_10 veri setini (http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html) seçtik. Genel deneysel süreç, sonuçların karşılaştırılabilirliğini ve güvenilirliğini sağlamak için daha önce tanımlananyaklaşıma çok benzer.
Ana algoritma parametreleri şu şekilde ayarlandı: Zaman aralığı T = 10 s; örnekleme tur sayısı h = 20; veri örnekleri n = 1000.
Bu parametrelerle güven bulut modelinin dijital özelliklerini hesapladı. Daha sonra, bulut benzerliği algoritması kullanılarak adayların en benzer güven bulutu belirlendi ve bu da ağ durumlarını sınıflandırma ve değerlendirme imkanı sağladı.
Tablo 2 , seçilmiş sistem örneğinin değerlerini ve ağ analiz durumunun sonuçlarını gösterir. Bunlar, önerilen bulut tabanlı güven değerlendirme sisteminin, çok yönlü ağ ayarlarının dinamizmini ve belirsizliklerini verimli bir şekilde temsil etme ve kapsayabilme potansiyeline sahip olduğunu doğrular.
Deney, gerçek zamanlı güven değerlendirmesiyle birlikte bulut modellerinin uygulanmasının mümkün olduğunu doğrular ve uyarlanabilir güvenlik yönetim sisteminde daha fazla uygulama için bir çerçeve sağlar.
Saldırı doğrulaması
Bu deneyde önerilen algoritmanın performansının kapsamlı bir doğrulanmasını gerçekleştirmek için, bulut bilişim ortamında ikili sınıflandırma, çoklu sınıflandırma ve HMC'nin saldırı tespit yeteneklerinin değerlendirilmesi gereklidir. Deneysel değerlendirme üç ana aşamaya ayrılır: AI modülünün işlevselliğini kontrol etmek için DDoS saldırı verilerinin uygulanması, çeşitli ML algoritmalarının işlevselliğinin değerlendirilmesi ve saldırıları tahmin etmek için DL modellerinin işlevselliğinin analizi.
İkili sınıflandırma performans doğrulaması
Deneyin ilk aşamasında, DDoS saldırı veri seti yapay zeka modülünü doğrulamak için kullanıldı; modülün ana amacı bulut bilişim ortamında modelin tahmin doğruluğunu test etmekti. 5 katlı çapraz doğrulama yöntemi kullandık ve eğitim verisine olan test verisi oranı 8:2 olarak ayarlandı; yani verinin %80'i eğitim için, %20'si test için kullanıldı. Her deneyde, modeli doğrulamak için farklı bir test seti kullanıldı ve her örnek bir kez test seti olarak göründü. Eğitim süreci 5 dönem sürdü ve ortalama sonuç alındı.
Veri seti iki gruba ayrılır: normal ve anormal. Farklı sınıflandırıcıların performansını karşılaştırmak için aşağıdaki sekiz yaygın ML sınıflandırıcı seçildi: karar ağacı (DT), rastgele orman (RF), naif Bayes (NB), K-en yakın komşu (KNN), destek vektör makinesi (RBF çekirdeği) (SVM-RBF), lineer destek vektör makinesi (L-SVM) ve toplu öğrenme için Paketleme ve Güçlendirme algoritmaları. Performans karşılaştırma sonuçları Şekil 6'da gösterilmiştir. Bu sınıflandırıcıların performans karşılaştırması sayesinde, DDoS saldırı algılamadaki performansları kapsamlı şekilde değerlendirilebilir 20,21.
Çok sınıflandırma performans doğrulaması
Deneyin ikinci aşamasında, veri seti DDoS, U2R (kullanıcıdan kökene saldırı), R2L (uzaktan yerel saldırı), normal veri gibi farklı türde ağ saldırılarını içeren çoklu sınıflandırma problemlerine genişletildi. Çoklu sınıflandırma problemleri, modelin birden fazla saldırı türünü tanımlama ve organize etme yeteneğini test eder.
Doğrulama için MLP, CNN, RNN, kısa süreli bellek (LSTM) ağı ve GRU ağı dahil olmak üzere beş DL sınıflandırıcısı kullanıldı. Her modelin özel parametre ayarları Tablo 1, Tablo 3 ve Tablo 4'te sunulmaktadır. Çoklu sınıflandırma doğrulaması yapılırken, modelin birden fazla kategoride hassasiyeti ve hatırlanması ayrıntılı olarak değerlendirildi.
HMC'nin çoklu sınıflandırma performansının doğrulanması
Üçüncü aşamada, yukarıdaki tüm ML ve DL modellerinin çoklu sınıflandırma görevlerindeki performansını karşılaştırmak için HMC algoritması kullanıldı. HMC algoritması, karmaşık çok sınıflı problemleri birden fazla ikili sınıflandırma alt problemlerine ayırarak ince taneli saldırıların (örneğin U2R, R2L vb.) tespit edilmesinin doğruluğunu önemli ölçüde artırır. HMC'nin avantajları, geleneksel sınıflandırma yöntemlerine kıyasla saldırı tespit doğruluğunu artırarak doğrulandı.
Deneysel sonuçlar ve analiz
Yukarıdaki üç aşamadaki deneyler sayesinde, farklı saldırı türleri altında her sınıflandırıcı ve DL modelinin performans göstergelerini elde ettik. Tablo 3 , farklı sınıflandırma yöntemlerinde doğruluk, geri çağırma oranı, F1 değeri gibi performans göstergelerini gösterir. Deneyde, HMC özellikle U2R ve R2L saldırılarıyla başa çıktığında çoklu sınıf saldırıların tespitinde yüksek hassasiyet ve dayanıklılık gösterdi. Geleneksel SVM ve RF yöntemleriyle karşılaştırıldığında, HMC önemli bir gelişme elde etmiştir.
Bu deneysel sonuçlar sayesinde, önerilen yapay zeka modülünün bulut bilişim ortamında saldırı tespiti için etkinliğini doğruladık ve sonraki model optimizasyonu ve uygulama dağıtımı için güvenilir bir temel sağladık.
Deneysel sonuçlar, ML modelleri arasında Karar Ağacı (DT), Rastgele Orman (RF) ve topluluk yöntemlerinin (Torbalama, Güçlendirme) üstün performans elde ettiğini, F1 puanlarının ise 1.0'a ulaştığını göstermektedir. Bu, DDoS kalıplarını normal trafikten ayırt etme konusundaki dayanıklılığını ve hassasiyetini doğrular. Buna karşılık, saf Bayes (NB) modeli anormal paket tahmininde kötü performans gösterdi ve F1 puanı 0.62 oldu; bu da modelin karmaşık saldırı türleriyle karşılaştığında belirli bir yanlış sınıflandırma riski taşıdığını gösteriyor.
Şekil 7, MLP, CNN, RNN, LSTM ve GRU'nun performansını göstermektedir. Parametreler optimize edildikten sonra, DL modellerinin ikili F1 puanları sırasıyla 0.93 ve 0.98 oldu; bu da DL modellerinin özellikle zaman serisi verileri ve karmaşık desen tanıma işlemlerinde derin veri özelliklerini etkili bir şekilde yakaladığını ve geleneksel ML modellerinden daha iyi performans gösterdiğini gösteriyor.
Kapsamlı analizler, karar ağaçları, topluluk öğrenme yöntemleri ve sinir ağı modellerinin DDoS saldırılarını tespit etmede mükemmel performans gösterdiğini göstermektedir; ancak belirli uygulamalarda uygun bir modelin seçimi saldırı türü, veri hacmi ve hesaplama kaynakları gibi faktörleri dikkate almak zorunda. Modelin tespit kapasitesini daha da artırmak için, gelecekte birden fazla model entegre edilip daha yüksek hassasiyet ve daha düşük yanlış alarm oranı elde edilebilir.
Şekil 8, DL modellerinin geleneksel ML tabanlarına göre üstün performansını göstermekte, özellikle dengesiz veri setlerinde F1 değerlerini 0.96 ile 0.99 arasında tutmaktadır. Ancak U2R sınıfının tahmin performansı hâlâ ince taneli kategorilerde altta ve siber saldırı sınıflandırma performansı sadece 0.49. Şekil 9 ve Şekil 10'un birleşik sonuçlarına göre, birkaç örnek kategorisinin (U2R, siber saldırılar, BFA ve botnetler dahil) tanıma performansının iyileştirilmesi gerekmektedir.
Üçüncü aşamada, öncekilerle aynı olan ancak azınlık sınıfına odaklanan 13 tekil sınıflandırıcı HMC'nin performansını karşılaştırmak için kullanıldı. Sonuçlara göre, AdaBoost tabanlı HMC tasarımı poşetlemeden daha iyi performans gösteriyor. U2R sınıfında, AdaBoost tabanlı HMC'nin F1 puanı 0.5'tir (başlangıç F1 0'dır), Bagging tabanlı HMC'nin ise azınlık sınıfı için F1 puanı 0.67'dir (başlangıç F1 olarak 0.4). AdaBoost tabanlı HMC, ağ saldırı sınıfı için F1'de 0,88 puan aldı (orijinal F1 0,71 idi), Bagging tabanlı HMC ise ağ saldırı sınıfı için F1'de 0,9 puan aldı (orijinal F1 0 idi). Bu sonuçlar, topluluk öğrenme stratejilerinin (örneğin AdaBoost ve Paketleme) azınlık sınıflarında birden fazla sınıflandırıcının öngörme yeteneğini önemli ölçüde artırdığını göstermektedir.
Saldırı simülasyonu vakası
Önerilen modelin gerçek bir ağ ortamında pratikliğini ve sağlamlığını daha da doğrulamak için, bu makale bir saldırı simülasyonu vakası tasarladı ve uyguladı ve DDoS saldırı senaryosu üzerinde bir simülasyon deneyi gerçekleştirdi. Simülasyon ortamı, normal kullanıcılar ile saldırganlar arasındaki etkileşimi simüle etmek için birden fazla sanal ana bilgisayar kullanan sanal bir bulut bilişim platformu üzerine inşa edilmiştir. Simülasyon senaryosu, normal iş erişimi ile kötü niyetli trafiğin bir arada bulunduğu karma bir ağ ortamı içerir.
Deneyde, saldırgan birden fazla kaynak IP üzerinden hedef sunucuya UDP flood saldırıları ve SYN Flood saldırıları başlatarak hedef sistem kaynaklarının tükenmesine ve normal hizmetlerin kullanılabilirliğini etkilemeye çalıştı. Sistem sürekli olarak ağ trafiği bilgisi topluyor ve iletim hızı, oturum süresi, port erişim sıklığı ve anormal bağlantı sayısı ile ilgili ana karakteristik parametreler kullanılıyor.
Önerilen güven değerlendirmesi ve saldırı algılama modeli, gerçek zamanlı trafiği analiz etmek ve kategorize etmek için izleme düğümünde uygulanır. Sistem, güven bulutu modeli ve çoklu sınıflandırma ayrımcılığı mekanizması aracılığıyla saldırının erken aşamalarında başarılı bir tanımlamayı kaydedebilir, şüpheli olanları düşük güven olarak etkili şekilde etiketleyip yanıt mekanizmasını aktive edebilir.
Simülasyon bulguları, simüle edilen saldırı trafiğinin toplam trafiğin %30'undan fazlasını oluşturduğunu gösteriyor. Önerilen sistem, simüle edilmiş DDoS koşullarında %96 tespit doğruluğu, %3 düşük yanlış pozitif oranı ve 2 saniyeden kısa yanıt gecikmesi sağlamıştır. Bu sonuç, bu modelin dağıtık saldırılarla mücadele etme ve sistemin güvenlik savunma yeteneklerini artırmada umut vadeden uygulama fırsatlarına sahip olduğunu doğrular.
Ayrıca, bu deney çoklu tur saldırılarının ve kesintisiz saldırıların testini de genişletmiştir. Model, karmaşık dinamik ağ koşullarında iyi genelleme kapasitesini gösteren yüksek bir algılama kararlılığını korur. Gelecekte veri enjeksiyonu, oltalama saldırıları gibi saldırı türleri genişletilecek; böylece modelin çeşitli tehditlerle esnekliği ve ölçeklenebilirliği tam olarak test edilecek.
Tablo 5, performans iyileştirmelerinin istatistiksel anlamlılığını göstermektedir. Bu tablo, temel modelleri önerilen Adaptif ML-HMC-Trust çerçevesiyle ana performans metrikleri açısından karşılaştıran eşleştirilmiş t-testlerinin sonuçlarını gösterir. Tablo, ortalama ve standart sapma değerleri, t-değerleri, p-değerleri ve doğruluk, F1-puanı, azınlık sınıfı tespiti, yanlış pozitif oranı ve tespit gecikmesi gibi anlamlılık seviyelerinden oluşur.

Şekil 1: Metodoloji akış temsili. Gerçek zamanlı saldırı tespiti için uyarlanabilir öğrenme, hiyerarşik sınıflandırma ve güven değerlendirmesini entegre eden önerilen SDN-bulut çerçevesini gösteren akış şeması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Bulut servis mimarisi. Şekil, araştırmada uygulanan genel bulut hizmet modelini, kontrol katmanını, veri yönlendirme katmanını ve hizmet katmanını göstermektedir. Mimari, Ryu OpenFlow denetleyicisi, Open vSwitch düğümleri ve sanallaştırılmış bulut hostlarından oluşur. Bağlantıların tamamı gerçek zamanlı veri akışı ve bağlantı durumu etkileşimleridir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 3: Ağ topolojisi modeli. Şekil, bulut ortamında inşa edilmiş üç katmanlı sanal ağ topolojisini göstermektedir. Bu, ana düğümleri, katmanları değiştirmeleri, simüle edilmiş bağlantı gecikmelerini ve bant genişliği sınırlarını içerir. Topoloji, trafik ayrımı, çoklu yol yönlendirme ve saldırı akışı yönlendirmesini (gerçek zamanda) mümkün kılar. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 4: HMC tabanlı güvenlik algılama mimarisi. Şekil, topluluk öğrenme, güven değerlendirmesi ve çok seviyeli tehdit tespitini birleştiren çoklu sınıflandırma hiyerarşisini göstermektedir. Bloklar, sınıflandırma aşamalarını temsil eder ve kaba tanenli saldırı algılamadan ince tanenli saldırı algılamaya geçişi gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 5: Bulut modeline dayalı güven değerlendirme süreci. Şekil, normal güven bulutu oluşturma, öznitelik çıkarma, özellik bulutu oluşumu, bulut benzerliği hesaplaması, güven düzeyinde sınıflandırma ve dinamik güven güncellemesi gibi altı adımı temsil etmektedir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 6: DDoS veri setinde makine öğrenimi performansı. Şekil, sekiz klasik ML modelinin normal ve DDoS saldırı trafiğinin ikili düzeninde nasıl performans gösterdiğini inceliyor. Metrikler geri hatırlama, hassasiyet, F1 puanı ve genel doğruluktur. Hata çubukları, 5 katlı çapraz doğrulama yoluyla değişkenliği yansıtır. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 7: DDoS veri setinde derin öğrenme modeli performansı. Şekil, MLP, CNN, RNN, LSTM ve GRU modellerinin ikili sınıflandırma performansını göstermektedir. Ölçümler, model performansını bir dizi eğitim döngüsünde gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 8: HMC vs. tek makine öğrenimi sınıflandırıcı performansı. Şekil, hiyerarşik çoklu sınıflandırma ile U2R ve R2L gibi azınlık saldırılarının geleneksel sınıflandırıcısı arasında bir karşılaştırma göstermektedir. F1 puanları sunulur; bunlara tekrarlanan deneyler arasında varyasyon gösteren hata çubukları da bulunur. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 9: HMC vs. derin öğrenme sınıflandırıcı performansı. Bu değer, DL modellerde HMC kullanılarak çoklu sınıf algılamanın geliştirildiğini gösterir. Azınlık performansı öne çıkar ve tek DL modellere kıyasla önemli ölçüde iyileştirilmiştir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 10: DDoS saldırı simülasyon sonuçları. Şekil, saldırı simülasyonunda deneyin gerçek zamanlı izleme çıktısını gösterir; bu da trafik hızını, anormal bağlantı sayısını, tespit yönteminin tepki süresini ve sistem sınıflandırma çıktısını gösterir. Ölçek çubukları zamanı (saniye cinsinden) ve trafik hacmini gösterir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
| Model | Öğrenme Hızı | Parti Büyüklüğü | Çağlar | Aktivasyon Fonksiyonu |
| MLP | 0.001 | 64 | 30 | ReLU |
| CNN | 0.0005 | 32 | 50 | LeakyReLU |
| RNN | 0.001 | 64 | 40 | Tanh |
| LSTM | 0.0001 | 128 | 60 | Sigmoid |
| GRU | 0.001 | 64 | 45 | ReLU |
Tablo 1: Derin öğrenme modeli parametre ayarları. Bu tablo, derin öğrenme deneylerinin hiperparametrelerini içerir: parti büyüklüğü, öğrenme hızı, dönem sayısı ve mimari spesifikasyonları.
| Örnek ID | Örnekleme Süresi (saniyeler) | Güven Derecesi ExExEx | Entropy EnEnEn | Hiper-Entropi HeHeHe | Benzerlik Puanı | Güven Seviyesi |
| 1 | 10 | 0.75 | 0.65 | 0.8 | 0.85 | Yüksek |
| 2 | 20 | 0.8 | 0.6 | 0.75 | 0.82 | Yüksek |
| 3 | 30 | 0.68 | 0.7 | 0.85 | 0.8 | Medium |
| 4 | 40 | 0.6 | 0.72 | 0.9 | 0.78 | Medium |
| 5 | 50 | 0.5 | 0.8 | 0.95 | 0.7 | Düşük |
| 6 | 60 | 0.45 | 0.85 | 0.96 | 0.65 | Düşük |
Tablo 2: Sistem örnek değerleri ve ağ durum analizi. Bu tablo, trafik istatistikleri, güven değerleri ve sınıflandırma çıktıları gibi bulut ortamının örnek değerlerinden bazılarını verir.
| Sınıflandırıcı | Doğruluk | Hassasiyet | Geri Çağırma | F1 Puanı |
| Karar Ağacı (DT) | 85.20% | 84.30% | 86.10% | 85.20% |
| Rastgele Orman (RF) | 90.10% | 89.30% | 91.00% | 90.10% |
| Naive Bayes (NB) | 82.50% | 81.70% | 83.40% | 82.50% |
| K-En Yakın Komşular (KNN) | 87.40% | 86.80% | 88.10% | 87.40% |
| SVM-RBF | 88.90% | 88.10% | 89.50% | 88.80% |
| Doğrusal SVM (L-SVM) | 87.80% | 87.20% | 88.50% | 87.80% |
| Torbalama | 91.20% | 90.50% | 91.70% | 91.10% |
| Güçlendirme | 92.30% | 91.90% | 92.60% | 92.20% |
Tablo 3: Makine öğrenimi sınıflandırıcı performans karşılaştırması. Tablo, test edilen tüm ML modelleri için geri çağırma, hassasiyet, doğruluk ve F1 puanlarını sunmaktadır.
| Model | Doğruluk | Hassasiyet | Geri Çağırma | F1 Puanı |
| MLP | 89.50% | 88.70% | 90.30% | 89.50% |
| CNN | 91.20% | 90.70% | 91.50% | 91.10% |
| RNN | 88.30% | 87.60% | 88.80% | 88.20% |
| LSTM | 92.10% | 91.80% | 92.40% | 92.10% |
| GRU | 91.80% | 91.40% | 92.10% | 91.70% |
Tablo 4: Derin öğrenme sınıflandırıcısı performans karşılaştırması. Bu tablo, MLP, CNN, RNN, LSTM ve GRU modellerinin performans metriklerini çoklu sınıf algılama temelinde sunmaktadır.
| Performans Ölçütü | Temel Ortalama (SD) | Önerilen Model Ortalaması (SD) | t-değeri | p-değeri | Önemi |
| Doğruluk | 0.89 (0.04) | 0.96 (0.02) | 8.72 | <0.001 | Önemli |
| F1-Score | 0.84 (0.05) | 0.94 (0.03) | 9.15 | <0.001 | Önemli |
| Azınlık Sınıfı Tespit (U2R/R2L) | 0.52 (0.08) | 0.81 (0.06) | 10.44 | <0.001 | Önemli |
| Yanlış Pozitif Oranı | 0.11 (0.03) | 0.04 (0.02) | –7.98 | <0.001 | Önemli |
| Algılama Gecikmesi (saniye) | 3.10 (0.41) | 1.82 (0.33) | –9.27 | <0.001 | Önemli |
Tablo 5: Performans iyileştirmelerinin istatistiksel anlamlılığı. Bu tablo, temel modelleri önerilen Adaptif ML -HMC-Trust çerçevesiyle ana performans metrikleri açısından karşılaştıran eşleştirilmiş t-testlerinin sonuçlarını gösterir. Tablo, ortalama ve standart sapma değerleri, t-değerleri, p-değerleri ve doğruluk, F1-puanı, azınlık sınıfı tespiti, yanlış pozitif oranı ve tespit gecikmesi gibi anlamlılık seviyelerinden oluşur.