利用自适应机器学习算法在云计算环境中进行信息风险预警和网络安全场景感知

Summary

论文提出了一种基于机器学习（ML）的自适应网络安全解决方案，集成了层级多标签分类和动态信任评估系统，以提升威胁检测的准确性并减少误报数量。

Abstract

本研究提出了一种新的网络安全态势感知和风险预警框架，集成了自适应机器学习（ML）、分层多标签分类（HMC）以及基于云模型的动态信任评估机制。新兴网络攻击的复杂性、多样性和实时性——如零日漏洞利用、分布式拒绝服务（DDoS）和僵尸网络——对传统的基于规则和静态检测方法构成了重大挑战。为应对这些挑战，我们开发了一套有效的基于SDN的云架构，利用Ryu OpenFlow控制器和OpenFlow交换机。该架构支持实时链路信息收集、动态调度以及可扩展、可靠的数据传输。所建议的分层分类框架可以将多类问题拆分为二元任务，减轻样本失衡的影响，并增强对低频攻击（包括用户到根（U2R）的识别能力。集成学习技术，包括AdaBoost和Bagging，进一步提升了细粒度攻击类型的检测准确率。对DDoS数据集、云流量数据以及Mininet和EstiNet模拟的实验表明，ML-HMC-trust结合方法显著提升了检测精度，减少误报，并实现了实时响应。这些结果证实了，整合自适应学习、分层分类和动态信任评估为保障大型云平台提供了稳健且可扩展的解决方案。

Introduction

随着云计算技术在各行业的广泛应用，信息系统中数据的规模和数量迅速增加，网络威胁变得更加复杂、隐蔽和动态化 ^1,2。基于规则和静态模型的传统安全防御机制已无法满足在面对攻击策略变化、零日漏洞和大规模分布式攻击时，实现实时检测和准确预警的需求。³.因此，利用自适应机器学习算法在云计算平台上全面整合分布式数据处理和智能分析能力，实现对网络安全形势的全面感知和有效的信息风险预警，是当前信息安全格局中的关键挑战。.该研究不仅在理论上对完善现有安全保护体系具有重要意义，也为保障国家关键信息基础设施和企业^{核心数据的安全}提供了有力支持。

在云计算环境中实现网络安全态势感知和信息风险预警面临多重挑战：云平台中汇总的数据类型众多且来源复杂，使得数据预处理、特征提取和融合任务日益艰巨;面对日益增长的网络流量和快速变化的攻击场景，系统必须在极短时间内响应，实时检测和预警已成为技术瓶颈;普通流量的数量与攻击流量差异很大，传统算法在处理小样本类别（如U2R、网络攻击等）时准确性较低，存在较大误判风险;在复杂的网络环境中，信任关系受多种因素影响，且是随机且不确定的 ^6,7。基于固定阈值的传统信任评估方法难以反映真实情况，且容易被异常数据干扰。为解决这些多维局限性，本研究提出了一个集成框架，协同自适应机器学习、分层多标签分类和基于云模型的动态信任评估机制。这种在SDN驱动云环境中应用的技术融合，超越了增量式优化，实现了对低频攻击的细粒度识别、实时信任适应和可扩展态势感知，而现有方法尚未同时实现这些。

云计算环境会产生庞大、高度动态且异构的网络流量，使得传统的入侵检测系统（IDS）无法准确识别如U2R和R2L等复杂且少数的攻击类型。现有基于深度学习（DL）的IDS解决方案提高了检测准确性，但仍存在较高的计算开销、响应缓慢以及对网络实体间不确定或不断变化的信任关系处理不佳的问题。此外，大多数现有模型作为扁平分类器运行，缺乏细粒度、层级决策或动态信任评估的机制。这些局限在开发能够同时实现实时检测、准确的少数族裔识别和可靠信任感知风险评估的IDS中，形成了关键空白。

在现有的网络安全态势感知和信息风险预警研究中，许多研究采用了K最近邻（KNN）和支持向量机（SVM）等方法来分类和检测网络流量。这些算法具有高计算效率和易于实现的优势，尤其是在对大量数据进行初步筛查时 ^8,9。然而，它们的主要缺点体现在多个方面：面对大多数正常流量和少量攻击样本的云环境中，这些传统机器学习方法常常忽略少数类别的信息，导致细粒度攻击（如U2R、网络漏洞攻击等）识别率较低;单模型通常对噪声和数据异常值敏感，缺乏适应动态变化攻击场景的能力，且容易出现过拟合或泛化不足（^10,11）。

近年来，多层感知器（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）等深度学习方法在网络安全领域被越来越多地应用。借助深度神经网络强大的特征学习和非线性映射能力，这些方法显著提高了检测准确率，并增强了复杂攻击行为捕捉能力，相较于传统ML¹²。然而，它们对计算资源和训练数据的要求很高。尤其是在云计算环境中的大数据流量背景下，训练开销和实时推理速度仍有提升空间。在识别样本较少的类别时，由于数据不平衡，DL模型对某些细粒度攻击（如U2R、僵尸网络）的检测率较低，原因是类别偏差¹³。为弥补单一模型在处理数据失衡和多类攻击识别方面的局限性，一些研究提出了基于集合学习的解决方案，如Bagging和Boosting，通过结合多个分类器的决策来扩展整体预测准确率¹⁴。同时，层级多类分类（HMC）架构将多类分类问题分解为多个二元分类子问题，从而实现了样本较少类别更精细的识别。然而，集成模型常面临高计算资源使用和部署响应时间增加等问题，尤其是在云计算实时监控系统中，实时需求会增加系统资源压力¹⁵。

针对网络中动态信任关系评估的问题，一些研究引入了云模型理论，该理论通过描述每个实体信任属性的模糊性和随机性来构建信任关联云，然后利用云滴、熵、超熵及其他指标进行^{定量评估。}.面对实时更新的网络信任数据时，现有云模型方法的更新率和计算效率可能难以满足高频动态警告的需求;该模型对评估数据高度敏感，异常数据或噪声信息可能对整体信任评估产生重大干扰，影响后续的风险预警决策。

鉴于当前在检测准确性、实时性能、数据平衡处理和信任评估等方面的诸多不足，本文提出了一种新的防御系统，全面利用自适应机器学习算法、分层多类分类策略和云模型信任评估，用于云计算环境中的网络安全态势感知和信息风险预警。

该研究通过利用云^{计算技术，}解决智能船舶网络的实时网络安全。它提出了一个多传感器节点框架用于检测恶意攻击数据，并利用自执行的防护策略节点拦截威胁。结果显示病毒入侵检测和防御率为85-95%，假阳性率为2.56%，显著优于其他算法。然而，该方法在实际部署中需要高计算资源和云基础设施限制。Aslan等^{人提供了一套} 基于行为的智能恶意软件检测系统，应用于云计算环境。它生成了跨虚拟机的恶意软件数据集，并利用基于学习和规则的检测代理工具对恶意软件和良性样本进行分类。对1万个项目样本的评估显示，检测率和FPR均表现优异。尽管如此，该方法存在扩展性问题，涉及不断变化的恶意软件变种和大规模、实时云部署。

尽管这些研究贡献显著，但更详细的比较显示，大多数现有解决方案未能满足云环境中实时态势感知或动态信任模型的假设和需求。传统的机器学习技术假设特征边界在空间中固定，并在类别不平衡和高度动态的交通动态中失效 ^8,9,10。DL模型具有出色的特征提取能力，但计算能力消耗较高，这使得推理过程在实时监控中变得缓慢且不切实际（^12,13）。基于集成和HMC的方法更为准确，但需要更高的延迟和资源，目前尚未部署于大规模云中^14,15。与此同时，云模型信任评估技术能够很好地捕捉不确定性，但对噪声数据仍然高度敏感，且在高频攻击流^{16、17、18、19}下无法高效更新信任值。即使是最近的基于云的IDS框架，也缺乏对实时检测和信任感知决策的强健集成支持（^20,21）。这些限制共同凸显了高效、统一且信任驱动的入侵检测框架的必要性。本研究通过将自适应机器学习、HMC和基于云模型的动态信任评估整合到支持SDN的云架构中，克服了这些局限，实现了实时检测、提升少数族裔阶级准确性和不确定性感知的风险评估。

本文的创新主要体现在以下方面：基于Ryu OpenFlow控制器和OpenFlow交换机构建了高效的分布式网络架构，实现链路信息的实时收集和动态调度，从而大幅提升数据传输效率和处理能力。

鉴于数据失衡和少样本攻击识别带来的困难，设计了一个自上而下的HMC框架，并引入了AdaBoost和Bagging等集成学习方法，以显著提升细粒度攻击类别的检测准确率。

云模型理论用于构建信任关联云。通过逆生成器和相似性计算，实现了网络中每个实体信托状态的动态评估，为风险预警提供定量基础，有效抑制低价或高价异常交易引发的信用投机。

Protocol

注意：该协议描述了如何构建基于云的网络安全态势感知系统，并实现带有动态信任评估的层级分类。请按照以下步骤设计云网络拓扑，收集并注释数据流，并部署分层多类分类和信任评估模块。 图1 展示了所提出的SDN云框架，整合了自适应机器学习、分层分类和信任评估，用于实时攻击检测。

1. 云网络拓扑设计

注意：在继续前，请确保对OpenStack、Ryu和Mininet有管理员访问权限。

1. 将系统部署在由OpenStack构建的云平台上。利用虚拟化技术创建多个虚拟主机，配置软件定义网络（SDN）环境以实现统一资源管理和隔离调度。
2. 部署并配置Ryu和Open vSwitch（OVS），以配合SDN控制和流量管理。
3. 构建一个三层拓扑结构，其中Ryu控制器为核心，OVS交换机为转发节点，包括控制层、网络转发层和数据服务层。
   1. 控制层配置：与Ryu实现集中式SDN控制器。通过使用 Ryu 的 REST API 实现实时网络状态监控，并将其连接到安全检测模块，以快速响应异常流量。
   2. 网络转发层配置：建立若干带有虚拟主机和外部网关的OVS虚拟交换节点。在 OVS 上设置流表策略，以启用动态路径变更、流量分离和流量重定向，以应对攻击性流量。
   3. 数据服务层配置：在OpenStack平台上配置多个虚拟主机。创建虚拟机作为网页、数据库和文件服务器，生成真实的数据流量并支持注入攻击流。
4. 添加多个跳跃值和不同的路径。通过使用Mininet命令模拟异构网络带宽和延迟条件。
5. 安装Mininet以部署和模拟拓扑结构。使用 Mininet CLI 隔离租户、子网分段和访问控制列表（ACL）。
6. 验证设置，确保拓扑支持实时流量捕获，并与检测模块直接集成。
7. 记录完成的系统架构（图2）和拓扑结构（图3），包括各层之间的所有互联和信息流。

2. 数据流收集与注释策略

注意：务必遵守数据隐私法规（如GDPR、本地网络安全政策）。预先匿名化用户标识和IP地址。

1. 在每个虚拟主机和网络节点上安装小型数据采集代理。让每个代理不断检查网络流量、系统日志和用户行为信息。
2. 安装 Kafka（v3.5）作为数据队列，并安装 Apache Spark 流媒体（v3.4）以实时处理流数据。将Kafka吞吐量配置为10,000事件/秒或更高，Spark微批处理间隔设为500毫秒或更短。
3. 按顺序处理收集到的数据如下：
   1. 清理数据以消除重复记录、不完整记录和杂音。通过检查协议头部过滤无效数据包。
   2. 使用最小最大规范化，将数值属性归一化为标准范围[0,1]，以实现特征的一致缩放。
   3. 提取重要特征，包括源/目的IP、端口、协议类型、数据包数量、字节数、转发延迟以及流量变化的测量。
4. 将处理后的数据集输入AI辅助检测模块进行训练和验证。
5. 建立一个用于准确数据标注的双标注系统：
   1. 创建一个攻击模板库。通过基于规则的模式匹配识别常见攻击模式（如端口扫描、SYN 洪水、DoS、U2R）。
   2. 手动检查模糊样本以保持标签一致性。
6. 使用成熟的基准数据集，如CIC-IDS2017和NSL-KDD，进行交叉验证。对齐标签以保持≥90%的标注者间一致性。
7. 进行特征工程以构建结构化输入向量。基于多级类别定义编码攻击层级。
8. 将数据集分为80%训练和20%测试。

3. 层级分类与信任评估集成架构

1. 构建一个智能感知架构，集成了层级多类分类（HMC）和动态信任评估机制（见图4）。
2. 按照“粗到细”策略实施HMC模块：
   1. 利用轻量级连接特性（如频率、端口分布、协议类型）将流量分类为“正常”和“异常”类别。
   2. 对于“异常”流量，利用中级统计特征如数据包间隔和有效载荷大小，进行二级分类，如DDoS、U2R、R2L和探针。
   3. 通过分析攻击特征和目标属性，识别细粒度子类型（如 TCP SYN 洪水、SQL 注入、暴力破解攻击）。
3. 优化分类模块。
   1. 应用AdaBoost和Bagging集合学习方法，在每个层级（如决策树、逻辑回归）构建5-8个弱分类器。
   2. 基于准确性评分，使用加权多数投票合并分类器输出。
4. 利用云模型理论实现动态信任评估模块：
   1. 持续监测宿主行为指标，如过去的稳定性、通信频率以及访问目标的变异。
   2. 在信任计算中包含模型输出可信度。利用期望值（Ex）、熵（En）和超熵（He）参数，估计实际信任分数（0到1）。
5. 配置HMC与信任模块之间的链接反馈机制。
   1. 基于信任值自动调度系统：隔离信任为0.3的主机≤降低信任为0.3-0.6的主机权限。
   2. 用≥信任度为0.8的主机数据重新训练分类器，以提高对未知攻击的检测能力和灵活性。
6. 测试零日响应能力。注入未标记的恶意流量，并确认警报和隔离在10分钟内触发。

4. 信任云模型的计算与实现（见图5）

1. 标准信任云生成：
   1. 将信托价值划分为n个不同的等级（例如，“低”、“中”、“高”、“非常低”和“非常高”）。
   2. 根据该层级实体的信托评估平均，使用方程1计算K层的期望值（Ex_k）：
      
      其中 T_ik 表示被归类为信任等级_{L k} 的实体的个别信任值。
   3. 计算熵（En_k），用方程2量化层L_k 内信任值的模糊性：
      
      其中α 是控制模糊度的常数。
   4. 利用方程3计算超熵（He_k），以量化熵随时间的不稳定性：
      
      其中β 是调节不确定性水平的参数。
   5. 输出标准信任云集合C_{1，C 2},...,C_n，对应n个信任层级。
2. 信任属性云的逆生成：
   1. 使用方程4将输入信任属性A_i 归一化为区间[0,1]：
      
      应用统计分析来估算每个归一化属性_{A i'} 的对应云模型参数（例如、En、He）。
      为每个属性生成信任属性云_{C i} 。
3. 全面的信托评估：
   1. 利用加权合成计算复合信托云（Ex_com， En_com， He_com）的数字属性（方程5-7）：
      
      
      
      其中
   2. 利用公式8计算当前信任云C_i 与标准云C_k 的相似度：
      
      通过使用方程9求最大相似度，确定最终信任等级L^* ：
      
4. 动态信任更新
   1. 使用方程10中的时间衰减模型更新信任值以反映随时间的演变：
      
      其中λ∈[0,1]控制近期信任与历史信任的权重。
   2. 如果发生具体偏差，应适用信任罚金机制。利用方程11和12计算偏差（ΔA）和惩罚因子（P_惩罚）：
      
      
   3. 使用方程13计算更新后的信任值：
      

5. 攻击检测性能的实验验证

1. 配置实验环境并准备数据集。
   1. 使用配备Visual C++工具的Windows 11工作站进行算法编译和测试。
   2. 从经过验证的来源获取KDDCUP_10%的数据集，并按照机构数据保护指南进行预处理。
   3. 设置算法参数：时间间隔T = 10秒，抽样轮数h = 20，数据样本n = 1000。
   4. 通过分层抽样，将数据分为训练组（80%）和测试组（20%）。
2. 验证二元分类的表现。
   1. 进行五重交叉验证以确定可靠性。
   2. 训练并测试八个分类器：决策树（DT）、朴素贝叶斯（NB）、随机森林（RF）、K最近邻（KNN）、自适应增强（AdaBoost）、支持向量机（SVM）、包装和梯度增强。
   3. 每个模型运行100个纪元，记录精度、准确性、召回率和F1成绩。
3. 验证多职业分类性能。
   1. 列车分类器用于检测DDoS、U2R、R2L、Probe和正常交通。
   2. 使用 表1中指定的参数实现五种DL架构（MLP、CNN、GRU、RNN 和 LSTM）。
   3. 使用精确回忆曲线和混淆矩阵比较每个类别的性能。
4. 验证HMC算法。
   1. 将HMC与AdaBoost和袋装结合作为整体策略实施。
   2. 通过层级逻辑将多类问题分解为二元子分类。
   3. 将结果与少数族裔攻击类型（U2R、R2L）的基线模型进行比较。
5. 实现攻击模拟。
   1. 在云测试平台部署训练好的信任检测模型。
   2. 利用多虚拟主机创建UDP洪水和SYN洪水攻击，针对指定服务器。
   3. 攻击流量保持在网络吞吐量的30%左右。
   4. 跟踪网络统计数据（传输速率、会话长度、端口访问频率、异常连接）。
   5. 测量检测误差、误报和平均系统响应时间。

Results

实验验证与性能分析

基于云的验证

为了测试所提算法的效率和可行性，在受控网络实验室环境中进行了模拟测试。验证在 Windows 操作系统上进行，核心算法由 VC（Visual C++）编程工具编写。

对于实验数据，我们选择了入侵检测和网络行为建模中常见的公开KDDCUP_10%数据集（http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html）。一般的实验过程与前^述 方法非常相似，旨在确保结果的可比性和可信度。

主要算法参数设置为：时间区间T = 10秒;抽样轮数 h = 20;数据样本 n = 1000。

Discussion

该协议的有效部署依赖于云架构中的关键步骤。正确配置Ryu OpenFlow控制器、正确设置OpenvSwitch规则以及稳健形成多层拓扑，是确保完整流量捕获的关键。选择Ryu作为控制器，Open vSwitch作为交换平台，显著增强了系统的实用价值;其轻量化、模块化且完全可编程的特性，使其非常适合实时网络监控、动态流量控制以及跨云基础设施的可扩展安全管理。同样，预处理流程——包括清理、归一化和注释——必须准确执行，以防止层级分类中的偏见，解决云安全分析的固有复杂性。

部署过程中，为了确保最佳性能，需要进行多项调整。集合模型最初在少数群体中表现出过拟合，需要调优弱学习者的深度和投票权重，这与异常检测中的挑战相呼应。为减轻噪声流量引起的信任值波动，重新校准了云模型的熵和衰减参数。此外，Kafka-Spark 流水线中的流瓶颈通过扩大主题分区以支持高通量云环境得到了解决。

Mininet和EstiNet模拟的实验结果，以及使用真实云流量和DDoS数据集的评估，表明...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AdaBoost（合奏学习库）	Scikit-learn，Python	https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html	软件
装袋分类器	Scikit-learn，Python	https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.BaggingClassifier.html	软件
云模型信任评估代码	自定义实现	无	算法/软件
卷积神经网络（CNN）	张量流 / PyTorch	https://www.tensorflow.org/tutorials/images/cnn	软件
深度学习框架（MLP、RNN、LSTM、GRU）	张量流 / PyTorch		软件
EstiNet 网络模拟器	EstiNet 技术	https://sites.google.com/view/estinet-network-simulator	软件
Kafka （Data Streaming Platform）	阿帕奇基金会	https://kafka.apache.org/	软件
KDD CUP 10% 数据集	UCI机器学习存储库	http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html	数据集
Mininet 模拟器	Mininet 项目	迷你网 2.3.1	用于SDN拓扑、带宽和混合攻击仿真的网络仿真。
开放vSwitch（OVS）	开放vSwitch Org	OVS 3.2.2	实现流表控制和攻击流量重定向的虚拟交换机。
OpenStack 云平台	开放基础设施基金会	https://www.openstack.org/	云软件
Python 3.x	Python 软件基础	https://www.python.org/downloads/	编程语言
Ryu SDN 控制器	NTT R&D	龙 4.34	SDN控制器，用于实时网络流量捕获和态势感知。
Spark 流式框架	阿帕奇基金会	https://spark.apache.org/docs/latest/streaming-programming-guide.html	软件
Visual C++（VC++）编译器	Microsoft	https://visualstudio.microsoft.com/	软件
Windows 11 工作站	Microsoft	Windows 11 专业版 23H2	操作系统用于模型编译、训练和测试。