使用 Van der Waerden 排名分数注意力的支持向量机进行垃圾邮件分类

Summary

本研究提出了一种基于支持向量机（Support Vector Machine）的创新方法，结合范德瓦尔登秩分数增强特征注意力机制，旨在解决垃圾邮件数据高维稀疏的挑战，提高垃圾邮件检测的分类性能。

Abstract

随着电子邮件使用量的扩大，垃圾邮件已成为一项严峻挑战，威胁着网络安全并降低了通信效率。传统的检测方法面临持续的局限性：传统的机器学习模型通常难以处理高维稀疏数据，而深度学习则需要大量的计算资源。

本研究引入了 Van der Waerden 等级分数特征注意力增强支持向量机 （VWR-Attn-SVM） 来解决这些问题。该方法应用 Van der Waerden 秩变换来规范化文本特征，提高针对异常值的鲁棒性并保留序数关系。增强的注意力机制通过具有正则化的非线性处理进一步优化特征选择，突出显示与垃圾邮件检测最相关的特征。

在UCI Spambase和印尼垃圾邮件数据集上的实验表明，VWR-Attn-SVM在准确率、精密度、召回率、F1分数和AUC方面优于传统分类器。通过将高性能与降低的计算成本相结合，该方法为垃圾邮件分类提供了一种高效且可解释的解决方案，并有可能扩展到其他基于文本的平台，例如消息传递和社交媒体。

Introduction

在互联网和数字技术快速发展的当代数字时代，尽管即时通讯和社交媒体平台不断出现和创新，但电子邮件仍然是电子交易和企业通信领域不可或缺的基石¹。它超越时空界限的能力赋予其独特的优势，可以随时在全球范围内进行无缝通信。然而，这种广泛的采用引发了一个紧迫且有害的问题——垃圾邮件的猖獗传播。恶意行为者利用电子邮件系统作为分发大量未经请求的商业广告、恶意软件和非法内容的工具。根据研究，从 2012 年到 2023 年，全球垃圾邮件在电子邮件总流量中的比例猛增了 7700%^2,3。垃圾邮件的泛滥不仅严重扰乱了用户的正常电子邮件作，还带来了多方面的威胁。它通过可能暴露敏感信息来破坏个人隐私，通过数据泄露和恶意软件感染的风险危及企业安全，甚至通过促进欺诈活动来破坏经济秩序 ^4,5。有效的垃圾邮件分类可将与网络钓鱼相关的经济损失减少 40-60%⁶，凸显了高效、准确的过滤方法的实用价值。因此，开发高效、准确的垃圾邮件检测模型已成为确保网络安全和提高效率的重要研究领域。

关于垃圾邮件检测的现有研究的大量内容都集中在机器学习和深度学习方法上。在传统机器学习领域，已经探索和应用了多种技术。基于规则的方法，例如决策树⁷，已被用于根据从数据特征派生的预定义规则做出分类决策。将多个弱学习器聚合为强学习器的提升方法^8、9、10 和处理数据不确定性和不精确性的粗糙集合理论¹¹ 也显示出潜力。此外，包括逻辑回归、K最近邻（KNN）^12,13、朴素贝叶斯14,15,16和SVM 17,18,19在内的统计方法已被广泛采用。这些方法通常依赖于 TF-IDF 等传统特征提取方法。虽然 TF-IDF 可以有效地量化文档中单词的重要性，但它很难捕捉电子邮件文本中固有的复杂语义关系和上下文细微差别。此外，当面对电子邮件特征空间中典型的高维和稀疏数据时，这些方法经常会遇到计算瓶颈。它们有限的鲁棒性可能导致在训练过程中陷入局部最优解，从而严重限制模型的分类精度和泛化能力。

深度学习凭借其卓越的自动特征提取能力，已成为垃圾邮件检测的强大替代方案。卷积神经网络（CNN）20,21,22，^循环神经网络（RNN）²³和长短期记忆网络（LSTM）^24,25等算法，以及最近基于Transformer的模型，如Word2vec和BERT^26,27，在提高分类性能方面取得了重大进展。CNN 擅长从数据中提取局部特征，RNN 和 LSTM 可以很好地处理顺序数据，捕获文本中的时间依赖关系，基于 Transformer 的模型擅长挖掘复杂的语义关系和上下文信息。最近有效的NLP方法，例如基于TinyML的文本分类器²⁸，为垃圾邮件分类提供了强大的基线。TinyML 模型针对内存有限的边缘设备进行了优化。我们在结果部分将我们的方法与这些方法进行了比较，强调了准确性、计算效率和部署灵活性之间的权衡。然而，这些深度学习模型有其自身的一系列局限性。它们通常需要大量的训练参数，导致计算资源需求高并延长训练时间。与传统 SVM 相比，BERT 等深度学习模型需要多 3-5 倍的内存和 10 倍长的训练时间²⁹，这使得它们不太适合资源受限的环境。这使得它们在资源受限的环境中部署不太实用，例如移动设备或低端服务器。此外，它们复杂的架构通常使它们的可解释性降低，这在理解模型决策过程至关重要的应用程序中可能是一个重大缺点。

在此背景下，本研究的总体目标是开发一种创新方法，克服现有方法的局限性，有效应对垃圾邮件数据高维和稀疏性带来的挑战。所提出的 Van der Waerden Rank Score Feature Attention-Enhanced SVM （VWR-Attn-SVM） 代表了旨在增强垃圾邮件检测性能的技术的新颖集成（图 1）。VWR-Attn-SVM 背后的基本原理在于其独特的设计，结合了多个组件的优势。

图 1：使用 VWR-Attn-SVM 进行垃圾邮件分类的总体研究流程图。 该流程图展示了基于Van der Waerden等级得分和特征注意力增强SVM的垃圾邮件分类工作流程，涵盖了数据准备（加载、拆分、预处理）、实验准备、TF-IDF特征标签统计相关性验证、基于注意力增强SVM的垃圾邮件检测和多分类器比较。 请点击此处查看此图的大图。

核心增强功能注意力机制处理具有特定维度的单个电子邮件样本。通过应用 Van der Waerden 秩变换，它将因异常词频而扭曲的电子邮件文本特征归一化为类似标准正态分布的形式。这种转变显着增强了模型的稳健性，使其能够更好地处理电子邮件数据的可变性。Van der Waerden 秩分数优于对数缩放和分位数变换，原因有三：（1） 对垃圾邮件特征异常值（例如极端词频）具有鲁棒性，这与放大低频噪声的对数缩放不同;（2） 保留特征序号关系（对于垃圾邮件指标层次结构（如“免费”与“获胜”）至关重要，而分位数转换则扁平化分布;（3）归一化为[0,1]，简化注意力机制整合，确保权重一致（图2）。

图 2：实验流程图。 （A-C） 垃圾邮件分类工作流程，涵盖数据处理、特征选择、模型训练、评估以及有/没有 Van der Waerden 等级分数转换的比较。 请点击此处查看此图的大图。

在结构上，该机制具有用于非线性特征变换的两层全连接网络（图 2）。第一层配备了 LeakyReLU 激活函数，在引入非线性的同时减小了输入维度，并结合了 Dropout 层以减轻过度拟合。第二层使用 Sigmoid 函数输出注意力权重，可以精确量化每个特征的重要性。模型中集成了 L1/L2 正则化策略以优化特征选择，其中 L1 正则化促进稀疏性，有效筛选出相关性较低的特征，而 L2 正则化通过约束权重的大小来防止过度拟合。在训练阶段，采用多任务学习框架，结合特征重建损失和分类损失来优化模型参数。这使得 VWR-Attn-SVM 能够精确地适应电子邮件文本的高维、稀疏 TF-IDF 特征，这是电子邮件内容复杂性的特征。

我们的方法针对数千到一万个基于文本的垃圾邮件数据集（例如，Spambase、印度尼西亚垃圾邮件数据集（补充文件 1））进行了优化，并且需要标准计算资源（Intel Core i7 处理器、16 GB RAM）进行训练;推理可以在标准笔记本电脑（Intel Core i5,8 GB RAM）上运行，延迟为亚秒级。主要限制包括对非文本垃圾邮件（例如图像嵌入垃圾邮件）的性能有限以及对结构化文本功能的依赖。与现有的替代技术相比，VWR-Attn-SVM具有几个显着的优势。与传统的机器学习方法不同，它不仅仅依赖于基本的特征提取，而是通过增强的注意力机制主动学习根据重要性对特征进行加权，从而更好地捕获与垃圾邮件分类更相关的特征。与深度学习模型相比，它在性能和计算效率之间实现了良好的平衡。它需要更少的计算资源和更短的训练时间，使其更适合广泛的应用，尤其是那些资源有限的应用。这种创新方法不仅适用于电子邮件系统中垃圾邮件检测的特定任务，而且还有可能扩展到其他基于文本的通信渠道，例如即时通讯应用程序、社交媒体平台和短信服务，这些渠道存在类似的有害和恶意内容传播问题。总体而言，VWR-Attn-SVM 代表了垃圾邮件检测领域的重大进步，提供了更实用、更高效和多功能的解决方案来解决数字通信领域长期存在的垃圾邮件问题。

Protocol

1. 实验准备（补充文件 2 和补充文件 3）

1. 数据说明：从 UCI 机器学习存储库加载开源垃圾邮件数据集以进行垃圾邮件检测³⁰。记录数据集包含 4,601 个实例，具有 57 个连续特征和 1 个类标签，包括 1,813 个垃圾邮件 （39.4%） 和 2,788 个非垃圾邮件 （60.6%） 样本（表 1）。
2. 库导入
   1. 导入基本库（参见 材料表）。
   2. 将 全局随机种子 设置为 42 ，以确保结果的可重复性。
3. 配置绘图设置：使用 Times New Roman 处理英文文本，解决减号显示问题，并将 字体大小 设置为 16 以增强可读性。

表 1：数据集统计和特征定义摘要。 此表列出了垃圾邮件分类的变量，包括词频 （word_freq_WORD）、字符频数 （char_freq_CHAR）、大写运行长度指标和目标类变量，并描述了每种变量类型和含义。 请按此下载此表。

2. 验证 TF-IDF 特征与标签之间统计关联的实验（补充文件 2 和补充文件 3）

1. 数据预处理
   1. 加载数据集（补充文件 1）：第一个数据集：spambase.csv;第二个数据集：spam_indonesian.csv。
   2. 检查垃圾邮件和非垃圾邮件标签的分布，并计算每个类别的比例。
   3. 使用均值作为即将进行的卡方检验的阈值对这些特征进行二值化。
      注意：使用read命令时，请确保垃圾邮件文件位于正确的工作目录中或提供完整的文件路径。
2. 数据测试预处理（补充文件 2 和 补充文件 3）
   1. 使用 sklearn.feature_selection.chi2 对二值化 TF-IDF 特征进行卡方检验：
      代码调用：
      从sklearn.feature_selection导入 chi2
      chi2_values， p_values = chi2（df_binary， df['垃圾邮件']）
      significant_features_chi2 = [feature_cols[i] for i in np.where（p_values < 0.05）[0]]
      print（f“重要特征数：{len（significant_features_chi2）}”）
      预期输出：与垃圾邮件标签（包括“免费”或“删除”等关键字）具有统计关联的特征子集（例如 57 个中的 35 个）。
   2. 使用 sklearn.feature_selection.f_classif 进行实现：
      代码调用：
      从sklearn.feature_selection进口f_classif
      f_values， f_p_values = f_classif（df[feature_cols]， df['垃圾邮件']）
      significant_features_f = [feature_cols[i] for i in np.where（f_p_values < 0.05）[0]]
      print（f“保留的功能：{len（significant_features_f）}”）
      注意：这通常保留 40-50 个特征（取决于数据集），与卡方结果部分重叠。
      在运行统计测试之前，请验证数据格式和参数，以保证结果准确。
3. 可视化
   1. 从卡方检验结果中选择 p 值最小的前 20 个特征。
   2. 使用 seaborn.heatmap 生成：
      代码调用：
      将 Seaborn 导入为 SNS
      top_indices = np.argsort（p_values）[：20]
      top_features = [feature_cols[i] for i in top$\_$indices]
      corr_matrix = df[top_features + ['垃圾邮件']].corr（）
      plt.figure（图大小=（12， 10））
      sns.heatmap（corr_matrix， annot=True， cmap='coolwarm'）
      plt.show（）
      注意：预期模式：与垃圾邮件相关的功能聚集，垃圾邮件标签为红色（正相关）。

3. 用于垃圾邮件检测的注意力增强型 SVM 分类（补充文件 2 和补充文件 3）

1. 数据预处理
   1. 数据加载：使用 sklearn.model selection.train 使用固定种子进行测试拆分：
      代码调用：
      从 sklearn.model selection 导入训练测试拆分
      X 训练，X 测试，y 训练，y 测试 = 训练测试拆分（X，y，测试大小=0.3，随机状态=42）
   2. 标准化和类平衡：通过 imblearn.over 采样实现。SMOTE（合成少数过采样技术 （SMOTE）³¹）：
      代码调用：
      从 imblearn.over 采样导入 SMOTE
      # 默认值：采样策略='auto'，k neighbors=5
      smote=SMOTE（随机状态=42）
      X train smote， y train smote = smote.fit resample（X train， y train）
      平衡班级分布（例如，从 85：15 到 50：50）。
2. 增强的特征注意力模型架构：设计一种通过多层非线性变换学习特征重要性权重的机制。为关键功能分配更高的注意力权重，以增强其影响力。
   1. 特征预处理（可选）
      1. 将 Van der Waerden 正态秩变换 应用于输入要素。将原始特征转换为近似正态分布，以提高模型鲁棒性。使用公式：
         
         式中， x 表示样本的TF-IDF特征向量， R（x）是特征值的秩， d 是向量长度（d=57），^φ-1 是标准正态分布的累积分布逆函数。
         注意：使用 use_rank_transform （布尔值）参数来控制特征处理的正常秩变换的启用。
   2. 多层非线性变换：通过两层全连接网络学习特征的非线性表示。
      1. 第一层转换：使用公式：
         
         其中 W₁ R、^k×d 和 k=64（隐藏神经元）。
         使用 LeakyReLU 在 Keras 中实现：
         代码调用：
         从 tensorflow.keras.layers 导入 Dense
         self.dense1=Dense（单位=64，#256 对于 VWR-Attn-SVM
         activation='leaky relu'， # 默认负斜率=0.01
         内核正则化器=正则化器.l1 l2（l1=0.0002， l2=0.0002））
         注意：添加一个丢失率为 0.2 的删除层以防止过度拟合。
      2. 第二层改造： 使用 Sigmoid 应用第二层变换以生成 [0,1] 范围内的注意力权重。使用公式：
         
         其中 W₂ R^d×k 和 R ^k 是每个特征的注意力权重。选择 Sigmoid 而不是 SoftMax，以保持多个特征重要性的独立性。
         应用 Keras Sigmoid 激活以获得注意力权重：
         代码调用：
         self.dense2 = Dense（输入形状[-1]，激活='sigmoid'，
         内核正则化器=正则化器.l1 l2（l1=0.0002， l2=0.0002））
   3. 特征加权：通过使用注意力权重执行元素逐乘来增强重要特征。使用公式：
      
      其中 表示元素乘法。
3. 训练增强的特征注意力模型
   1. 多任务目标优化：最小化结合重构损失和交叉熵损失的加权损失函数来训练模型。确保注意力机制保留关键信息，同时关注分类相关特征。使用公式：
      
      利用均方误差损失
      用于重建输入特征并应用交叉熵损失
      到分类任务。
      在 PyTorch 中实现自定义多任务损失：在 Keras 中自定义损失，alpha=0.5：
      代码调用：
      model.compile（optimizer='adam'，loss={
      'enhanced_feature_attention'：'mse'，'分类'：
      'binary_crossentropy'}，loss_weights={
      'enhanced_feature_attention'： 0.5， '分类'： 0.5}）
      alpha=0.5 平衡特征重构 （MSE） 和分类（交叉熵），导致 50-100 个 epoch 内的稳定收敛。
      注意：将 L1/L2 混合正则化（弹性网络，默认强度 0.001）应用于两个全连接层，以增强特征选择和泛化。
   2. 参数设置：设置权重系数α控制两个损失的相对重要性，在代码中使用α = 0.5。将批量大小配置为 64，将 epoch 数设置为 200，并为验证集分配 10% 的数据。
   3. 添加回调函数。
      使用默认参数的 Keras 回调：
      代码调用：
      从 tensorflow.keras.callbacks 导入 EarlyStopping， ReduceLROnPlateau
      回调 = [EarlyStopping（monitor='val_loss'， patience=5， mode='min'， restore_best_weights
      =True）、ReduceLROnPlateau（monitor='val_loss'，因子=0.5，耐心=5，min_lr=0.0005，详细=1）]
      1. 合并 EarlyStopping 回调，以便在验证损失连续 5 个 epoch 没有改善时停止训练过程。
      2. 添加 ReduceLROnPlateau 回调，自适应调整学习率。将衰减因子设置为 0.5，将最小学习率设置为 0.0002。
   4. 生成注意力权重特征：训练后，从增强特征注意力层中提取注意力权重。为训练集和测试集生成加权特征。将这些特征输入到 SVM 分类器中。
4. 模型评估
   注意：70-30 的训练测试平衡了训练和评估。SMOTE 解决了类不平衡问题，提高了不平衡文本数据的性能。MinMaxScaler 稳定基于距离的模型。单位：64 （Attn-SVM） 和 128 （VWR-Attn-SVM） 天平容量;128 可容纳 Van-der-Waerden 秩变换复杂度。Dropout （0.2） 可防止过度拟合，这是中小型数据集的标准。L1/L2正则化（0.0002-0.002）：L1诱导稀疏性;L2 限制权重大小。相等的损失权重（MSE：0.5，交叉熵：0.5）平衡了重建和分类学习。纪元：200 （Attn-SVM）、300 （VWR-Attn-SVM），提前停止（耐心=5）以避免过度拟合。批量大小 64 平衡了效率和稳定性。ReduceLROnPlateau（因子=0.5，耐心=5-10）调整学习率（最小值 0.0001-0.0005）以获得更好的收敛性。
   1. 消融研究设计和比较：定义以下模型进行比较： 基线 SVM：具有径向基函数 （RBF） 内核的传统 SVM; Attn-SVM：具有增强特征注意力机制的SVM;VWR-Attn-SVM：SVM 结合了 Van der Waerden 变换和增强的特征注意力。
   2. 评估指标（表 2）：使用准确度、精确度、召回率、F1 分数和 AUC 评估模型性能。
5. 注意力可视化和模型解释
   1. 可视化关键特征的注意力权重
      Matplotlib 条形图的前 15 个功能：
      代码调用：
      将 matplotlib.pyplot 导入为 plt
      top_indices = np.argsort（-avg_weights）[：15]
      top_features = [feature_names[i] 代表 top_indices 中的 i]
      top_weights = avg_weights[top_indices]
      plt.figure（图大小=（12， 8））
      plt.barh（top_features， top_weights， color='skyblue'）
      plt.xlabel（'注意力权重'）
      plt.title（'顶级特征注意力权重'）
      plt.show（）
   2. 比较正常排名转换的影响：比较启用 和未启用use_rank_transform的 模型性能（准确度、精确度、召回率、F1 分数、AUC）。突出显示格式化表中的关键指标差异。
   3. 特征重要性比较：分析统计检验识别的重要特征（例如卡方）与注意力机制之间的一致性。
      注意：如果计算资源有限，请减少单元数（例如，减少到 32）或纪元数（例如，减少到 100）。调整 l1_reg/l2_reg 以平衡模型复杂性（较高的值可增强正则化）。

4. 多个分类器的比较（补充文件 2 和补充文件 3）

1. 定义分类器字典。创建分类器字典以进行比较，包括 KNN、Logistic Regression、AdaBoost、Naive Bays 和带有 RBF 内核的 SVM（默认参数）。
2. 初始化结果 DataFrames。创建四个 DataFrame 来存储评估指标，列为：分类器、准确度、精度、召回率、F1 分数和 AUC。
3. 训练和评估分类器。对于每个分类器，执行以下步骤。
   具有参数和种子的分类器示例：
   代码调用：
   从 sklearn.linear_model 导入 LogisticRegression
   从 sklearn.svm 导入 SVC
   lr = 逻辑回归（random_state=RANDOM_SEED， max_iter=1000）
   svm = GridSearchCV（SVC（random_state=RANDOM_SEED， 概率=True），
   param_grid={'C'： [0.001,0.01 1， 10,100,1000]， 'gamma'： [0.001,0.01 1， 10,100,1000]，
   内核'： ['rbf'， '线性']}， cv=5， 评分='f1'）
   注意：所有模型都使用 random_state=42 来实现可重复性。
   1. 在缩放的训练数据上训练分类器。
   2. 预测和计算训练集和测试集的概率。
   3. 生成分类报告并将指标存储在相应的 DataFrame 中。
4. 集成增强的特征注意力 SVM 结果。将来自 Attn-SVM 和 VWR-Attn-SVM（来自实验 3）的性能指标合并到现有 DataFrame 中。
5. 打印比较结果。在训练集和测试集中显示非垃圾邮件和垃圾邮件的评估表。
6. 可视化结果。使用 sns.barplot 绘制分类器性能指标。将 x 轴标签旋转 45° 以提高可读性。使用 plt.show（） 优化布局并显示绘图。
   sns.barplot 输出的解释：
   代码调用：
   将 Seaborn 导入为 SNS
   sns.barplot（x='分类器'， y='F1-分数'， data=results）

5. 不同分类器在训练/测试时间和内存方面的多指标性能对比图（补充文件 4）

1. 数据预处理：加载spambase.csv或spam_indonesian.csv;分为 70% 的训练/30% 的测试集;使用 MinMaxScaler 标准化功能。
2. 模型训练：训练 KNN、Logistic Regression、AdaBoost、Naive Bayes、SVM（带网格搜索）、Attn-SVM 和 VWR-Attn-SVM。
3. 绩效评估：计算准确度、精确度、召回率、F1 分数和 AUC。
4. 资源分析：记录训练时间、测试时间和内存使用情况。
5. 可视化：生成多指标性能图和资源消耗图。
   关键参数：随机种子=42;SVM 网格 （C：[0.01,0.1,1,10,100]; gamma：[0.01,0.1,1,10,100]; 内核：['rbf'，'线性']）;注意力模型使用 2 层全连接网络、L1/L2 正则化和 Dropout。
   输出：性能表、资源表、多指标图表、时间/记忆图表、注意力权重可视化。

6. CNN、RNN、LSTM或变压器的实验结果（补充文件5）

1. 预处理：加载spambase.csv或spam_indonesian.csv，如果需要，对类不平衡应用 SMOTE，分为训练/测试 （70/30）。
2. 培训：搭建CNN、RNN、LSTM、Transformer;Adam（0.001）、二元交叉熵、batch_size=32、epochs=10、提前停止（耐心=5）和学习率调度。
3. 评估：计算准确度、精度、召回率、F1、AUC;记录训练/测试时间和内存使用情况。
4. 可视化：生成性能和资源比较图;保存 CSV 结果。
5. 输出：性能指标表、资源消耗表、比较图、CSV 文件。

7. 补充代码说明

1. 要运行代码并复制图：将spam.csv或spam_indonesian.csv放在同一个目录中。通过 pip install numpy pandas matplotlib seaborn scikit-learn tensorflow imbalanced-learn psutil 安装依赖项。执行脚本;它将在执行过程中自动处理数据、训练模型并生成/显示所有图形（热图、性能图）。

Results

首先，根据既定的实验方案， 图1 概述了本研究的总体流程图。 图2，依次描绘了实验2的作流程图。此外， 表 1 主要显示垃圾邮件数据集中的单词和字符频率，spam.csv。

在模型性能评估方面，采用了准确率、精确度、召回率、F1 分数和受试者工作特征曲线下面积 （AUC） 五个关键指标。 表 2 定义了真阳性 （TP）、假阳性 （FP）、真阴性 （TN） 和假阴性 （FN） 的概念。F1 分数是一种精确度和召回率的谐波手段，用于平衡分类性能的这两个关键方面。受试者工作特征 （ROC） 曲线，假阳性率 （FPR） 绘制在 x 轴上，真阳性率 （TPR） 绘制在 y 轴上，提供了跨各种决策阈值的分类性能的全面可视化。因此，量化 ROC 曲线下面积的 AUC 成为评估二元分类器有效性的关键指标。

表2：分类绩效评价指标

Discussion

本研究基于Spambase数据集验证了VWR-Attn-SVM的有效性，为解决垃圾邮件数据的高维和稀疏性质提供了见解。实验表明，垃圾邮件数据中只有少数特征与标签有很强的相关性;传统模型对所有特征一视同仁，导致性能较差，而该模型的注意力机制可以动态地对关键特征进行加权。在集成范德瓦尔登（VWR）秩变换后，该模型实现了更快的损失收敛、更强的泛化、平衡的特征权重，并捕获了更多的交互信息。它在测试集上表现出出色的分类指标，优于传统方法，同时节省资源。其创新在于解决了传统机器学习和深度学习的固有问题，为文本分类提供了新的范式，并具有良好的可解释性，能够适应资源受限的场景。

实验作的关键步骤
本研究实验作中的几个关键步骤对垃圾邮件分类的结果产生了显著影响。在数据准备方面，从UCI机器学习存储库中选择了垃圾邮件数据集，该数据集具有4601个实例、57个连续特征和二进制类标签，奠定了坚实的基础。验证TF-IDF特征与标签之间的统计关联的过程至关重要。采用卡方检验进行特征筛选，并通过热图可视化...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
补充档案2：code_new.py;补充文件3：code_indonesian.py.
数字	NumPy 开发者		Python 数值计算库
熊猫	熊猫开发团队		数据作与分析库
Matplotlib	Matplotlib 开发者		用于创建静态、动画和交互可视化的库
海生	迈克尔·瓦斯科姆等人。		基于 matplotlib 的统计数据可视化库
Scikit-Learn	scikit-learn 开发团队		机器学习库，包含多种分类、回归和聚类算法
张量流	谷歌		开源机器学习框架，包括用于构建神经网络的Keras API
IMBLEARN	imbalanced-learn 开发者		处理不平衡数据集的库，包括用于过采样的SMOTE
警告	Python 标准库		用于发出警告消息的模块
<强>补充档案4：code_compute_time.py
数字	NumPy 开发者		Python 数值计算库
熊猫	熊猫开发团队		数据作与分析库
Matplotlib	Matplotlib 开发者		用于创建图表和图形的可视化库
海生	迈克尔·瓦斯科姆等人。		基于 matplotlib 的统计数据可视化库
Scikit-Learn	scikit-learn 开发团队		带有分类、回归和预处理工具的机器学习库
张量流	谷歌		开源机器学习框架，采用Keras API用于神经网络
IMBLEARN	imbalanced-learn 开发团队		处理不平衡数据集的库（包括SMOTE）
警告	Python 标准库		用于发出警告消息的模块
时间	Python 标准库		时间相关函数模块
普苏蒂尔	贾姆保罗·罗多拉		用于检索系统信息和监控资源使用情况的库
操作系统	Python 标准库		用于与作系统交互的模块
补充文件5：DNN.py.
熊猫	熊猫开发团队		数据作与分析库
数字	NumPy 开发者		Python 数值计算库
时间	Python 标准库		时间相关函数模块
普苏蒂尔	贾姆保罗·罗多拉		系统信息检索和资源监控库
Matplotlib	Matplotlib 开发者		用于创建图表和图形的可视化库
Scikit-Learn	scikit-learn 开发团队		具备数据预处理、模型选择和度量工具的机器学习库
IMBLEARN	imbalanced-learn 开发团队		处理不平衡数据集的库（包括SMOTE）
张量流	谷歌		基于Keras API构建神经网络的开源机器学习框架