Van der Waerden Rank Score Attentionを用いたサポートベクターマシンによるスパム分類

Summary

この研究では、高次元のスパース スパム データの課題に対処し、スパム検出の分類パフォーマンスを向上させることを目的として、Van der Waerden ランク スコア強化特徴アテンション メカニズムと統合されたサポート ベクター マシンに基づく革新的なアプローチを提案します。

Abstract

電子メールの使用が拡大するにつれて、スパムは重大な課題となり、ネットワークセキュリティを脅かし、通信効率を低下させています。従来の検出方法は永続的な制限に直面しており、従来の機械学習モデルは高次元のスパースデータに苦労することがよくありますが、ディープラーニングは大量の計算リソースを必要とします。

本研究では、これらの問題に対処するために、Van der Waerdenランクスコア機能の注意強化サポートベクターマシン(VWR-Attn-SVM)を導入します。このメソッドは、Van der Waerden ランク変換を適用してテキスト特徴を正規化し、外れ値に対する堅牢性を向上させ、序数関係を維持します。強化されたアテンションメカニズムは、正則化を伴う非線形処理を通じて特徴選択をさらに最適化し、スパム検出に最も関連性の高い特徴を強調します。

UCI Spambase とインドネシアの Spam データセットでの実験では、VWR-Attn-SVM が精度、精度、再現率、F1 スコア、AUC において従来の分類器よりも優れていることが示されています。この方法は、高性能と計算コストの削減を組み合わせることで、スパム分類のための効率的で解釈可能なソリューションを提供し、メッセージングやソーシャル メディアなどの他のテキストベースのプラットフォームに拡張できる可能性があります。

Introduction

インターネットとデジタル技術の急速な進化を特徴とする現代のデジタル時代において、インスタント メッセージングやソーシャル メディア プラットフォームの継続的な出現と革新にもかかわらず、電子メールは電子取引と企業コミュニケーションの領域において不可欠な基礎であり続けています¹。時間的および空間的な境界を超越する能力により、独自の利点が与えられ、いつでも世界中でシームレスな通信が可能になります。しかし、この広範な採用により、スパムの蔓延という差し迫った有害な問題が生じています。悪意のある攻撃者は、電子メール システムを手段として悪用して、大量の未承諾の商用広告、悪意のあるソフトウェア、違法なコンテンツを配布しています。調査によると、2012 年から 2023 年にかけて、電子メール トラフィックの総量に占める世界のスパムの割合は 7700^{% 急}増しました^2,3。このスパムの氾濫は、ユーザーの通常の電子メール操作に深刻な混乱をもたらすだけでなく、多面的な脅威をもたらします。機密情報が漏洩する可能性があるため個人のプライバシーが損なわれ、データ侵害やマルウェア感染のリスクを通じて企業のセキュリティを危険にさらし、詐欺行為を促進することで経済秩序を不安定にすることさえあります ^4,5。効果的なスパム分類により、フィッシング関連の経済的損失が 40-60^{% 削減}され6、効率的で正確なフィルタリング方法の実用的な価値が浮き彫りになります。その結果、効率的かつ正確なスパム検出モデルの開発は、ネットワーク セキュリティを確保し、効率を高めるための重要な研究分野として浮上しています。

スパム検出に関する既存の研究のかなりの部分は、機械学習とディープラーニングの方法論を中心にしています。従来の機械学習の分野では、さまざまな技術が探求され、応用されてきました。決定木⁷などのルールベースの手法は、データ特徴から派生した事前定義されたルールに基づいて分類の決定を行うために利用されてきました。複数の弱い学習者を強い学習器に集約するブースティング手法^8,9,10や、データの不確実性と不正確さを扱う大まかな集合論¹¹も可能性を示している。さらに、ロジスティック回帰、K最近傍(KNN)^12,13、ナイーブベイズ14,15,16、およびSVM17,18,19を含む統計的手法が広く採用されています。 これらのアプローチは、通常、TF-IDF などの従来の特徴抽出方法に依存しています。TF-IDF は文書内の単語の重要性を定量化するのに効果的ですが、電子メール テキストに固有の複雑な意味関係や文脈上のニュアンスを捉えるのに苦労しています。さらに、電子メールの特徴空間で一般的な高次元でまばらなデータに直面すると、これらの手法は計算のボトルネックに遭遇することがよくあります。ロバスト性が限られているため、トレーニング プロセス中に局所最適解に閉じ込められ、モデルの分類精度と一般化能力が大幅に制限される可能性があります。

ディープラーニングは、自動特徴抽出の優れた能力を備えており、スパム検出における強力な代替手段として浮上しています。畳み込みニューラルネットワーク(CNN)^20,21,22、リカレントニューラルネットワーク(RNN)²³、長短期記憶ネットワーク(LSTM)^24,25などのアルゴリズム、およびWord2vecやBERT^26,27などのより最近のTransformerベースのモデルは、分類性能の向上において大きな進歩を遂げています。CNN はデータから局所的な特徴を抽出することに長けており、RNN と LSTM はシーケンシャル データをうまく処理し、テキスト内の時間的依存関係をキャプチャし、Transformer ベースのモデルは複雑な意味関係とコンテキスト情報のマイニングに優れています。TinyMLベースのテキスト分類器²⁸などの最近の効率的なNLP手法は、スパム分類のための強力なベースラインを提供します。TinyMLモデルは、メモリが限られているエッジデバイス向けに最適化されています。結果セクションでは、私たちの方法をこれらのアプローチと比較し、精度、計算効率、展開の柔軟性の間のトレードオフを強調します。ただし、これらの深層学習モデルには独自の制限があります。通常、多数のトレーニング パラメーターが必要になるため、計算リソースの需要が高くなり、トレーニング時間が長くなります。BERT のようなディープラーニング モデルは、従来の SVM よりも 3-5 倍のメモリと 10 倍長いトレーニング時間を必要とするため²⁹、リソースに制約のある環境にはあまり適していません。これにより、モバイル デバイスやローエンド サーバーなど、リソースに制約のある環境への導入には実用的ではありません。さらに、アーキテクチャが複雑であるため、解釈しにくくなることが多く、モデルの意思決定プロセスを理解することが重要なアプリケーションでは重大な欠点となる可能性があります。

このような背景から、この研究の包括的な目標は、既存の方法の限界を克服し、スパム データの高次元でまばらな性質によってもたらされる課題に効果的に対処できる革新的なアプローチを開発することです。提案されたVan der Waerden Rank Score Feature Attention-Enhanced SVM(VWR-Attn-SVM)は、スパム検出性能の向上を目的とした技術の新しい統合を表しています(図1)。VWR-Attn-SVM の背後にある基本原理は、複数のコンポーネントの長所を組み合わせた独自の設計にあります。

図1:VWR-Attn-SVMによるスパム分類に関する研究の全体的なフローチャート。 このフローチャートは、Van der Waerdenランクスコアと特徴量強化SVMに基づくスパム分類のワークフローを示し、データ準備(読み込み、分割、前処理)、実験準備、TF-IDF特徴量ラベル統計的相関関係の検証、注意強化SVMベースのスパム検出、およびマルチ分類器比較を網羅しています。 この図の拡大版を表示するには、ここをクリックしてください。

コアの拡張機能アテンションメカニズムは、特定の次元を持つ個々の電子メールサンプルを処理します。Van der Waerden ランク変換を適用することにより、異常な単語頻度によって歪んだ電子メール テキストの特徴を標準的な正規分布のような形式に正規化します。この変換によりモデルの堅牢性が大幅に向上し、電子メール データの変動性をより適切に処理できるようになります。Van der Waerdenランクスコアは、3つの理由から、対数スケーリングや分位数変換よりも好まれました:(1)低周波ノイズを増幅する対数スケーリングとは異なり、スパム機能の外れ値(極端な単語頻度など)に対して堅牢です。(2) 特徴量の順序関係 (「無料」と「勝利」などのスパム指標階層にとって重要) を保持しますが、分位数変換は分布を平坦化します。(3)[0,1]に正規化し、注意メカニズムの統合を容易にし、一貫した重み付けを確保します(図2)。

図2:実験フローチャート。 (A-C)スパム分類のワークフローで、データ処理、特徴量の選択、モデルのトレーニング、評価、およびVan der Waerdenランクスコア変換の有無にかかわらず比較をカバーします。 この図の拡大版を表示するには、ここをクリックしてください。

構造的には、このメカニズムは、非線形特徴変換のための2層の完全接続ネットワークを特徴としています(図2)。LeakyReLU アクティベーション関数を搭載した最初の層は、非線形性を導入しながら入力次元を小さくし、過学習を軽減するために Dropout 層を組み込んでいます。2 番目の層では、シグモイド関数を使用して、各特徴の重要性を正確に定量化できるアテンション ウェイトを出力します。L1/L2正則化戦略がモデルに統合され、特徴選択が最適化され、L1正則化はスパース性を促進し、関連性の低い特徴を効果的に選別し、L2正則化は重みの大きさを制約することで過適合を防ぎます。トレーニング段階では、マルチタスク学習フレームワークが採用され、特徴再構成損失と分類損失を組み合わせてモデルパラメータを最適化します。これにより、VWR-Attn-SVMは、電子メールコンテンツの複雑な性質の特徴である、電子メールテキストの高次元でまばらなTF-IDF機能に正確に適応できます。

私たちの方法は、数千から1万の範囲のテキストベースのスパムデータセット(スパムベース、インドネシアのスパムデータセット(補足ファイル1)など)に最適化されており、トレーニングには標準的な計算リソース(Intel Core i7プロセッサ、16 GB RAM)が必要です。推論は、標準のラップトップ (Intel Core i5、8 GB RAM) で秒未満の遅延で実行できます。主な制約には、テキスト以外のスパム (画像埋め込みスパムなど) に対するパフォーマンスの制限と、構造化テキスト機能への依存が含まれます。既存の代替技術と比較して、VWR-Attn-SVM にはいくつかの顕著な利点があります。従来の機械学習手法とは異なり、基本的な特徴抽出だけに依存するのではなく、強化されたアテンション メカニズムを通じて重要度に応じて特徴に重みを付けることを積極的に学習し、スパム分類により関連性の高い特徴をより適切にキャプチャします。深層学習モデルとは対照的に、パフォーマンスと計算効率のバランスが良好です。必要な計算リソースが少なく、トレーニング時間が短いため、幅広いアプリケーション、特にリソースが限られているアプリケーションに適しています。この革新的なアプローチは、電子メール システムにおけるスパム検出という特定のタスクに適用できるだけでなく、インスタント メッセージング アプリ、ソーシャル メディア プラットフォーム、SMS サービスなど、望ましくない悪意のあるコンテンツの拡散という同様の問題が存在する他のテキストベースの通信チャネルにも拡張できる可能性を秘めています。全体として、VWR-Attn-SVM はスパム検出の分野における大きな進歩を表しており、デジタル通信環境におけるスパムの根強い問題に対処するための、より実用的で効率的かつ多用途なソリューションを提供します。

Protocol

1. 実験準備(補足ファイル2、補足ファイル3)

1. データの説明: スパムメール検出のために、UCI Machine Learning リポジトリからオープンソースのスパムデータセットを読み込みます³⁰.データセットに、1,813 個のスパム (39.4%) サンプルと 2,788 個の非スパム (60.6%) サンプルを含む、57 個の連続特徴と 1 つのクラス ラベルを持つ 4,601 個のインスタンスが含まれていることを文書化します (表 1)。
2. ライブラリのインポート
   1. 重要なライブラリをインポートします( 材料表を参照)。
   2. 結果の再現性を確保するために、 グローバルランダムシード を 42 に設定します。
3. プロット設定の構成: 英語のテキストには Times New Roman を使用し、マイナス記号の表示の問題を解決し、読みやすさを高めるために フォント サイズ を 16 に設定します。

表1:データセットの統計と特徴量の定義の概要。 この表は、単語頻度 (word_freq_WORD)、文字頻度 (char_freq_CHAR)、資本実行長メトリック、ターゲット クラス変数など、スパム分類の変数を、各変数の種類と意味の説明とともに示します。 この表をダウンロードするには、ここをクリックしてください。

2. TF-IDFの特徴とラベルの統計的関連性を検証する実験(補足ファイル2、補足ファイル3)

1. データの前処理
   1. データセットをロードする (補足ファイル 1): 最初のデータセット: spambase.csv;2番目のデータセット:spam_indonesian.csv。
   2. スパムメールラベルと非スパムメールラベルの分布を調べ、各カテゴリの割合を計算します。
   3. これらの特徴量を、今後のカイ 2 乗検定のしきい値として平均を使用して二値化します。
      メモ: read コマンドを使用するときは、スパムファイルが正しい作業ディレクトリにあることを確認するか、完全なファイルパスを入力してください。
2. データテストの前処理(補足ファイル2 および 補足ファイル3)
   1. 二値化された TF-IDF 特徴量のカイ 2 乗検定には sklearn.feature_selection.chi2 を使用します。
      コードコール:
      sklearn.feature_selectionから インポート CHI2
      chi2_values, p_values = chi2(df_binary, df['スパム'])
      significant_features_chi2 = [feature_cols[i] np.where(p_values < 0.05)[0]]
      print(f"有意な特徴の数: {len(significant_features_chi2)}")
      期待される出力: 「無料」や「削除」などのキーワードを含む、スパムラベルに統計的に関連付けられる特徴のサブセット(例: 57 個中 35 個)。
   2. sklearn.feature_selection.f_classifを使用して実装を実行します。
      コードコール:
      sklearn.feature_selectionインポートf_classifから
      f_values, f_p_values = f_classif(df[feature_cols], df['spam'])
      significant_features_f = [feature_cols[i] for i in np.where(f_p_values < 0.05)[0]]
      print(f"保持機能: {len(significant_features_f)}")
      注:これは通常、40〜50の特徴(データセットによって異なります)を保持し、カイ2乗結果と部分的に重複します。
      統計テストを実行する前に、正確な結果を保証するためにデータ形式とパラメータを確認してください。
3. 視覚化
   1. カイ二乗検定結果から、p値が最小の上位20の特徴を選択します。
   2. seaborn.heatmapを使用して生成します。
      コードコール:
      SEABON を SNS としてインポートする
      top_indices = np.argsort(p_values)[:20]
      top_features = [top$\_$indicesのiのfeature_cols[i]]
      corr_matrix = df[top_features + ['スパム']].corr()
      plt.figure(図サイズ=(12, 10))
      sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
      plt.show()
      注: 予想されるパターン: スパム関連の機能は、スパムラベルが赤でクラスター化されます (正の相関)。

3. スパム検出のためのアテンション強化SVM分類(補足ファイル2および補足ファイル3)

1. データの前処理
   1. データの読み込み: sklearn.model selection.trainを使用してデータを分割します固定シードでテスト分割:
      コードコール:
      sklearn.model selection から import train test split
      X トレイン、X テスト、y トレイン、y テスト = トレイン テスト分割 (X, y、テスト サイズ = 0.3、ランダム状態 = 42)
   2. 標準化とクラスバランス:imblearn.overサンプリングを介して実装します。SMOTE(合成少数派オーバーサンプリング手法(SMOTE)³¹):
      コードコール:
      imblearn.overサンプリングからSMOTEをインポートします
      # デフォルト: サンプリング戦略='auto', k neighbors=5
      smote=SMOTE(ランダム状態=42)
      Xトレインスモート、Yトレインスモート= smote.fit resample(Xトレイン、Yトレイン)
      クラス分布のバランスをとります(例:85:15から50:50まで)。
2. 強化された特徴アテンション モデル アーキテクチャ: 多層非線形変換を介して特徴の重要度の重みを学習するメカニズムを設計します。重要な機能により高い注意の重みを割り当てて、その影響を高めます。
   1. 特徴量の前処理 (オプション)
      1. Van der Waerden 正規順位変換を入力特徴に適用します。生の特徴を近似正規分布に変換して、モデルの堅牢性を向上させます。次の式を使用します。
         
         ここで、 x はサンプルの TF-IDF 特徴ベクトルを表し、 R(x) は特徴値のランク、 d はベクトル長 (d=57)、^φ-1 は標準正規分布の逆累積分布関数です。
         メモ: use_rank_transform (ブール値)パラメータを使用して、特徴処理の正規ランク変換の有効化を制御します。
   2. 多層非線形変換: 2 層の完全接続ネットワークを介して特徴の非線形表現を学習します。
      1. 第 1 層変換: 次の式を使用します。
         
         ここで、 W₁ R^k×d および k=64 (隠れたニューロン)。
         LeakyReLUを使用してKerasで実装:
         コードコール:
         から tensorflow.keras.layers インポート Dense
         self.dense1=Dense(単位=64、VWR-Attn-SVMの場合は#256
         activation='leaky relu', # デフォルトの負の傾き=0.01
         kernel regularizer=regularizers.l1 l2(l1=0.0002, l2=0.0002))
         注: 過学習を防ぐために、ドロップアウト率が 0.2 のドロップアウト層を追加します。
      2. 第 2 層変換: シグモイドを使用して2番目のレイヤー変換を適用し、[0,1]の範囲のアテンションウェイトを生成します。次の式を使用します。
         
         ここで、 W₂ R^d×k、 および R^k は、各特徴のアテンション ウェイトです。SoftMax ではなく Sigmoid を選択して、複数の特徴の重要度の独立性を維持します。
         注意の重みに Keras Sigmoid アクティベーションを適用します。
         コードコール:
         self.dense2 = Dense(入力形状[-1]、activation='シグモイド'、
         kernel regularizer=regularizers.l1 l2(l1=0.0002, l2=0.0002))
   3. 特徴の重み付け: アテンションの重みを使用して要素ごとの乗算を実行することで、重要な特徴を強化します。次の式を使用します。
      
      ここで、 は要素ごとの乗算を示します。
3. 拡張特徴アテンション モデルのトレーニング
   1. マルチタスクの目的最適化: 再構成損失とクロスエントロピー損失を組み合わせた重み付き損失関数を最小化して、モデルをトレーニングします。アテンションメカニズムが重要な情報を保持し、分類関連の特徴に焦点を当てるようにします。次の式を使用します。
      
      平均二乗誤差損失を利用する
      入力特徴を再構築し、クロスエントロピー損失を適用します。
      を分類タスクに追加します。
      PyTorchでカスタムマルチタスク損失を実装する:alpha = 0.5のKerasでのカスタム損失:
      コードコール:
      model.compile(オプティマイザー='adam',損失={
      'enhanced_feature_attention':'mse','分類':
      'binary_crossentropy'},loss_weights={
      'enhanced_feature_attention': 0.5, '分類': 0.5})
      alpha=0.5 は特徴再構成 (MSE) と分類 (クロスエントロピー) のバランスをとり、50-100 エポック以内に安定した収束をもたらします。
      注: L1/L2 混合正則化 (Elastic Net、デフォルトの強度 0.001) を両方の完全接続層に適用して、特徴の選択と一般化を強化します。
   2. パラメータ設定: 重み係数 α を設定して、2 つの損失の相対的な重要度を制御し、コードで α = 0.5 を使用します。バッチサイズを64に設定し、エポック数を200に設定し、検証セットにデータの10%を割り当てます。
   3. コールバック関数を追加します。
      Keras コールバックをデフォルトパラメータで使用します。
      コードコール:
      tensorflow.keras.callbacks import EarlyStopping、ReduceLROnPlateau から
      コールバック = [EarlyStopping(monitor='val_loss', patience=5, mode='min', restore_best_weights
      =True)、ReduceLROnPlateau(monitor='val_loss'、factor=0.5、忍耐=5、min_lr=0.0005、詳細=1)]
      1. EarlyStopping コールバックを組み込んで、検証損失が 5 エポック連続して改善しない場合にトレーニング プロセスを停止します。
      2. ReduceLROnPlateauコールバックを追加して、学習率を適応的に調整します。減衰係数を 0.5 に設定し、最小学習率を 0.0002 に設定します。
   4. アテンションウェイト特徴の生成: トレーニング後、拡張特徴アテンションレイヤーからアテンションウェイトを抽出します。トレーニングセットとテストセットの両方に対して重み付けされた特徴量を生成します。これらの機能をSVM分類器にフィードします。
4. モデル評価
   注: 70 対 30 のトレーニング テストの分割では、トレーニングと評価のバランスが取れています。SMOTE はクラスの不均衡に対処し、不均衡なテキスト データのパフォーマンスを向上させます。MinMaxScaler は、距離ベースのモデルを安定させます。ユニット:64(Attn-SVM)および128(VWR-Attn-SVM)バランス容量。128 は、Van-der-Waerden 順位変換の複雑さに対応します。ドロップアウト (0.2) は、中小規模のデータセットの標準である過学習を防止します。L1 / L2正則化(0.0002-0.002):L1はスパース性を誘発します。L2 は重みの大きさを制限します。等しい損失の重み (MSE: 0.5、クロスエントロピー: 0.5) は、再構成と分類学習のバランスをとります。エポック: 200 (Attn-SVM)、300 (VWR-Attn-SVM) 過学習を避けるために早期停止 (忍耐力 = 5)。バッチサイズ64は、効率と安定性のバランスが取れています。ReduceLROnPlateau (factor=0.5、忍耐力=5-10) は、収束性を高めるために学習率 (最小 0.0001-0.0005) を調整します。
   1. アブレーション研究のデザインと比較: 比較のために次のモデルを定義します: ベースライン SVM: 放射基底関数 (RBF) カーネルを備えた従来の SVM。 Attn-SVM:機能アテンションメカニズムが強化されたSVM。VWR-Attn-SVM: Van der Waerden変換と強化された特徴量アテンションを組み合わせたSVM。
   2. 評価指標(表2):精度、精度、再現率、F1スコア、AUCを使用してモデルのパフォーマンスを評価します。
5. アテンションの可視化とモデルの解釈
   1. 主要な機能の注意の重みを視覚化する
      上位15の機能のMatplotlibバープロット:
      コードコール:
      matplotlib.pyplotをpltとしてインポートします
      top_indices = np.argsort(-avg_weights)[:15]
      top_features = [feature_names[i] for i in top_indices]
      top_weights = avg_weights[top_indices]
      plt.figure(図サイズ=(12, 8))
      plt.barh(top_features, top_weights, color='skyblue')
      plt.xlabel('アテンションウェイト')
      plt.title('トップ機能の注意の重み')
      plt.show()
   2. 正規ランク変換の影響の比較: use_rank_transform を有効にした場合と有効にしない場合に、 モデルのパフォーマンス (精度、精度、再現率、F1 スコア、AUC) を比較します。書式設定されたテーブル内の主要なメトリックの違いを強調表示します。
   3. 特徴の重要度の比較: 統計的検定 (カイ 2 乗など) によって特定された重要な特徴と注意メカニズムの間の一貫性を分析します。
      注:計算リソースが限られている場合は、ユニット数(例:32)またはエポック数(例:100)を減らします。 l1_reg/l2_reg を調整して、モデルの複雑さのバランスを取ります(値が高いほど正則化が強化されます)。

4. 複数の分類器の比較(補足ファイル2と補足ファイル3)

1. 分類子辞書を定義します。KNN、ロジスティック回帰、AdaBoost、ナイーブベイズ、RBF カーネルを使用した SVM (既定のパラメーター) など、比較用の分類器のディクショナリを作成します。
2. 結果のDataFrameを初期化します。評価メトリックを格納する 4 つの DataFrame を作成し、列 (分類器、精度、精度、再現率、F1-スコア、AUC) を作成します。
3. 分類器をトレーニングして評価します。分類子ごとに、次の手順を実行します。
   パラメーターとシードを含む分類子の例:
   コードコール:
   from sklearn.linear_model import LogisticRegression
   sklearn.svmからSVCをインポートする
   lr = ロジスティック回帰(random_state=RANDOM_SEED、max_iter=1000)
   svm = GridSearchCV(SVC(random_state=RANDOM_SEED、確率=True)、
   param_grid={'C': [0.001,0.01 1, 10,100,1000], 'ガンマ': [0.001,0.01 1, 10,100,1000],
   kernel': ['rbf', 'linear']}, cv=5, スコアリング='f1')
   注:再現性のために、すべてのモデルでrandom_state=42を使用しています。
   1. スケーリングされたトレーニング データで分類器をトレーニングします。
   2. トレーニングセットとテストセットの両方で確率を予測および計算します。
   3. 分類レポートを生成し、対応する DataFrame にメトリックを格納します。
4. 強化された特徴量アテンションSVMの結果を統合します。Attn-SVM と VWR-Attn-SVM (実験 3 から) のパフォーマンス メトリックを既存の DataFrame に組み込みます。
5. 比較結果を印刷します。トレーニング セットとテスト セットの両方で、スパム以外の電子メールとスパム メールの評価表を表示します。
6. 結果を視覚化します。 sns.barplot を使用して、分類器のパフォーマンス メトリックをプロットします。x軸ラベルを45°回転させて読みやすくします。レイアウトを最適化し、 plt.show()を使用してプロットを表示します。
   sns.barplot出力の解釈:
   コードコール:
   SEABON を SNS としてインポートする
   sns.barplot(x='分類器', y='F1-スコア', data=results)

5. トレーニング/テスト時間とメモリにおけるさまざまな分類器のマルチメトリック パフォーマンスの比較表 (補足ファイル 4)

1. データの前処理:spambase.csvまたはspam_indonesian.csvをロードします。70%のトレーニング/30%のテストセットに分割されます。MinMaxScalerで機能を標準化します。
2. モデル トレーニング: KNN、ロジスティック回帰、AdaBoost、ナイーブ ベイズ、SVM (グリッド検索付き)、Attn-SVM、VWR-Attn-SVM をトレーニングします。
3. パフォーマンス評価: 精度、精度、再現率、F1 スコア、AUC を計算します。
4. リソース分析: トレーニング時間、テスト時間、メモリ使用量を記録します。
5. 視覚化: マルチメトリックのパフォーマンスチャートとリソース消費チャートを生成します。
   キーパラメータ:ランダムシード= 42;SVM グリッド (C:[0.01,0.1,1,10,100]; gamma:[0.01,0.1,1,10,100]; kernel:['rbf','linear']);アテンション モデルは、2 層の完全接続ネットワーク、L1/L2 正則化、およびドロップアウトを使用します。
   出力: パフォーマンス テーブル、リソース テーブル、マルチメトリック グラフ、時間/メモリ グラフ、アテンション ウェイトの視覚化。

6. CNN、RNN、LSTM、またはトランスフォーマーの実験結果(補足ファイル5)

1. 前処理:spambase.csvまたはspam_indonesian.csvをロードし、必要に応じてクラスの不均衡のためにSMOTEを適用し、トレーニング/テスト(70/30)に分割します。
2. トレーニング: CNN、RNN、LSTM、トランスフォーマーを構築します。Adam(0.001)、バイナリクロスエントロピー、batch_size=32、エポック=10、早期停止(忍耐=5)、学習率スケジューリング。
3. 評価:計算精度、精度、再現率、F1、AUC。トレーニング/テスト時間とメモリ使用量を記録します。
4. 視覚化: パフォーマンスとリソースの比較プロットを生成します。CSV 結果を保存します。
5. 出力: パフォーマンス メトリック テーブル、リソース消費テーブル、比較プロット、CSV ファイル。

7. 補足コードの説明

1. コードを実行して図を複製するには、次の手順を実行します。spam.csv または spam_indonesian.csv を同じディレクトリに配置します。 pip install numpy pandas matplotlib seaborn scikit-learn tensorflow imbalanced-learn psutil を介して依存関係をインストールします。スクリプトを実行します。実行中にデータを自動的に処理し、モデルをトレーニングし、すべての数値 (ヒートマップ、パフォーマンス プロット) を生成/表示します。

Results

まず、確立された実験プロトコルに従って、 図1 は、この研究の全体的なフローチャートの概要を示しています。 図2は、実験2の操作フローチャートを順番に示したものです。さらに、 表 1 は 主にスパム メール データセット spam.csv 内の単語と文字の頻度を示しています。

モデルの性能評価に関しては、精度、精度、再現率、F1 スコア、および受信者動作特性曲線下面積 (AUC) の 5 つの主要な指標が使用されました。 表 2 は 、真陽性(TP)、偽陽性(FP)、真陰性(TN)、および偽陰性(FN)の概念を定義しています。精度と再現率の調和の手段であるF1スコアは、分類パフォーマンスのこれら2つの重要な側面のバランスをとるのに役立ちます。受信者動作特性 (ROC) 曲線は、偽陽性率 (FPR) を x 軸にプロットし、真陽性率 (TPR) を y 軸にプロットし、さまざまな決定しきい値にわたる...

Discussion

この研究では、Spambaseデータセットに基づいてVWR-Attn-SVMの有効性を検証し、スパムデータの高次元でまばらな性質に対処するための洞察を提供しました。実験により、スパム データの特徴はラベルと強い相関関係があるのはごくわずかであることが明らかになりました。従来のモデルではすべての特徴が平等に扱われ、パフォーマンスが低下しますが、このモデルのアテンションメカニズムでは、主要な特徴に動的に重みを付けることができます。Van der Waerden (VWR) ランク変換を統合した後、モデルはより高速な損失収束、より強力な一般化、バランスのとれた特徴の重みを実現し、より多くの相互作用情報をキャプチャします。テストセットで優れた分類指標を示し、リソースを節約しながら従来の方法よりも優れた性能を発揮します。その革新性は、従来の機械学習と深層学習に固有の問題を解決し、テキスト分類に新しいパラダイムを提供し、優れた解釈可能性でリソースに制約のあるシナリオに適応できることにあります。

実験操作の主なス...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
補足ファイル2:code_new.py;補足ファイル3:code_indonesian.py.
ナンピー	NumPy 開発者		Pythonによる数値計算用ライブラリ
パンダ	パンダス開発チーム		データ操作および解析のためのライブラリ
matplotlib	Matplotlib Developers		静的、アニメーション化、インタラクティブな可視化を作成するライブラリ
シーボーン	マイケル・ワスコムら。		matplotlibに基づく統計データ可視化ライブラリ
scikit-learn	scikit-learn 開発者チーム		さまざまな分類、回帰、クラスタリングアルゴリズムを備えた機械学習ライブラリ
テンソルフロー	ググる		ニューラルネットワーク構築のためのKeras APIを含むオープンソースの機械学習フレームワーク
imblearn	imbalanced-learn開発者		不均衡データセットを扱うライブラリで、オーバーサンプリング用のSMOTEも含まれます
警告	Python標準ライブラリ		警告メッセージを発信するモジュール
補足ファイル4:code_compute_time.py
ナンピー	NumPy 開発者		Python用の数値計算ライブラリ
パンダ	パンダス開発チーム		データ操作・解析ライブラリ
matplotlib	Matplotlib開発者		プロットや図の作成のための可視化ライブラリ
シーボーン	マイケル・ワスコムら。		matplotlib を基にした統計データ可視化ライブラリ
scikit-learn	scikit-learn 開発者チーム		分類、回帰、前処理ツールを備えた機械学習ライブラリ
テンソルフロー	ググる		ニューラルネットワーク用のKeras APIを用いたオープンソースの機械学習フレームワーク
imblearn	imbalanced-learn開発者チーム		不均衡データセットを扱うライブラリ(SMOTEを含む)
警告	Python標準ライブラリ		警告メッセージを発信するモジュール
時間	Python標準ライブラリ		時間関連関数のモジュール
プスティル	ジャンパオロ・ロドラ		システム情報の取得およびリソース使用状況の監視のためのライブラリ
OS	Python標準ライブラリ		オペレーティングシステムとやり取りするためのモジュール
補足ファイル5:DNN.py.
パンダ	パンダス開発チーム		データ操作・解析ライブラリ
ナンピー	NumPy 開発者		Python用の数値計算ライブラリ
時間	Python標準ライブラリ		時間関連関数のモジュール
プスティル	ジャンパオロ・ロドラ		システム情報検索およびリソース監視のためのライブラリ
matplotlib	Matplotlib開発者		プロットや図の作成のための可視化ライブラリ
scikit-learn	scikit-learn 開発者チーム		データ前処理、モデル選択、メトリクスツールを備えた機械学習ライブラリ
imblearn	imbalanced-learn開発者チーム		不均衡データセットを扱うライブラリ(SMOTEを含む)
テンソルフロー	ググる		ニューラルネットワーク構築のためのKeras APIを用いたオープンソースの機械学習フレームワーク