Van der Waerden 순위 점수를 사용한 지원 벡터 기계를 사용한 스팸 분류 주의

Summary

본 연구는 고차원 희소 스팸 데이터의 문제를 해결하고 스팸 탐지의 분류 성능을 향상시키는 것을 목표로 Van der Waerden 순위 점수 강화 기능 주의 메커니즘과 통합된 Support Vector Machine을 기반으로 하는 혁신적인 접근 방식을 제안합니다.

Abstract

이메일 사용이 확대됨에 따라 스팸은 네트워크 보안을 위협하고 통신 효율성을 저하시키는 중요한 과제가 되었습니다. 기존 탐지 방법은 지속적인 한계에 직면해 있습니다: 기존 기계 학습 모델은 고차원 희소 데이터에 어려움을 겪는 경우가 많은 반면, 딥 러닝에는 상당한 계산 리소스가 필요합니다.

이 연구에서는 이러한 문제를 해결하기 위해 Van der Waerden 순위 점수 기능 주의력 향상 지원 벡터 머신(VWR-Attn-SVM)을 소개합니다. 이 방법은 Van der Waerden 순위 변환을 적용하여 텍스트 기능을 정규화하고 이상치에 대한 견고성을 개선하고 서수 관계를 보존합니다. 향상된 주의 메커니즘은 정규화를 통한 비선형 처리를 통해 기능 선택을 더욱 최적화하여 스팸 탐지와 가장 관련성이 높은 기능을 강조합니다.

UCI Spambase 및 인도네시아 스팸 데이터 세트에 대한 실험에 따르면 VWR-Attn-SVM은 정확도, 정밀도, 재현율, F1 점수 및 AUC에서 기존 분류기보다 성능이 뛰어납니다. 고성능과 계산 비용 절감을 결합함으로써 이 방법은 스팸 분류를 위한 효율적이고 해석 가능한 솔루션을 제공하며 메시징 및 소셜 미디어와 같은 다른 텍스트 기반 플랫폼으로 확장될 가능성이 있습니다.

Introduction

인터넷과 디지털 기술의 급속한 발전을 특징으로 하는 현대 디지털 시대에 이메일은 인스턴트 메시징 및 소셜 미디어 플랫폼의 지속적인 출현과 혁신에도 불구하고 전자 거래 및 기업 커뮤니케이션 영역에서 없어서는 안 될 초석으로 남아 있습니다¹. 시간적, 공간적 경계를 초월하는 능력은 고유한 장점을 부여하여 언제든지 전 세계적으로 원활한 커뮤니케이션을 가능하게 합니다. 그러나 이러한 광범위한 채택으로 인해 스팸의 만연한 확산이라는 시급하고 해로운 문제가 발생했습니다. 악의적인 행위자는 이메일 시스템을 원치 않는 상업 광고, 악성 소프트웨어 및 불법 콘텐츠를 대량으로 배포하는 수단으로 악용했습니다. 연구에 따르면 2012년부터 2023년까지 전체 이메일 트래픽에서 전 세계 스팸의 비율은 7700^{% 급}증했습니다^2,3. 이러한 스팸의 범람은 사용자의 정상적인 이메일 작업을 심각하게 방해할 뿐만 아니라 다각적인 위협을 초래합니다. 잠재적으로 민감한 정보를 노출시켜 개인 정보를 훼손하고, 데이터 침해 및 맬웨어 감염 위험을 통해 기업 보안을 위태롭게 하며, 사기 행위를 조장하여 경제 질서를 불안정하게 만들기도 합니다^4,5. 효과적인 스팸 분류는 피싱 관련 금전적 손실을 40-60%까지 줄여 효율적이고 정확한 필터링 방법의 실질적인 가치를 강조합니다.⁶ 결과적으로 효율적이고 정확한 스팸 탐지 모델을 개발하는 것이 네트워크 보안을 보장하고 효율성을 높이기 위한 중요한 연구 영역으로 부상했습니다.

스팸 탐지에 대한 기존 연구의 상당 부분은 기계 학습 및 딥 러닝 방법론을 중심으로 이루어졌습니다. 전통적인 기계 학습 분야에서는 다양한 기술이 탐구되고 적용되었습니다. 의사결정 트리⁽⁷)와 같은 규칙 기반 방법은 데이터 특징으로부터 파생된 사전 정의된 규칙에 기초하여 분류 결정을 내리기 위해 활용되어 왔다. 여러 약한 학습자를 강한 학습자로 집계하는 부스팅 방법 ^8,9,10과 데이터의 불확실성과 부정확성을 다루는 대략적인 집합 이론¹¹도 잠재력을 보여주었습니다. 또한 로지스틱 회귀, K-최근접 이웃(KNN)^12,13, Naive Bayes 14,15,16 및 SVM 17,18,19를 포함한 통계적 방법이 널리 사용되었습니다. 이러한 접근 방식은 일반적으로 TF-IDF와 같은 전통적인 특징 추출 방법에 의존합니다. TF-IDF는 문서에서 단어의 중요성을 정량화하는 데 효과적이지만 이메일 텍스트에 내재된 복잡한 의미론적 관계와 문맥적 뉘앙스를 포착하는 데 어려움을 겪습니다. 또한 이메일 기능 공간에서 흔히 볼 수 있는 고차원적이고 희소한 데이터에 직면할 때 이러한 방법은 종종 계산 병목 현상에 직면합니다. 제한된 견고성으로 인해 훈련 과정에서 국부적 최적 솔루션에 갇히게 되어 모델의 분류 정확도와 일반화 능력이 심각하게 제한될 수 있습니다.

자동 특징 추출을 위한 놀라운 기능을 갖춘 딥 러닝은 스팸 탐지의 강력한 대안으로 부상했습니다. 컨볼루션 신경망(CNN)^20,21,22, 순환 신경망(RNN)²³ 및 장단기 기억 네트워크(LSTM)^24,25와 같은 알고리즘과 Word2vec 및 BERT^26,27과 같은 최신 트랜스포머 기반 모델은 분류 성능을 향상시키는 데 상당한 진전을 이루었습니다. CNN은 데이터에서 로컬 특징을 추출하는 데 능숙하고, RNN과 LSTM은 순차적 데이터를 잘 처리하여 텍스트의 시간적 종속성을 캡처할 수 있으며, 트랜스포머 기반 모델은 복잡한 의미론적 관계와 컨텍스트 정보를 마이닝하는 데 탁월합니다. TinyML 기반 텍스트 분류기⁽²⁸)와 같은 최근의 효율적인 NLP 방법은 스팸 분류를 위한 강력한 기준선을 제공한다. TinyML 모델은 메모리가 제한된 에지 장치에 최적화되어 있습니다. 결과 섹션에서 우리의 방법을 이러한 접근 방식과 비교하여 정확성, 계산 효율성 및 배포 유연성 간의 균형을 강조합니다. 그러나 이러한 딥 러닝 모델에는 고유한 제한 사항이 있습니다. 일반적으로 많은 수의 훈련 매개변수가 필요하므로 계산 리소스 수요가 높아지고 훈련 시간이 길어집니다. BERT와 같은 딥 러닝 모델은 기존 SVM보다 3-5배 더 많은 메모리와 10배 더 긴 훈련 시간이 필요하므로 리소스가 제한된 환경에는 적합하지 않습니다²⁹. 이로 인해 모바일 장치나 저가형 서버와 같이 리소스가 제한된 환경에 배포하는 데 덜 실용적입니다. 더욱이, 복잡한 아키텍처로 인해 해석 가능성이 떨어지는 경우가 많으며, 이는 모델의 의사 결정 프로세스를 이해하는 것이 중요한 애플리케이션에서 심각한 단점이 될 수 있습니다.

이러한 배경에서 본 연구의 가장 중요한 목표는 기존 방법의 한계를 극복하고 스팸 데이터의 고차원적이고 희박한 특성으로 인한 문제를 효과적으로 해결할 수 있는 혁신적인 접근 방식을 개발하는 것입니다. 제안된 Van der Waerden Rank Score Feature Attention-Enhanced SVM(VWR-Attn-SVM)은 스팸 탐지 성능 향상을 목표로 하는 기술의 새로운 통합을 나타냅니다(그림 1). VWR-Attn-SVM의 기본 원리는 여러 구성 요소의 장점을 결합한 독특한 디자인에 있습니다.

그림 1: VWR-Attn-SVM을 사용한 스팸 분류에 대한 전체 연구 흐름도. 이 순서도는 데이터 준비(로딩, 분할, 전처리), 실험 준비, TF-IDF 기능 레이블 통계적 상관 관계 검증, 주의 강화 SVM 기반 스팸 탐지 및 다중 분류기 비교를 포함하여 Van der Waerden 순위 점수 및 기능 주의 강화 SVM을 기반으로 하는 스팸 분류 워크플로를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

핵심 향상된 기능 주의 메커니즘은 특정 차원의 개별 이메일 샘플을 처리합니다. Van der Waerden 순위 변환을 적용하여 비정상적인 단어 빈도에 의해 왜곡된 이메일 텍스트 기능을 표준 정규 분포와 유사한 형식으로 정규화합니다. 이러한 변환은 모델의 견고성을 크게 향상시켜 이메일 데이터의 가변성을 더 잘 처리할 수 있게 해줍니다. Van der Waerden 순위 점수는 세 가지 이유로 로그 스케일링 및 분위수 변환보다 선호되었습니다: (1) 저주파 노이즈를 증폭하는 로그 스케일링과 달리 스팸 기능 이상값(예: 극단적인 단어 빈도)에 강력합니다. (2) 기능 서수 관계를 유지하는 반면("무료" 대 "승리"와 같은 스팸 지표 계층 구조에 중요함) 분위수 변환은 분포를 평평하게 합니다. (3) [0,1]로 정규화하여 주의 메커니즘 통합을 용이하게 하고 일관된 가중치를 보장합니다(그림 2).

그림 2: 실험 순서도. (A-C) 데이터 처리, 기능 선택, 모델 훈련, 평가 및 Van der Waerden 순위 점수 변환 유무에 따른 비교를 다루는 스팸 분류를 위한 워크플로입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

구조적으로 이 메커니즘은 비선형 기능 변환을 위한 2층 완전 연결 네트워크를 특징으로 합니다(그림 2). LeakyReLU 활성화 기능이 탑재된 첫 번째 레이어는 비선형성을 도입하면서 입력 차원을 줄이고 과적합을 완화하기 위해 Dropout 레이어를 통합합니다. 두 번째 계층은 시그모이드 함수를 사용하여 각 기능의 중요성을 정확하게 정량화할 수 있는 주의 가중치를 출력합니다. L1/L2 정규화 전략이 모델에 통합되어 특징 선택을 최적화하며, 여기서 L1 정규화는 희소성을 촉진하여 관련성이 낮은 특징을 효과적으로 선별하고 L2 정규화는 가중치의 크기를 제한하여 과적합을 방지합니다. 훈련 단계에서는 모델 매개변수를 최적화하기 위해 특징 재구성 손실과 분류 손실을 결합하는 다중 작업 학습 프레임워크가 채택됩니다. 이를 통해 VWR-Attn-SVM은 이메일 콘텐츠의 복잡한 특성인 이메일 텍스트의 고차원적이고 희소한 TF-IDF 기능에 정확하게 적응할 수 있습니다.

우리의 방법은 수천 개에서 만 개에 이르는 텍스트 기반 스팸 데이터 세트(예: 스팸베이스, 인도네시아 스팸 데이터 세트(보충 파일 1))에 최적화되어 있으며 훈련을 위해 표준 계산 리소스(Intel Core i7 프로세서, 16GB RAM)가 필요합니다. 추론은 표준 노트북(Intel Core i5, 8GB RAM)에서 초 미만의 대기 시간으로 실행할 수 있습니다. 주요 제약 조건에는 텍스트가 아닌 스팸(예: 이미지 포함 스팸)에 대한 제한된 성능과 구조화된 텍스트 기능에 대한 의존도가 포함됩니다. 기존 대체 기술과 비교할 때 VWR-Attn-SVM은 몇 가지 놀라운 장점을 가지고 있습니다. 기존의 머신러닝 방법과 달리 기본적인 특징 추출에만 의존하는 것이 아니라 향상된 주의 메커니즘을 통해 중요도에 따라 특징의 가중치를 적극적으로 학습하여 스팸 분류와 더 관련성이 높은 특징을 더 잘 포착합니다. 딥 러닝 모델과 달리 성능과 계산 효율성 사이의 유리한 균형을 달성합니다. 더 적은 계산 리소스와 더 짧은 훈련 시간이 필요하므로 광범위한 애플리케이션, 특히 리소스가 제한된 애플리케이션에 더 적합합니다. 이 혁신적인 접근 방식은 이메일 시스템의 스팸 탐지라는 특정 작업에 적용할 수 있을 뿐만 아니라 원치 않는 악성 콘텐츠 유포와 유사한 문제가 존재하는 인스턴트 메시징 앱, 소셜 미디어 플랫폼, SMS 서비스 등 다른 텍스트 기반 통신 채널로 확장될 수 있는 잠재력도 있습니다. 전반적으로 VWR-Attn-SVM은 스팸 탐지 분야에서 상당한 발전을 나타내며 디지털 통신 환경에서 지속적인 스팸 문제를 해결하기 위한 보다 실용적이고 효율적이며 다양한 솔루션을 제공합니다.

Protocol

1. 실험 준비(보충 파일 2 및 보충 파일 3)

1. 데이터 설명: 스팸 이메일 탐지를 위해 UCI Machine Learning 리포지토리에서 오픈 소스 스팸 데이터 세트를 로드합니다³⁰. 데이터 세트에 1,813개의 스팸(39.4%) 및 2,788개의 비스팸(60.6%) 샘플을 포함하여 57개의 연속 기능과 1개의 클래스 레이블이 있는 4,601개의 인스턴스가 포함되어 있음을 문서화합니다(표 1).
2. 라이브러리 가져오기
   1. 필수 라이브러리를 가져옵니다( 재료 표 참조).
   2. 결과의 재현성을 보장하기 위해 전역 랜덤 시드 를 42 로 설정합니다.
3. 플로팅 설정 구성: 영어 텍스트에 Times New Roman을 사용하고, 빼기 기호 표시 문제를 해결하고, 가독성을 높이기 위해 글꼴 크기를 16으로 설정합니다.

표 1: 데이터 세트 통계 및 기능 정의 요약. 이 표에는 단어 빈도(word_freq_WORD), 문자 빈도(char_freq_CHAR), 대문자 실행 길이 메트릭 및 대상 클래스 변수를 포함한 스팸 분류 변수가 각 변수 유형 및 의미에 대한 설명과 함께 나와 있습니다. 이 표를 다운로드하려면 여기를 클릭하십시오.

2. TF-IDF 기능과 라벨 간의 통계적 연관성을 검증하기 위한 실험(보충 파일 2 및 보충 파일 3)

1. 데이터 전처리
   1. 데이터 세트 로드(보충 파일 1): 첫 번째 데이터 세트: spambase.csv; 두 번째 데이터 세트: spam_indonesian.csv.
   2. 스팸 및 스팸이 아닌 이메일 라벨의 분포를 조사하고 각 범주의 비율을 계산합니다.
   3. 다가오는 카이제곱 검정의 임계값으로 평균을 사용하여 이러한 특징을 이진화합니다.
      참고: 스팸 파일이 올바른 작업 디렉토리에 있는지 확인하거나 read 명령을 사용할 때 전체 파일 경로를 제공하십시오.
2. 데이터 테스트 전처리(보충 파일 2 및 보충 파일 3)
   1. 이진화된 TF-IDF 기능에 대한 카이제곱 테스트에 sklearn.feature_selection.chi2 를 사용합니다.
      코드 호출:
      sklearn.feature_selection 가져오기 CHI2에서
      chi2_values, p_values = chi2(df_binary, df['스팸'])
      significant_features_chi2 = [feature_cols[i] np.where(p_values < 0.05)[0]]
      print(f"중요한 기능 수: {len(significant_features_chi2)}")
      예상 출력: '무료' 또는 '삭제'와 같은 키워드를 포함하여 스팸 라벨과 통계적으로 연관성이 있는 기능의 하위 집합(예: 57개 중 35개)입니다.
   2. sklearn.feature_selection.f_classif를 사용하여 구현을 수행합니다.
      코드 호출:
      sklearn.feature_selection 가져오기 f_classif에서
      f_values, f_p_values = f_classif(df[feature_cols], df['스팸'])
      significant_features_f = [feature_cols[i] np.where(f_p_values < 0.05)[0]]
      print(f"유지된 기능: {len(significant_features_f)}")
      참고: 이것은 일반적으로 40-50개의 특징(데이터 세트에 따라 다름)을 유지하며 카이제곱 결과와 부분적으로 겹칩니다.
      통계 테스트를 실행하기 전에 정확한 결과를 보장하기 위해 데이터 형식과 매개변수를 확인하십시오.
3. 시각화
   1. 카이제곱 검정 결과에서 p-값이 가장 작은 상위 20개 특징을 선택합니다.
   2. seaborn.heatmap을 사용하여 생성:
      코드 호출:
      Seaborn을 SNS로 가져오기
      top_indices = np.argsort(p_values)[:20]
      top_features = [feature_cols[i] 상위 $\_$인덱스의 i에 대해]
      corr_matrix = df[top_features + ['스팸']].corr()
      plt.figure(그림 크기=(12, 10))
      sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
      plt.show()를 사용합니다.
      참고: 예상 패턴: 스팸 관련 기능이 빨간색으로 스팸 레이블이 있는 클러스터(양의 상관관계).

3. 스팸 탐지를 위한 주의 강화 SVM 분류(보충 파일 2 및 보충 파일 3)

1. 데이터 전처리
   1. 데이터 로딩: sklearn.model selection.train 테스트를 사용하여 데이터를 분할합니다. 고정 시드가 있는 테스트 분할:
      코드 호출:
      sklearn.model 선택 가져오기 기차 테스트 분할에서
      X 기차, X 테스트, y 기차, y 테스트 = 기차 테스트 분할(X, y, 테스트 크기=0.3, 랜덤 상태=42)
   2. 표준화 및 클래스 밸런싱: imblearn.over 샘플링을 통해 구현합니다. SMOTE(합성 소수 오버샘플링 기법(SMOTE)³¹):
      코드 호출:
      imblearn.over에서 샘플링 가져오기 SMOTE
      # 기본값: 샘플링 전략='auto', k neighbors=5
      smote=SMOTE(랜덤 상태=42)
      X 기차 smote, y 기차 smote = smote.fit resample(X 기차, y 기차)
      클래스 분포의 균형을 맞춥니다(예: 85:15에서 50:50까지).
2. 향상된 기능 주의 모델 아키텍처: 다층 비선형 변환을 통해 기능 중요도 가중치를 학습하는 메커니즘을 설계합니다. 중요한 기능에 더 높은 주의 가중치를 할당하여 영향력을 강화하세요.
   1. 기능 전처리(선택 사항)
      1. Van der Waerden 정규 순위 변환을 입력 특성에 적용합니다. 원시 특징을 대략적인 정규 분포로 변환하여 모델 견고성을 개선합니다. 다음 공식을 사용합니다.
         
         여기서 x 는 샘플의 TF-IDF 특징 벡터를 나타내고, R(x)은 특징 값의 순위, d 는 벡터 길이(d=57), ^φ-1 은 표준 정규 분포의 역누적 분포 함수입니다.
         참고: use_rank_transform (부울) 매개변수를 사용하여 기능 처리에 대한 일반 순위 변환의 활성화를 제어합니다.
   2. 다층 비선형 변환: 2층 완전 연결 네트워크를 통해 특징의 비선형 표현을 학습합니다.
      1. 첫 번째 계층 변환: 다음 공식을 사용합니다.
         
         여기서 W₁ R^k×d 및 k=64(숨겨진 뉴런).
         LeakyReLU를 사용하여 Keras에서 구현:
         코드 호출:
         tensorflow.keras.layers에서 Dense 가져오기
         self.dense1=Dense(단위=64, VWR-Attn-SVM의 경우 # 256
         activation='leaky relu', # 기본 음의 기울기=0.01
         커널 정규화기=정규화자.l1 l2(l1=0.0002, l2=0.0002))
         참고: 과적합을 방지하기 위해 드롭아웃률이 0.2인 드롭아웃 레이어를 추가합니다.
      2. 두 번째 계층 변환: Sigmoid를 사용하여 두 번째 레이어 변환을 적용하여 [0,1] 범위의 주의 가중치를 생성합니다. 다음 공식을 사용합니다.
         
         여기서 W₂ R^d×k 및 R ^k는 각 기능에 대한 주의 가중치입니다. SoftMax 대신 Sigmoid를 선택하여 여러 기능의 중요성에 대한 독립성을 유지합니다.
         주의력 가중치에 Keras Sigmoid 활성화를 적용합니다.
         코드 호출:
         self.dense2 = Dense(입력 모양[-1], 활성화='시그모이드',
         커널 정규화기=정규화자.l1 l2(l1=0.0002, l2=0.0002))
   3. 기능 가중치: 주의 가중치를 사용하여 요소별 곱셈을 수행하여 중요한 기능을 향상시킵니다. 다음 공식을 사용합니다.
      
      여기서 는 요소별 곱셈을 나타냅니다.
3. 향상된 기능 주의 모델 학습
   1. 다중 작업 목표 최적화: 재구성 손실과 교차 엔트로피 손실을 결합한 가중 손실 함수를 최소화하여 모델을 훈련합니다. 주의 메커니즘이 분류 관련 기능에 초점을 맞추면서 중요한 정보를 유지하는지 확인합니다. 다음 공식을 사용합니다.
      
      평균 제곱 오차 손실 활용
      입력 기능을 재구성하고 교차 엔트로피 손실을 적용하기 위해
      분류 작업으로.
      PyTorch에서 사용자 지정 다중 작업 손실 구현: alpha=0.5인 Keras의 사용자 지정 손실:
      코드 호출:
      model.compile(옵티마이저='아담',손실={
      'enhanced_feature_attention':'mse','분류':
      'binary_crossentropy'},loss_weights={
      'enhanced_feature_attention': 0.5, '분류': 0.5})
      알파=0.5는 기능 재구성(MSE)과 분류(교차 엔트로피)의 균형을 유지하여 50-100 에포크 내에서 안정적인 수렴을 유도합니다.
      참고: L1/L2 혼합 정규화(탄성 네트, 기본 강도 0.001)를 완전히 연결된 레이어 모두에 적용하여 기능 선택 및 일반화를 향상시킵니다.
   2. 매개변수 설정: 가중치 계수 α를 설정하여 두 손실의 상대적 중요도를 제어하고 코드에서 α = 0.5를 사용합니다. 배치 크기를 64로 구성하고, 에포크 수를 200으로 설정하고, 검증 세트에 데이터의 10%를 할당합니다.
   3. 콜백 함수를 추가합니다.
      Keras 콜백을 기본 매개변수로 사용합니다.
      코드 호출:
      tensorflow.keras.callbacks에서 EarlyStopping, ReduceLROnPlateau 가져오기
      콜백 = [EarlyStopping(monitor='val_loss', 인내=5, 모드='min', restore_best_weights
      =True), ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=5, min_lr=0.0005, verbose=1)]
      1. EarlyStopping 콜백을 통합하여 검증 손실이 5회 연속 에포크 동안 개선되지 않을 때 훈련 프로세스를 중지합니다.
      2. 학습 속도를 적응적으로 조정하기 위해 ReduceLROnPlateau 콜백을 추가합니다. 감쇠 계수를 0.5로 설정하고 최소 학습률을 0.0002로 설정합니다.
   4. 주의 가중치 기능 생성: 훈련 후 향상된 기능 주의 계층에서 주의 가중치를 추출합니다. 훈련 및 테스트 세트 모두에 대해 가중치 특징을 생성합니다. 이러한 기능을 SVM 분류기에 공급합니다.
4. 모델 평가
   참고: 70-30 훈련 테스트 분할은 훈련과 평가의 균형을 유지합니다. SMOTE는 클래스 불균형을 해결하여 불균형한 텍스트 데이터의 성능을 향상시킵니다. MinMaxScaler는 거리 기반 모델을 안정화합니다. 단위: 64(Attn-SVM) 및 128(VWR-Attn-SVM) 저울 용량; 128은 Van-der-Waerden 순위 변환 복잡성을 수용합니다. 드롭아웃(0.2)은 중소 규모 데이터 세트의 표준인 과적합을 방지합니다. L1/L2 정규화(0.0002-0.002): L1은 희소성을 유도합니다. L2는 가중치 크기를 제한합니다. 동일한 손실 가중치(MSE: 0.5, 교차 엔트로피: 0.5)는 재구성과 분류 학습의 균형을 맞춥니다. 에포크: 200(Attn-SVM), 300(VWR-Attn-SVM) 과적합을 방지하기 위해 조기 중지(인내=5). 배치 크기 64는 효율성과 안정성의 균형을 유지합니다. ReduceLROnPlateau(계수=0.5, 인내심=5-10)는 더 나은 수렴을 위해 학습률(최소 0.0001-0.0005)을 조정합니다.
   1. 절제 연구 설계 및 비교: 비교를 위해 다음 모델을 정의합니다: 기준선 SVM: RBF(Radial Basis Function) 커널이 있는 기존 SVM; Attn-SVM: 향상된 기능 주의 메커니즘을 갖춘 SVM; VWR-Attn-SVM: Van der Waerden 변환과 향상된 기능 주의를 결합한 SVM.
   2. 평가 지표(표 2): 정확도, 정밀도, 재현율, F1 점수 및 AUC를 사용하여 모델 성능을 평가합니다.
5. 주의 시각화 및 모델 해석
   1. 주요 기능의 주의력 가중치 시각화
      상위 15개 기능에 대한 Matplotlib barplot:
      코드 호출:
      matplotlib.pyplot을 plt로 가져오기
      top_indices = np.argsort(-avg_weights)[:15]
      top_features = [feature_names[i] top_indices의 i]
      top_weights = avg_weights[top_indices]
      plt.figure(그림 크기=(12, 8))
      plt.barh(top_features, top_weights, 색상='하늘색')
      plt.xlabel('주의 가중치')
      plt.title('상위 기능 주의 가중치')
      plt.show()를 사용합니다.
   2. 정규 순위 변환의 영향 비교: use_rank_transform를 사용하도록 설정 한 경우와 사용하지 않은 경우 모델 성능(정확도, 정밀도, 재현율, F1 점수, AUC)을 비교합니다. 형식이 지정된 테이블에서 주요 메트릭 차이를 강조 표시합니다.
   3. 특징 중요도 비교: 통계적 테스트(예: 카이제곱)로 식별된 중요한 특징과 주의 메커니즘 간의 일관성을 분석합니다.
      참고: 계산 리소스가 제한된 경우 단위 수(예: 32개) 또는 에포크(예: 100개)를 줄입니다. 모델 복잡성의 균형을 맞추기 위해 l1_reg/l2_reg 조정합니다(값이 높을수록 정규화가 향상됨).

4. 여러 분류자의 비교(보충 파일 2 및 보충 파일 3)

1. 분류자 사전을 정의합니다. KNN, 로지스틱 회귀, AdaBoost, Naive Bayes 및 RBF 커널을 사용하는 SVM(기본 매개 변수)을 포함하여 비교를 위한 분류자 사전을 만듭니다.
2. 결과 DataFrame을 초기화합니다. 분류자, 정확도, 정밀도, 재현율, F1-점수 및 AUC 열과 함께 평가 메트릭을 저장할 4개의 DataFrame을 만듭니다.
3. 분류자를 학습하고 평가합니다. 각 분류자에 대해 다음 단계를 수행합니다.
   매개 변수 및 시드가 있는 분류자의 예:
   코드 호출:
   from sklearn.linear_model import LogisticRegression
   sklearn.svm에서 SVC 가져오기
   lr = 로지스틱 회귀(random_state=RANDOM_SEED, max_iter=1000)
   svm = GridSearchCV(SVC(random_state=RANDOM_SEED, 확률=참),
   param_grid={'C': [0.001,0.01 1, 10,100,1000], '감마': [0.001,0.01 1, 10,100,1000],
   커널': ['rbf', '선형']}, cv=5, 점수='f1')
   참고: 모든 모델은 재현성을 위해 random_state=42를 사용합니다.
   1. 스케일링된 학습 데이터에 대해 분류자를 학습합니다.
   2. 훈련 및 테스트 세트 모두에서 확률을 예측하고 계산합니다.
   3. 분류 보고서를 생성하고 해당 DataFrame에 메트릭을 저장합니다.
4. 향상된 기능 주의 SVM 결과를 통합합니다. Attn-SVM 및 VWR-Attn-SVM(실험 3)의 성능 메트릭을 기존 DataFrame에 통합합니다.
5. 비교 결과를 인쇄합니다. 학습 및 테스트 세트 모두에서 스팸이 아닌 이메일 및 스팸 이메일에 대한 평가 테이블을 표시합니다.
6. 결과를 시각화합니다. sns.barplot 을 사용하여 분류기 성능 메트릭을 표시합니다. 가독성을 위해 x축 라벨을 45° 회전합니다. 레이아웃을 최적화하고 plt.show()를 사용하여 플롯을 표시합니다.
   sns.barplot 출력 해석:
   코드 호출:
   Seaborn을 SNS로 가져오기
   sns.barplot(x='분류기', y='F1-점수', 데이터=결과)

5. 훈련/테스트 시간 및 메모리에서 다양한 분류기의 다중 메트릭 성능 비교 차트(보충 파일 4)

1. 데이터 전처리: 로드 spambase.csv 또는 spam_indonesian.csv; 70% 훈련/30% 테스트 세트로 나뉩니다. MinMaxScaler로 기능을 표준화합니다.
2. 모델 학습: KNN, 로지스틱 회귀 분석, AdaBoost, Naive Bayes, SVM(그리드 검색 포함), Attn-SVM 및 VWR-Attn-SVM을 학습합니다.
3. 성능 평가: 정확도, 정밀도, 재현율, F1 점수 및 AUC를 계산합니다.
4. 리소스 분석: 훈련 시간, 테스트 시간 및 메모리 사용량을 기록합니다.
5. 시각화: 다중 메트릭 성능 차트 및 리소스 소비 차트를 생성합니다.
   주요 매개변수: 임의 시드=42; SVM 그리드(C:[0.01,0.1,1,10,100]; 감마:[0.01,0.1,1,10,100]; 커널:['rbf','선형']); 어텐션 모델은 2계층 완전 연결 네트워크, L1/L2 정규화 및 드롭아웃을 사용합니다.
   출력: 성능 테이블, 리소스 테이블, 다중 메트릭 차트, 시간/메모리 차트, 주의 가중치 시각화.

6. CNN, RNN, LSTM 또는 Transformers의 실험 결과(보충 파일 5)

1. 전처리: spambase.csv 또는 spam_indonesian.csv 로드하고, 필요한 경우 클래스 불균형에 대해 SMOTE를 적용하고, 트레인/테스트(70/30)로 분할합니다.
2. 훈련: CNN, RNN, LSTM, 트랜스포머 구축; Adam(0.001), 이진 교차 엔트로피, batch_size=32, epochs=10, 조기 중지(인내=5) 및 학습률 스케줄링.
3. 평가: 정확도, 정밀도, 재현율, F1, AUC 계산; 학습/테스트 시간 및 메모리 사용량을 기록합니다.
4. 시각화: 성능 및 리소스 비교 플롯을 생성합니다. CSV 결과를 저장합니다.
5. 출력: 성능 메트릭 테이블, 리소스 소비 테이블, 비교 플롯, CSV 파일.

7. 추가 코드 지침

1. 코드를 실행하고 그림을 복제하려면: spam.csv 또는 spam_indonesian.csv 동일한 디렉터리에 배치합니다. pip install numpy pandas matplotlib seaborn scikit-learn tensorflow imbalanced-learn psutil을 통해 종속성을 설치합니다. 스크립트를 실행합니다. 실행 중에 자동으로 데이터를 처리하고, 모델을 훈련하고, 모든 수치(히트맵, 성능 플롯)를 생성/표시합니다.

Results

시작하기 위해 확립된 실험 프로토콜에 따라 그림 1 은 이 연구의 전체 순서도에 대한 개요를 제공합니다. 그림 2는 실험 2의 작업 흐름도를 순차적으로 보여줍니다. 또한 표 1은 주로 스팸 이메일 데이터 세트 spam.csv 내의 단어 및 문자 빈도를 나타냅니다.

모델 성능 평가와 관련하여 정확도, 정밀도, 재현율, F1 점수 및 수신기 작동 특성 곡선 아래 면적(AUC)의 5가지 주요 지표가 사용되었습니다. 표 2는 TP(참 긍정), FP(거짓 긍정), TN(참 부정) 및 FN(거짓 부정)의 개념을 정의합니다. 정밀도와 재현력의 조화로운 수단인 F1 점수는 분류 성능의 이 두 가지 중요한 측면의 균형을 맞추는 역할을 합니다. x축에 FPR(False Positive Rate)이 표시되고 y축에 TPR(True P...

Discussion

본 연구는 스팸베이스 데이터 세트를 기반으로 VWR-Attn-SVM의 효과를 검증하여 스팸 데이터의 고차원 및 희소성을 해결하기 위한 통찰력을 제공했습니다. 실험 결과 스팸 데이터의 몇 가지 기능만이 레이블과 강한 상관관계가 있는 것으로 나타났습니다. 기존 모델은 모든 기능을 동등하게 처리하여 성능이 저하되는 반면, 이 모델의 주의 메커니즘은 주요 기능에 동적으로 가중치를 부여할 수 있습니다. VWR(Van der Waerden) 순위 변환을 통합한 후 모델은 더 빠른 손실 수렴, 더 강력한 일반화, 균형 잡힌 기능 가중치를 달성하고 더 많은 상호 작용 정보를 캡처합니다. 테스트 세트에서 우수한 분류 지표를 보여 리소스를 절약하면서 기존 방법보다 성능이 뛰어납니다. 그 혁신은 전통적인 기계 학습 및 딥 러닝의 고유한 문제를 해결하고, 텍스트 분류를 위한 새로운 패러다임을 제공하며, 우수한 해석 가능성으로 리소스가 제한된 시나리오에 적응할 수 있다는 데 있습니다.

...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Supplement File 2: code_new.py; 보충 파일 3: code_indonesian.py.
정말	넘피 개발자들		파이썬 수치 계산 라이브러리
팬더	판다스 개발 팀		데이터 조작 및 분석을 위한 라이브러리
matplotlib	Matplotlib 개발자들		정적, 애니메이션, 인터랙티브 시각화를 만드는 라이브러리
씨본	마이클 와스콤 외		matplotlib 기반의 통계 데이터 시각화 라이브러리
시킷-학습	scikit-learn 개발자 팀		다양한 분류, 회귀, 클러스터링 알고리즘을 포함한 머신러닝 라이브러리
텐서플로우	구글		신경망 구축을 위한 Keras API를 포함한 오픈 소스 머신러닝 프레임워크
imblearn	imbalanced-learn 개발자들		불균형 데이터셋을 다루는 라이브러리, 과잉 샘플링을 위한 SMOTE를 포함
경고	파이썬 표준 라이브러리		경고 메시지 발신용 모듈
Supplemental File 4: code_compute_time.py
정말	넘피 개발자들		파이썬용 수치 계산 라이브러리
팬더	판다스 개발 팀		데이터 조작 및 분석 라이브러리
matplotlib	Matplotlib 개발자		그래프와 도표 생성을 위한 시각화 라이브러리
씨본	마이클 와스콤 외		matplotlib 기반 통계 데이터 시각화 라이브러리
시킷-학습	scikit-learn 개발자 팀		분류, 회귀, 전처리 도구가 포함된 머신러닝 라이브러리
텐서플로우	구글		신경망용 Keras API를 사용한 오픈 소스 머신러닝 프레임워크
imblearn	imbalanced-learn 개발자 팀		불균형 데이터셋 처리 라이브러리(SMOTE 포함)
경고	파이썬 표준 라이브러리		경고 메시지 발신용 모듈
시간	파이썬 표준 라이브러리		시간 관련 함수용 모듈
프수틸	잠파올로 로돌라		시스템 정보 조회 및 자원 사용 모니터링을 위한 라이브러리
운영 체제	파이썬 표준 라이브러리		운영체제와 상호작용하는 모듈
Supplemental File 5: DNN.py.
팬더	판다스 개발 팀		데이터 조작 및 분석 라이브러리
정말	넘피 개발자들		파이썬용 수치 계산 라이브러리
시간	파이썬 표준 라이브러리		시간 관련 함수용 모듈
프수틸	잠파올로 로돌라		시스템 정보 검색 및 자원 모니터링을 위한 라이브러리
matplotlib	Matplotlib 개발자		그래프와 도표 생성을 위한 시각화 라이브러리
시킷-학습	scikit-learn 개발자 팀		데이터 전처리, 모델 선택 및 지표 도구를 갖춘 머신러닝 라이브러리
imblearn	imbalanced-learn 개발자 팀		불균형 데이터셋 처리 라이브러리(SMOTE 포함)
텐서플로우	구글		신경망 구축을 위한 Keras API를 활용한 오픈소스 머신러닝 프레임워크