심장병 예측을 위한 앙상블 머신러닝 접근법의 비교 평가

Summary

이 프로토콜은 공개적으로 접근 가능한 벤치마크 데이터를 재현 가능한 전처리 및 평가 구조 내에서 심장병 예측을 위한 앙상블 머신러닝 모델을 생성하고 평가하는 계산 과정을 개괄합니다.

Abstract

이 논문은 심장병 예측에서 앙상블 러닝 알고리즘을 하나의 틀 안에 결합하여 심장병 예측에 대한 계산적 벤치마킹 평가를 제시합니다. 평가는 Kaggle 저장소(https://www.kaggle.com/datasets/sid321axn/heart-statlog-cleveland-hungary-final)에서 공개된 심혈관 데이터셋을 사용하여 수행되었으며, 1,190건의 사례와 11개의 임상 특징을 포함하고 있습니다. 이 과정은 데이터 전처리를 포함하며, 여기에는 누락된 값을 처리하고, 이상치 제거하며, 변수 스케일링 및 클래스 밸런싱을 통해 무작위 포레스트(RF)를 기반으로 한 균일한 입력 특징 선택을 보장합니다. 평가된 모델 중에서 스태킹 앙상블 분류기는 테스트 데이터셋에서 91.88%의 최고 전체 정확도를 기록했습니다. 비교 분석을 위해 정밀도, 회상율, F1 점수와 같은 추가 지표가 계산되었지만, 본 연구의 중점은 임상 검증보다는 방법론적 벤치마킹에 중점을 두고 있습니다.

Decision Tree, Random Forest, AdaBoost, XGBoost 등 다양한 기본 분류기가 독립적으로 적용되고 테스트됩니다. 이 모델들은 하드 투표, 소프트 투표, 스태킹 등 앙상블 기법을 사용하여 결합됩니다. 스태킹에서는 로지스틱 회귀가 메타 모델로 사용되며, 이는 과적합을 방지하기 위해 아웃 오브 폴드 샘플의 교차 검증된 예측을 기반으로 훈련됩니다.

평가는 정확성을 주요 비교 기준으로 사용하여 개별 분류 시스템과 그 조합 전략을 동일한 전처리 및 검증 환경에서 균일하게 비교할 수 있도록 합니다. 비교 적응증을 위해 성과 지표가 제공되지만, 이 접근법의 중점은 임상 평가보다는 전략의 개발과 평가에 있습니다.

이 프로토콜은 공개된 심혈관 데이터셋에서 앙상블 머신러닝 알고리즘을 비교하기 쉽게 하며, 데이터 전처리와 앙상블 구성 접근법의 체계적인 비교를 돕습니다.

Introduction

공개적으로 이용 가능한 심혈관 질환 데이터셋은 분류 알고리즘 및 예측 모델^{링 기법} 평가를 위한 벤치마크 문제로 널리 사용되고 있습니다. 임상 및 인구통계학적 속성을 포함하는 이러한 데이터셋은 통제된 실험 조건 하에서 전처리 전략, 특징 선택 방법, 앙상블 학습 아키텍처를 비교할 표준화되고 재현 가능한 기반을 제공합니다. 따라서 임상 추론이나 실제 배포를 지원하기보다는 알고리즘 행동을 평가하는 데 흔히 사용됩니다.

이전 연구들은 로지스틱 회귀(LR), 지지 벡터 기계(SVM), 랜덤 포레스트(RF), 그리고 6,7,8,9 구배 부스트 모델 등 심혈관 질환 예측을 위한 다양한 기계 학습 기법을 살펴보았습니다. 최근에는 하드 투표, 소프트 투표, 스태킹과 같은 앙상블 학습 기법에 초점을 맞추어 모델을 더 안정시키고 성능을 향상시키는 연구가^{있습니다. 10, 11, 12, 13, 14}. 하지만 데이터 준비 방식, 특징 처리 방식, 검증 방식, 결과 측정 방식의 차이 때문에 직접 보고된 결과를 비교하기가 어렵습니다. 문헌에서 흔히 보고되는 심혈관 질환 범주에 대한 고차원적 맥락적 개요를 제공하기 위해, 그림 1에 개념적 예시가 제시되어 있습니다.

그림 1: 일반적으로 보고된 심혈관 질환 범주의 개념적 예시로, 맥락적 배경만을 위해 포함됨. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 1 은 고수준 맥락적 참고용으로만 포함되며, 본 연구에서 분석된 데이터셋이나 제안된 계산 프로토콜의 출력에서 파생된 데이터를 나타내지 않습니다.

특히, 많은 기존 연구들은 특징 선택 타이밍, 클래스 밸런싱, 앙상블 구성^{15, 16, 17, 18}과 같은 개별 방법론적 요소의 기여를 명확히 분리하지 않고 수행 결과를 강조합니다. 이러한 변동성은 공개된 데이터셋에 대해 일관된 전처리 파이프라인과 평가 프로토콜을 사용하여 앙상블 머신러닝 기법을 체계적으로 평가하는 재현 가능한 벤치마킹 프레임워크의 필요성을 강조합니다.

특히 스태킹 기법을 포함한 앙상블 학습 접근법은 표준화된 전처리 및 검증 조건에서 개별 기본 분류기보다 분류 정확도가 향상되고 클래스별로 균형 잡힌 성능을 보일 것으로 추정됩니다.

따라서 본 연구의 목적은 공개된 Kaggle 데이터셋을 사용하여 심혈관 질환 예측을 위한 앙상블 머신러닝 접근법의 계산 벤치마킹 분석을 수행하는 것입니다. 이 과정에는 표준화된 데이터 전처리, 특성의 중요성을 순위 매기기 위한 랜덤 포레스트 알고리즘 사용, 그리고 하드 투표, 소프트 투표, 스태킹 등 다양한 앙상블 기법의 활용이 포함됩니다. 로지스틱 회귀는 스택에서 메타분류기 알고리즘으로 사용됩니다. 이는 교차 검증된 예측을 사용하여 과적합이 발생하지 않도록 보장합니다.

이 연구는 엄격히 공개 데이터셋 벤치마킹 조사를 목적으로 합니다. 연구 결과는 단일 데이터셋에 의존하고 데이터셋 특이적 편향이 있을 수 있어 임상 검증이나 배포를 의미하지 않습니다. 임상 적용을 고려하기 전에 독립적인 데이터셋을 이용한 외부 검증과 전향적 평가가 필요합니다.

다음 연구 질문들이 이 연구를 안내합니다:

이 연구는 하드보팅, 소프트 투표, 스태킹 등 다양한 앙상블 머신러닝 접근법이 공개된 심혈관 질환 데이터셋에 적용될 때 분류 정확도 측면에서 어떻게 비교되는지 살펴봅니다.

Protocol

이 프로토콜은 공개된 심혈관 질환 데이터셋을 사용하여 앙상블 머신러닝 모델을 벤치마킹하는 재현 가능한 계산 워크플로우를 설명했습니다.

데이터셋 선택
이 연구는 Kaggle 저장소에서 얻은 공개된 심혈관 질환 데이터셋을 활용했습니다. 데이터셋은 1190개의 인스턴스로 구성되었으며 11개의 특징을 포함했습니다. 모델 훈련에는 데이터의 80%가 사용되었고, 나머지 20%는 성능 평가에 할당되었습니다. 표 1은 데이터셋 특징에 대한 상세한 설명을 제시했습니다. 데이터셋은 pandas 라이브러리(버전 1.5.3)를 사용하여 파이썬(버전 3.9)에 로드되었습니다. 데이터셋의 무결성은 누락된 값, 중복 기록, 일관성 없는 데이터 타입을 검토하여 검증되었습니다.

표 1은 심혈관 질환 데이터셋에 포함된 인구통계학, 임상, 실험 속성과 데이터 유형 및 인코딩 형식을 요약합니다. 이 특징들은 이후 모든 모델 훈련 및 평가 절차의 입력 변수가 되었습니다.

슬. 아니요	기능 이름	데이터 타입	설명
1	연식	수치	환자의 나이는 연수로 측정됩니다.
2	성	명목상	남성은 1, 여성은 0으로 표기되었습니다.
3	흉통 유형	범주적	1: 일반적인 2: 일반적인 협심증 3: 비협심증 통증 4: 무증상
4	안정 시 혈압	수치	정지 시 혈압은 수은(mmHg) 단위로 측정됩니다.
5	콜레스테롤 수치	수치	혈청 콜레스테롤 수치(mg/dL) 단위는 밀리그램 퍼 데실리터(mg/dL)입니다.
6	공복 혈당	명목상	공복 시 혈당 수치가 120 mg/dl 이상일 경우 진짜 1, 위일 경우 0으로 표시됩니다.
7	안정 심전도	범주적	세 가지 값이 할당됩니다: 정상은 0, ST-T 파 이상 1은 1, 좌심실 비대는 2.
8	최대 심박수	수치	도달한 최고 심박수
9	운동 협심증	명목상	운동으로 유발되는 협심증으로, 0은 NO, 1은 Yes를 의미합니다.
10	올드피크	수치	운동 중 ST-우울함과 휴식 상태의 비교.
11	ST 경사면	범주적	피크 운동 중 ST 구간 경사는 다음과 같이 분류됩니다: 0: 정상 1: 상승 경사 2: 평면 3: 하강 경사

표 1: 심장병 예측에 사용되는 데이터셋 특징 설명.

데이터 전처리
데이터 전처리는 파이썬 라이브러리를 사용하여 수행되었습니다. 누락된 값이 포함된 행은 판다를 사용해 제거했습니다. DataFrame.dropna() 함수. 수치 특징의 이상치는 사분방수 범위(IQR) 방법과 박스플롯 기반 시각화를 사용하여 식별 및 제거하였으며, 이는 특징 전반에 걸쳐 분포와 검출된 이상치를 보여줍니다(그림 2). 모든 수치 변수는 scikit-learn 라이브러리(버전 1.2.2)의 StandardScaler 함수를 사용하여 스케일링되었습니다. 클래스 불균형은 모델 학습 전에 무작위 언더샘플링을 통해 균형 잡힌 클래스 분포를 얻기 위해 해결되었습니다.

그림 2: 심혈관 질환 데이터셋 내 모든 속성의 박스플롯. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

피어슨 상관계수(PCC)를 사용하여 특징 간 관계를 평가하였습니다. 결과 상관 행렬은 히트맵으로 시각화되어 쌍별 특징 상관관계의 강도와 방향을 보여주며, 중복된 속성을 제거해야 함을 강조합니다(그림 3).

그림 3: 심장병 데이터셋의 상관 행렬. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

이 모델은 미적으로 보기 좋은 상관 행렬의 히트맵을 생성하며, 데이터 내 다양한 특징 간의 상관관계를 더 빠르게 이해할 수 있게 합니다. 이 히트맵은 색상을 사용해 어느 정도, 어떤 방향으로 상관관계가 있는지 보여주며, 탐색적 데이터 분석에서 중요한 도구입니다. 밝은 색은 더 높은 양의 상관관계를 보여주고, 어두운 색은 음의 상관관계가 더 크며, 녹색은 거의 0에 가까운 상관관계를 보입니다.

특징 추출
특징 선택은 오픈 소스 머신러닝 라이브러리의 RandomForestClassifier를 통해 구현된 랜덤 포레스트 특징 중요도를 사용하여 수행되었습니다. 특징 중요도 점수는 불순물 평균 감소량을 기준으로 계산되었고, 특징들은 이에 따라 순위가 매겨졌습니다. 상위 N순위의 특징들은 후속 분석을 위해 유지되었습니다. 특징 선택은 모든 전처리 단계가 완료된 후 열차-테스트 분할 전에 적용되어, 모든 분류 모델과 앙상블 구성에서 고정되고 일관된 특징 집합이 사용되도록 보장했습니다(그림 4).

그림 4: 랜덤 포레스트 특징 중요도를 이용해 계산된 특징 중요도 점수. 특징은 정규화된 중요도 값에 따라 순위가 매겨집니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

특징은 무작위 숲 특징 중요도를 기준으로 불순물 평균 감소량을 기준으로 순위가 매겨졌으며, random_state = 42였다; 그러나 사용 가능한 모든 특징(N = 11)은 이후 모델 훈련을 위해 유지되었습니다. 특징 선택은 전처리 후 트레인-테스트 분할 전에 적용되어 모든 모델에 고정된 특징 집합을 보장했습니다.

모델 훈련과 앙상블 구성
데이터셋은 train_test_split() 함수를 사용하여 80:20 분할 비율로 훈련 및 테스트 하위 집합으로 나뉘었습니다. 훈련 데이터는 모델 개발과 앙상블 구축에만 전적으로 사용되었고, 테스트 데이터는 성능 평가에 할당되었습니다. Decision Tree, Random Forest, AdaBoost, XGBoost 등 기본 분류기는 별도의 명시가 없는 한 기본 하이퍼파라미터 설정을 사용해 훈련 데이터셋에서 학습되었습니다.

객관적 비교를 위해 모든 기본 분류기에 동일한 가중치를 부여한 하드보팅 및 소프트 투표 앙상블 모델이 VotingClassifier를 사용하여 구축되었습니다. 스택 앙상블 모델은 메타분류기로 로지스틱 회귀를 사용하여 구현되었습니다. 메타 분류기는 기본 분류기의 5배 교차 검증을 통해 생성된 아웃-오-오-폴드 예측을 기반으로 학습되어 과적합을 줄이고 앙상블 성능의 편향 없는 추정을 가능하게 했습니다.

제안된 모델
제안된 앙상블 프레임워크는 여러 앙상블 학습 전략을 사용하여 복합 분류기를 구성하기 위해 구현되었습니다. 모든 훈련 데이터는 표준화되었고, 훈련과 평가 단계 간의 일관성을 보장하기 위해 동일한 전처리 단계가 테스트 데이터에 적용되었습니다. 기본 분류기는 하드 투팅, 소프트 투표, 스태킹 메커니즘을 사용하여 통합되었고, 스택 메타분류기는 교차 검증된 예측에 기반한 로지스틱 회귀를 사용해 훈련되었습니다. 앙상블 프레임워크의 전체 아키텍처와 데이터 흐름(그림 5).

그림 5: 제안된 모델의 아키텍처. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

레벨-I:
앙상블 프레임워크의 1단계에서는 네 가지 기본 분류기—랜덤 포레스트, 의사결정 나무, XGBoost, AdaBoost—가 스케일드 훈련 데이터셋을 사용해 학습되었습니다. 이 기본 분류기들은 하드 투표와 소프트 투표 앙상블 모델을 모두 구축하는 데 결합되었습니다. 객관성을 유지하고 앙상블 구성 중 차등 가중치 조정으로 인한 편향을 방지하기 위해 모든 기본 분류기에 동일한 가중치가 할당되었습니다.

레벨-II:
레벨 II에서는 기본 분류기에서 생성된 예측을 결합하여 스택 앙상블 분류기가 구현되었습니다. 기본 분류기는 5배 교차 검증을 사용해 학습되었고, 각 접힘마다 외 예측이 생성되었습니다. 이러한 아웃 오브 폴드 예측은 입력 특징으로 사용되어 로지스틱 회귀 메타분류기를 학습시켜 과적합을 줄이고 앙상블 성능의 편향 없는 추정을 가능하게 했습니다.

Results

이 섹션에서는 데이터 전처리와 특징 선택의 효과를 제시하고, 개별 및 앙상블 분류기의 성능을 비교하며, 표준 평가 지표 전반에 걸친 벤치마킹 결과를 요약합니다. 누락값 제거, 클래스 밸런싱, 특징 스케일링 등 데이터 전처리는 모든 분류기에서 일관된 입력 분포를 만들어냈습니다. 전처리 데이터로 학습된 모델은 5중 교차 검증 반복 실행과 훈련-테스트 분할 시 미처리 기준선에 비해 성능 변동성이 감소했습니다. 특히, 클래스 밸런싱은 평가된 모든 모델에서 소수자 계층 회상력을 지속적으로 향상시켰습니다.

무작위 숲 기반 특징 중요도 순위를 사용하여 각 특징의 상대적 기여도를 평가했으며; 그러나 모델 학습을 위해 사용 가능한 모든 입력 특징은 유지되었고, 모든 분류기에 일관되게 적용되었습니다. 특징 선택은 모델 안정성을 향상시키고 과적합을 감소시켰으며, 이는 5중 교차 검증 실행에서 성능 지표의 표준편차가 낮아지는 것으로 나타났습니다. 본 연구에서 "최적화"는 하이퍼파라미터 튜닝보다는 특징...

Discussion

이 연구는 스태킹 기반 앙상블 학습이 표준화된 전처리 및 벤치마킹 조건 하에서 개별 분류기와 투표 기반 앙상블에 비해 일관되게 우수하고 안정적인 분류 성능을 달성했음을 입증합니다.

이 연구에서 관찰된 앙상블 성능의 일관성은 비교 머신러닝 연구에서 방법론적 엄밀성의 중요성을 강화합니다 19,20,21,22,23,24,25. 모든 모델에서 전처리, 특징 선택 및 검증 절차를 제어함으로써 제안된 프레임워크는 실험적...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AdaBoost 분류기	scikit-learn 개발자들	해당 없음	벤치마킹에 사용되는 앙상블 부스팅 분류기
주피터 노트북	프로젝트 주피터	해당 없음	계산 노트북 환경
캐글 하트 스탯로그 (클리블랜드– 헝가리) 데이터셋	캐글	해당 없음	공개 심혈관 데이터셋(1190건, 11개 특징). URL: https://www.kaggle.com/datasets/sid321axn/heart-statlog-cleveland-hungary-final
로지스틱 회귀	scikit-learn 개발자들	해당 없음	스택 앙상블에서 사용되는 메타 분류기
매트플롯립	Matplotlib 개발 팀	해당 없음	데이터 시각화 라이브러리
넘버피	넘피 개발자들	해당 없음	수치 계산 라이브러리
pandas (버전 1.5.3)	판다스 개발 팀	해당 없음	데이터 전처리 및 처리
파이썬 (버전 3.9)	파이썬 소프트웨어 재단	해당 없음	구현에 사용되는 프로그래밍 환경
랜덤포레스트 분류기	scikit-learn 개발자들	해당 없음	기본 분류기 및 특징 중요성 계산
씨본	시본 개발 팀	해당 없음	상관 행렬의 히트맵 시각화
스탠다드스케일러	scikit-learn 개발자들	해당 없음	특징 스케일링 함수
투표분류기	scikit-learn 개발자들	해당 없음	하드 및 소프트 투표 앙상블 구현
XGBoost분류기	DMLC	해당 없음	기본 학습기로 사용되는 그라디언트 부스트 분류기