Сравнительная оценка подходов ансамблевого машинного обучения для прогнозирования сердечно-сосудистых заболеваний

Summary

Этот протокол описывает вычислительный процесс создания и оценки моделей машинного обучения ансамбля для прогнозирования сердечно-сосудистых заболеваний с использованием общедоступных эталонных данных в воспроизводимой структуре предварительной обработки и оценки.

Abstract

В данной статье представлена вычислительная оценка алгоритмов ансамблевого обучения при прогнозировании сердечных заболеваний, объединяя различные алгоритмы машинного обучения, такие как жёсткое голосование, мягкое голосование и стекирование, в одном фреймворке. Оценка проводилась на основе общедоступного набора сердечно-сосудистых данных, полученных из репозитория Kaggle (https://www.kaggle.com/datasets/sid321axn/heart-statlog-cleveland-hungary-final), включающего 1 190 экземпляров и 11 клинических признаков. Процесс включает предварительную обработку данных, которая включает обработку отсутствующих значений, удаление выбросов, масштабирование переменных и балансировку классов для обеспечения единообразного выбора входных признаков на основе Random Forest (RF) и устранения ненужных признаков. Среди оценённых моделей классификатор стекового ансамбля достиг самой высокой общей точности — 91,88% на тестовом наборе. Хотя для сравнительного анализа были рассчитаны дополнительные метрики, такие как точность, воспоминание и оценка F1, акцент в этом исследовании по-прежнему уделяется методологическому бенчмаркингу, а не клинической валидации.

Различные базовые классификаторы, включая Decision Tree, Random Forest, AdaBoost и XGBoost, применяются и тестируются независимо. Эти модели затем комбинируются с помощью ансамблевых техник с жёстким голосованием, мягким голосованием и стекированием. В стекировании в качестве метамодели используется логистическая регрессия, которая обучается на перекрёстно валидированных прогнозах вне-фолдированных выборок для предотвращения перенагона.

Оценки проводятся с использованием точности в качестве основного критерия сравнения, чтобы отдельные системы классификации и их комбинационные стратегии можно было сравнивать одинаково, в одной среде предварительной обработки и валидации. Хотя показатели эффективности предоставляются для сравнительных показаний, акцент подхода делается на разработке и оценке стратегий, а не на их клинической оценке.

Этот протокол облегчает сравнение алгоритмов ансамблевого машинного обучения с общедоступными наборами сердечно-сосудистых данных и помогает систематически сравнивать подходы к предварительной обработке данных и конфигурации ансамбля.

Introduction

Общедоступные наборы данных по сердечно-сосудистым заболеваниям широко используются в качестве эталонных задач в исследованиях машинного обучения для оценки алгоритмов классификации и методов предиктивного^{моделирования 1,2,3}. Такие наборы данных, содержащие клинические и демографические характеристики, предоставляют стандартизированную и воспроизводимую основу для сравнения стратегий предварительной обработки, методов выбора признаков и архитектур ансамблевого обучения в контролируемых экспериментальных условиях. В результате их обычно применяют для оценки алгоритмического поведения, а не для поддержки клинических выводов или реального^{применения 4,5}.

Ранее исследования касались различных методов машинного обучения для прогнозирования сердечно-сосудистых заболеваний, таких как логистическая регрессия (LR), поддерживающие векторные машины (SVM), случайные леса (RF) и модели градиентного ^{бустинга} 6,7,8,9. В последнее время исследования сосредоточены на методах ансамблевого обучения, таких как жёсткое голосование, мягкое голосование и стекирование, чтобы сделать модели более стабильными и улучшить их^{производительность} 10,11,12,13,14. Однако различия в том, как подготовляются данные, обрабатываются особенности, проводится валидация и измеряются результаты в этих исследованиях, затрудняют прямое сравнение опубликованных результатов. Для получения высокоуровневого контекстного обзора категорий сердечно-сосудистых заболеваний, часто описанных в литературе, концептуальная иллюстрация представлена на рисунке 1.

Рисунок 1: Концептуальная иллюстрация часто сообщаемых категорий сердечно-сосудистых заболеваний, включена только для контекста. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 1 включён исключительно для контекста на высоком уровне и не представляет данные, полученные из анализируемого в данном исследовании набора данных или любых результатов предлагаемого вычислительного протокола.

В частности, многие существующие работы делают акцент на результатах исполнения, не выделяя чётко вклад отдельных методологических компонентов, таких как тайминг выбора признаков, балансировка классов или конфигурация^{ансамбля} 15,16,17,18. Эта вариабельность подчёркивает необходимость воспроизводимого фреймворка бенчмаркинга, который систематически оценивает методы ансамблевого машинного обучения с использованием согласованного конвейера предварительной обработки и протокола оценки на общедоступном наборе данных.

Существует гипотеза, что методы ансамблевого обучения, особенно методы стекирования, продемонстрируют повышенную точность классификации и сбалансированную производительность по классам по сравнению с отдельными базовыми классификаторами при стандартизированных условиях предварительной обработки и валидации.

Соответственно, цель данного исследования — провести вычислительный бенчмаркинговый анализ методов машинного обучения ансамбля для прогнозирования сердечно-сосудистых заболеваний с использованием общедоступного набора данных Kaggle. Процесс включает стандартизированную предобработку данных, использование алгоритма Random Forest для ранжирования важности признаков, а также применение различных ансамблевых техник, включая жёсткое голосование, мягкое голосование и стекирование. Логистическая регрессия используется в качестве алгоритма метаклассификатора при стекировании. Это гарантирует отсутствие перенагона, поскольку используется перекрёстно проверенные прогнозы.

Это исследование предназначено исключительно как исследование публичного бенчмаркинга наборов данных. Её результаты ограничены зависимостью от одного набора данных и возможными специфическими для него предвзятости, поэтому не подразумевают клиническую валидацию или внедрение. Перед рассмотрением любого клинического применения требуется внешняя валидация с использованием независимых наборов данных и проспективная оценка.

Следующие исследовательские вопросы направляют это исследование:

В данном исследовании рассматривается, как различные подходы к ансамблевому машинному обучению, включая жёсткое голосование, мягкое голосование и стекирование, сравниваются по точности классификации при применении к общедоступному набору данных по сердечно-сосудистым заболеваниям.

Protocol

Этот протокол описывал воспроизводимый вычислительный рабочий процесс для бенчмаркинга ансамблевых моделей машинного обучения с использованием общедоступного набора данных по сердечно-сосудистым заболеваниям.

Выбор набора данных
В исследовании использовался общедоступный набор данных по сердечно-сосудистым заболеваниям, полученный из репозитория Kaggle. Набор данных включал 1190 экземпляров и 11 функций. Для обучения моделей использовалось 80% данных, а оставшиеся 20% — для оценки эффективности. В таблице 1 подробно описаны особенности набора данных. Набор данных был загружен в Python (версия 3.9) с использованием библиотеки pandas (версия 1.5.3). Целостность набора данных проверялась путём анализа отсутствующих значений, дублирующихся записей и несогласованных типов данных.

Таблица 1 суммирует демографические, клинические и экспериментальные характеристики, включённые в набор данных по сердечно-сосудистым заболеваниям, а также их типы данных и кодированные форматы. Эти особенности стали входными переменными для всех последующих процедур обучения и оценки моделей.

Сл. Нет	Название объекта	Тип данных	Описание
1	Возраст	Численные	Возраст пациента в годах.
2	Пол	Номинальный	Мужчина — как 1, а женщина — как 0.
3	Тип боли в груди	Категорическая	1: Типичная 2: Типичная стенокардия 3: Нестенокардическая боль 4: Бессимптомная
4	Отдыхающий тиск	Численные	Артериальное давление в покое измеряется в миллиметрах ртуть (мм рт. ст.).
5	Уровень холестерина	Численные	Холестерин в сыворотке в миллиграммах на децилитр (мг/дл).
6	Уровень сахара натощак	Номинальный	Уровень сахара в крови выше 120 мг/дл во время голодания обозначается как 1 для истинного и 0 для ложного.
7	Покоящая ЭКГ	категорически	Три различных значения присваиваются следующим образом: 0 — нормально, 1 — аномалия в волне ST-T, и 2 — гипертрофия левого желудочка.
8	Максимальная частота сердечных сокращений	Численные	Достигнутая максимальная частота сердечных сокращений
9	Упражнения на стенокардию	Номинальный	Стенокардия, вызванная физическими упражнениями, где 0 означает НЕТ, а 1 — да.
10	Олдпик	Численные	ST-депрессия во время упражнений по сравнению с состоянием покоя.
11	Уклон ST	категорически	Уклон сегмента ST во время пиковой нагрузки классифицируется следующим образом: 0: Норма 1: Восходящий уклон 2: Плоский 3: Нисходящий

Таблица 1: Описание особенностей набора данных, используемых для прогнозирования сердечно-сосудистых заболеваний.

Предварительная обработка данных
Предварительная обработка данных проводилась с использованием библиотек Python. Строки с отсутствующими значениями удалялись с помощью panda. DataFrame.dropna() функция. Выбросы в числовых признаках были выявлены и удалены с помощью метода межквартильного диапазона (IQR) и визуализации на основе boxplot, что иллюстрирует распределение и выявленные выбросы между объектами (рисунок 2). Все числовые переменные масштабировались с помощью функции StandardScaler из библиотеки scikit-learn (версия 1.2.2). Дисбаланс классов устранялся случайным недовыборкой для получения сбалансированного распределения классов до обучения модели.

Рисунок 2: График всех атрибутов в наборе данных по сердечно-сосудистым заболеваниям. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Коэффициент корреляции Пирсона (PCC) использовался для оценки взаимосвязей между признаками. Полученная матрица корреляции, визуализированная в виде тепловой карты, иллюстрирует силу и направление парных корреляций признаков и выделяет избыточные атрибуты для исключения (см. рисунок 3).

Рисунок 3: Корреляционная матрица для набора данных по сердечно-сосудистым заболеваниям. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Модель создаёт тепловую карту матрицы корреляции, которая выглядит эстетически приятно и позволяет быстрее понимать корреляции между различными признаками в данных. Эта тепловая карта использует цвета, чтобы показать, насколько и в каком направлении значения коррелированы, что делает её важным инструментом в исследовательском анализе данных. Светлые цвета показывают более высокие положительные корреляции, тёмные — более отрицательные корреляции, а больше зелёных — корреляции близко к нулю.

Извлечение признаков
Выбор признаков осуществлялся с использованием важности признаков случайного леса, реализуемого через RandomForestClassifier в открытых библиотеках машинного обучения. Оценки важности признаков рассчитывались на основе среднего снижения примесей и ранжировались соответственно. Лучшие рейтинговые характеристики были сохранены для последующего анализа. Выбор признаков применялся после завершения всех этапов предварительной обработки и до разделения «train–test», что обеспечивало использование фиксированного и согласованного набора признаков во всех моделях классификации и конфигурациях ансамбля (рисунок 4).

Рисунок 4: Показатели важности признаков, рассчитанные с использованием случайного леса. Признаки ранжируются по нормированному значению важности. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Признаки ранжировались на основе среднего снижения примесей по важности признаков случайного леса с random_state = 42; однако все доступные функции (N = 11) были сохранены для последующего обучения моделей. Выбор признаков применялся после предварительной обработки и до разделения «тренировка–тест», обеспечивая фиксированный набор признаков для всех моделей.

Обучение моделям и создание ансамбля
Набор данных был разбит на учебные и тестовые подмножества с использованием соотношения 80:20 с функцией train_test_split(). Обучающие данные использовались исключительно для разработки моделей и создания ансамбля, а данные тестирования были зарезервированы для оценки производительности. Базовые классификаторы, включая Decision Tree, Random Forest, AdaBoost и XGBoost, тренировались на обучающем наборе данных с использованием стандартных настроек гиперпараметров, если не указано иное.

С использованием VotingClassifier были построены модели жёсткого голосования и мягкого голосования с равными весами, присвоенными всем базовым классификаторам для обеспечения объективного сравнения. Была реализована модель стекового ансамбля с использованием логистической регрессии в качестве метаклассификатора. Метаклассификатор тренировался на вне-развершённых предсказаниях, полученных через пятикратную перекрестную валидацию базовых классификаторов, что снизило перенагонку и позволило объективно оценивать производительность ансамбля.

Предлагаемая модель
Предлагаемая ансамблевая структура была реализована для создания составного классификатора с использованием нескольких стратегий обучения ансамбля. Все обучающие данные были стандартизированы, и идентичные этапы предварительной обработки применялись к тестовым данным для обеспечения согласованности между этапами обучения и оценки. Базовые классификаторы были интегрированы с использованием механизмов жёсткого голосования, мягкого голосования и стекирования, а мета-классификатор стекирования обучался с использованием логистической регрессии на перекрёстно-валидированных прогнозах. Общая архитектура и поток данных ансамблевой структуры (рисунок 5).

Рисунок 5: Архитектура предлагаемой модели. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Уровень I:
На уровне I ансамблевого фреймворка четыре базовых классификатора — Random Forest, Decision Tree, XGBoost и AdaBoost — были обучены с использованием масштабируемого обучающего набора данных. Эти базовые классификаторы были объединены для создания как моделей жёсткого, так и мягкого голосования. Всем базовым классификаторам присваивались равные веса для сохранения объективности и предотвращения смещения, возникающего при дифференциальной настройке весов при построении ансамбля.

Уровень-II:
На втором уровне классификатор ансамблевого стека реализовывался путём объединения предсказаний, сгенерированных базовыми классификаторами. Базовые классификаторы обучались с помощью пятикратной перекрестной валидации, и для каждого сворачивания генерировались предсказания вне разворок. Эти прогнозы вне разворачивания затем использовались как входные характеристики для обучения метаклассификатора логистической регрессии, что снижало переподгонку и обеспечивало беспристрастную оценку работы ансамбля.

Results

В этом разделе представлены эффекты предварительной обработки данных и выбора признаков, сравниваются результаты отдельных и ансамблевых классификаторов и резюмируются результаты бенчмаркинга по стандартным метрикам оценки. Предварительная обработка данных, включая удаление отсутствующих значений, балансировку классов и масштабирование признаков, обеспечивала единообразные входные распределения между всеми классификаторами. Модели, обучающиеся на предварительно обработанных данных, демонстрировали меньшую вариабельность ...

Discussion

Это исследование демонстрирует, что ансамблевое обучение на основе стека стабильно обеспечивало более высокие и стабильные результаты классификации по сравнению с отдельными классификаторами и ансамблями на основе голосования при стандартизированных условиях предварительной обработки и бенчмаркинга.

Согласованность ансамблевого исполнения, наблюдаемая в этом исследовании, подчёркивает важность методологической строгости в сравнительных исследованиях машинного<...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AdaBoostClassifier	Разработчики scikit-learn	Н/Д	Классификатор усиления ансамбля, используемый для бенчмаркинга
Блокнот Jupyter	Проект Jupyter	Н/Д	Среда вычислительной тетради
Kaggle Heart Statlog (Cleveland– Венгрия) Набор данных	Каггл	Н/Д	Публичный набор данных по сердечно-сосудистым заболеваниям (1190 случаев, 11 особенностей). URL: https://www.kaggle.com/datasets/sid321axn/heart-statlog-cleveland-hungary-final
Логистическая регрессия	Разработчики scikit-learn	Н/Д	Мета-классификатор, используемый в стекировании ансамбля
Matplotlib	Команда разработчиков Matplotlib	Н/Д	Библиотека визуализации данных
NumPy	Разработчики NumPy	Н/Д	Библиотека численных вычислений
Панды (версия 1.5.3)	Команда разработки панд	Н/Д	Предварительная обработка и обработка данных
Python (версия 3.9)	Фонд программного обеспечения Python	Н/Д	Программная среда, используемая для реализации
RandomForestClassifier	Разработчики scikit-learn	Н/Д	Вычисление базового классификатора и важности признаков
Сиборн	Команда разработчиков Seaborn	Н/Д	Визуализация тепловой карты матрицы корреляции
StandardScaler	Разработчики scikit-learn	Н/Д	Функция масштабирования признаков
Классификатор голосования	Разработчики scikit-learn	Н/Д	Реализация жёсткой и мягкой системы голосования
XGBoostClassifier	DMLC	Н/Д	Классификатор усилия градиента, используемый как базовый обучающийся