$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Сбор данных
В этом исследовании использовался набор данных для прогнозирования одобрения кредитов, доступный на Kaggle. Набор данных был извлечен в феврале 2025 года и состоит из 4269 записей, направленных на оценку данных о кредитах и прогнозирование результатов одобрения кредитов. Он состоит из 12 столбцов, содержащих подробную информацию о демографических профилях заявителей, таких как статус занятости, иждивенцы, самозанятые, сумма кредита, срок кредита, баллы CIBIL, финансовое положение и специфические характеристики кредита. Набор данных был импортирован с помощью библиотеки Pandas и визуально проверен с помощью df.head () для понимания его структуры и качества.
Предварительная обработка данных
На этапе предварительной обработки данных первым шагом было удаление столбца идентификатора (loan_id) из-за его недостаточной прогностической ценности и возможности внесения шума в модель. Второй шаг включал кодирование меток, где категориальные переменные, такие как образование, самозанятые и loan_status, преобразовывались в числовые представления. Это преобразование было выполнено с помощью Label Encoder из модуля обработки sklearn.preprocessing. В частности, образование было закодировано как 0 для выпускника и 1 для не выпускника; self_employed как 0 для Нет и 1 для Да, а loan_status, целевая переменная, как 0 для Не утверждено и 1 для Утверждено. Эти преобразования были необходимы для обеспечения совместимости с моделями машинного обучения, которые требуют числовых вводов, особенно для приложений цифрового кредитования. Признаки были отделены от целевой переменной с помощью X=df.drop (["loan_status"], axis=1) и y=df ["loan_status]. Такая конфигурация обеспечила всестороннюю основу для изучения факторов, влияющих на решения об утверждении кредитов, с использованием исторических записей о кредитах для обучения нескольких ансамблевых моделей машинного обучения. Эти модели были предназначены для повышения общей точности и надежности за счет объединения прогностических преимуществ нескольких классификаторов.
Затем обработанный набор данных был разделен на обучающее и тестовое подмножества с помощью функции train_test_split из sklearn.model_selection, при этом 80% данных использовались для обучения, а 20% — для тестирования. Это гарантировало, что модель была обучена на достаточно большой части данных, сохраняя при этом репрезентативную выборку для оценки производительности. После того, как набор данных был очищен, структурирован и статистически изучен, была заложена основа для внедрения надежной системы машинного обучения, направленной на повышение точности прогнозирования при классификации одобренных кредитов. Разработка модели проводилась с использованием четырех ансамблевых алгоритмов машинного обучения: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model и Extra Trees Classifier. Они были выбраны за их доказанную эффективность в задачах классификации, связанных со структурированными табличными данными. Классификатор модели градиентного бустинга, реализованный из библиотеки модели градиентного бустинга, был создан с настройками по умолчанию (iterations=1000, learning rate=0.1, depth=6, verbose=False). Он был обучен с помощью. fit (x_train, y_train) и вычисляется с помощью .predict (X_test). Несмотря на то, что модель Gradient Boosting автоматически обрабатывает категориальное кодирование данных, эта функция не использовалась, так как данные уже были закодированы с помощью меток. Классификатор AdaBoost (Adaptive Boosting, который улучшает слабых учеников) был реализован с помощью sklearn-ensemble. Классификатор AdaBoost был настроен с n_estimators=100 и learning_rate=1.0, используя пни решений в качестве базовой оценки по умолчанию. Он был обучен и оценен аналогичным образом, что способствовало повышению надежности за счет итеративного взвешивания неправильно классифицированных экземпляров. Эффективный градиентный бустинг, реализованный с помощью библиотеки Efficient Gradient Boosting Model (LGBMClassifier), был сконфигурирован с n_estimators=100, learning_rate=0.1 и max_depth=-1 (неограниченная глубина дерева). Эта модель, известная своей скоростью и эффективностью, особенно хорошо работает на больших наборах данных с многомерными функциями с использованием оптимизированных деревьев решений с градиентным бустингированием.
Наконец, был использован классификатор ExtraTrees от sklearn.ensemble с n_estimators=100 и criterion="gini" в качестве стратегии разделения. В отличие от Random Forest, Extra Trees вносит дополнительную случайность за счет случайного выбора точек среза, что помогает уменьшить дисперсию модели и улучшить обобщение. Ансамбль проводился с использованием классификатора стекирования scikit-learn, который улучшает обобщение за счет агрегирования прогнозов от базовых учащихся. Каждая модель оценивалась с использованием стандартных метрик классификации, включая точность, прецизионность, оценку F1, анализ ошибок и матрицу неточностей. Эти метрики были вычислены с помощью функций из модуля sklearn.metrics для обеспечения стандартизированного сравнения производительности во всех моделях.
Наиболее производительная модель (основанная на точности и F1-оценке) была сохранена для развертывания с помощью библиотеки Python. dump(model, "best_model.pkl"), гарантируя, что обученная модель может быть повторно использована без необходимости повторного обучения. Чтобы смоделировать реальное приложение, с помощью NumPy был создан пример входного массива, содержащего 11 признаков, и передан в функцию модели .predict(). Например, входной вектор [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]] вернул прогноз 1, указывающий на одобрение займа. Все эксперименты проводились в среде Python 3.10 с использованием Google Notebook на Kaggle. Разработка и оценка моделей осуществлялись с использованием библиотек scikit-learn (v1.3), Gradient Boosting Model и Efficient Gradient Boosting Model. Все гиперпараметры были задокументированы явно, а значения по умолчанию были четко указаны там, где это применимо. Процедуры кодирования следовали подходу, описанному Педрегозой, и были реализованы в scikit-learn46. Эта всеобъемлющая и прозрачная методология гарантирует, что экспериментальный протокол полностью воспроизводим и соответствует строгим академическим стандартам в исследованиях машинного обучения.
Структура предлагаемой методологии, охватывающая фазу подготовки данных, функциональный раздел, обучение модели и оценку, показана на рисунке 1.
В этом исследовании представлена структура обучения ансамбля с накоплением, которая объединяет возможности четырех мощных классификаторов: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model и Extra Trees для прогнозирования решений об утверждении кредитов на основе исторических финансовых записей. Комбинируя стратегии бустинга и бэггинга в рамках архитектуры многоуровневой модели46. Этот подход эффективно преодолевает отдельные недостатки этих моделей, такие как смещение и дисперсия, что способствует повышению точности прогнозирования и обобщению моделей. Каждый базовый ученик вносит свой уникальный вклад Модель градиентного бустинга эффективна с категориальной переменной, она предназначена для обработки категориальных характеристик с высокой сердечностью и внутренне выполняет целевое кодирование с использованием упорядоченного бустинга47. Это позволяет избежать чрезмерной подгонки, гарантируя, что при вычислении статистики будут использоваться только прошлые данные. В формуле
,
Каждый ht (x) представляет собой дерево решений, обученное на остатках предыдущей модели, а nt обозначает вклад в обучение, специфичный для каждого этапа. AdaBoost или Adaptive Boosting, регулирует вес каждого экземпляра во время обучения и фокусируется на ранее неправильно классифицированных точках данных48. В формуле

αt отражает производительность t-го слабого ученика ht(x), уделяя больше внимания ранее неправильно классифицированным выборкам. Эффективная модель градиентного усиления включает в себя одностороннюю выборку на основе градиента (GOSS) и эксклюзивное объединение функций для повышения производительности. Эффективный градиентный бустинг обеспечивает высокую скорость и производительность при работе с большими объемами данных49.

ft(xi) представляет собой новое дерево решений, добавленное для минимизации потерь l(•), в то время как Ω(ft) является членом регуляризации . В отличие от алгоритмов бустинга, дополнительные деревья уменьшают дисперсию, добавляя случайность в разбиении дерева решений50. Он полагается на принципы бэггинга, но вносит дополнительную случайность при разбиении узлов в свое правило предсказания

Усредняет выходные данные M независимо обученных рандомизированных деревьев. Для каждого разбиения Extra trees выбирает случайные пороговые значения для объектов и выбирает лучший среди них, тем самым уменьшая вариативность и предлагая большое разнообразие между деревьями, что улучшает обобщение. Эти модели коллективно интегрируются с помощью классификатора стекирования, который учится оптимально объединять их результаты, чтобы решить, следует ли одобрить кредит. Система была оценена с использованием общих классификационных метрик и протестирована с использованием реальных входных данных, что продемонстрировало ее практическую значимость в среде цифрового кредитования51. Эти модели объединяются с помощью классификатора накопления, который учится идеально смешивать их выходные данные для определения результатов приема кредитов. Производительность модели оценивалась с использованием важных классификационных показателей, таких как точность, полнота, запоминаемость, оценка F1 и AUC-ROC, а также матрицы неточностей, чтобы определить ее способность снижать количество ошибок как I-го, так и второго типа. Для поддержания баланса классов было использовано стратифицированное разделение поездов и испытаний 80:20 с 5-кратной перекрестной проверкой, обеспечивающей надежность и снижающую вариабельность образцов. Кроме того, модель оценивалась на основе реалистичных профилей заявителей на кредиты, которые включали такую информацию, как кредитная история, доход, статус занятости и сумма кредита, что позволило получить бинарные суждения и рейтинги вероятности. Этот двухэтапный тест демонстрирует эффективность, справедливость и практичность модели в контексте цифрового кредитования в режиме реального времени. Новизна данной работы заключается в гибридном дизайне ансамбля, предназначенном для кредитного скоринга, что делает его надежной, интерпретируемой и воспроизводимой моделью для современныхфинансовых платформ.