使用机器学习技术预测贷款审批的堆叠集成方法

Summary

本研究开发了一种集成了XGBoost、CatBoost（梯度提升模型）、LightGBM（高效梯度提升模型）、AdaBoost和Extra Trees的堆叠集成模型，以利用Kaggle数据预测贷款批准。它实现了 98% 的准确率，可识别收入和信用评分等关键预测因素，促进公平、高效的贷款批准和/或拒绝决策。

Abstract

数字贷款和金融科技创新颠覆了既定的银行体系，改变了世界各国的金融包容性和信贷可用性。本研究研究了点对点 （P2P） 和数字借贷平台如何变化，强调人工智能和机器学习等技术如何改变贷款的批准方式。对文献的深入研究突出了数字借贷生态系统中的机遇和问题，例如算法风险评估、客户信任、金融排斥和监管漏洞。本文提出了一种强大的机器学习方法，该方法使用堆叠集成模型来准确预测贷款批准，以解决这些问题。使用可公开访问的 Kaggle 数据集（包括申请人人口统计、财务特征和信用记录）使用训练测试分区、探索性和标签编码对数据进行预处理。以 XGBoost 作为元学习器，该集成将梯度提升模型、高效梯度提升、AdaBoost 和 Extra Trees 分类器作为基础学习器。该模型的准确率为 98%，使用准确度、精确度、召回率、F1 分数和误差指标（MAE-平均绝对误差、MSE-均方误差和 RMSE-均方根误差）等指标进行评估。根据相关性研究，资产、收入和 CIBIL 分数等因素对贷款批准有重大影响。该模型优于传统方法，在两个类别中表现出平衡和泛化。本文的结论强调了这些模型在自动化、数据驱动的信用确定中的有用性。

Introduction

在银行业技术转型的最新阶段，来自已建立银行体系之外的颠覆性新型金融服务提供商纷纷进入市场¹.大型科技公司（主要专注于直接或与金融机构贷款的大型科技公司）和金融科技（金融技术，包括 P2P 借贷和传统银行的在线信贷替代方案等模式）公司正在大举进军金融领域，尽管银行努力适应数字环境，但对传统银行业构成了挑战².这种快速发展标志着金融生态系统的转变，非传统参与者正在越来越多地重塑金融服务的获取和交付方式³.数字贷款的出现与银行信贷呈负相关，这表明随着新的贷款机构进入市场，传统银行可能会让位于替代数字信贷⁴.2008 年全球金融危机 （GFC） 进一步推动了这一转变，这大大降低了客户对金融服务的信任，并有助于推动金融科技或金融科技企业的扩张⁵.金融科技是技术与金融结合的术语，是指应用技术提供金融解决方案⁶.随着金融科技的成熟，其最具变革性的应用之一是 P2P 借贷（也称为在线借贷服务）的兴起⁷.P2P 借贷的主要创新是贷方和借款人的直接匹配。借款人提交小额无担保贷款申请，一些投资者使用借贷平台来评估贷款请求并为其融资⁸.P2P 借贷的功能与银行类似，但它使用互联网和尖端技术来实现在线借贷和债务安排 ⁹.随着历史上第一个 P2P 平台 ZOPA.com 的推出，该模式的成功和可扩展性变得显而易见，该平台于 2005 年在英国首次亮相。此后，在线借贷大幅增长，到 2015 年将超过 1000 亿美元，预计到 2025 年将达到 1 万亿美元以上¹⁰.数字贷款，特别是在新兴经济体，随着金融科技的整合而进一步发展¹¹.金融科技在数字贷款中的整合增强了金融包容性，特别是在新兴市场。移动支付和区块链解决方案支持 P2P 交易和小额借贷，减少金融服务障碍¹².这种范式转变是由区块链、人工智能 （AI）、机器学习和数字支付系统等技术的结合推动的，以创造一个更具包容性、高效和以客户为中心的金融环境¹³.数字借贷平台利用技术加快申请、节省开支并增强信用风险评估，使小公司和个人能够更快地获得融资¹⁴.他们利用大数据、区块链、人工智能和机器学习来改善借款人评估、降低成本并促进金融包容性¹⁵.尤其是机器学习，通过利用替代数据源彻底改变了风险管理¹⁶.它通过利用非传统数据、提高借款人评级和预测经济发展，超越了传统的信用评估方法¹⁷.这种方法通过提高借款人评估的准确性并协助预测经济变化来降低违约风险¹⁸.数字借贷最重要的影响之一是它能够解决普惠金融的困难，特别是在新兴经济体和边缘化地区¹⁹.

为了利用结构化Kaggle数据集对贷款接受率进行高精度预测，提出了一种结合梯度提升模型、高效梯度提升模型、AdaBoost、Extra Trees和XGBoost的堆叠集成模型。为了提高预测适应性和泛化性，该方法将多个高级学习器与 XGBoost 结合起来作为元分类器，这与早期经常使用单一模型或传统分类器的研究形成鲜明对比。该模型在接受和拒绝的贷款类别中都表现良好，准确率高达 98%，令人印象深刻。这种方法的发展提供了一种可行且可扩展的方法，可以在数字贷款环境中自动化贷款审批决策，特别是在发展中的金融生态系统中。

本研究的目的是通过结合梯度提升模型、高效梯度提升模型、AdaBoost、Extra Trees 和 XGBoost 来创建一个强大的数字借贷堆叠集成模型，准确预测贷款接受度。此外，它还试图研究重要的人口和财务变量（收入、资产价值和 CIBIL-信用信息局（印度）有限分数）如何影响贷款选择，评估集成模型与使用分类和误差指标的更传统模型相比的表现，并强调集成方法如何提高效率、泛化和公平性。主要目标是统计分析申请人特征如何影响贷款审批，并评估集成学习算法的性能。

P2P 和数字借贷不断改变全球金融格局，既带来机遇，也带来挑战。

数字贷款正在迅速改变全球金融格局，为传统银行业务提供了替代方案²⁰。这一全球前景强调了区域背景如何独特地塑造数字贷款成熟度。数字贷款正在扩大，但在技术上仍然不成熟，而自动化和预测性评分带来了效率，平台仍然严重依赖第三方系统进行背景调查，这限制了稳健性²¹。尽管金融排斥迅速扩张，但金融排斥仍然是全球的一个主要问题，据估计，发展中国家 44% 的成年人无法获得正规金融服务，因此需要紧急改革、改善基础设施和数字素养举措。这种局限性也出现在其他趋同的行业亮点、数据处理和系统集成方面的持续挑战²²。随着数字化整合的深入，整个金融科技领域的安全漏洞正在升级。为了解决这些问题，提出了一个以安全为重点的框架来保护数字交易²³.其他新兴市场也出现了类似的发展。在肯尼亚，虽然移动货币和数字贷款应用程序改善了金融准入，但数据隐私仍然是一个持续存在的问题，最近的法规影响有限，这表明需要更强有力的执法机制、正式审计和明确的发展指导方针²⁴。这反映了监管框架往往落后于金融科技创新的更广泛趋势。金融科技的监管环境与传统银行业不同。例如，除非贷款是高风险的，否则执法部门对金融科技利率的影响较小²⁵.特别是，迫切需要改进监管、数据分析和监管更新，以遏制非法金融科技增长和隐私泄露²⁶。除了监管之外，数字借贷的成功还取决于信任，因此信任在贷款决策中起着至关重要的作用。对手推车商的信任比对中介机构的信任更有影响力²⁷.

印度的数字贷款生态系统也出现了类似的演变²⁸.由于金融科技的进步、印度储备银行 （RBI） 实施的有益监管措施以及 COVID-19 爆发后消费者信任度的提高，数字借贷业务正在迅速扩张²⁹.然而，创新也伴随着风险。虽然未经许可的数字借贷应用程序或平台改善了访问，但它们会带来严重的消费者风险，例如骚扰、高利率以及由于监管薄弱而导致的数据滥用。因此，加强消费者保护和问责制对于促进负责任的普惠金融至关重要³⁰.借款人违约和欺诈性申请的危险对于数字贷款来说是巨大的;良好的消费者保护措施不仅可以保护消费者，还可以对财务业绩产生积极影响，因为数据安全和透明度可以提高资产回报率 （ROA） 和股本回报率 （ROE） 等盈利能力指标³¹.在全球范围内，人们非常重视运营改进，越来越重视加强贷款发放系统、鼓励使用移动技术以及制定明确的战略来满足监管标准和消费者期望³².为了应对这些风险，越来越多地采用先进的分析和人工智能来预测高风险贷方，使用贷款失败、还款期限和信用评分等指标进行异常值检测已被证明是有效的³³.以社会技术模型为指导，我们发现风险来自利益相关者以及平台设计和组织组件之间缺乏相互依赖性³⁴.UTAUT2 等动态模型的采用在解释用户采用方面占主导地位，信任成为借款意图的关键预测指标³⁵.还使用基于机器学习的欺诈检测算法，例如随机森林和 SVM 模型³⁶.根据研究结果，机器学习模型可以充分评估个人信用信息并确定贷款违约的可能性;深度神经网络表现最佳（准确率：0.94）³⁷.该研究使用了 94% 的准确率的 Naïve Bayes，发现利率、还款时间、描述、信用等级、贷款历史、性别和信用评分等特征对贷款成功有重大影响³⁸.同时，提前还款和违约风险的概率均存在，采用多元logistic回归预测导致债权人贷款终止和利润损失的重要事件，模型总体准确率为76.63%³⁹.根据这项研究，通过利用高效梯度提升模型来预测数字借贷平台的违约风险，可以以 68% 的高精度增加贷款俱乐部的收入⁴⁰.与此同时，更复杂的人工智能模型正在不断发展，例如深度多视图学习，它结合了各种变量（例如应用程序使用和行为模式），并且比传统技术表现更好，特别是在历史数据有限的情况下⁴¹.来自中国的研究证实，梯度提升模型和 LGBM 等模型在改善违约预测和金融包容性方面优于传统的基于信用的评估⁴²，系统动态建模还有助于模拟 P2P 平台上的利率波动，从而深入了解借款人投资者在各种条件下的行为⁴³.高效的梯度提升模型已被证明可以改善默认预测和平台盈利能力⁴⁰，而深度神经网络在适当的训练中也优于传统模型³⁷，并通过更好的风险管理来稳定数字市场⁴⁴为了确保可持续性，监管技术越来越受到关注，例如机器人流程自动化可帮助金融机构将监管要求与业务计划保持一致，从而提高合规性和运营效率⁴⁵. 表1 总结了探索机器学习在数字贷款和贷款审批流程中的应用的关键研究。

Protocol

数据采集

本研究利用了 Kaggle 上提供的贷款批准预测数据集。该数据集于 2025 年 2 月提取，由 4269 条记录组成，旨在评估贷款数据和预测贷款审批结果。它包括 12 列，包含有关申请人人口统计资料的详细信息，例如就业状况、家属、个体经营者、贷款金额、贷款期限、CIBIL 分数、财务背景和贷款特定属性。使用 Pandas 库导入数据集，并使用 df.head （） 进行目视检查，以了解其结构和质量。

数据预处理

在数据预处理阶段，第一步涉及删除标识符列 （loan_id），因为它缺乏预测价值并且可能会将噪声引入模型。第二步涉及标签编码，其中教育、个体经营者和loan_status等分类变量被转换为数字表示。此转换是使用 sklearn.preprocessing 模块中的 Label Encoder 进行的。具体来说，教育被编码为 0 表示毕业生，1 表示未毕业;self_employed 0 表示“否”，1 表示“是”，目标变量 loan_status 表示“未批准”，1 表示“已批准”。这些转换对于确保与需要数字输入的机器学习模型的兼容性是必要的，特别是对于数字贷款应用程序。使用 X=df.drop （[“loan_status”]， axis=1） 和 y=df [“loan_status] 将特征与目标变量分开。该设置为使用历史贷款记录训练多个集成机器学习模型来检查影响贷款审批决策的因素提供了全面的基础。这些模型旨在通过结合多个分类器的预测强度来提高整体准确性和鲁棒性。

然后使用sklearn.model_selection的train_test_split函数将处理后的数据集拆分为训练和测试子集，其中 80% 的数据用于训练，20% 保留用于测试。这确保了模型在足够大的数据上进行训练，同时保留了用于性能评估的代表性样本。通过对数据集进行清理、结构化和统计探索，为实施强大的机器学习框架奠定了基础，旨在提高贷款审批分类的预测准确性。模型开发使用四种基于集成的机器学习算法进行：梯度提升模型、AdaBoost、高效梯度提升模型和额外树分类器。这些是因为它们在涉及结构化表格数据的分类任务中经过验证的性能而被选中。梯度提升模型分类器是从梯度提升模型库实现的，使用默认设置（迭代次数=1000，学习率=0.1，深度=6，详细=False）进行实例化。它是使用训练的。fit （x_train， y_train） 并使用 .predict （X_test） 进行评估。尽管梯度提升模型会自动处理分类数据编码，但由于数据已经进行了标签编码，因此没有使用此功能。AdaBoost 分类器（自适应提升，改进弱学习器）是使用 sklearn-ensemble 实现的。AdaBoost 分类器配置为 n_estimators=100 和 learning_rate=1.0，使用决策树桩作为默认基本估计量。它以类似的方式进行训练和评估，通过对错误分类的实例进行迭代加权来提高鲁棒性。通过高效梯度提升模型库（LGBMClassifier）实现的高效梯度提升配置为n_estimators=100、learning_rate=0.1和max_depth=-1（不受限制的树深度）。该模型以其速度和效率而闻名，在使用优化的梯度提升决策树具有高维特征的大型数据集上尤其出色。

最后，使用 sklearn.ensemble 中的 ExtraTrees 分类器，其中 n_estimators=100 和 criterion=“gini” 作为拆分策略。与随机森林不同，额外树通过随机选择切割点来引入进一步的随机性，这有助于减少模型方差并改进泛化。该集成是使用 scikit-learn 的堆叠分类器进行的，该分类器通过聚合来自基本学习器的预测来增强泛化。每个模型都使用标准分类指标进行评估，包括准确度、精确度、F1 分数、误差分析和混淆矩阵。这些指标是使用 sklearn.metrics 模块中的函数计算的，以确保所有模型之间的标准化性能比较。

保存性能最佳的模型（基于准确性和 F1 分数）以使用 Python 库进行部署。dump（model， “best_model.pkl”），确保训练好的模型可以重用，而无需重新训练。为了模拟实际应用，使用 NumPy 创建了一个包含 11 个特征的示例输入数组，并将其传递给模型 .predict （） 函数。例如，输入向量 [[0， 1， 1,4100000， 12200000， 8， 417， 2700000， 2200000， 8800000， 3300000]] 返回预测值 1，表示贷款已获批。所有实验都是在 Python 3.10 环境中使用 Kaggle 上的 Google Notebook 进行的。使用scikit-learn（v1.3）、梯度提升模型和高效梯度提升模型库进行模型开发和评估。所有超参数都明确记录在案，并在适用的情况下明确说明默认值。编码过程遵循 Pedregosa 描述的方法，并在 scikit-learn⁴⁶ 中实现。这种全面且透明的方法确保实验方案具有完全可重复性，并遵守机器学习研究中严格的学术标准。

建议方法的结构，包括数据准备特征部分、模型训练和评估阶段，如 图1所示。

本研究引入了一个堆叠集成学习框架，该框架汇集了四个强大的分类器的功能：梯度提升模型、AdaBoost、高效梯度提升模型和额外树，以根据历史财务记录预测贷款审批决策。通过在堆叠模型架构中结合提升和装袋策略⁴⁶.该方法有效地克服了这些模型的个体缺点，例如偏差和方差，有助于提高预测精度和模型泛化。每个基本学习器都贡献了独特的优势梯度提升模型对分类变量具有高效性，它设计用于处理高亲切度分类特征，并在内部使用有序提升⁴⁷ 执行目标编码。这通过确保在计算统计数据中仅使用过去的数据来避免过度拟合。在公式中

,

每个 h_t （x） 代表在先前模型的残差上训练的决策树，n_t 表示特定步骤的学习贡献。AdaBoost 或自适应提升，在训练期间调整每个实例的权重，并关注以前错误分类的数据点⁴⁸。在公式中

α_t 反映了第 t 个弱学习器 h_t（x） 的性能，更强调以前错误分类的样本。高效的梯度提升模型 结合了基于梯度的单侧采样 （GOSS） 和独家特征捆绑，以实现更快的性能。高效的梯度提升为大规模数据提供高速和高性能⁴⁹.

f_t（x_i） 表示为最小化损失 l（•） 而添加的新决策树，而 Ω（f_t） 是一个正则化项。相比之下，增强算法，Extra Trees 通过在决策树拆分⁵⁰ 中添加随机性来减少方差。它依赖于装袋原理，但在节点拆分过程中将额外的随机性注入到其预测规则中

对 M 个 独立训练的随机树的输出进行平均。对于每个拆分，Extra trees 都会为特征选择随机阈值，并从中选择最好的，从而减少方差并提供跨树的高多样性，从而提高泛化性。这些模型通过堆叠分类器集体集成，该分类器学习以最佳方式组合其输出以决定是否应批准贷款。该框架使用通用分类指标进行评估，并使用实时输入样本进行测试，证明了其在数字贷款环境中的实际相关性⁵¹。这些模型使用堆叠分类器组合在一起，该分类器学会理想地混合它们的输出以确定贷款接受结果。使用准确度、精确度、召回率、F1 分数和 AUC-ROC 等重要分类指标以及混淆矩阵来评估模型的性能，以确定其减少 I 型和 II 类错误的能力。为了保持类别平衡，采用了80：20的分层训练-测试拆分，并进行了5倍交叉验证，确保了稳健性并减少了样品变异性。此外，该模型还根据真实的贷款申请人资料进行了评估，其中包括信用记录、收入、就业状况和贷款金额等信息，从而得出二元判断和概率评级。这个两阶段测试展示了该模型在实时数字借贷环境中的有效性、公平性和实用性。这项工作的新颖之处在于为信用评分量身定制的混合整体设计，使其成为现代金融平台的稳健、可解释和可重复的模型⁵² 。

Results

特征关联分析

特征相关热图 （图 2） 提供了有关各种属性之间相互关系的有用信息。收入、年度贷款金额与奢侈品资产价值、银行资产价值等资产相关变量之间存在很强的正相关关系，表明申请人的财务状况在贷款评估中具有重要意义。有趣的是，CIBIL 评分与贷款状况呈显着负相关 （-0.77），表明信用评分较高的申请人获得贷款的可能性明显更高，这与典型的金融风险评估方法一致。

混淆矩阵评估

图3显示了所提出模...

Discussion

用于贷款审批预测的堆叠集成模型在各种评估指标上都表现出色，表现出极高的准确性和可靠性。相关性热图显示，年收入、贷款金额和资产价值等财务指标具有很强的相互关联性，强调了它们在贷款演变中的重要性，而CIBIL分数与贷款状况呈强负相关，强化了它们在信用度评估中的作用。该模型的混淆矩阵错误率较低，准确检测了 854 个示例中的 839 个，只有 15 个错误分类。分类措施显示总体准确率为 98%，接受和拒绝的类别的准确率、回忆率和 F-1 分数始终等于或高于 0.98，表明没有重大的类别不平衡或偏见。MAE、MSE和RMSE等误差矩阵均较低，表明该模型具有鲁棒性和预测性。可视化指标强调了模型在两个类别中的平衡和一致的性能。使用梯度提升模型、高效梯度提升模型、Extra Trees 和 Adaboost 作为基础学习器，将 XGBoost 作为元学习器，集成模型的性能优于早期技术。该模型具有强大的泛化性和可解释性潜力，可以使用 SHAP 或 LIME 等工具，为现实世界的财务决策提供了现实有效的答案。

这项研究通过提出一个强...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
卡格尔	https://www.kaggle.com/
熊猫	https://pandas.pydata.org/
模型库	IBM	https://www.ibm.com