機械学習技術を用いたローン承認予測のためのスタッキングアンサンブルアプローチ

Summary

本研究では、XGBoost、CatBoost(勾配ブースティングモデル)、LightGBM(Efficient Gradient Boosting Model)、AdaBoost、Extra Treesを統合したスタッキングアンサンブルモデルを開発し、Kaggleデータを用いた融資承認を予測します。98%の精度を達成し、収入や信用スコアなどの主要な予測因子を特定し、ローンの承認および/または拒否に関する公正で効率的な決定を促進します。

Abstract

デジタル融資とフィンテックのイノベーションは、既存の銀行システムを覆し、世界中の国々の金融包摂と信用の利用可能性を変えました。この調査では、ピアツーピア (P2P) およびデジタル融資プラットフォームがどのように変化しているかを調査し、人工知能や機械学習などのテクノロジーが融資の承認方法をどのように変えているかを強調します。文献を徹底的に調査すると、アルゴリズムによるリスク評価、顧客の信頼、金融排除、規制の抜け穴など、デジタル融資エコシステムにおける機会と問題が浮き彫りになります。本論文では、これらの課題に対処するために、スタッキングアンサンブルモデルを用いてローン承認を正確に予測する強力な機械学習アプローチを提案する。データは、トレーニングテストのパーティショニング、探索的分析、および申請者の人口統計、財務特性、信用履歴を含む一般にアクセス可能なKaggleデータセットを使用したラベルエンコーディングを使用して前処理されました。XGBoost をメタ学習器として機能するアンサンブルには、Gradient Boosting Model、Efficient Gradient Boosting、AdaBoost、および Extra Trees 分類器が基本学習器として組み込まれています。98% の精度で、モデルは、精度、精度、再現率、F1 スコア、およびエラー メトリック (MAE- 平均絶対誤差、MSE- 平均二乗誤差、および RMSE- 二乗平均平方根誤差) などの尺度を使用して評価されました。相関研究によると、資産、収入、CIBIL スコアなどの要因がローンの承認に大きな影響を与えます。従来の方法よりも優れたパフォーマンスを発揮したこのモデルは、両方のクラスでバランスと一般化を示しました。自動化されたデータ駆動型の信用決定におけるこれらのモデルの有用性は、論文の結論で強調されています。

Introduction

銀行業界のテクノロジー変革の最新段階では、既存の銀行システムの外から破壊的な新しい金融サービスプロバイダーが市場に参入しています¹.ビッグテック(主に直接または金融機関との融資に重点を置いた大手テクノロジー企業)とフィンテック(P2P融資や従来の銀行に代わるオンラインクレジットなどのモデルを含む金融テクノロジー)企業は金融セクターに大きく進出しており、銀行がデジタル環境に適応しようと努力しているにもかかわらず、従来の銀行業務に課題をもたらしています².この急速な進化は金融エコシステムの変化を示しており、非伝統的なプレーヤーが金融サービスへのアクセスと提供の方法をますます再構築しています³.デジタル融資の出現は銀行信用と負の相関関係があり、新しい貸し手が市場に参入するにつれて、従来の銀行業務が代替デジタル信用に取って代わられる可能性があることを示唆しています⁴.この移行は、2008年の世界金融危機(GFC)によってさらに促進され、金融サービスに対する顧客の信頼が大幅に低下し、金融テクノロジーやフィンテックベンチャーの拡大を促進しました⁵.フィンテックとは、テクノロジーと金融の組み合わせを表す用語であり、金融ソリューションを提供するためのテクノロジーの応用を指します⁶.フィンテックが成熟するにつれて、その最も革新的なアプリケーションの 1 つは、オンライン融資サービスとも呼ばれる P2P 融資の台頭に見られました⁷.P2P 融資の主な革新は、貸し手と借り手の直接マッチングです。借り手は少額の無担保ローンの申請書を提出し、融資プラットフォームは複数の投資家が融資申請を評価し、資金調達するために使用します⁸.P2P融資は銀行と同様に機能しますが、インターネットと最先端のテクノロジーを使用して、オンライン融資と債務の取り決めを可能にします ⁹.このモデルの成功と拡張性は、2005 年に英国でデビューした史上初の P2P プラットフォームである ZOPA.com の発売によって明らかになりました。それ以来、オンライン融資は大幅に成長し、2015年までに1,000億ドル以上に達し、2025年には1兆ドル以上に達すると予想されています¹⁰.特に新興国におけるデジタル融資は、フィンテックの統合とともにさらに進化しています¹¹.デジタル融資におけるフィンテックの統合は、特に新興市場における金融包摂を強化します。モバイル決済とブロックチェーン ソリューションにより、P2P 取引とマイクロレンディングが可能になり、金融サービスへの障壁が軽減されます¹².このパラダイムシフトは、ブロックチェーン、人工知能 (AI)、機械学習、デジタル決済システムなどのテクノロジーを組み込んで、より包括的で効率的で顧客中心の金融環境を構築することによって推進されています¹³.デジタル融資プラットフォームはテクノロジーを使用して申請を迅速化し、経費を節約し、信用リスク評価を強化し、中小企業や個人がより迅速に融資を受けられるようにします¹⁴.ビッグデータ、ブロックチェーン、AI、機械学習を使用して、借り手の評価を改善し、コストを削減し、金融包摂を促進します¹⁵.特に機械学習は、代替データソースを活用することでリスク管理に革命をもたらしました¹⁶.非伝統的なデータを活用し、借り手の格付けを高め、経済発展を予測することで、従来の信用評価アプローチを上回ります¹⁷.この方法は、借り手の評価の精度を高め、経済の変化の予測を支援することで、デフォルトのリスクを軽減します¹⁸.デジタル融資の最も重要な効果の 1 つは、特に新興国や疎外された地域における金融包摂の困難に対処する能力です¹⁹.

本論文では、構造化されたKaggleデータセットを用いてローンの受け入れを高精度に予測するために、勾配ブースティングモデル、効率的勾配ブースティングモデル、AdaBoost、Extra Trees、およびXGBoostを組み合わせた新しいスタッキングアンサンブルモデルを提案します。予測の適応性と一般化を向上させるために、この方法は、単一のモデルや従来の分類器を頻繁に使用する以前の研究とは対照的に、メタ分類器として複数の高度な学習器とXGBoostを組み合わせています。このモデルは、受け入れられたローンクラスと拒否されたローンクラスの両方で良好なパフォーマンスを発揮し、98% という驚異的な精度を達成しました。この方法論の開発は、デジタル融資環境、特に発展途上の金融エコシステムにおいて、ローン承認の決定を自動化するための実用的で拡張可能な方法を提供します。

本研究の目的は、Gradient Boosting Model、Efficient Gradient Boosting Model、AdaBoost、Extra Trees、XGBoostを組み合わせることで、融資の受け入れを正確に予測するデジタル融資のための強力なスタッキングアンサンブルモデルを作成することです。さらに、重要な人口統計学的および財務的変数(収入、資産価値、CIBIL-信用情報局(インド)リミテッドスコア)がローンの選択にどのように影響するかを調べ、分類と誤差の指標を使用して、より従来のモデルと比較してアンサンブルモデルがどの程度うまく機能するかを評価し、アンサンブルアプローチが効率、一般化、公平性をどのように向上させることができるかを強調します。主な目的は、申請者の特徴がローンの承認にどのように影響するかを統計的に分析し、アンサンブル学習アルゴリズムのパフォーマンスを評価することです。

P2P とデジタル融資は世界の金融情勢を変革し続けており、機会と課題の両方をもたらしています。

デジタル融資は世界の金融情勢を急速に変革しており、従来の銀行業務に代わるものを提供しています²⁰.この世界的な見通しは、地域の状況がデジタル融資の成熟度をどのように独自に形成するかを強調しています。デジタル融資は拡大していますが、技術的にはまだ未成熟であり、自動化と予測スコアリングが効率をもたらし、プラットフォームは依然として身元調査をサードパーティのシステムに大きく依存しているため、堅牢性が制限されています²¹。急速な拡大にもかかわらず、金融排除は依然として世界的に大きな問題であり、発展途上国の成人の推定 44% が正式な金融サービスにアクセスできないため、緊急の改革、インフラの改善、デジタル リテラシーへの取り組みが必要です。このような制限は、他の収束セクターのハイライト、データ処理における継続的な課題、およびシステム統合にも現れています²²。デジタル統合が深まるにつれて、フィンテック分野全体のセキュリティの脆弱性はエスカレートしています。これらに対処するために、デジタル取引を保護するためのセキュリティに焦点を当てたフレームワークが提案されています²³.同様の動きは、他の新興市場でも観察されています。ケニアでは、モバイルマネーとデジタルローンアプリによって金融アクセスが向上しましたが、データプライバシーは依然として根強い懸念事項であり、最近の規制の影響は限定的であるため、より強力な執行メカニズム、正式な監査、明確な開発ガイドラインが必要であることを示唆しています²⁴。これは、規制の枠組みがフィンテックのイノベーションに遅れをとっていることが多いという広範な傾向を反映しています。フィンテックの規制環境は、従来の銀行業務の規制環境とは異なります。たとえば、ローンがリスクが高い場合を除き、法執行機関はフィンテックの金利にあまり影響しません²⁵。特に、違法なフィンテックの成長とプライバシー侵害を抑制するために、監督の改善、データ分析の使用、規制の更新が強く必要とされています²⁶。デジタル融資の成功は規制を超えて信頼にもかかっているため、融資の意思決定において信頼は重要な役割を果たします。手放し業者への信頼は、仲介業者よりも影響力があります²⁷.

インドのデジタル融資エコシステムでは、並行して進化が見られます²⁸.デジタル・レンディング・ビジネスは、フィンテックの進歩、インド準備銀行(RBI)による有益な規制措置、COVID-19の発生後の消費者の信頼の高まりにより、急速に拡大している²⁹.ただし、イノベーションにはリスクが伴います。無許可のデジタル融資アプリケーションやプラットフォームはアクセスを改善しますが、規制の弱さによる嫌がらせ、高金利、データの悪用など、深刻な消費者リスクをもたらします。したがって、責任ある金融包摂を促進するには、消費者保護と説明責任を強化することが重要です³⁰.借り手の債務不履行や不正な申請の危険性は、デジタル融資にとって重大です。優れた消費者保護対策は、消費者を保護するだけでなく、データのセキュリティと透明性が総資産利益率 (ROA) や自己資本利益率 (ROE) などの収益性指標を向上させるため、財務パフォーマンスにもプラスの影響を与えます³¹.世界的には、ローン組成システムの強化、モバイル技術の使用の奨励、規制基準と消費者の期待を満たすための明確な戦略の開発に重点が置かれており、業務の改善がかなり重視されています³².これらのリスクに対処するために、高度な分析と AI が高リスクの貸し手を予測するためにますます採用されており、ローンの失敗、返済期間、信用スコアリングなどの指標を使用した外れ値検出が効果的であることが証明されています³³.社会技術モデルをガイドとして使用したところ、リスクは利害関係者の両方から生じることと、プラットフォーム設計と組織コンポーネント間の相互依存性の欠如から生じることを発見しました³⁴.UTAUT2のような動的モデルの採用は、ユーザーの採用を説明する上で支配的であり、信頼が借入意図の重要な予測因子として浮上しています³⁵.ランダムフォレストやSVMモデルなどの機械学習ベースの不正検出アルゴリズムも使用されます³⁶.調査結果によると、機械学習モデルは個人の信用情報を適切に評価し、ローン債務不履行の可能性を判断できます。ディープニューラルネットワークが最もパフォーマンスを発揮しました(精度:0.94)³⁷.94%の精度でナイーブベイズを使用したこの調査では、金利、返済時期、説明、信用格付け、ローン履歴、性別、クレジットスコアなどの特性がローンの成功に大きな影響を与えることが判明しました³⁸.一方、前払いリスクとデフォルトリスクの両方の確率が存在し、多変量ロジスティック回帰を使用してローンの終了と債権者の利益損失につながる重要な出来事が予測され、モデルの全体的な精度は76.63%でした³⁹.この調査によると、デジタル融資プラットフォームのデフォルトリスクを予測する効率的な勾配ブースティングモデルを利用することで、融資クラブの収益を68%という高精度で増加させることができます⁴⁰.同時に、さまざまな変数 (アプリの使用状況や行動パターンなど) を組み合わせ、特に履歴データが限られている状況で従来の手法よりも優れたパフォーマンスを発揮するディープ マルチビュー ラーニングなど、より洗練された AI モデルが進化しています⁴¹.中国の研究では、勾配ブースティングモデルやLGBMなどのモデルが従来の信用ベースの評価を上回り、デフォルト予測と金融包摂を改善することが確認されています⁴²、システム動的モデリングは、P2P プラットフォームでの金利変動のシミュレーションにも役立ち、さまざまな条件下での借り手の投資家の行動に関する洞察を提供します⁴³.効率的な勾配ブースティングモデルは、デフォルトの予測とプラットフォームの収益性を向上させることが示されています⁴⁰、ディープニューラルネットワークは、適切なトレーニングを行えば従来のモデルよりも優れたパフォーマンスを発揮します。³⁷、より良いリスク管理を通じてデジタル市場を安定させます⁴⁴持続可能性を確保するために、ロボティック プロセス オートメーションなど、規制テクノロジーが注目を集めており、金融機関が規制要件を事業計画に合わせ、コンプライアンスと業務効率を向上させるのに役立ちます⁴⁵. 表1 デジタル融資および融資承認プロセスにおける機械学習の応用を調査する主要な研究を要約しています。

Protocol

データ収集

この調査では、Kaggle で利用可能なローン承認予測データセットを利用しました。データセットは2025年2月に抽出され、ローンデータの評価とローン承認結果の予測を目的とした4269件のレコードで構成されています。これには、雇用状況、扶養家族、自営業者、ローン金額、ローン期間、CIBIL スコア、財務背景、ローン固有の属性など、申請者の人口統計プロファイルに関する詳細情報で構成される 12 の列が含まれています。データセットはPandasライブラリを使用してインポートされ、df.head()を使用して視覚的に検査され、その構造と品質が理解されました。

データの前処理

データの前処理段階では、最初のステップでは、予測値がなく、モデルにノイズが導入される可能性があるため、識別子列 (loan_id) を削除しました。2 番目のステップでは、教育、自営業者、loan_statusなどのカテゴリ変数を数値表現に変換するラベル エンコーディングが含まれていました。この変換は、sklearn.preprocessing モジュールの Label Encoder を使用して実行されました。具体的には、教育は卒業生の場合は 0、卒業していない場合は 1 としてエンコードされました。self_employed いいえの場合は 0、はいの場合は 1、ターゲット変数である loan_status は [未承認] の場合は 0、承認済みの場合は 1 です。これらの変換は、特にデジタル融資アプリケーションの場合、数値入力を必要とする機械学習モデルとの互換性を確保するために必要でした。特徴量は、X=df.drop (["loan_status"], axis=1) と y=df ["loan_status] を使用してターゲット変数から分離されました。この設定は、過去のローン記録を使用して複数のアンサンブル機械学習モデルをトレーニングし、ローン承認の決定に影響を与える要因を調べるための包括的な基礎を提供しました。これらのモデルは、複数の分類器の予測強度を組み合わせることにより、全体的な精度と堅牢性を向上させることを目的としていました。

次に、処理されたデータセットは、sklearn.model_selection の train_test_split 関数を使用してトレーニングとテストのサブセットに分割され、データの 80% がトレーニングに使用され、20% がテスト用に予約されました。これにより、パフォーマンス評価のための代表的なサンプルを保持しながら、モデルがデータの十分に大きな部分でトレーニングされることが保証されました。データセットをクレンジング、構造化、統計的に調査することで、ローン承認分類における予測精度の向上を目的とした堅牢な機械学習フレームワークの実装の基礎が築かれました。モデル開発は、Gradient Boosting Model、AdaBoost、Efficient Gradient Boosting Model、Extra Trees Classifierの4つのアンサンブルベースの機械学習アルゴリズムを使用して実施されました。これらは、構造化された表形式のデータを含む分類タスクで実証されたパフォーマンスのために選択されました。勾配ブースティングモデルライブラリから実装された勾配ブースティングモデル分類器は、デフォルト設定(反復=1000、学習率=0.1、深度=6、詳細=False)でインスタンス化されました。を使用してトレーニングされました。fit (x_train, y_train) で評価され、.predict (X_test) で評価されます。勾配ブースティングモデルはカテゴリカルデータのエンコーディングを自動的に処理しますが、データはすでにラベルエンコードされていたため、この機能は利用されませんでした。AdaBoost Classifier(Adaptive Boosting、弱い学習器を改善する)は、sklearn-ensembleを使用して実装されました。AdaBoost 分類子は、決定切り株を既定の基本推定量として使用して、n_estimators=100 および learning_rate=1.0 で構成されました。同様の方法でトレーニングおよび評価され、誤分類されたインスタンスの反復重み付けを通じて堅牢性に貢献しました。Efficient Gradient Boosting Model ライブラリ (LGBMClassifier) を通じて実装された Efficient Gradient Boosting は、n_estimators=100、learning_rate=0.1、および max_depth=-1 (無制限のツリー深さ) で構成されました。このモデルは、その速度と効率で知られており、最適化された勾配ブースティング決定木を使用して、高次元の特徴を持つ大規模なデータセットで特に優れています。

最後に、sklearn.ensemble の ExtraTrees 分類器を分割戦略として n_estimators=100 と criterion="gini" で使用しました。ランダム フォレストとは異なり、エクストラ ツリーでは、カット ポイントをランダムに選択することでさらにランダム性が導入され、モデルの分散が減少し、一般化が改善されます。アンサンブルは、基本学習器からの予測を集約することで一般化を強化するscikit-learnのStacking Classifierを使用して実施されました。各モデルは、精度、精度、F1 スコア、エラー分析、混同行列などの標準的な分類指標を使用して評価されました。これらのメトリックは、すべてのモデル間で標準化されたパフォーマンス比較を保証するために、sklearn.metrics モジュールの関数を使用して計算されました。

最もパフォーマンスの高いモデル (精度と F1 スコアに基づく) は、Python ライブラリを使用してデプロイするために保存されました。dump(model, "best_model.pkl")) を使用して、トレーニングされたモデルを再トレーニングすることなく再利用できるようにします。実際のアプリケーションをシミュレートするために、NumPy を使用して 11 個の特徴を含むサンプル入力配列が作成され、モデルの .predict () 関数に渡されました。たとえば、入力ベクトル [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]] は、ローンの承認を示す予測 1 を返しました。すべての実験は、Kaggle 上の Google Notebook を使用して Python 3.10 環境で実施されました。モデルの開発と評価は、scikit-learn(v1.3)、Gradient Boosting Model、およびEfficient Gradient Boosting Modelライブラリを使用して実行されました。すべてのハイパーパラメータは明示的に文書化され、該当する場合はデフォルトが明確に記載されました。エンコード手順は、Pedregosaによって記述されたアプローチに従い、scikit-learn46で実装されました。この包括的で透明性のある方法論により、実験プロトコルが完全に再現可能であり、機械学習研究における厳格な学術基準に準拠していることが保証されます。

データ準備の特徴セクション、モデルのトレーニング、評価のフェーズを含む提案された方法論の構造を 図1に示します。

この研究では、勾配ブースティングモデル、AdaBoost、効率的な勾配ブースティングモデル、エクストラツリーの4つの強力な分類器の機能を組み合わせて、過去の財務記録に基づいてローン承認の決定を予測するスタッキングアンサンブル学習フレームワークを導入します。スタックモデルアーキテクチャ内でブースティング戦略とバギング戦略の両方を組み合わせることにより、⁴⁶.このアプローチは、バイアスや分散など、これらのモデルの個々の欠点を効果的に克服し、予測精度とモデルの一般化の向上に貢献します。各基本学習器は独自の強みに貢献します勾配ブースティングモデルは、カテゴリ変数で効率的であり、高い心のこもったカテゴリ特徴を処理するように設計されており、順序付けられたブースティング⁴⁷を使用して内部的にターゲットエンコーディングを実行します。これにより、統計の計算に過去のデータのみが使用されるようにすることで、過剰適合が回避されます。式で

,

各 h_t (x) は、前のモデルの残差でトレーニングされた決定木を表し、n_t はステップ固有の学習寄与を示します。AdaBoostまたはAdaptive Boostingは、トレーニング中に各インスタンスの重みを調整し、以前に誤って分類されたデータポイントに焦点を当てます⁴⁸。式で

α_t は、t 番目の弱い学習器 h_t(x) のパフォーマンスを反映しており、以前に誤って分類されたサンプルに重点が置かれています。効率的な勾配ブースティングモデル 勾配ベースの片側サンプリング(GOSS)と排他的な特徴バンドルを組み込んで、より高速なパフォーマンスを実現します。効率的な勾配ブースティングは、大規模なデータで高速かつパフォーマンスを提供します⁴⁹.

f_t(x_i) は損失 l(•) を最小限に抑えるために追加された新しい決定木を表し、 Ω(f_t) は正則化項です。対照的に、ブースティングアルゴリズムでは、エクストラツリーは、決定木分割⁵⁰にランダム性を追加することで分散を減らします。これはバギングの原則に依存していますが、ノード分割中に予測ルールに追加のランダム性を注入します

M個の独立して学習されたランダム化ツリーの出力を平均化します。分割ごとに、Extra trees は特徴量のランダムなしきい値を選択し、その中から最適なものを選択することで、分散を減らし、ツリー間で高い多様性を提供し、一般化を改善します。これらのモデルは、スタッキング分類器を介して集合的に統合され、出力を最適に組み合わせてローンを承認すべきかどうかを決定することを学習します。このフレームワークは、共通の分類指標で評価され、ライブ入力サンプルでテストされ、デジタル融資環境における実際的な関連性が実証されました⁵¹。これらのモデルは、スタッキング分類器を使用して集合的に結合され、ローンの受け入れ結果を決定するために出力を理想的にブレンドすることを学習します。モデルのパフォーマンスは、精度、精度、再現率、F1 スコア、AUC-ROC などの重要な分類尺度と混同行列を使用して評価され、タイプ I とタイプ II の両方の間違いを減らす能力が決定されました。クラスバランスを維持するために、層別化された80:20のトレインテスト分割が利用され、5倍の交差検証により堅牢性が確保され、サンプルのばらつきが低減されました。さらに、このモデルは、信用履歴、収入、雇用状況、融資額などの情報を含む現実的な融資申請者のプロファイルで評価され、二項判断と確率評価が得られました。この 2 段階のテストは、リアルタイムのデジタル融資コンテキストにおけるモデルの有効性、公平性、実用性を実証します。この作業の目新しさは、クレジットスコアリングに合わせたハイブリッドアンサンブル設計にあり、現代の金融プラットフォームにとって堅牢で解釈可能で再現可能なモデルとなっています⁵²。

Results

特徴相関分析

特徴相関ヒートマップ (図 2) は、さまざまな属性間の相互関係に関する有用な情報を提供しました。収入、年間融資額、高級資産価値や銀行資産価値などの資産関連変数との間には強い正の相関関係が見られ、申請者の財務状況が融資評価において重要であることが示されました。興味深いことに、CIBILスコアはローンステータスとかなりの負の相関関係(-0.77)があり、クレジットスコアが高い申請者はローンが付与される可能性が有意に高いことを示しており、これは一般的な金融リスク評価方法と一致しています。

混同行列の評価

Discussion

ローン承認予測のためのスタッキング アンサンブル モデルは、さまざまな評価指標にわたって非常に優れたパフォーマンスを発揮し、優れた精度と信頼性を示しています。相関ヒートマップでは、年収、融資額、資産価値などの財務指標が強く相互に関連しており、融資の進化におけるその重要性が強調されているのに対し、CIBILスコアは融資状況と強い負の相関関係があり、信用力評価におけるCIBILスコアの役割が強化されていることが明らかになりました。モデルの混同行列はエラー率が低く、854例中839例を正確に検出し、誤分類はわずか15例でした。分類測定では、全体的な精度は 98% で、精度、想起率、F-1 スコアは、受け入れられたクラスと拒否されたクラスの両方で一貫して 0.98 以上であり、重大なクラスの不均衡やバイアスがないことを示しています。MAE、MSE、RMSEなどの誤差行列はすべて低く、モデルが堅牢で正確に予測されたことを示しています。視覚化メトリックは、両方のクラスにわたるモデルのバランスのとれた一貫したパフォーマンスを強調しました。勾配ブースティング モデル、効率的な勾配ブース...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
カグル	https://www.kaggle.com/
パンダ	https://pandas.pydata.org/
モデルライブラリ	IBM	https://www.ibm.com