기계 학습 기술을 사용하여 대출 승인을 예측하기 위한 스태킹 앙상블 접근 방식

Summary

본 연구는 Kaggle 데이터를 이용하여 대출 승인을 예측하기 위해 XGBoost, CatBoost(Gradient Boosting Model), LightGBM(Efficient Gradient Boosting Model), AdaBoost, Extra Trees를 통합한 스태킹 앙상블 모델을 개발한다. 98%의 정확도를 달성하여 소득 및 신용 점수와 같은 주요 예측 변수를 식별하여 대출 승인 및/또는 거부에 대한 공정하고 효율적인 결정을 촉진합니다.

Abstract

디지털 대출과 핀테크 혁신은 기존 은행 시스템을 뒤엎고 전 세계 국가의 금융 포용성과 신용 가용성을 변화시켰습니다. 이 연구는 P2P(P2P) 및 디지털 대출 플랫폼이 어떻게 변화하고 있는지 조사하고 인공 지능 및 기계 학습과 같은 기술이 대출 승인 방식을 어떻게 변화시키고 있는지 강조합니다. 문헌에 대한 철저한 연구는 알고리즘 위험 평가, 고객 신뢰, 금융 배제 및 규제 허점과 같은 디지털 대출 생태계의 기회와 문제를 강조합니다. 이 백서는 이러한 문제를 해결하기 위해 스태킹 앙상블 모델을 사용하여 대출 승인을 정확하게 예측하는 강력한 기계 학습 접근 방식을 제안합니다. 데이터는 지원자 인구 통계, 재무 특성 및 신용 기록을 포함하는 공개적으로 액세스할 수 있는 Kaggle 데이터 세트를 사용하여 기차 테스트 분할, 탐색적 분석 및 레이블 인코딩을 사용하여 사전 처리되었습니다. XGBoost가 메타 학습자 역할을 하는 앙상블은 Gradient Boosting Model, Efficient Gradient Boosting, AdaBoost 및 Extra Trees 분류기를 기본 학습자로 통합합니다. 98%의 정확도로 정확도, 정밀도, 재현율, F1 점수 및 오류 지표(MAE- 평균 절대 오차, MSE- 평균 제곱 오차 및 RMSE- 평균 제곱근 오차)를 포함한 측정값을 사용하여 모델을 평가했습니다. 상관관계 연구에 따르면 자산, 소득, CIBIL 점수 등의 요소가 대출 승인에 상당한 영향을 미칩니다. 기존 방법보다 성능이 뛰어난 이 모델은 두 클래스 모두에서 균형과 일반화를 보여주었습니다. 자동화된 데이터 기반 신용 결정을 위한 이러한 모델의 유용성은 논문 결론에서 강조됩니다.

Introduction

은행 업계의 기술 혁신의 최신 단계에서 기존 은행 시스템 외부의 파괴적인 새로운 금융 서비스 제공업체가 시장에 진입했습니다¹. 빅테크(주로 직접 또는 금융 기관과의 대출에 중점을 둔 대형 기술 기업) 및 핀테크(P2P 대출 및 기존 은행에 대한 온라인 신용 대안과 같은 모델을 포함한 금융 기술) 기업은 금융 부문에 상당한 진출을 하고 있으며, 디지털 환경에 적응하려는 은행의 노력에도 불구하고 전통적인 은행에 도전을 제기하고 있습니다². 이러한 급속한 발전은 비전통적인 플레이어들이 금융 서비스에 접근하고 제공되는 방식을 점점 더 재편하고 있는 금융 생태계의 변화를 의미합니다³. 디지털 대출의 출현은 은행 신용과 음의 상관관계가 있으며, 이는 새로운 대출 기관이 시장에 진입함에 따라 기존 은행이 대체 디지털 신용에 자리를 내줄 수 있음을 시사합니다⁴. 이러한 전환은 2008년 글로벌 금융 위기(GFC)로 인해 더욱 촉진되었으며, 이로 인해 금융 서비스에 대한 고객의 신뢰가 급격히 낮아지고 금융 기술 또는 핀테크 벤처의 확장을 촉진하는 데 도움이 되었습니다⁵. 핀테크는 기술과 금융의 결합을 의미하는 용어로, 금융 솔루션을 제공하기 위해 기술을 적용하는 것을 의미합니다⁶. 핀테크가 성숙해짐에 따라 핀테크의 가장 혁신적인 응용 분야 중 하나는 온라인 대출 서비스라고도 하는 P2P 대출의 부상에서 나타났습니다⁷. P2P 대출의 주요 혁신은 대출 기관과 차용인의 직접 매칭입니다. 차용인은 소액 무담보 대출 신청서를 제출하고 대출 플랫폼은 여러 투자자가 대출 요청을 평가하고 자금을 조달하는 데 사용됩니다⁸. P2P 대출은 은행과 유사하게 기능하지만 인터넷과 최첨단 기술을 사용하여 온라인 대출 및 부채 약정을 가능하게 합니다 ⁹. 이 모델의 성공과 확장성은 2년 영국에서 데뷔한 역사상 최초의 P2P 플랫폼인 ZOPA.com 의 출시와 함께 분명해졌습니다. 그 이후로 온라인 대출은 크게 성장하여 2015년까지 1,000억 달러 이상에 도달했으며 2025년에는 1조 달러 이상에 이를 것으로 예상됩니다¹⁰. 특히 신흥 경제국의 디지털 대출은 핀테크 통합으로 더욱 발전했습니다¹¹. 디지털 대출에 핀테크 통합은 특히 신흥 시장에서 금융 포용성을 향상시킵니다. 모바일 결제 및 블록체인 솔루션은 P2P 거래 및 소액 대출을 가능하게 하여 금융 서비스에 대한 장벽을 줄입니다¹². 이러한 패러다임 전환은 블록체인, 인공 지능(AI), 기계 학습 및 디지털 결제 시스템과 같은 기술을 통합하여 보다 포괄적이고 효율적이며 고객 중심적인 금융 환경을 조성함으로써 주도됩니다¹³. 디지털 대출 플랫폼은 기술을 사용하여 신청을 신속하게 처리하고, 비용을 절감하며, 신용 위험 평가를 강화하여 중소기업과 개인이 보다 신속하게 자금 조달을 받을 수 있도록 합니다¹⁴. 그들은 빅 데이터, 블록체인, AI 및 기계 학습을 사용하여 차용인 평가를 개선하고 비용을 낮추며 금융 포용을 촉진합니다¹⁵. 특히 기계 학습은 대체 데이터 소스를 활용하여 위험 관리에 혁명을 일으켰습니다¹⁶. 이는 비전통적인 데이터를 활용하고, 차용인 등급을 높이고, 경제 발전을 예측함으로써 전통적인 신용 평가 접근 방식을 능가합니다¹⁷. 이 방법은 차용인 평가의 정확성을 높이고 경제 변화를 예측하는 데 도움을 줌으로써 채무 불이행 위험을 줄입니다¹⁸. 디지털 대출의 가장 중요한 효과 중 하나는 특히 신흥 경제국과 소외된 지역에서 금융 포용의 어려움을 해결하는 능력입니다¹⁹.

구조화된 Kaggle 데이터 세트를 사용하여 대출 수락을 높은 정확도로 예측하기 위해 본 논문에서는 Gradient Boosting Model, Efficient Gradient Boosting Model, AdaBoost, Extra Trees 및 XGBoost를 결합한 새로운 스태킹 앙상블 모델을 제안합니다. 예측 적응성과 일반화를 개선하기 위해 이 방법은 단일 모델이나 기존 분류기를 자주 사용하는 이전 연구와 달리 여러 고급 학습자를 XGBoost를 메타 분류기로 결합합니다. 이 모델은 98%의 인상적인 정확도로 수락된 대출 클래스와 거부된 대출 클래스 모두에서 좋은 성능을 보였습니다. 이러한 방법론적 개발은 디지털 대출 환경, 특히 발전하는 금융 생태계에서 대출 승인 결정을 자동화하는 실행 가능하고 확장 가능한 방법을 제공합니다.

본 연구의 목적은 그라디언트 부스팅 모델, 효율적인 그라디언트 부스팅 모델, AdaBoost, Extra Trees, XGBoost를 결합하여 대출 수용을 정확하게 예측하는 디지털 대출을 위한 강력한 스태킹 앙상블 모델을 만드는 것입니다. 또한 중요한 인구통계학적 및 재무 변수(소득, 자산 가치 및 CIBIL-신용정보국(인도) 제한 점수)가 대출 선택에 어떤 영향을 미치는지 조사하고, 분류 및 오류 지표를 사용하여 기존 모델과 비교하여 앙상블 모델이 얼마나 잘 수행되는지 평가하고, 앙상블 접근 방식이 효율성, 일반화 및 공정성을 높일 수 있는 방법을 강조합니다. 주요 목표는 신청자 기능이 대출 승인에 어떤 영향을 미치는지 통계적으로 분석하고 앙상블 학습 알고리즘의 성능을 평가하는 것입니다.

P2P와 디지털 대출은 전 세계적으로 금융 환경을 지속적으로 변화시키며 기회와 도전을 동시에 제시하고 있습니다.

디지털 대출은 글로벌 금융 환경을 빠르게 변화시키며 기존 뱅킹에 대한 대안을 제공하고 있습니다²⁰. 이러한 글로벌 전망은 지역적 맥락이 디지털 대출 성숙도를 어떻게 고유하게 형성하는지 강조합니다. 디지털 대출은 확대되고 있지만 기술적으로 미성숙한 반면, 자동화와 예측 채점은 효율성을 가져오며, 플랫폼은 여전히 신원 조회를 위해 제3자 시스템에 크게 의존하고 있어 견고성이 제한됩니다²¹. 급속한 확장에도 불구하고 금융 배제는 전 세계적으로 여전히 주요 문제로 남아 있으며, 개발도상국 성인의 약 44%가 공식 금융 서비스에 대한 접근성이 부족하여 시급한 개혁, 인프라 개선, 디지털 리터러시 이니셔티브가 필요합니다. 이러한 한계는 다른 수렴 부문 하이라이트, 데이터 처리의 지속적인 과제 및 시스템 통합에서도 나타납니다²². 디지털 통합이 심화됨에 따라 핀테크 공간 전반의 보안 취약성이 확대되고 있습니다. 이러한 문제를 해결하기 위해 디지털 거래를 보호하기 위한 보안 중심 프레임워크가 제안되었습니다²³. 다른 신흥 시장에서도 비슷한 발전이 관찰됩니다. 케냐에서는 모바일 머니와 디지털 대출 앱이 금융 접근성을 향상시켰지만 데이터 프라이버시는 여전히 지속적인 우려 사항으로 남아 있으며 최근 규제의 영향은 제한적이어서 더 강력한 집행 메커니즘, 공식 감사 및 명확한 개발 지침이 필요함을 시사합니다²⁴. 이는 규제 프레임워크가 핀테크 혁신에 뒤처지는 경우가 많다는 광범위한 추세를 반영합니다. 핀테크의 규제 환경은 기존 은행의 규제 환경과 다릅니다. 예를 들어, 대출이 고위험하지 않는 한 법 집행 기관은 핀테크²⁵의 이자율에 미치는 영향이 적습니다. 특히, 불법 핀테크 성장과 개인 정보 침해를 억제하기 위해 감독 개선, 데이터 분석 사용, 규제 업데이트가 절실히 필요합니다²⁶. 규제 외에도 디지털 대출의 성공은 신뢰에 달려 있으므로 신뢰는 대출 결정에 중요한 역할을 합니다. 배공에 대한 신뢰는 중개자보다 더 영향력이 있습니다²⁷.

인도의 디지털 대출 생태계에서 병행하는 진화가 보입니다²⁸. 디지털 대출 사업은 핀테크의 발전, 인도 중앙은행(RBI)이 시행한 유용한 규제 조치, 코로나19 사태 이후 소비자 신뢰 증가로 인해 빠르게 확장되고 있습니다²⁹. 그러나 혁신에는 위험이 따릅니다. 무허가 디지털 대출 애플리케이션이나 플랫폼은 접근성을 향상시키지만 약한 규제로 인한 괴롭힘, 높은 이자율, 데이터 오용과 같은 심각한 소비자 위험을 초래합니다. 따라서 소비자 보호와 책임을 강화하는 것은 책임 있는 금융 포용을 촉진하는 데 매우 중요합니다³⁰. 차용인 채무 불이행 및 사기 신청의 위험은 디지털 대출에 상당합니다. 좋은 소비자 보호 조치는 소비자를 보호할 뿐만 아니라 데이터 보안과 투명성이 자산이익률(ROA) 및 자기자본이익률(ROE)과 같은 수익성 지표를 개선하므로 재무 성과에 긍정적인 영향을 미칩니다³¹. 전 세계적으로 대출 개시 시스템 강화, 모바일 기술 사용 장려, 규제 표준 및 소비자 기대를 충족하기 위한 명확한 전략 개발에 중점을 두면서 운영 개선에 상당한 중점을 두고 있습니다³². 이러한 위험을 해결하기 위해 고위험 대출 기관을 예측하기 위해 고급 분석 및 AI가 점점 더 많이 사용되고 있으며, 대출 실패, 상환 기간, 신용 점수와 같은 지표를 사용한 이상치 감지가 효과적인 것으로 입증되었습니다³³. 사회 기술 모델을 지침으로 사용하여 위험은 이해 관계자 모두에서 발생하고 플랫폼 설계와 조직 구성 요소 간의 상호 의존성 부족에서 비롯된다는 것을 발견했습니다³⁴. UTAUT2와 같은 동적 모델의 채택은 사용자 채택을 설명하는 데 지배적이며, 신뢰는 차입 의도의 주요 예측 변수로 떠오르고 있습니다³⁵. 랜덤 포레스트 및 SVM 모델과 같은 기계 학습 기반 사기 탐지 알고리즘도 사용됩니다³⁶. 연구 결과에 따르면 기계 학습 모델은 개인 신용 정보를 적절하게 평가하고 대출 채무 불이행 가능성을 결정할 수 있습니다. 심층 신경망이 가장 잘 수행되었습니다(정확도: 0.94).³⁷. 94%의 정확도로 Naïve Bayes를 사용한 이 연구는 이자율, 상환 시간, 설명, 신용 등급, 대출 내역, 성별 및 신용 점수와 같은 특성이 대출 성공에 상당한 영향을 미친다는 것을 발견했습니다³⁸. 한편, 선불 및 채무 불이행 위험의 확률이 모두 존재하며, 다변량 로지스틱 회귀를 사용하여 채권자의 대출 종료 및 이익 손실을 초래하는 중요한 사건을 예측했으며 모델의 전체 정확도는 76.63%였습니다³⁹. 연구에 따르면 디지털 대출 플랫폼의 채무 불이행 위험을 예측하기 위해 효율적인 그라디언트 부스팅 모델을 활용함으로써 대출 클럽의 수익은 68%의 높은 정확도로 증가할 수 있습니다⁴⁰. 동시에 다양한 변수(예: 앱 사용 및 행동 패턴)를 결합하고 특히 과거 데이터가 제한된 상황에서 기존 기술보다 더 나은 성능을 발휘하는 딥 멀티뷰 학습과 같이 보다 정교한 AI 모델이 진화하고 있습니다⁴¹. 중국의 연구에 따르면 그라디언트 부스팅 모델 및 LGBM과 같은 모델을 통해 채무 불이행 예측과 금융 포용성이 기존 신용 기반 평가보다 우수하다는 사실이 확인되었습니다⁴², 시스템 동적 모델링은 P2P 플랫폼에서 금리 변동을 시뮬레이션하는 데 도움이 되어 다양한 조건에서 차용인 투자자 행동에 대한 통찰력을 제공합니다⁴³. 효율적인 그래디언트 부스팅 모델은 기본 예측 및 플랫폼 수익성을 향상시키는 것으로 나타났습니다.⁴⁰, 심층 신경망은 적절한 훈련을 통해 기존 모델보다 성능이 뛰어납니다³⁷, 더 나은 위험 관리를 통해 디지털 시장 안정화⁴⁴지속 가능성을 보장하기 위해 로보틱 프로세스 자동화와 같은 규제 기술이 주목을 받고 있으며, 이는 금융 기관이 규제 요구 사항을 사업 계획에 맞추고 규정 준수 및 운영 효율성을 향상시키는 데 도움을 줍니다⁴⁵. 표 1 디지털 대출 및 대출 승인 프로세스에서 기계 학습의 적용을 탐구하는 주요 연구를 요약합니다.

Protocol

데이터 수집

이 연구는 Kaggle에서 사용할 수 있는 대출 승인 예측 데이터 세트를 활용했습니다. 이 데이터 세트는 2025년 2월에 추출되었으며 대출 데이터 평가 및 대출 승인 결과 예측을 목표로 하는 4269개의 레코드로 구성되어 있습니다. 여기에는 고용 상태, 부양가족, 자영업자, 대출 금액, 대출 기간, CIBIL 점수, 재정 배경 및 대출별 속성과 같은 지원자의 인구통계학적 프로필에 대한 자세한 정보로 구성된 12개의 열이 포함되어 있습니다. 데이터 세트는 Pandas 라이브러리를 사용하여 가져왔고 구조와 품질을 이해하기 위해 df.head()를 사용하여 육안으로 검사했습니다.

데이터 전처리

데이터 전처리 단계에서 첫 번째 단계는 예측 값이 부족하고 모델에 노이즈가 발생할 가능성이 있기 때문에 식별자 열(loan_id)을 제거하는 것이었습니다. 두 번째 단계에는 교육, 자영업자, loan_status과 같은 범주형 변수가 숫자 표현으로 변환되는 레이블 인코딩이 포함되었습니다. 이 변환은 sklearn.preprocessing 모듈의 Label Encoder를 사용하여 수행되었습니다. 특히 교육은 Graduate의 경우 0, Not Graduate의 경우 1로 인코딩되었습니다. self_employed 아니오의 경우 0, 예의 경우 1로, 대상 변수인 loan_status는 승인되지 않음의 경우 0, 승인됨의 경우 1입니다. 이러한 변환은 특히 디지털 대출 애플리케이션의 경우 숫자 입력이 필요한 기계 학습 모델과의 호환성을 보장하기 위해 필요했습니다. 특징은 X=df.drop(["loan_status"], axis=1) 및 y=df ["loan_status]를 사용하여 대상 변수에서 분리되었습니다. 이 설정은 여러 앙상블 기계 학습 모델을 훈련하기 위해 과거 대출 기록을 사용하여 대출 승인 결정에 영향을 미치는 요인을 조사하기 위한 포괄적인 기반을 제공했습니다. 이러한 모델은 여러 분류기의 예측 강도를 결합하여 전반적인 정확성과 견고성을 향상시키기 위한 것입니다.

그런 다음 처리된 데이터 세트는 sklearn.model_selection의 train_test_split 함수를 사용하여 훈련 및 테스트 하위 집합으로 분할되었으며, 데이터의 80%는 훈련에 사용되고 20%는 테스트용으로 예약되었습니다. 이를 통해 모델은 성능 평가를 위한 대표 샘플을 유지하면서 데이터의 충분히 많은 부분에 대해 훈련되었습니다. 데이터 세트를 정리하고, 구조화하고, 통계적으로 탐색함으로써 대출 승인 분류의 예측 정확도를 향상시키는 것을 목표로 하는 강력한 기계 학습 프레임워크를 구현하기 위한 기반이 마련되었습니다. 모델 개발은 Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model 및 Extra Trees Classifier의 네 가지 앙상블 기반 기계 학습 알고리즘을 사용하여 수행되었습니다. 이들은 구조화된 표 형식 데이터와 관련된 분류 작업에서 입증된 성능을 위해 선택되었습니다. Gradient Boosting Model 라이브러리에서 구현된 Gradient Boosting Model Classifier는 기본 설정(반복=1000, 학습률=0.1, depth=6, verbose=False)으로 인스턴스화되었습니다. 를 사용하여 훈련되었습니다. fit(x_train, y_train)을 사용하고 .predict(X_test)로 평가합니다. 그래디언트 부스팅 모델은 범주형 데이터 인코딩을 자동으로 처리하지만 데이터가 이미 레이블로 인코딩되었기 때문에 이 기능은 활용되지 않았습니다. AdaBoost 분류기(약한 학습자를 개선하는 적응형 부스팅)는 sklearn-ensemble을 사용하여 구현되었습니다. AdaBoost 분류자는 의사 결정 그루터기를 기본 기본 추정기로 사용하여 n_estimators=100 및 learning_rate=1.0으로 구성되었습니다. 유사한 방식으로 훈련 및 평가되어 잘못 분류된 인스턴스의 반복적인 가중치를 통해 견고성에 기여했습니다. LGBMClassifier(Efficient Gradient Boosting Model 라이브러리)를 통해 구현된 Efficient Gradient Boosting은 n_estimators=100, learning_rate=0.1 및 max_depth=-1(무제한 트리 깊이)으로 구성되었습니다. 속도와 효율성으로 잘 알려진 이 모델은 최적화된 기울기 부스팅 의사 결정 트리를 사용하여 고차원 특징을 가진 대규모 데이터 세트에서 특히 탁월합니다.

마지막으로 sklearn.ensemble의 ExtraTrees 분류기를 분할 전략으로 n_estimators=100 및 criterion="gini"와 함께 사용했습니다. 랜덤 포레스트와 달리 추가 트리는 절단점을 무작위로 선택하여 무작위성을 추가하여 모델 분산을 줄이고 일반화를 개선하는 데 도움이 됩니다. 앙상블은 기본 학습자의 예측을 집계하여 일반화를 향상시키는 scikit-learn의 Stacking Classifier를 사용하여 수행되었습니다. 각 모델은 정확도, 정밀도, F1 점수, 오류 분석 및 혼동 행렬을 포함한 표준 분류 지표를 사용하여 평가되었습니다. 이러한 메트릭은 모든 모델에서 표준화된 성능 비교를 보장하기 위해 sklearn.metrics 모듈의 함수를 사용하여 계산되었습니다.

정확도 및 F1 점수 기준 성능이 가장 높은 모델은 Python 라이브러리를 사용하여 배포하기 위해 저장되었습니다. dump(model, "best_model.pkl")를 사용하여 훈련된 모델을 재훈련할 필요 없이 재사용할 수 있도록 합니다. 실제 애플리케이션을 시뮬레이션하기 위해 NumPy를 사용하여 11개의 기능이 포함된 샘플 입력 배열을 생성하고 모델 .predict() 함수에 전달했습니다. 예를 들어, 입력 벡터 [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]]는 대출 승인을 나타내는 예측 1을 반환했습니다. 모든 실험은 Kaggle의 Google Notebook을 사용하여 Python 3.10 환경에서 수행되었습니다. 모델 개발 및 평가는 scikit-learn(v1.3), Gradient Boosting Model 및 Efficient Gradient Boosting Model 라이브러리를 사용하여 수행되었습니다. 모든 하이퍼파라미터는 명시적으로 문서화되었으며 해당되는 경우 기본값이 명확하게 명시되었습니다. 인코딩 절차는 Pedregosa가 설명한 접근 방식을 따랐으며 scikit-learn⁴⁶에서 구현되었습니다. 이 포괄적이고 투명한 방법론은 실험 프로토콜이 완전히 재현 가능하고 기계 학습 연구의 엄격한 학술 표준을 준수하도록 보장합니다.

데이터 준비 기능 섹션, 모델 훈련 및 평가 단계를 포함하는 제안된 방법론의 구조는 그림 1에 나와 있습니다.

이 연구에서는 과거 재무 기록을 기반으로 대출 승인 결정을 예측하기 위해 Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model 및 Extra Trees의 네 가지 강력한 분류기의 기능을 결합하는 스태킹 앙상블 학습 프레임워크를 소개합니다. 스택 모델 아키텍처 내에서 부스팅 및 배깅 전략을 모두 결합하여⁴⁶. 이 접근 방식은 편향 및 분산과 같은 이러한 모델의 개별 단점을 효과적으로 극복하여 예측 정확도와 모델 일반화를 향상시킵니다. 각 기본 학습자는 고유한 강점을 제공합니다. 그래디언트 부스팅 모델은 범주형 변수에 효율적이며 높은 진심 범주형 기능을 처리하도록 설계되었으며 내부적으로 순서 부스팅⁴⁷을 사용하여 대상 인코딩을 수행합니다. 이렇게 하면 과거 데이터만 통계 계산에 사용되도록 하여 과잉 피팅을 방지할 수 있습니다. 공식에서

,

각 h_t (x)는 이전 모델의 잔차에 대해 훈련된 의사 결정 트리를 나타내고 n_t 는 단계별 학습 기여도를 나타냅니다. AdaBoost 또는 Adaptive Boosting은 훈련 중에 각 인스턴스의 가중치를 조정하고 이전에 잘못 분류된 데이터 포인트에 초점을 맞춥니다⁴⁸. 공식에서

α_t 는 t번째 약한 학습자 h_t(x)의 성능을 반영하여 이전에 잘못 분류된 샘플에 더 중점을 둡니다. 효율적인 그래디언트 부스팅 모델 그래디언트 기반 단측 샘플링(GOSS)과 독점 기능 번들링을 통합하여 더 빠른 성능을 제공합니다. 효율적인 그래디언트 부스팅은 대규모 데이터에서 빠른 속도와 성능을 제공합니다⁴⁹.

f_t(x_i)는 손실 l(•)을 최소화하기 위해 추가된 새로운 의사 결정 트리를 나타내고 Ω(f_t)는 정규화 항입니다. 대조적으로, 부스팅 알고리즘, Extra Trees는 의사 결정 트리 분할에 무작위성을 추가하여 분산을 줄입니다⁵⁰. 배깅 원칙에 의존하지만 노드 분할 중에 예측 규칙에 추가 무작위성을 주입합니다

M개의 독립적으로 훈련된 무작위 트리의 출력을 평균화합니다. 각 분할에 대해 Extra 트리는 기능에 대한 임의의 임계값을 선택하고 그 중에서 가장 좋은 것을 선택하여 분산을 줄이고 트리 전반에 걸쳐 높은 다양성을 제공하여 일반화를 향상시킵니다. 이러한 모델은 대출 승인 여부를 결정하기 위해 출력을 최적으로 결합하는 방법을 학습하는 스태킹 분류기를 통해 집합적으로 통합됩니다. 이 프레임워크는 공통 분류 지표로 평가되고 실시간 입력 샘플로 테스트되어 디지털 대출 환경에서의 실질적인 관련성을 입증했습니다⁵¹. 이러한 모델은 대출 수락 결과를 결정하기 위해 출력을 이상적으로 혼합하는 방법을 학습하는 스태킹 분류기를 사용하여 집합적으로 결합됩니다. 모델의 성능은 정확도, 정밀도, 재현율, F1-점수 및 AUC-ROC와 같은 중요한 분류 측정과 혼동 행렬을 사용하여 평가되어 유형 I 및 유형 II 실수를 모두 줄일 수 있는 능력을 결정했습니다. 클래스 균형을 유지하기 위해 계층화된 80:20 트레인-테스트 분할이 활용되었으며, 5배 교차 검증은 견고성을 보장하고 샘플 변동성을 줄였습니다. 또한 신용 기록, 소득, 고용 상태, 대출 금액 등의 정보를 포함하는 현실적인 대출 신청자 프로필을 기반으로 모델을 평가하여 이진 판단 및 확률 등급을 산출했습니다. 이 2단계 테스트는 실시간 디지털 대출 상황에서 모델의 효율성, 공정성 및 실용성을 보여줍니다. 이 작업의 참신함은 신용 점수에 맞춰진 하이브리드 앙상블 디자인에 있으며, 현대 금융 플랫폼을 위한 강력하고 해석 가능하며 재현 가능한 모델이 됩니다⁵² .

Results

특징 상관 분석

특징 상관 히트맵 (그림 2) 은 다양한 속성 간의 상호 관계에 대한 유용한 정보를 제공했습니다. 소득, 연간 대출 금액, 사치품 자산 가치, 은행 자산 가치 등 자산 관련 변수 사이에 강한 양의 상관관계가 발견되어 신청자의 재무 프로필이 대출 평가에 중요하다는 것을 보여주었습니다. 흥미롭게도 CIBIL 점수는 대출 상태와 상당한 음의 상관관계(-0.77)를 보였으며, 이는 신용 점수가 높은 신청자가 대출을 받을 가능성이 훨씬 더 높다는 것을 나타내며, 이는 일반적인 재무 위험 평가 방법과 일치합니다.

혼동 행렬 ...

Discussion

대출 승인 예측을 위한 스태킹 앙상블 모델은 다양한 평가 지표에서 탁월한 성능을 발휘하여 뛰어난 정확성과 신뢰성을 보여줍니다. 상관관계 히트맵은 연간 소득, 대출 금액, 자산 가치와 같은 재무 지표가 강하게 상호 연관되어 있어 대출 진화에서 중요성을 강조하는 반면, CIBIL 점수는 대출 상태와 강한 음의 상관관계를 갖고 있어 신용도 평가에서의 역할을 강화하는 것으로 나타났습니다. 모델의 혼동 행렬은 오류율이 낮아 854개의 예제 중 839개를 정확하게 감지했으며 오분류는 15개에 불과했습니다. 분류 측정은 전체 정확도 98%를 보여주었으며 정확도, 재현율 및 F-1 점수는 수락된 클래스와 거부된 클래스 모두에 대해 일관되게 0.98 이상으로 주요 클래스 불균형이나 편향이 없음을 나타냅니다. MAE, MSE 및 RMSE와 같은 오차 행렬은 모두 낮았으며 이는 모델이 강력하고 정확하게 예측되었음을 나타냅니다. 시각화 메트릭은 두 클래스 모두에서 모델의 균형 잡히고 일관된...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
캐글	https://www.kaggle.com/
판다	https://pandas.pydata.org/
모델 라이브러리	IBM	https://www.ibm.com