Podejście stacking ensemble do przewidywania zatwierdzenia kredytów z wykorzystaniem technik uczenia maszynowego

Summary

Niniejsze badanie opracowuje model zespołu stacking, integrujący XGBoost, CatBoost (Gradient Boosting Model), LightGBM (Efficient Gradient Boosting Model), AdaBoost oraz Extra Trees do przewidywania zatwierdzeń kredytów na podstawie danych Kaggle. Osiągając dokładność 98%, identyfikuje kluczowe wskaźniki predykcji, takie jak dochód i ocena kredytowa, co sprzyja sprawiedliwym i efektywnym podejmowaniu decyzji dotyczących zatwierdzenia i/lub odrzucenia kredytu.

Abstract

Cyfrowe pożyczki i innowacje fintech wywróciły do góry nogami ustalone systemy bankowe, zmieniając inkluzję finansową i dostępność kredytów w krajach na całym świecie. Badanie to analizuje, jak zmieniają się platformy peer-to-peer (P2P) i cyfrowe pożyczki, podkreślając, jak technologie takie jak sztuczna inteligencja i uczenie maszynowe zmieniają sposób zatwierdzania pożyczek. Dokładne badanie literatury podkreśla szanse i problemy ekosystemu pożyczek cyfrowych, takie jak algorytmiczna ocena ryzyka, zaufanie klientów, wykluczenie finansowe oraz luki regulacyjne. Artykuł ten sugeruje silne podejście do uczenia maszynowego, które wykorzystuje model stacking ensemble do dokładnego prognozowania zatwierdzeń kredytów w celu rozwiązania tych problemów. Dane zostały wstępnie przetworzone za pomocą partycjonowania testów pociągowych, analizy eksploracyjnej oraz kodowania etykiet przy użyciu publicznie dostępnego zbioru danych Kaggle, który zawierał dane demograficzne kandydatów, cechy finansowe oraz historię kredytową. Z XGBoost jako meta-uczącym się, zespół zawiera Gradient Boosting Model, Efficient Gradient Boosting, AdaBoost oraz Extra Trees jako podstawowe klasyfikatory uczące się. Model z dokładnością 98% oceniano za pomocą miar takich jak dokładność, precyzja, przypomnienie, F1-score oraz wskaźniki błędu (MAE – średni błąd bezwzględny, MSE – średni kwadratowy błąd oraz RMSE – średni średni kwadratowy błąd). Według badań korelacyjnych, czynniki takie jak aktywa, dochody oraz wyniki CIBIL mają istotny wpływ na zatwierdzenie kredytów. Przewyższając metody konwencjonalne, model wykazał równowagę i uogólnienie w obu klasach. W zakończeniu artykułu podkreślono przydatność tych modeli do automatycznych, opartych na danych ustalania kredytów.

Introduction

W najnowszej fazie transformacji technologicznej branży bankowej, na rynek weszli nowi przełomowi dostawcy usług finansowych spoza ustalonego systemu bankowego¹. BigTech (duże firmy technologiczne, które koncentrują się głównie na udzielaniu kredytów bezpośrednio lub z instytucjami finansowymi) oraz FinTech (technologie finansowe, w tym modele takie jak pożyczki P2P i internetowe alternatywy kredytowe dla tradycyjnych banków) znacząco wchodzą w sektor finansowy, stanowiąc wyzwanie dla tradycyjnej bankowości pomimo wysiłków banków na rzecz dostosowania się do cyfrowego krajobrazu². Ta szybka ewolucja syggnalizuje zmianę w ekosystemie finansowym, gdzie nietradycyjni gracze coraz bardziej zmieniają sposób korzystania z usług finansowych i ich świadczenia³. Pojawienie się cyfrowego kredytowania ma negatywną korelację z kredytem bankowym, co sugeruje, że wraz z wejściem nowych pożyczkodawców na rynek tradycyjne bankowość może ustąpić miejsca^{alternatywnym} kredytom cyfrowym. Transformację tę dodatkowo przyspieszył globalny kryzys finansowy w 2008 roku (GFC), który drastycznie obniżył zaufanie klientów do usług finansowych i przyczynił się do rozwoju^{przedsięwzięć} finansowych lub przedsięwzięć Fintech. Fintech to termin łączący technologię i finanse, odnoszący się do zastosowania technologii do dostarczania rozwiązań finansowych⁶. W miarę dojrzewania fintechu jednym z jego najbardziej transformacyjnych zastosowań był wzrost pożyczek P2P, znanych również jako usługi pożyczkowe online⁷. Główną innowacją w pożyczkach P2P jest bezpośrednie dopasowanie pożyczkodawców i pożyczkobiorców. Pożyczkobiorcy składają wnioski o małe, niezabezpieczone pożyczki, a platformy pożyczkowe są wykorzystywane przez wielu inwestorów do oceny i finansowania wniosków o pożyczkę⁸. Pożyczki P2P działają podobnie jak bank, ale korzystają z internetu i nowoczesnej technologii, aby umożliwić udzielanie pożyczek online i umowy zadłużenia ⁹. Sukces i skalowalność tego modelu stały się widoczne wraz z uruchomieniem ZOPA.com, pierwszej w historii platformy P2P, która zadebiutowała w Wielkiej Brytanii w 2005 roku. Od tego czasu pożyczki online znacząco wzrosły, osiągając ponad 100 miliardów dolarów do 2015 roku, a w 2025 roku oczekuje się, że przekroczą 10 bilion^dolarów. Pożyczki cyfrowe, szczególnie w gospodarkach wschodzących, ewoluowały wraz z integracją z^{Fintechiem 11}. Integracja fintech w cyfrowym finansowaniu zwiększa inkluzję finansową, szczególnie na rynkach wschodzących. Płatności mobilne i rozwiązania blockchain umożliwiają transakcje P2P i mikropożyczki, zmniejszając bariery w usługach finansowych¹². Ta zmiana paradygmatu jest napędzana przez wykorzystanie technologii takich jak blockchain, sztuczna inteligencja (AI), uczenie maszynowe oraz systemy płatności cyfrowych, aby stworzyć bardziej inkluzywne, efektywne i skoncentrowane na kliencie środowisko finansowe¹³. Cyfrowe platformy pożyczkowe wykorzystują technologię do przyspieszania składania wniosków, oszczędności kosztów i ulepszania oceny ryzyka kredytowego, umożliwiając małym firmom i osobom indywidualnym szybsze uzyskanie finansowania¹⁴. Wykorzystują big data, blockchain, sztuczną inteligencję i uczenie maszynowe, aby poprawić ocenę kredytobiorców, obniżyć koszty i promować inkluzję finansową¹⁵. Uczenie maszynowe, w szczególności, zrewolucjonizowało zarządzanie ryzykiem, wykorzystując alternatywne źródła danych¹⁶. Przewyższa tradycyjne podejścia do oceny kredytowej, wykorzystując dane nietradycyjne, poprawiając oceny kredytobiorców oraz prognozując rozwój gospodarczy¹⁷. Ta metoda zmniejsza ryzyko niewypłacalności poprzez zwiększenie dokładności ocen kredytobiorców oraz pomoc w przewidywaniu zmian w gospodarce¹⁸. Jednym z najważniejszych efektów cyfrowego finansowania jest jego zdolność do rozwiązywania trudności związanych z inkluzją finansową, szczególnie w gospodarkach wschodzących i obszarach marginalizowanych¹⁹.

Aby z dużą dokładnością prognozować akceptację kredytów przy użyciu ustrukturyzowanego zbioru danych Kaggle, artykuł ten proponuje nowatorski model zespołu stacking, który łączy Gradient Boosting Model, Efficient Gradient Boosting Model, AdaBoost, Extra Trees oraz XGBoost. Aby poprawić elastyczność predykcyjną i uogólnienie, metoda ta łączy kilku zaawansowanych uczniów z XGBoost jako meta-klasyfikatorem, w przeciwieństwie do wcześniejszych badań, które często wykorzystują pojedyncze modele lub konwencjonalne klasyfikatory. Model dobrze radził sobie zarówno w klasie zaakceptowanych, jak i odrzuconych, osiągając imponujący wskaźnik dokładności na poziomie 98%. Ten rozwój metodologiczny zapewnia praktyczny i rozszerzalny sposób automatyzacji decyzji dotyczących zatwierdzania kredytów w cyfrowych środowiskach kredytowych, szczególnie w rozwijających się ekosystemach finansowych.

Celem tych badań jest stworzenie silnego modelu stacking ensemble dla cyfrowego kredytowania, który dokładnie przewiduje akceptację kredytów poprzez połączenie Gradient Boosting Model, Efficient Gradient Boosting Model, AdaBoost, Extra Trees oraz XGBoost. Ponadto ma na celu zbadanie, jak ważne zmienne demograficzne i finansowe (dochód, wartość aktywów oraz Limited Score CIBIL-Credit Information Bureau (India) Limited) wpływają na wybór kredytów, ocenę, jak model zespołowy radzi sobie w porównaniu z bardziej konwencjonalnymi modelami wykorzystującymi metryki klasyfikacji i błędu, oraz podkreślenie, jak podejścia zespołowe mogą zwiększyć efektywność, uogólnienie i sprawiedliwość. Głównym celem jest statystyczna analiza, w jaki sposób cechy wnioskodawcy wpływają na zatwierdzenie kredytu oraz ocena wydajności algorytmów uczenia się zespołowego.

P2P i pożyczki cyfrowe nadal przekształcają krajobraz finansowy na całym świecie, stwarzając zarówno możliwości, jak i wyzwania.

Pożyczki cyfrowe szybko zmieniają globalny krajobraz finansowy, oferując alternatywę dla tradycyjnej bankowości²⁰. To globalne spojrzenie podkreśla, jak konteksty regionalne unikalnie kształtują dojrzałość cyfrowego kredytowania. Cyfrowe pożyczki się rozwijają, ale pozostają technologicznie niedojrzałe, podczas gdy automatyzacja i predykcyjne punktowanie przynoszą efektywność, a platformy wciąż w dużym stopniu polegają na systemach firm trzecich do sprawdzania przeszłości, co ogranicza odporność²¹. Pomimo szybkiego rozwoju, wykluczenie finansowe pozostaje poważnym problemem na całym świecie, a szacuje się, że 44% dorosłych w krajach rozwijających się nie ma dostępu do formalnych usług finansowych, co wymaga pilnych reform, lepszej infrastruktury oraz inicjatyw na rzecz edukacji cyfrowej. Takie ograniczenia pojawiają się także w innych zbiegających się branżach, trwających wyzwaniach w obsłudze danych oraz integracji systemu²². W miarę pogłębiania się integracji cyfrowej, luki bezpieczeństwa w sektorze Fintech narastają. Aby temu sprostać, zaproponowano ramy skoncentrowane na bezpieczeństwie, które mają zabezpieczyć transakcje cyfrowe²³. Podobne zmiany obserwuje się także na innych rynkach wschodzących. W Kenii, choć aplikacje do pieniędzy mobilnych i cyfrowych pożyczek poprawiły dostęp finansowy, prywatność danych pozostaje uporczywym problemem, a najnowsze regulacje mają ograniczony wpływ, co sugeruje,^{że potrzebne} są silniejsze mechanizmy egzekwowania, formalne audyty i jasne wytyczne rozwojowe. Odzwierciedla to szerszy trend, w którym ramy regulacyjne często pozostają w tyle za innowacjami fintech. Krajobraz regulacyjny fintech różni się od tradycyjnego bankowości. Na przykład, jeśli pożyczki nie są wysokiego ryzyka, organy skarżenia mają mniejszy wpływ na stopy procentowe w fintech²⁵. Szczególnie istnieje silna potrzeba poprawy nadzoru, wykorzystania analityki danych oraz aktualizacji regulacyjnych, aby ograniczyć nielegalny wzrost fintech i naruszenia prywatności²⁶. Poza regulacjami, sukces cyfrowego finansowania zależy także od zaufania, dlatego zaufanie odgrywa kluczową rolę w podejmowaniu decyzji dotyczących pożyczek. Zaufanie do barrowerów jest bardziej wpływowe niż do pośredników²⁷.

Równoległa ewolucja widoczna jest w cyfrowym ekosystemie kredytowym Indii²⁸. Biznes pożyczek cyfrowych szybko się rozwija dzięki postępom w fintech, korzystnym regulacjom wdrożonym przez Bank Rezerw Indii (RBI) oraz wzrostowi zaufania konsumentów po wybuchu pandemii COVID-1929. Jednak wraz z innowacją wiąże się ryzyko. Chociaż nielicencjonowane aplikacje lub platformy pożyczkowe poprawiają dostęp, niosą poważne zagrożenia dla konsumentów, takie jak nękanie, wysokie stopy procentowe oraz nadużycia danych wynikające ze słabych regulacji. Wzmocnienie ochrony konsumentów i odpowiedzialności jest zatem kluczowe dla wspierania odpowiedzialnej inkluzji finansowej³⁰. Ryzyko niewypłacalności pożyczkobiorców i fałszywych wniosków jest poważne w przypadku cyfrowych pożyczek; Dobre środki ochrony konsumentów nie tylko chronią konsumentów, ale także pozytywnie wpływają na wyniki finansowe, ponieważ bezpieczeństwo i przejrzystość danych poprawiają wskaźniki rentowności, takie jak zwrot z aktywów (ROA) i zwrot z kapitału własnego (ROE)³¹. Na całym świecie kładzie się znaczny nacisk na usprawnienia operacyjne, ze szczególnym naciskiem na usprawnienie systemów udzielania kredytów, zachęcanie do korzystania z technologii mobilnych oraz opracowywanie jasnych strategii spełniania standardów regulacyjnych i oczekiwań konsumentów³². Aby przeciwdziałać tym ryzykom, coraz częściej stosuje się zaawansowane analizy i sztuczną inteligencję do przewidywania pożyczkodawców wysokiego ryzyka; wykrywanie odchyleń za pomocą wskaźników takich jak nieudane pożyczki, czas spłaty i ocena kredytowa okazały się skuteczne³³. Korzystając z modelu społeczno-technicznego jako wskazówki, odkryliśmy, że ryzyka wynikają zarówno z interesariuszy, jak i z braku współzależności między projektowaniem platformy a komponentami organizacyjnymi³⁴. Wdrażanie modeli dynamicznych, takich jak UTAUT2, dominuje w wyjaśnianiu adopcji przez użytkowników, a zaufanie staje się kluczowym czynnikiem predyktorującym intencję pożyczki³⁵. Algorytmy wykrywania oszustw oparte na uczeniu maszynowym, takie jak modele Random Forest i SVM, są również używane³⁶. Według wyników badania, modele uczenia maszynowego mogą odpowiednio ocenić osobiste informacje kredytowe i określić prawdopodobieństwo niewypłacalności kredytu; Sieć głęboka neuronowa wypadała najlepiej (dokładność: 0,94)³⁷. Badanie, które wykorzystało Naïve Bayes z 94% dokładnością, wykazało, że cechy takie jak oprocentowanie, czas spłaty, opis, ocena kredytowa, historia kredytowa, płeć i ocena kredytowa mają istotny wpływ na skuteczność kredytową³⁸. Tymczasem istnieją prawdopodobieństwa zarówno ryzyka przedterminowej spłaty, jak i niewypłacalności, a ważne zdarzenia skutkujące zakończeniem pożyczek i utratą zysku dla wierzycieli były prognozowane za pomocą wielowymiarowej regresji logistycznej, a całkowita dokładność modelu wyniosła 76,63,39. Według badania, przychody klubów pożyczkowych mogą być zwiększone z wysoką dokładnością o 68%, stosując Efektywny Model Gradientowego Boostingu do prognozowania ryzyka niewypłacalności na cyfrowych platformach pożyczkowych⁴⁰. Równocześnie rozwijają się bardziej zaawansowane modele AI, takie jak głębokie uczenie wielowidokowe, które łączą różne zmienne (takie jak korzystanie z aplikacji i wzorce zachowań) i działają lepiej niż konwencjonalne techniki, szczególnie w sytuacjach, gdy dane historyczne są ograniczone⁴¹. Badania z Chin potwierdzają, że poprawa prognoz niewypłacalności i włączenia finansowego, a modele takie jak Gradient Boosting Model i LGBM przewyższają tradycyjne oceny kredytowe⁴², modelowanie dynamiczne systemowe również pomaga symulować wahania stóp procentowych na platformach P2P, oferując wgląd w zachowania inwestorów kredytobiorców w różnych warunkach⁴³. Wykazano, że Efektywny Model Gradientowego Boostingu poprawia prognozowanie niewypłacalności i rentowność platformy⁴⁰, podczas gdy głębokie sieci neuronowe również przewyższają tradycyjne modele przy odpowiednim szkoleniu³⁷ oraz stabilizują rynki cyfrowe poprzez lepsze zarządzanie ryzykiem⁴⁴, aby zapewnić trwałość; technologia regulacyjna, taka jak automatyzacja procesów robotycznych, pomaga instytucjom finansowym dostosować wymagania regulacyjne do planów biznesowych. Poprawa zgodności i efektywności operacyjnej⁴⁵. Tabela 1 podsumowuje kluczowe badania badające zastosowanie uczenia maszynowego w procesach pożyczek cyfrowych i zatwierdzania pożyczek.

Protocol

Zbieranie danych

Badanie to wykorzystało zestaw danych Loan Approval Prediction Dataset dostępny na Kaggle. Zbiór danych został wyodrębniony w lutym 2025 roku i składa się z 4269 rekordów mających na celu ocenę danych kredytowych oraz prognozowanie wyników zatwierdzania kredytów. Zawiera 12 kolumn zawierających szczegółowe informacje o profilu demograficznym kandydatów, takich jak status zatrudnienia, osoby na utrzymaniu, osoby na utrzymaniu, osoby samozatrudnione, kwota pożyczki, okres trwania pożyczki, wyniki CIBIL, historia finansowa oraz specyficzne cechy kredytowe. Zbiór danych został zaimportowany za pomocą biblioteki Pandas i wizualnie sprawdzony za pomocą df.head (), aby zrozumieć jego strukturę i jakość.

Wstępne przetwarzanie danych

Podczas fazy wstępnego przetwarzania danych pierwszym krokiem było usunięcie kolumny identyfikatora (loan_id) ze względu na brak wartości predykcyjnej i potencjał wprowadzania szumu do modelu. Drugi etap polegał na kodowaniu etykiet, gdzie zmienne kategoryczne, takie jak wykształcenie, osoby samozatrudnione i loan_status, były przekształcane w reprezentacje liczbowe. Transformacja ta została przeprowadzona za pomocą Label Encoder z modułu sklearn.preprocessing. Konkretnie, edukacja była kodowana jako 0 dla Graduate i 1 dla Not Graduate; self_employed 0 oznaczająca Nie i 1 oznaczającą Tak, a loan_status – zmienną docelową, 0 – Niezatwierdzone i 1 – Zatwierdzone. Konwersje te były konieczne, aby zapewnić kompatybilność z modelami uczenia maszynowego, które wymagają numerycznych wejść, szczególnie w aplikacjach cyfrowych pożyczek. Cechy zostały oddzielone od zmiennej docelowej za pomocą X=df.drop (["loan_status"], osi=1) oraz y=df ["loan_status]. Takie rozwiązanie stanowiło kompleksową podstawę do analizy czynników wpływających na decyzje dotyczące zatwierdzania kredytów, wykorzystując historyczne zapisy pożyczkowe do trenowania wielu modeli uczenia maszynowego zespołowego. Modele te miały na celu poprawę ogólnej dokładności i odporności poprzez połączenie przewidywającej siły wielu klasyfikatorów.

Przetworzony zbiór danych został następnie podzielony na podzbiory treningowe i testowe za pomocą funkcji train_test_split z sklearn.model_selection, przy czym 80% danych wykorzystywano do treningu, a 20% do testowania. Zapewniało to, że model był trenowany na wystarczająco dużej części danych, jednocześnie zachowując reprezentatywną próbę do oceny wydajności. Po oczyszczeniu, ustrukturyzowaniu i statystycznym zbadaniu zbioru danych, położono fundament pod wdrożenie solidnych ram uczenia maszynowego, mających na celu zwiększenie dokładności predykcyjnej klasyfikacji zatwierdzania kredytów. Rozwój modelu przeprowadzono przy użyciu czterech algorytmów uczenia maszynowego opartego na zespole zespołowym: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model oraz Extra Trees Classifier. Zostały one wybrane ze względu na udowodnioną skuteczność w zadaniach klasyfikacyjnych obejmujących dane strukturalne, tabelaryczne. Gradient Boosting Model Classifier, zaimplementowany z biblioteki Gradient Boosting Model, został uruchomiony z domyślnymi ustawieniami (iteracje=1000, tempo uczenia=0,1, głębokość=6, verbose=False). Był trenowany w używaniu. dopasowanie (x_train, y_train) i oceniano za pomocą .predict (X_test). Chociaż Model Gradient Boosting automatycznie obsługuje kodowanie danych kategorycznych, funkcja ta nie została wykorzystana, ponieważ dane zostały już zakodowane etykietami. AdaBoost Classifier (Adaptive Boosting, który poprawia słabych uczniów) został zaimplementowany za pomocą sklearn-ensemble. AdaBoost Classifier został skonfigurowany z n_estimators=100 i learning_rate=1,0, używając decyzyjnego stumps jako domyślnego estymatora bazowego. Był trenowany i oceniany w podobny sposób, co zapewniało odporność poprzez iteracyjne ważenie błędnie sklasyfikowanych przypadków. Efficient Gradient Boosting, zaimplementowany za pomocą biblioteki Efficient Gradient Boosting Model (LGBMClassifier), został skonfigurowany z n_estimators=100, learning_rate=0,1 oraz max_depth=-1 (nieograniczona głębokość drzewa). Model ten, znany ze swojej szybkości i efektywności, szczególnie wyróżnia się na dużych zbiorach danych o cechach o wysokich wymiarach, wykorzystując zoptymalizowane drzewa decyzyjne zwiększające gradient.

Na koniec użyto klasyfikatora ExtraTrees ze sklearn.ensemble z n_estimators=100 i criterion="gini" jako strategią rozdzielania. W przeciwieństwie do Random Forest, Extra Trees wprowadza dodatkową losowość poprzez losowe wybieranie punktów cięcia, co pomaga zmniejszyć wariancję modelu i poprawić uogólnienie. Zespół przeprowadzono za pomocą Stacking Classifier scikit-learn, który zwiększa uogólnienie poprzez agregację prognoz uczniów bazowych. Każdy model był oceniany za pomocą standardowych wskaźników klasyfikacji, w tym dokładności, precyzji, wyniku F1, analizy błędów oraz macierzy pomyłek. Wskaźniki te zostały obliczone za pomocą funkcji z modułu sklearn.metrics, aby zapewnić ustandaryzowane porównanie wydajności we wszystkich modelach.

Model najlepiej działający (oparty na dokładności i wyniku F1) został zapisany do wdrożenia przy użyciu biblioteki Python. dump(model, "best_model.pkl"), zapewniając, że wytrenowany model może być ponownie używany bez potrzeby ponownego trenowania. Aby zasymulować rzeczywiste zastosowanie, stworzono przykładową tablicę wejściową zawierającą 11 cech za pomocą NumPy i przekazano ją do funkcji modelu .predict (). Na przykład wektor wejściowy [[0, 1, 1,4100000, 12200000, 8, 417, 27000000, 2200000, 88000000, 3300000]] zwracał prognozę 1, co wskazuje na zatwierdzenie pożyczki. Wszystkie eksperymenty prowadzono w środowisku Python 3.10 za pomocą Google Notebook na Kaggle. Rozwój i ocena modeli były prowadzone przy użyciu bibliotek scikit-learn (v1.3), Gradient Boosting Model oraz Efficient Gradient Boosting Model. Wszystkie hiperparametry były wyraźnie dokumentowane, a domyślne wartości jasno określano, gdzie to było stosowne. Procedury kodowania podążały za podejściem opisanym przez Pedregosę i zostały zaimplementowane w scikit-learn⁴⁶. Ta kompleksowa i przejrzysta metodologia zapewnia, że protokół eksperymentalny jest w pełni powtarzalny i zgodny z rygorystycznymi standardami akademickimi w badaniach nad uczeniem maszynowym.

Struktura proponowanej metodologii, obejmująca fazę przygotowania danych, sekcję cech, trening modelu i ocenę, przedstawiona jest na Rysunku 1.

Badania wprowadzają ramy uczenia zespołu stacking, które łączą możliwości czterech potężnych klasyfikatorów: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model oraz Extra Trees, aby przewidywać decyzje dotyczące zatwierdzania kredytów na podstawie historycznych zapisów finansowych. Łącząc strategie boostingu i bagowania w architekturze modelu stacked⁴⁶. Podejście to skutecznie przezwycięża indywidualne niedociągnięcia tych modeli, takie jak stronniczość i wariancja, co przyczynia się do poprawy dokładności predykcji i uogólnienia modelu. Każdy uczący się bazowy wnosi unikalne mocne strony. Model Gradient Boosting jest efektywny z funkcjami kategorycznymi, zaprojektowany do obsługi cech o wysokiej życzliwości i wewnętrznie wykonuje kodowanie celów za pomocą uporządkowanego boostingu⁴⁷. To zapobiega nadmiernemu dopasowaniu, zapewniając, że w obliczeniach statystyki wykorzystywane są tylko dane z przeszłości. W wzorze

   ,

Każdy h_t (x) reprezentuje drzewo decyzyjne wytrenowane na resztach poprzedniego modelu, a n_t oznacza wkład w naukę specyficzną dla poszczególnych kroków. AdaBoost, czyli Adaptive Boosting, koryguje wagę każdego przypadku podczas treningu i skupia się na wcześniej błędnie sklasyfikowanych punktach^{danych 48}. W wzorze

α_t odzwierciedla wyniki t-tego słabego ucznia h(_x), kładąc większy nacisk na wcześniej błędnie sklasyfikowane próbki. Efektywny Model Gradient Boosting Zawiera gradientowe jednostronne próbkowanie (GOSS) oraz ekskluzywne pakiety funkcji dla szybszej wydajności. Efficient Gradient Boosting oferuje wysoką szybkość i wydajność na dużych skalach danych⁴⁹.

f_t(x_i) oznacza nowe drzewo decyzyjne dodane w celu minimalizacji strat l(•), natomiast Ω(f_t) to wyraz regularizacyjny . W przeciwieństwie do algorytmów wzmacniających algorytmy, Extra Trees zmniejsza wariancję poprzez dodanie losowości w podziałach drzewa decyzyjnego^{o 50}. Opiera się na zasadach bagowania, ale wprowadza dodatkową losowość podczas podziału węzłów do reguły predykcji

Uśrednia wyniki M niezależnie trenowanych drzew losowych. Dla każdego podziału drzewa Extra wybierają losowe progi dla cech i wybierają najlepsze spośród nich, zmniejszając wariancję i oferując wysoką różnorodność między drzewami, co poprawia uogólnienie. Modele te są łącznie integrowane przez klasyfikator stosowania, który uczy się optymalnie łączyć ich wyniki, aby zdecydować, czy pożyczka powinna zostać zatwierdzona. Ramy zostały ocenione według wspólnych metryk klasyfikacji i przetestowane na próbkach danych wejściowych na żywo, co wykazało jego praktyczne znaczenie w cyfrowych środowiskach kredytowych⁵¹. Modele te są łączone za pomocą klasyfikatora stacking, który uczy się idealnie łączyć ich wyniki w celu określenia wyników akceptacji kredytów. Wydajność modelu oceniano za pomocą ważnych miar klasyfikacji, takich jak dokładność, precyzja, przypomnienie, ocena F1 oraz AUC-ROC, a także macierzy pomyłek, aby określić jego zdolność do redukcji błędów zarówno Typu I, jak i Typu II. Aby utrzymać równowagę klas, zastosowano stratyfikowany podział pociąg-test 80:20, z pięciokrotną walidacją krzyżową, która zapewniła odporność i ograniczyła zmienność próby. Ponadto model został oceniony na podstawie realistycznych profili wnioskodawców o pożyczkę, które zawierały takie informacje jak historia kredytowa, dochody, status zatrudnienia oraz kwota pożyczki, co dało binarne oceny i oceny prawdopodobieństwa. Ten dwuetapowy test demonstruje skuteczność, uczciwość i praktyczność modelu w kontekstach cyfrowego kredytowania w czasie rzeczywistym. Nowość tej pracy tkwi w hybrydowym projekcie zespołowym dostosowanym do oceny kredytowej, co czyni ją solidnym, interpretowalnym i powtarzalnym modelem dla nowoczesnych platform finansowych⁵² .

Results

Analiza korelacji cech

Mapa ciepła korelacji cech (Rysunek 2) dostarczała przydatnych informacji o wzajemnych relacjach między różnymi atrybutami. Stwierdzono silne pozytywne korelacje między dochodem, roczną kwotą kredytu oraz zmiennymi związanymi z aktywami, takimi jak wartość aktywów luksusowych i wartość aktywów bankowych, co pokazuje, że profil finansowy wniosk...

Discussion

Model stacking ensemble do prognozowania zatwierdzania kredytów osiąga wyjątkowo dobre wyniki w różnych metrykach ewaluacji, wykazując dużą dokładność i niezawodność. Mapa korelacji wykazała, że wskaźniki finansowe takie jak roczny dochód, kwota kredytu i wartości aktywów są ze sobą silnie powiązane, podkreślając ich znaczenie w ewolucji kredytów, podczas gdy wyniki CIBIL mają silną negatywną korelację ze statusem kredytu, wzmacniając ich rolę w ocenie zdolności kredytowej. Macierz pomyłek modelu miała niski wskaźnik błę...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kaggle	https://www.kaggle.com/
Pandy	https://pandas.pydata.org/
Biblioteka modeli	IBM	https://www.ibm.com