Stacking-Ensemble-Ansatz zur Vorhersage der Kreditgenehmigung mithilfe von Techniken des maschinellen Lernens

Summary

In dieser Studie wird ein Stacking-Ensemble-Modell entwickelt, das XGBoost, CatBoost (Gradient Boosting Model), LightGBM (Efficient Gradient Boosting Model), AdaBoost und Extra Trees integriert, um Kreditgenehmigungen anhand von Kaggle-Daten vorherzusagen. Mit einer Genauigkeit von 98 % identifiziert es wichtige Prädiktoren wie Einkommen und Kreditwürdigkeit und fördert faire, effiziente Entscheidungen über die Kreditvergabe und/oder -ablehnung.

Abstract

Digitale Kreditvergabe und Fintech-Innovationen haben etablierte Bankensysteme auf den Kopf gestellt und die finanzielle Inklusion und die Verfügbarkeit von Krediten in Ländern auf der ganzen Welt verändert. Diese Studie untersucht, wie sich Peer-to-Peer (P2P) und digitale Kreditplattformen verändern, und betont, wie Technologien wie künstliche Intelligenz und maschinelles Lernen die Art und Weise verändern, wie Kredite genehmigt werden. Ein gründliches Studium der Literatur beleuchtet die Chancen und Probleme im Ökosystem der digitalen Kreditvergabe, wie z. B. algorithmische Risikobewertung, Kundenvertrauen, finanzielle Ausgrenzung und regulatorische Schlupflöcher. In diesem Artikel wird ein starker Ansatz des maschinellen Lernens vorgeschlagen, der ein Stacking-Ensemble-Modell verwendet, um Kreditgenehmigungen genau vorherzusagen und diese Probleme zu lösen. Die Daten wurden mithilfe von Train-Test-Partitionierung, explorativer Analyse und Label-Codierung unter Verwendung eines öffentlich zugänglichen Kaggle-Datensatzes vorverarbeitet, der demografische Daten der Bewerber, finanzielle Merkmale und Kredithistorien umfasste. Mit XGBoost als Meta-Lerner integriert das Ensemble die Klassifikatoren Gradient Boosting Model, Efficient Gradient Boosting, AdaBoost und Extra Trees als Basislerner. Mit einer Genauigkeit von 98 % wurde das Modell anhand von Messgrößen wie Genauigkeit, Präzision, Abruf, F1-Score und Fehlermetriken (MAE - Mean Absolute Error, - Mean Squared Error und RMSE - Root Mean Square Error) bewertet. Korrelationsstudien zufolge haben Faktoren wie Vermögen, Einkommen und CIBIL-Scores einen erheblichen Einfluss auf die Kreditvergabe. Das Modell übertraf herkömmliche Methoden und zeigte eine Ausgewogenheit und Generalisierung über beide Klassen hinweg. Die Nützlichkeit dieser Modelle für automatisierte, datengetriebene Kreditermittlungen wird in der Schlussfolgerung des Papiers betont.

Introduction

In der jüngsten Phase der technologischen Transformation des Bankensektors sind disruptive neue Finanzdienstleister von außerhalb des etablierten Bankensystems auf den Markt gekommen¹. BigTech- (große Technologieunternehmen, die sich hauptsächlich auf die direkte Kreditvergabe oder bei Finanzinstituten konzentrieren) und FinTech- (Finanztechnologie, einschließlich Modelle wie P2P-Kredite und Online-Kreditalternativen zu traditionellen Banken) Unternehmen dringen erheblich in den Finanzsektor vor und stellen trotz der Bemühungen der Banken, sich an die digitale Landschaft anzupassen, eine Herausforderung für das traditionelle Bankwesen dar². Diese rasante Entwicklung signalisiert einen Wandel im Finanzökosystem, in dem nicht-traditionelle Akteure die Art und Weise, wie Finanzdienstleistungen abgerufen und bereitgestellt werden, zunehmend neu gestalten³. Das Aufkommen der digitalen Kreditvergabe hat eine negative Korrelation mit Bankkrediten, was darauf hindeutet, dass das traditionelle Bankgeschäft mit dem Eintritt neuer Kreditgeber in den Markt alternativen digitalen Krediten weichen könnte⁴. Dieser Übergang wurde durch die globale Finanzkrise von 2008 weiter beschleunigt, die das Vertrauen der Kunden in Finanzdienstleistungen drastisch senkte und dazu beitrug, die Expansion von Finanztechnologie- oder Fintech-Unternehmen voranzutreiben⁵. Fintech ist der Begriff für die Kombination von Technologie und Finanzen, der sich auf die Anwendung von Technologie zur Bereitstellung von Finanzlösungen bezieht⁶. Als Fintech reifte, war eine seiner transformativsten Anwendungen der Aufstieg der P2P-Kreditvergabe, die auch als Online-Kreditdienste bezeichnet wird⁷. Die wichtigste Innovation der P2P-Kreditvergabe ist das direkte Matching von Kreditgebern und Kreditnehmern. Kreditnehmer stellen Anträge für kleine, unbesicherte Kredite, und Kreditplattformen werden von mehreren Investoren genutzt, um Kreditanträge zu bewerten und zu finanzieren⁸. P2P-Kredite funktionieren ähnlich wie eine Bank, nutzen jedoch das Internet und modernste Technologie, um Online-Kredite und Schuldenvereinbarungen zu ermöglichen ⁹. Der Erfolg und die Skalierbarkeit dieses Modells wurden mit der Einführung von ZOPA.com deutlich, der ersten P2P-Plattform der Geschichte, die 2005 in Großbritannien debütierte. Seitdem ist die Online-Kreditvergabe erheblich gewachsen und erreichte bis 2015 über 100 Milliarden US-Dollar und wird im Jahr 2025 voraussichtlich über 1 Billion US-Dollar erreichen¹⁰. Die digitale Kreditvergabe, insbesondere in den Schwellenländern, hat sich mit der Fintech-Integration weiterentwickelt¹¹. Die Integration von Fintech in die digitale Kreditvergabe verbessert die finanzielle Inklusion, insbesondere in den Schwellenländern. Mobile Zahlungen und Blockchain-Lösungen ermöglichen P2P-Transaktionen und Mikrokredite und reduzieren so Barrieren für Finanzdienstleistungen¹². Dieser Paradigmenwechsel wird durch die Einbeziehung von Technologien wie Blockchain, künstlicher Intelligenz (KI), maschinellem Lernen und digitalen Zahlungssystemen vorangetrieben, um ein integrativeres, effizienteres und kundenorientierteres Finanzumfeld zu schaffen¹³. Digitale Kreditplattformen nutzen Technologie, um Anträge zu beschleunigen, Kosten zu sparen und die Kreditrisikobewertung zu verbessern, sodass kleine Unternehmen und Privatpersonen schneller Finanzierungen erhalten können¹⁴. Sie nutzen Big Data, Blockchain, KI und maschinelles Lernen, um die Bewertung von Kreditnehmern zu verbessern, Kosten zu senken und die finanzielle Inklusion zu fördern¹⁵. Insbesondere maschinelles Lernen hat das Risikomanagement durch die Nutzung alternativer Datenquellen revolutioniert¹⁶. Es übertrifft traditionelle Bonitätsbewertungsansätze, indem es nicht-traditionelle Daten nutzt, die Ratings von Kreditnehmern verbessert und wirtschaftliche Entwicklungen prognostiziert¹⁷. Diese Methode reduziert das Ausfallrisiko, indem sie die Genauigkeit der Kreditnehmerbewertungen erhöht und bei der Vorhersage von Verschiebungen in der Wirtschaft hilft¹⁸. Eine der wichtigsten Auswirkungen der digitalen Kreditvergabe ist ihre Fähigkeit, die Schwierigkeiten der finanziellen Inklusion zu bewältigen, insbesondere in Schwellenländern und marginalisierten Gebieten¹⁹.

Um die Kreditannahme mit hoher Genauigkeit unter Verwendung eines strukturierten Kaggle-Datensatzes zu prognostizieren, wird in diesem Beitrag ein neuartiges Stacking-Ensemble-Modell vorgeschlagen, das das Gradient Boosting Model, das Efficient Gradient Boosting Model, den AdaBoost, die Extra Trees und den XGBoost kombiniert. Um die prädiktive Anpassungsfähigkeit und Generalisierung zu verbessern, kombiniert diese Methode mehrere fortgeschrittene Lernende mit XGBoost als Meta-Klassifikator, im Gegensatz zu früheren Forschungen, die häufig einzelne Modelle oder konventionelle Klassifikatoren verwenden. Das Modell schnitt sowohl in den angenommenen als auch in den abgelehnten Kreditklassen gut ab, mit einer beeindruckenden Genauigkeitsrate von 98 %. Diese methodische Entwicklung bietet eine praktikable und erweiterbare Möglichkeit, Kreditgenehmigungsentscheidungen in digitalen Kreditumgebungen zu automatisieren, insbesondere bei der Entwicklung von Finanzökosystemen.

Das Ziel dieser Forschung ist es, ein starkes Stacking-Ensemble-Modell für die digitale Kreditvergabe zu schaffen, das die Kreditannahme durch die Kombination von Gradient Boosting Model, Efficient Gradient Boosting Model, AdaBoost, Extra Trees und XGBoost genau vorhersagt. Darüber hinaus soll untersucht werden, wie sich wichtige demografische und finanzielle Variablen (Einkommen, Vermögenswert und CIBIL-Credit Information Bureau (India) Limited Score) auf die Kreditwahl auswirken, wie gut das Ensemble-Modell im Vergleich zu konventionelleren Modellen mit Klassifizierungs- und Fehlermetriken abschneidet, und betont, wie Ensemble-Ansätze Effizienz, Generalisierung und Fairness steigern können. Primäres Ziel ist es, statistisch zu analysieren, wie sich die Merkmale der Antragsteller auf die Kreditvergabe auswirken und die Leistung von Ensemble-Lernalgorithmen zu bewerten.

P2P und digitale Kreditvergabe verändern die Finanzlandschaft weltweit weiter und bieten sowohl Chancen als auch Herausforderungen.

Die digitale Kreditvergabe verändert die globale Finanzlandschaft rasant und bietet eine Alternative zum traditionellen Bankwesen²⁰. Dieser globale Ausblick unterstreicht, wie regionale Kontexte die Reife der digitalen Kreditvergabe in einzigartiger Weise beeinflussen. Die digitale Kreditvergabe nimmt zu, ist aber technologisch noch unausgereift, während Automatisierung und prädiktives Scoring für Effizienz sorgen und die Plattformen bei Hintergrundüberprüfungen immer noch stark von Systemen Dritter abhängen, was die Robustheit einschränkt²¹. Trotz ihrer raschen Ausbreitung ist die finanzielle Ausgrenzung nach wie vor ein großes Problem weltweit: Schätzungsweise 44 % der Erwachsenen in Entwicklungsländern haben keinen Zugang zu formellen Finanzdienstleistungen, was dringende Reformen, eine bessere Infrastruktur und Initiativen zur Förderung der digitalen Kompetenz erforderlich macht. Solche Einschränkungen zeigen sich auch in anderen konvergierenden Branchenhighlights, den anhaltenden Herausforderungen bei der Datenverarbeitung und der Systemintegration²². Mit der Vertiefung der digitalen Integration nehmen die Sicherheitslücken im gesamten Fintech-Bereich zu. Um diesen Problemen zu begegnen, wurde ein sicherheitsorientierter Rahmen zum Schutz digitaler Transaktionen vorgeschlagen²³. Ähnliche Entwicklungen sind in anderen Schwellenländern zu beobachten. In Kenia haben mobiles Geld und digitale Kredit-Apps zwar den Zugang zu Finanzmitteln verbessert, der Datenschutz bleibt jedoch ein anhaltendes Problem, und die jüngsten Vorschriften haben nur begrenzte Auswirkungen, was darauf hindeutet, dass stärkere Durchsetzungsmechanismen, formelle Prüfungen und klare Entwicklungsrichtlinien erforderlich sind²⁴. Dies spiegelt einen breiteren Trend wider, bei dem die regulatorischen Rahmenbedingungen oft hinter der Fintech-Innovation zurückbleiben. Die regulatorische Landschaft von Fintech unterscheidet sich von der des traditionellen Bankwesens. Wenn beispielsweise Kredite nicht mit einem hohen Risiko verbunden sind, hat die Strafverfolgung weniger Auswirkungen auf die Zinssätze in Fintech²⁵. Insbesondere besteht ein dringender Bedarf an verbesserter Aufsicht, Nutzung von Datenanalysen und regulatorischen Aktualisierungen, um illegales Fintech-Wachstum und Datenschutzverletzungen einzudämmen²⁶. Neben der Regulierung hängt der Erfolg der digitalen Kreditvergabe auch vom Vertrauen ab, so dass Vertrauen eine entscheidende Rolle bei Kreditentscheidungen spielt. Das Vertrauen in die Karrenbauern ist einflussreicher als in die Vermittler²⁷.

Eine parallele Entwicklung ist im indischen Ökosystem der digitalen Kreditvergabe sichtbar²⁸. Das Geschäft mit digitalen Krediten expandiert rasant, was auf Fortschritte in der Fintech-Branche, hilfreiche regulatorische Maßnahmen der Reserve Bank of India (RBI) und ein gestiegenes Vertrauen der Verbraucher nach dem Ausbruch von COVID-19 zurückzuführen ist²⁹. Mit der Innovation geht jedoch auch ein Risiko einher. Während nicht lizenzierte digitale Kreditanwendungen oder -plattformen den Zugang verbessern, bergen sie aufgrund schwacher Vorschriften schwerwiegende Verbraucherrisiken wie Belästigung, hohe Zinssätze und Datenmissbrauch. Die Stärkung des Verbraucherschutzes und der Rechenschaftspflicht ist daher von entscheidender Bedeutung, um eine verantwortungsvolle finanzielle Inklusion zu fördern³⁰. Die Gefahren von Zahlungsausfällen und betrügerischen Anträgen sind für die digitale Kreditvergabe erheblich. Gute Verbraucherschutzmaßnahmen schützen nicht nur die Verbraucher, sondern wirken sich auch positiv auf die finanzielle Leistung aus, da Datensicherheit und Transparenz Rentabilitätsindikatoren wie Return on Assets (ROA) und Return on Equity (ROE) verbessern³¹. Weltweit wird ein erheblicher Schwerpunkt auf operative Verbesserungen gelegt, wobei der Schwerpunkt zunehmend auf der Verbesserung der Kreditvergabesysteme, der Förderung des Einsatzes mobiler Technologie und der Entwicklung klarer Strategien zur Erfüllung regulatorischer Standards und Verbrauchererwartungen liegt³². Um diesen Risiken zu begegnen, werden zunehmend fortschrittliche Analysen und KI eingesetzt, um Kreditgeber mit hohem Risiko vorherzusagen, wobei sich die Erkennung von Ausreißern anhand von Indikatoren wie fehlgeschlagenen Krediten, Rückzahlungsdauer und Kreditbewertung als wirksam erwiesen hat³³. Anhand des sozio-technischen Modells stellten wir fest, dass die Risiken von beiden Stakeholdern ausgehen und dass es keine Wechselwirkungen zwischen dem Plattformdesign und den organisatorischen Komponenten gibt³⁴. Die Einführung dynamischer Modelle wie UTAUT2 dominiert bei der Erklärung der Benutzerakzeptanz, wobei Vertrauen zu einem wichtigen Prädiktor für die Kreditabsicht wird³⁵. Auf maschinellem Lernen basierende Algorithmen zur Betrugserkennung, wie z. B. Random Forest und SVM-Modelle, werden ebenfalls verwendet³⁶. Den Ergebnissen der Studie zufolge können Modelle des maschinellen Lernens persönliche Kreditinformationen angemessen bewerten und die Wahrscheinlichkeit eines Kreditausfalls bestimmen. Das tiefe neuronale Netz schnitt am besten ab (Genauigkeit: 0,94)³⁷. Die Studie, in der Naive Bayes mit einer Genauigkeit von 94 % verwendet wurde, ergab, dass Merkmale wie Zinssatz, Rückzahlungszeit, Beschreibung, Kreditwürdigkeit, Kredithistorie, Geschlecht und Kreditwürdigkeit einen erheblichen Einfluss auf den Krediterfolg haben³⁸. In der Zwischenzeit sind die Wahrscheinlichkeiten sowohl von Vorauszahlungs- als auch von Ausfallrisiken vorhanden, wichtige Ereignisse, die zur Kündigung von Krediten und Gewinnverlusten für Gläubiger führen, wurden mit Hilfe der multivariaten logistischen Regression vorhergesagt, und die Gesamtgenauigkeit des Modells betrug 76,63 %³⁹. Laut der Studie können die Einnahmen der Kreditvereine mit einer hohen Genauigkeit von 68 % gesteigert werden, indem ein effizientes Gradienten-Boosting-Modell zur Vorhersage des Ausfallrisikos auf digitalen Kreditplattformen verwendet wird⁴⁰. Gleichzeitig entwickeln sich ausgefeiltere KI-Modelle, wie z. B. Deep Multiview Learning, die verschiedene Variablen (z. B. App-Nutzung und Verhaltensmuster) kombinieren und eine bessere Leistung erbringen als herkömmliche Techniken, insbesondere in Situationen, in denen historische Daten begrenzt sind⁴¹. Studien aus China bestätigen, dass die Verbesserung der Ausfallprognosen und der finanziellen Inklusion, wobei Modelle wie das Gradient Boosting Model und LGBM traditionelle kreditbasierte Bewertungen übertreffen⁴²hilft die systemdynamische Modellierung auch bei der Simulation von Zinsschwankungen auf P2P-Plattformen und bietet Einblicke in das Anlegerverhalten von Kreditnehmern unter verschiedenen Bedingungen⁴³. Es hat sich gezeigt, dass das effiziente Gradient Boosting-Modell die Ausfallvorhersage und die Rentabilität der Plattform verbessert⁴⁰, während tiefe neuronale Netze auch herkömmliche Modelle übertreffen, wenn sie richtig trainiert werden³⁷und digitale Märkte durch besseres Risikomanagement zu stabilisieren⁴⁴Um die Nachhaltigkeit zu gewährleisten, gewinnen regulatorische Technologien an Bedeutung, wie z. B. Robotic Process Automation unterstützt Finanzinstitute dabei, regulatorische Anforderungen mit Geschäftsplänen in Einklang zu bringen und die Compliance und betriebliche Effizienz zu verbessern⁴⁵. Tabelle 1 fasst wichtige Studien zusammen, die die Anwendung von maschinellem Lernen in digitalen Kreditvergabe- und Kreditgenehmigungsprozessen untersuchen.

Protocol

Datensammlung

In dieser Studie wurde das Loan Approval Prediction Dataset verwendet, das auf Kaggle verfügbar ist. Der Datensatz wurde im Februar 2025 extrahiert und besteht aus 4269 Datensätzen, die darauf abzielen, Kreditdaten auszuwerten und die Ergebnisse der Kreditgenehmigung zu prognostizieren. Es enthält 12 Spalten mit detaillierten Informationen zu den demografischen Profilen der Antragsteller, wie z. B. Beschäftigungsstatus, Angehörige, Selbstständige, Kreditbetrag, Kreditlaufzeit, CIBIL-Scores, finanzieller Hintergrund und kreditspezifische Attribute. Der Datensatz wurde mit der Pandas-Bibliothek importiert und mit df.head () visuell überprüft, um seine Struktur und Qualität zu verstehen.

Vorverarbeitung von Daten

Während der Vorverarbeitungsphase der Daten bestand der erste Schritt darin, die Identifikatorspalte (loan_id) zu entfernen, da sie keinen Vorhersagewert hat und das Potenzial hat, Rauschen in das Modell einzubringen. Der zweite Schritt betraf die Label-Kodierung, bei der kategoriale Variablen wie Bildung, Selbstständigkeit und loan_status in numerische Darstellungen umgewandelt wurden. Diese Transformation wurde mit dem Label Encoder aus dem sklearn.preprocessing-Modul durchgeführt. Konkret wurde die Ausbildung als 0 für Graduate und 1 für Not Graduate codiert; self_employed als 0 für Nein und 1 für Ja und loan_status, die Zielvariable, als 0 für Nicht genehmigt und 1 für Genehmigt. Diese Umstellungen waren notwendig, um die Kompatibilität mit Modellen des maschinellen Lernens zu gewährleisten, die numerische Eingaben erfordern, insbesondere für digitale Kreditanwendungen. Die Features wurden mit X=df.drop (["loan_status"], axis=1) und y=df ["loan_status] von der Zielvariablen getrennt. Dieser Aufbau bot eine umfassende Grundlage für die Untersuchung der Faktoren, die die Kreditvergabeentscheidungen beeinflussen, anhand historischer Kreditdatensätze, um mehrere Ensemble-Modelle des maschinellen Lernens zu trainieren. Diese Modelle sollten die Gesamtgenauigkeit und Robustheit verbessern, indem sie die Vorhersagestärken mehrerer Klassifikatoren kombinierten.

Der verarbeitete Datensatz wurde dann mit der Funktion train_test_split von sklearn.model_selection in Trainings- und Testteilmengen aufgeteilt, wobei 80 % der Daten für das Training und 20 % für Tests reserviert waren. Dadurch wurde sichergestellt, dass das Modell mit einem ausreichend großen Teil der Daten trainiert wurde, während eine repräsentative Stichprobe für die Leistungsbewertung beibehalten wurde. Nachdem der Datensatz bereinigt, strukturiert und statistisch untersucht wurde, wurde der Grundstein für die Implementierung eines robusten Frameworks für maschinelles Lernen gelegt, das darauf abzielt, die Vorhersagegenauigkeit bei der Klassifizierung von Kreditgenehmigungen zu verbessern. Die Modellentwicklung wurde unter Verwendung von vier ensemblebasierten Algorithmen für maschinelles Lernen durchgeführt: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model und Extra Trees Classifier. Diese wurden aufgrund ihrer nachgewiesenen Leistung bei Klassifikationsaufgaben mit strukturierten, tabellarischen Daten ausgewählt. Der Gradient Boosting Model Classifier, der aus der Gradient Boosting Model-Bibliothek implementiert wurde, wurde mit den Standardeinstellungen instanziiert (iterations=1000, learning rate=0.1, depth=6, verbose=False). Es wurde trainiert mit. fit (x_train, y_train) und mit .predict (X_test) ausgewertet. Obwohl das Gradient Boosting-Modell die kategoriale Datencodierung automatisch verarbeitet, wurde diese Funktion nicht verwendet, da die Daten bereits labelcodiert waren. Der AdaBoost Classifier (Adaptive Boosting, das schwache Lernende verbessert) wurde mit sklearn-ensemble implementiert. AdaBoost Classifier wurde mit n_estimators=100 und learning_rate=1,0 konfiguriert, wobei Entscheidungsstümpfe als Standard-Basisschätzer verwendet wurden. Es wurde auf ähnliche Weise trainiert und bewertet, was durch iterative Gewichtung falsch klassifizierter Instanzen zur Robustheit beitrug. Das Efficient Gradient Boosting, das über die Efficient Gradient Boosting Model Library (LGBMClassifier) implementiert wurde, wurde mit n_estimators=100, learning_rate=0,1 und max_depth=-1 (uneingeschränkte Baumtiefe) konfiguriert. Dieses Modell, das für seine Geschwindigkeit und Effizienz bekannt ist, zeichnet sich besonders durch große Datensätze mit hochdimensionalen Merkmalen aus, indem es optimierte Entscheidungsbäume zur Steigerung des Gradienten verwendet.

Schließlich wurde der ExtraTrees Classifier von sklearn.ensemble mit n_estimators=100 und criterion="gini" als Splitting-Strategie verwendet. Im Gegensatz zu Random Forest führt Extra Trees zu weiterer Zufälligkeit, indem Schnittpunkte nach dem Zufallsprinzip ausgewählt werden, was dazu beiträgt, die Modellvarianz zu reduzieren und die Generalisierung zu verbessern. Das Ensemble wurde mit dem Stacking Classifier von scikit-learn durchgeführt, der die Verallgemeinerung durch die Aggregation von Vorhersagen der Basislerner verbessert. Jedes Modell wurde anhand von Standardklassifizierungsmetriken bewertet, darunter Genauigkeit, Präzision, F1-Score, Fehleranalyse und die Konfusionsmatrix. Diese Metriken wurden mit Funktionen aus dem sklearn.metrics-Modul berechnet, um einen standardisierten Leistungsvergleich über alle Modelle hinweg zu gewährleisten.

Das leistungsstärkste Modell (basierend auf Genauigkeit und F1-Bewertung) wurde für die Bereitstellung mithilfe der Python-Bibliothek gespeichert. dump(model, "best_model.pkl"), wodurch sichergestellt wird, dass das trainierte Modell ohne erneutes Training wiederverwendet werden kann. Um eine reale Anwendung zu simulieren, wurde mit NumPy ein Beispieleingabearray mit 11 Features erstellt und an die Modellfunktion .predict () übergeben. Zum Beispiel gab der Eingabevektor [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]] eine Vorhersage von 1 zurück, was auf die Kreditgenehmigung hinweist. Alle Experimente wurden in einer Python 3.10-Umgebung mit Google Notebook auf Kaggle durchgeführt. Die Modellentwicklung und -bewertung erfolgte unter Verwendung der Bibliotheken scikit-learn (v1.3), Gradient Boosting Model und Efficient Gradient Boosting Model. Alle Hyperparameter wurden explizit dokumentiert und Ausfälle wurden gegebenenfalls klar angegeben. Die Codierungsverfahren folgten dem von Pedregosa beschriebenen Ansatz und wurden in scikit-learn⁴⁶ implementiert. Diese umfassende und transparente Methodik stellt sicher, dass das experimentelle Protokoll vollständig reproduzierbar ist und den strengen akademischen Standards in der Forschung zum maschinellen Lernen entspricht.

Die Struktur der vorgeschlagenen Methodik, die die Phase der Datenaufbereitung, des Funktionsteils, des Modelltrainings und der Evaluierung umfasst, ist in Abbildung 1 dargestellt.

In dieser Studie wird ein Stacking-Ensemble-Lernframework vorgestellt, das die Fähigkeiten von vier leistungsstarken Klassifikatoren zusammenführt: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model und Extra Trees, um Entscheidungen über die Kreditgenehmigung auf der Grundlage historischer Finanzaufzeichnungen vorherzusagen. Durch die Kombination von Boosting- und Bagging-Strategien innerhalb der gestapelten Modellarchitektur⁴⁶. Der Ansatz überwindet effektiv die individuellen Unzulänglichkeiten dieser Modelle, wie z. B. Verzerrung und Varianz, was zu einer verbesserten Vorhersagegenauigkeit und Modellverallgemeinerung beiträgt. Jeder Basis-Lernende bringt einzigartige Stärken ein Das Gradient Boosting-Modell ist effizient mit kategorischen Variablen, es ist für die Verarbeitung von kategorischen Merkmalen mit hoher Herzlichkeit ausgelegt und führt intern die Zielcodierung mit geordnetem Boosting⁴⁷ durch. Dadurch wird eine Überanpassung vermieden, indem sichergestellt wird, dass nur Daten aus der Vergangenheit in die Berechnung von Statistiken einfließen. In der Formel

,

Jedes h_t (x) stellt einen Entscheidungsbaum dar, der auf Residuen des Vorgängermodells trainiert wurde, und n_t bezeichnet den schrittspezifischen Lernbeitrag. AdaBoost oder Adaptive Boosting, passt die Gewichtung jeder Instanz während des Trainings an und konzentriert sich auf zuvor falsch klassifizierte Datenpunkte⁴⁸. In der Formel

α_t spiegelt die Leistung des t-ten schwachen Lernenden h_t(x) wider, wobei der Schwerpunkt stärker auf zuvor falsch klassifizierten Stichproben liegt. Effizientes Gradient-Boosting-Modell Enthält gradientenbasiertes One-Side-Sampling (GOSS) und exklusive Funktionsbündelung für eine schnellere Leistung. Efficient Gradient Boosting bietet hohe Geschwindigkeit und Leistung bei großen Datenmengen⁴⁹.

f_t(x_i) stellt den neuen Entscheidungsbaum dar, der hinzugefügt wurde, um den Verlust l(•) zu minimieren, während Ω(f_t) ein Regularisierungsterm ist. Im Gegensatz zu Boosting-Algorithmen reduziert Extra Trees die Varianz, indem es Zufälligkeit in Entscheidungsbaum-Splits⁵⁰ hinzufügt. Es beruht auf Bagging-Prinzipien, fügt aber zusätzliche Zufälligkeit während der Knotenaufteilung in seine Vorhersageregel ein

Mittelt die Ausgaben von M unabhängig trainierten randomisierten Bäumen. Für jede Teilung wählt Extra trees zufällige Schwellenwerte für Features aus und wählt den besten unter ihnen aus, wodurch die Varianz reduziert und eine hohe Diversität zwischen den Bäumen geboten wird, was die Generalisierung verbessert. Diese Modelle werden kollektiv durch einen Stapelklassifikator integriert, der lernt, ihre Ergebnisse optimal zu kombinieren, um zu entscheiden, ob ein Kredit genehmigt werden soll. Das Framework wurde mit gängigen Klassifizierungsmetriken evaluiert und mit Live-Eingabestichproben getestet, was seine praktische Relevanz in digitalen Kreditumgebungen demonstriert⁵¹. Diese Modelle werden gemeinsam mit einem Stacking-Klassifikator kombiniert, der lernt, ihre Ausgaben ideal zu kombinieren, um die Ergebnisse der Kreditannahme zu bestimmen. Die Leistung des Modells wurde anhand wichtiger Klassifizierungsmaße wie Genauigkeit, Präzision, Erinnerung, F1-Score und AUC-ROC sowie einer Konfusionsmatrix bewertet, um seine Fähigkeit zu bestimmen, sowohl Typ-I- als auch Typ-II-Fehler zu reduzieren. Um die Ausgewogenheit der Klassen zu wahren, wurde eine geschichtete 80:20-Aufteilung zwischen Training und Test verwendet, wobei eine 5-fache Kreuzvalidierung die Robustheit gewährleistet und die Variabilität der Stichprobe reduziert. Darüber hinaus wurde das Modell anhand realistischer Kreditbewerberprofile evaluiert, die Informationen wie Kredithistorie, Einkommen, Beschäftigungsstatus und Kreditbetrag enthielten, was zu binären Urteilen und Wahrscheinlichkeitsbewertungen führte. Dieser zweistufige Test demonstriert die Wirksamkeit, Fairness und Praktikabilität des Modells im Kontext der digitalen Kreditvergabe in Echtzeit. Die Neuheit dieser Arbeit liegt in dem hybriden Ensemble-Design, das auf das Kredit-Scoring zugeschnitten ist, was es zu einem robusten, interpretierbaren und reproduzierbaren Modell für moderne Finanzplattformen macht⁵² .

Results

Analyse der Merkmalskorrelation

Die Merkmalskorrelations-Heatmap (Abbildung 2) lieferte nützliche Informationen über die Zusammenhänge zwischen verschiedenen Attributen. Es wurden starke positive Korrelationen zwischen dem Einkommen, dem jährlichen Kreditbetrag und vermögensbezogenen Variablen wie dem Wert von Luxusanlagen und dem Wert des Bankvermögens festgestellt...

Discussion

Das Stacking-Ensemble-Modell für die Vorhersage der Kreditgenehmigung schneidet bei verschiedenen Bewertungsmetriken außergewöhnlich gut ab und zeigt eine hohe Genauigkeit und Zuverlässigkeit. Die Korrelations-Heatmap zeigte, dass Finanzindikatoren wie Jahreseinkommen, Kreditbetrag und Vermögenswerte stark miteinander verknüpft sind, was ihre Bedeutung für die Kreditentwicklung unterstreicht, während die CIBIL-Scores eine starke negative Korrelation mit dem Kreditstatus aufweisen, was ih...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kaggle	https://www.kaggle.com/
Pandas	https://pandas.pydata.org/
Modellbibliothek	IBM	https://www.ibm.com