$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Recolha de dados
Este estudo utilizou o conjunto de dados de previsão de aprovação de empréstimos disponível no Kaggle. O conjunto de dados foi extraído em fevereiro de 2025 e consiste em 4269 registros destinados a avaliar dados de empréstimos e prever resultados de aprovação de empréstimos. Inclui 12 colunas com informações detalhadas sobre os perfis demográficos dos candidatos, como situação de emprego, dependentes, autônomos, valor do empréstimo, prazo do empréstimo, pontuações CIBIL, histórico financeiro e atributos específicos do empréstimo. O conjunto de dados foi importado usando a biblioteca Pandas e inspecionado visualmente usando df.head () para entender sua estrutura e qualidade.
Pré-processamento de dados
Durante a fase de pré-processamento de dados, a primeira etapa envolveu a remoção da coluna identificadora (loan_id) devido à sua falta de valor preditivo e potencial para introduzir ruído no modelo. A segunda etapa envolveu a codificação de rótulos, onde variáveis categóricas como educação, autônomo e loan_status foram convertidas em representações numéricas. Essa transformação foi conduzida usando o Label Encoder do módulo sklearn.preprocessing. Especificamente, a educação foi codificada como 0 para Pós-Graduação e 1 para Não Pós-Graduação; self_employed como 0 para Não e 1 para Sim, e loan_status, a variável de destino, como 0 para Não Aprovado e 1 para Aprovado. Essas conversões foram necessárias para garantir a compatibilidade com modelos de aprendizado de máquina, que exigem entradas numéricas, principalmente para aplicativos de empréstimo digital. As feições foram separadas da variável alvo usando X=df.drop (["loan_status"], axis=1) e y=df ["loan_status]. Essa configuração forneceu uma base abrangente para examinar os fatores que influenciam as decisões de aprovação de empréstimos usando registros históricos de empréstimos para treinar vários modelos de aprendizado de máquina de conjunto. Esses modelos foram projetados para melhorar a precisão e a robustez geral, combinando as forças preditivas de vários classificadores.
O conjunto de dados processado foi então dividido em subconjuntos de treinamento e teste usando a função train_test_split do sklearn.model_selection, com 80% dos dados usados para treinamento e 20% reservados para teste. Isso garantiu que o modelo fosse treinado em uma parte suficientemente grande dos dados, mantendo uma amostra representativa para avaliação de desempenho. Com o conjunto de dados limpo, estruturado e explorado estatisticamente, foram lançadas as bases para a implementação de uma estrutura robusta de aprendizado de máquina destinada a melhorar a precisão preditiva na classificação de aprovação de empréstimos. O desenvolvimento do modelo foi conduzido usando quatro algoritmos de aprendizado de máquina baseados em conjunto: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model e Extra Trees Classifier. Estes foram selecionados por seu desempenho comprovado em tarefas de classificação envolvendo dados estruturados e tabulares. O Classificador de Modelo de Aumento de Gradiente, implementado a partir da biblioteca de Modelos de Aumento de Gradiente, foi instanciado com configurações padrão (iterações=1000, taxa de aprendizado=0,1, profundidade=6, detalhado=Falso). Foi treinado usando. fit (x_train, y_train) e avaliado com .predict (X_test). Embora o Modelo de Aumento de Gradiente lide automaticamente com a codificação de dados categórica, esse recurso não foi utilizado, pois os dados já haviam sido codificados por rótulo. O AdaBoost Classifier (Adaptive Boosting, que melhora os alunos fracos) foi implementado usando sklearn-ensemble. O AdaBoost Classifier foi configurado com n_estimators=100 e learning_rate=1,0, usando tocos de decisão como o estimador base padrão. Ele foi treinado e avaliado de maneira semelhante, contribuindo com robustez por meio da ponderação iterativa de instâncias classificadas incorretamente. O Efficient Gradient Boosting, implementado por meio da biblioteca Efficient Gradient Boosting Model (LGBMClassifier), foi configurado com n_estimators=100, learning_rate=0,1 e max_depth=-1 (profundidade de árvore irrestrita). Este modelo, conhecido por sua velocidade e eficiência, se destaca particularmente em grandes conjuntos de dados com recursos de alta dimensão usando árvores de decisão de aumento de gradiente otimizadas.
Finalmente, o classificador ExtraTrees de sklearn.ensemble foi usado com n_estimators=100 e criterion="gini" como estratégia de divisão. Ao contrário da Random Forest, as Árvores Extras introduzem mais aleatoriedade selecionando pontos de corte aleatoriamente, o que ajuda a reduzir a variação do modelo e melhorar a generalização. O conjunto foi conduzido usando o Stacking Classifier do scikit-learn, que aprimora a generalização agregando previsões dos alunos base. Cada modelo foi avaliado usando métricas de classificação padrão, incluindo exatidão, precisão, pontuação F1, análise de erro e matriz de confusão. Essas métricas foram calculadas usando funções do módulo sklearn.metrics para garantir a comparação de desempenho padronizada em todos os modelos.
O modelo de melhor desempenho (com base na precisão e na pontuação F1) foi salvo para implantação usando a biblioteca Python. dump(model, "best_model.pkl"), garantindo que o modelo treinado possa ser reutilizado sem a necessidade de retreinamento. Para simular um aplicativo do mundo real, uma matriz de entrada de amostra contendo 11 recursos foi criada usando NumPy e passada para a função .predict () do modelo. Por exemplo, o vetor de entrada [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]] retornou uma previsão de 1, indicando a aprovação do empréstimo. Toda a experimentação foi conduzida em um ambiente Python 3.10 usando o Google Notebook no Kaggle. O desenvolvimento e a avaliação do modelo foram realizados usando as bibliotecas scikit-learn (v1.3), Gradient Boosting Model e Efficient Gradient Boosting Model. Todos os hiperparâmetros foram documentados explicitamente e os padrões foram claramente declarados quando aplicável. Os procedimentos de codificação seguiram a abordagem descrita por Pedregosa e foram implementados no scikit-learn46. Essa metodologia abrangente e transparente garante que o protocolo experimental seja totalmente reproduzível e siga rigorosos padrões acadêmicos na pesquisa de aprendizado de máquina.
A estrutura da metodologia sugerida, abrangendo a fase de preparação dos dados, a seção de recursos, o treinamento do modelo e a avaliação, são mostradas na Figura 1.
Esta pesquisa apresenta uma estrutura de aprendizado de conjunto de empilhamento que reúne os recursos de quatro classificadores poderosos: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model e Extra Trees para prever decisões de aprovação de empréstimos com base em registros financeiros históricos. Ao combinar estratégias de reforço e ensacamento dentro da arquitetura de modelo empilhado46. A abordagem supera efetivamente as deficiências individuais desses modelos, como viés e variância, contribuindo para maior precisão de previsão e generalização do modelo. Cada aprendiz de base contribui com pontos fortes únicos O Modelo de Aumento de Gradiente é eficiente com variável categórica, é projetado para lidar com recursos categóricos de alta cordialidade e executa internamente a codificação de destino usando o aumento ordenado47. Isso evita o ajuste excessivo, garantindo que apenas os dados anteriores sejam usados na computação de estatísticas. Na fórmula
,
CadaHT ( X) representa uma árvore de decisão treinada em resíduos do modelo anterior, e nt denota a contribuição de aprendizado específica da etapa. AdaBoost ou Adaptive Boosting, ajusta o peso de cada instância durante o treinamento e se concentra em pontos de dados previamente classificados incorretamente48. Na fórmula

αt reflete o desempenho do t-ésimo aprendiz fraco ht(x), colocando mais ênfase em amostras previamente classificadas incorretamente. Modelo eficiente de aumento de gradiente Incorpora amostragem unilateral baseada em gradiente (GOSS) e agrupamento de recursos exclusivos para desempenho mais rápido. O Gradient Boosting eficiente oferece alta velocidade e desempenho em dados em grande escala49.

ft(xi) representa a nova árvore de decisão adicionada para minimizar a perda l(•) enquanto Ω(ft) é um termo de regularização. Em algoritmos de aumento de contraste, as Árvores Extras reduzem a variância adicionando aleatoriedade nas divisões da árvore de decisão50. Ele se baseia em princípios de ensacamento, mas injeta aleatoriedade extra durante a divisão do nó em sua regra de previsão

Calcula a média dos resultados de M árvores aleatórias treinadas independentemente. Para cada divisão, as árvores extras selecionam limites aleatórios para feições e escolhem o melhor entre eles, reduzindo assim a variação e oferecendo alta diversidade entre as árvores, o que melhora a generalização. Esses modelos são integrados coletivamente por meio de um classificador de empilhamento, que aprende a combinar de maneira ideal seus resultados para decidir se um empréstimo deve ser aprovado. A estrutura foi avaliada com métricas de classificação comuns e testada com amostras de entrada ao vivo, demonstrando sua relevância prática em ambientes de empréstimo digital51. Esses modelos são combinados coletivamente usando um classificador de empilhamento, que aprende a combinar seus resultados de maneira ideal para determinar os resultados de aceitação de empréstimos. O desempenho do modelo foi avaliado usando importantes medidas de classificação, como exatidão, precisão, recall, pontuação F1 e AUC-ROC, bem como uma matriz de confusão, para determinar sua capacidade de reduzir erros do Tipo I e do Tipo II. Para manter o equilíbrio da classe, foi utilizada uma divisão estratificada de teste de trem 80:20, com validação cruzada de 5 vezes, garantindo robustez e reduzindo a variabilidade da amostra. Além disso, o modelo foi avaliado em perfis realistas de solicitantes de empréstimos que incluíam informações como histórico de crédito, renda, situação de emprego e valor do empréstimo, produzindo julgamentos binários e classificações de probabilidade. Este teste de duas fases demonstra a eficácia, justiça e praticidade do modelo em contextos de empréstimos digitais em tempo real. A novidade deste trabalho reside no design de conjunto híbrido adaptado para pontuação de crédito, tornando-o um modelo robusto, interpretável e reprodutível para plataformas financeiras modernas52 .