גישת אנסמבל ערימה לחיזוי אישור הלוואות באמצעות טכניקות למידת מכונה

Summary

מחקר זה מפתח מודל אנסמבל ערימה המשלב XGBoost, CatBoost (Gradient Boosting Model), LightGBM (Efficient Gradient Boosting Model), AdaBoost ו-Extra Trees כדי לחזות אישורי הלוואות באמצעות נתוני Kaggle. הוא משיג דיוק של 98%, מזהה מנבאים מרכזיים כמו הכנסה ודירוג אשראי, ומקדם החלטות הוגנות ויעילות על אישור ו/או דחיית הלוואה.

Abstract

הלוואות דיגיטליות וחידושים בתחום הפינטק הפכו את מערכות הבנקאות המבוססות, ושינו את ההכללה הפיננסית ואת זמינות האשראי במדינות ברחבי העולם. מחקר זה בוחן כיצד פלטפורמות עמית לעמית (P2P) והלוואות דיגיטליות משתנות, תוך שימת דגש על האופן שבו טכנולוגיות כמו בינה מלאכותית ולמידת מכונה משנות את אופן אישור ההלוואות. מחקר מעמיק של הספרות מדגיש את ההזדמנויות והבעיות במערכת האקולוגית של ההלוואות הדיגיטליות, כגון הערכת סיכונים אלגוריתמית, אמון לקוחות, הדרה פיננסית ופרצות רגולטוריות. מאמר זה מציע גישה חזקה של למידת מכונה המשתמשת במודל אנסמבל ערימה כדי לחזות במדויק אישורי הלוואות על מנת לטפל בבעיות אלה. הנתונים עובדו מראש באמצעות חלוקת מבחני רכבת, ניתוח גישוש וקידוד תוויות באמצעות מערך נתונים נגיש לציבור של Kaggle שכלל נתונים דמוגרפיים של המועמדים, מאפיינים פיננסיים והיסטוריית אשראי. כאשר XGBoost משמש כמטא-לומד, האנסמבל משלב את מודל הגברת השיפוע, הגברת שיפוע יעילה, AdaBoost ומסווגים של עצים נוספים כלומדים בסיסיים. עם דיוק של 98%, המודל הוערך באמצעות מדדים הכוללים דיוק, דיוק, זיכרון, ציון F1 ומדדי שגיאה (MAE- שגיאה מוחלטת ממוצעת, MSE- שגיאה ממוצעת בריבוע ו- RMSE- שגיאה ממוצעת ריבועית שורש). על פי מחקרי מתאם, לגורמים הכוללים נכסים, הכנסה וציוני CIBIL יש השפעה משמעותית על אישורי הלוואות. המודל עלה על שיטות קונבנציונליות, והראה איזון והכללה בשתי המחלקות. התועלת של מודלים אלה לקביעות אשראי אוטומטיות ומבוססות נתונים מודגשת בסיכום המאמר.

Introduction

בשלב האחרון של הטרנספורמציה הטכנולוגית של תעשיית הבנקאות, ספקי שירותים פיננסיים חדשים משבשים מחוץ למערכת הבנקאית המבוססת נכנסו לשוק¹. חברות ביג-טק (חברות טכנולוגיה גדולות המתמקדות בעיקר בהלוואות ישירות או עם מוסדות פיננסיים) ופינטק (טכנולוגיה פיננסית, כולל מודלים כמו הלוואות P2P וחלופות אשראי מקוונות לבנקים מסורתיים) עושות כניסות משמעותיות למגזר הפיננסי, ומציבות אתגר לבנקאות המסורתית למרות מאמצי הבנקים להסתגל לנוף הדיגיטלי². התפתחות מהירה זו מסמנת שינוי במערכת האקולוגית הפיננסית, שבה שחקנים לא מסורתיים מעצבים מחדש יותר ויותר את האופן שבו ניגשים לשירותים פיננסיים ומסופקים³. להופעת ההלוואות הדיגיטליות יש מתאם שלילי עם אשראי בנקאי, מה שמצביע על כך שככל שמלווים חדשים נכנסים לשוק, הבנקאות המסורתית עשויה לפנות את מקומה לאשראי דיגיטלי חלופי⁴. מעבר זה הואץ עוד יותר על ידי המשבר הפיננסי העולמי של 2008 (GFC), שהפחית באופן דרסטי את אמון הלקוחות בשירותים פיננסיים ועזר להניע את התרחבות הטכנולוגיה הפיננסית או מיזמי הפינטק⁵. פינטק הוא המונח לשילוב של טכנולוגיה ופיננסים, המתייחס ליישום טכנולוגיה למתן פתרונות פיננסיים⁶. ככל שהפינטק התבגר, אחד היישומים הטרנספורמטיביים ביותר שלו נראה בעליית הלוואות P2P, המכונות גם שירותי הלוואות מקוונות⁷. החידוש העיקרי של הלוואות P2P הוא התאמה ישירה של מלווים ולווים. לווים מגישים בקשות להלוואות קטנות ולא מובטחות, ופלטפורמות הלוואות משמשות מספר משקיעים כדי להעריך ולממן בקשות הלוואה⁸. הלוואות P2P מתפקדות באופן דומה לבנק, אך הן משתמשות באינטרנט ובטכנולוגיה מתקדמת כדי לאפשר הלוואות מקוונות והסדרי חוב ⁹. ההצלחה והמדרגיות של מודל זה התבררו עם השקת ZOPA.com, פלטפורמת ה-P2P הראשונה בהיסטוריה, שהופיעה לראשונה בבריטניה בשנת 2005. מאז, ההלוואות המקוונות גדלו משמעותית, והגיעו ליותר מ-100 מיליארד דולר עד 2015, וצפויות להגיע ליותר מטריליון דולר ב-2025¹⁰. הלוואות דיגיטליות, במיוחד בכלכלות מתעוררות, התפתחו עוד יותר עם שילוב פינטק¹¹. שילוב פינטק בהלוואות דיגיטליות משפר את ההכללה הפיננסית, במיוחד בשווקים מתעוררים. תשלומים ניידים ופתרונות בלוקצ'יין מאפשרים עסקאות P2P ומיקרו-הלוואות, ומפחיתים חסמים לשירותים פיננסיים¹². שינוי פרדיגמה זה מונע על ידי שילוב טכנולוגיות כגון בלוקצ'יין, בינה מלאכותית (AI), למידת מכונה ומערכות תשלומים דיגיטליות כדי ליצור סביבה פיננסית מכילה, יעילה וממוקדת לקוח יותר¹³. פלטפורמות הלוואות דיגיטליות משתמשות בטכנולוגיה כדי לזרז בקשות, לחסוך בהוצאות ולשפר את הערכת סיכוני האשראי, מה שמאפשר לחברות קטנות ולאנשים פרטיים לקבל מימון מהר יותר¹⁴. הם משתמשים בביג דאטה, בלוקצ'יין, בינה מלאכותית ולמידת מכונה כדי לשפר את הערכת הלווים, להוזיל עלויות ולקדם הכללה פיננסית¹⁵. למידת מכונה, במיוחד, חוללה מהפכה בניהול סיכונים על ידי מינוף מקורות נתונים חלופיים¹⁶. הוא עולה על גישות הערכת אשראי מסורתיות על ידי מינוף נתונים לא מסורתיים, שיפור דירוגי הלווים וחיזוי התפתחויות כלכליות¹⁷. שיטה זו מפחיתה את הסיכון לחדלות פירעון על ידי הגדלת הדיוק של הערכות הלווים וסיוע בחיזוי שינויים במשק¹⁸. אחת ההשפעות החשובות ביותר של הלוואות דיגיטליות היא יכולתה להתמודד עם קשיי ההכללה הפיננסית, במיוחד בכלכלות מתעוררות ואזורי שוליים¹⁹.

על מנת לחזות קבלת הלוואות בדיוק גבוה באמצעות מערך נתונים מובנה של Kaggle, מאמר זה מציע מודל אנסמבל ערימה חדש המשלב את מודל הגברת השיפוע, מודל הגברת השיפוע היעיל, ה-AdaBoost, העצים הנוספים וה-XGBoost. כדי לשפר את יכולת ההסתגלות וההכללה של החיזוי, שיטה זו משלבת מספר לומדים מתקדמים עם XGBoost כמטא-מסווג, בניגוד למחקר קודם שמשתמש לעתים קרובות במודלים בודדים או מסווגים קונבנציונליים. המודל הציג ביצועים טובים הן במחלקות הלוואות מקובלות והן במחלקות שנדחו, עם שיעור דיוק מרשים של 98%. פיתוח מתודולוגי זה מספק דרך מעשית וניתנת להרחבה לאוטומציה של החלטות אישור הלוואות במסגרות הלוואות דיגיטליות, במיוחד בפיתוח מערכות אקולוגיות פיננסיות.

מטרת מחקר זה היא ליצור מודל אנסמבל ערימה חזק להלוואות דיגיטליות המנבא במדויק קבלת הלוואות על ידי שילוב של מודל הגברת שיפוע, מודל הגברת שיפוע יעיל, AdaBoost, עצים נוספים ו-XGBoost. בנוסף, הוא מבקש לבחון כיצד משתנים דמוגרפיים ופיננסיים חשובים (הכנסה, ערך נכס וציון מוגבל של CIBIL-Credit Information Bureau (India) משפיעים על בחירות ההלוואה, להעריך את ביצועי מודל האנסמבל בהשוואה למודלים קונבנציונליים יותר המשתמשים במדדי סיווג ושגיאה, ולהדגיש כיצד גישות אנסמבל יכולות להגביר את היעילות, ההכללה וההוגנות. המטרה העיקרית היא לנתח סטטיסטית כיצד תכונות המועמדים משפיעות על אישור ההלוואה ולהעריך את הביצועים של אלגוריתמים של למידת אנסמבל.

P2P והלוואות דיגיטליות ממשיכות לשנות את הנוף הפיננסי הגלובלי, ומציגות הזדמנויות ואתגרים כאחד.

הלוואות דיגיטליות משנה במהירות את הנוף הפיננסי העולמי, ומציעה אלטרנטיבה לבנקאות המסורתית²⁰. השקפה גלובלית זו מדגישה כיצד הקשרים אזוריים מעצבים באופן ייחודי את בשלות ההלוואות הדיגיטליות. ההלוואות הדיגיטליות מתרחבות אך נשארות לא בשלות מבחינה טכנולוגית, בעוד שאוטומציה וניקוד חזוי מביאים ליעילות, ופלטפורמות עדיין תלויות במידה רבה במערכות צד שלישי לבדיקות רקע, מה שמגביל את החוסן²¹. למרות ההתרחבות המהירה, הדרה פיננסית נותרה בעיה מרכזית ברחבי העולם, כאשר על פי ההערכות ל-44% מהמבוגרים במדינות מתפתחות אין גישה לשירותים פיננסיים רשמיים, מה שמחייב רפורמה דחופה, תשתיות טובות יותר ויוזמות אוריינות דיגיטלית. מגבלות כאלה מופיעות גם בדגשים אחרים של מגזר מתכנס, אתגרים מתמשכים בטיפול בנתונים ושילוב מערכות²². ככל שהאינטגרציה הדיגיטלית מעמיקה, פגיעויות האבטחה במרחב הפינטק מסלימות. כדי להתמודד עם אלה, הוצעה מסגרת ממוקדת אבטחה להגנה על עסקאות דיגיטליות²³. התפתחויות דומות נצפות בשווקים מתעוררים אחרים. בקניה, בעוד שאפליקציות כסף נייד והלוואות דיגיטליות שיפרו את הגישה הפיננסית, פרטיות הנתונים נותרה דאגה מתמשכת, ולתקנות האחרונות יש השפעה מוגבלת, מה שמצביע על כך שיש צורך במנגנוני אכיפה חזקים יותר, ביקורות רשמיות והנחיות פיתוח ברורות²⁴. זה משקף מגמה רחבה יותר שבה מסגרות רגולטוריות מפגרות לעתים קרובות מאחורי חדשנות פינטק. הנוף הרגולטורי של הפינטק שונה מזה של הבנקאות המסורתית. לדוגמה, אלא אם כן ההלוואות הן בסיכון גבוה, לאכיפת החוק יש פחות השפעה על שיעורי הריבית בפינטק²⁵. במיוחד, יש צורך חזק בפיקוח משופר, שימוש בניתוח נתונים ועדכונים רגולטוריים כדי לרסן צמיחה לא חוקית של פינטק והפרות פרטיות²⁶. מעבר לרגולציה, ההצלחה של הלוואות דיגיטליות תלויה גם באמון, ולכן אמון ממלא תפקיד קריטי בהחלטות הלוואות. האמון בסוסים משפיע יותר מאשר במתווכים²⁷.

התפתחות מקבילה נראית במערכת האקולוגית של ההלוואות הדיגיטליות של הודו²⁸. עסקי ההלוואות הדיגיטליות מתרחבים במהירות, עקב התקדמות בפינטק, צעדים רגולטוריים מועילים שיושמו על ידי הבנק המרכזי של הודו (RBI), ועלייה באמון הצרכנים בעקבות התפרצות COVID-19²⁹. עם זאת, עם חדשנות מגיע סיכון. בעוד שאפליקציות או פלטפורמות הלוואות דיגיטליות ללא רישיון משפרות את הגישה, הן מהוות סיכונים צרכניים חמורים, כגון הטרדה, שיעורי ריבית גבוהים ושימוש לרעה בנתונים עקב תקנות חלשות. לכן חיזוק הגנת הצרכן ואחריותיות הוא קריטי לקידום הכללה פיננסית אחראית³⁰. הסכנות של חדלות פירעון של לווים ובקשות הונאה הן מהותיות עבור הלוואות דיגיטליות; אמצעים טובים להגנת הצרכן לא רק מגנים על הצרכנים אלא גם משפיעים לטובה על הביצועים הפיננסיים שכן אבטחת נתונים ושקיפות משפרים מדדי רווחיות כמו תשואה על נכסים (ROA) ותשואה על ההון (ROE)³¹. ברחבי העולם, יש דגש ניכר על שיפורים תפעוליים, עם דגש מוגבר על שיפור מערכות יצירת הלוואות, עידוד השימוש בטכנולוגיה ניידת ופיתוח אסטרטגיות ברורות לעמידה בסטנדרטים רגולטוריים וציפיות צרכנים³². כדי להתמודד עם סיכונים אלה, נעשה שימוש יותר ויותר בניתוח ובינה מלאכותית מתקדמים כדי לחזות מלווים בסיכון גבוה, זיהוי חריגים באמצעות אינדיקטורים כמו הלוואות כושלות, משך החזר ודירוג אשראי הוכח כיעיל³³. באמצעות המודל הסוציו-טכני כמדריך, גילינו שהסיכונים מגיעים הן מבעלי העניין והן מהיעדר תלות הדדית בין עיצוב הפלטפורמה לרכיבים הארגוניים³⁴. אימוץ מודלים דינמיים כמו UTAUT2 שולט בהסבר אימוץ המשתמשים, כאשר אמון מתגלה כמנבא מרכזי לכוונת הלוואה³⁵. נעשה שימוש גם באלגוריתמים לזיהוי הונאות מבוססי למידת מכונה, כגון מודלים של יער אקראי ו-SVM³⁶. על פי ממצאי המחקר, מודלים של למידת מכונה יכולים להעריך כראוי מידע אשראי אישי ולקבוע את הסבירות לחדלות פירעון של הלוואה; הרשת העצבית העמוקה ביצעה את הביצועים הטובים ביותר (דיוק: 0.94)³⁷. המחקר, שהשתמש ב-Naïve Bayes בדיוק של 94%, גילה כי למאפיינים כמו ריבית, זמן פירעון, תיאור, דירוג אשראי, היסטוריית הלוואות, מגדר ודירוג אשראי יש השפעה מהותית על הצלחת ההלוואה³⁸. בינתיים, ההסתברויות הן לסיכוני תשלום מראש והן לסיכוני חדלות פירעון קיימות, התרחשויות חשובות המביאות לסיום הלוואות ואובדן רווח לנושים נחזו באמצעות רגרסיה לוגיסטית רב-משתנית, והדיוק הכולל של המודל היה 76.63%³⁹. על פי המחקר, ניתן להגדיל את הכנסות מועדוני ההלוואות בדיוק גבוה של 68% על ידי שימוש במודל הגברת שיפוע יעיל לחיזוי סיכון ברירת מחדל בפלטפורמות הלוואות דיגיטליות⁴⁰. במקביל, מתפתחים מודלים מתוחכמים יותר של בינה מלאכותית, כגון למידה עמוקה מרובת תצוגות, המשלבים משתנים שונים (כגון שימוש באפליקציות ודפוסי התנהגות) ומבצעים ביצועים טובים יותר מטכניקות קונבנציונליות, במיוחד במצבים שבהם הנתונים ההיסטוריים מוגבלים⁴¹. מחקרים מסין מאשרים כי שיפור תחזיות ברירת המחדל וההכללה הפיננסית, כאשר מודלים כמו Gradient Boosting Model ו-LGBM עולים על הערכות מסורתיות מבוססות אשראי⁴²מודלים דינמיים של המערכת מסייעים גם לדמות תנודות בשיעורי הריבית בפלטפורמות P2P, ומציעים תובנות לגבי התנהגות המשקיעים הלווים בתנאים שונים,⁴³. מודל יעיל להגברת שיפוע הוכח כמשפר את חיזוי ברירת המחדל ואת רווחיות הפלטפורמה⁴⁰בעוד שרשתות עצביות עמוקות עולות גם על מודלים מסורתיים בעת אימון מתאים,³⁷ולייצב את השווקים הדיגיטליים באמצעות ניהול סיכונים טוב יותר,⁴⁴כדי להבטיח קיימות, טכנולוגיה רגולטורית צוברת תאוצה, כגון אוטומציה רובוטית של תהליכים מסייעת למוסדות פיננסיים להתאים את הדרישות הרגולטוריות לתוכניות עסקיות, לשפר את התאימות והיעילות התפעולית⁴⁵. טבלה 1 מסכם מחקרים מרכזיים הבוחנים את היישום של למידת מכונה בתהליכי הלוואות דיגיטליות ואישור הלוואות.

Protocol

איסוף נתונים

מחקר זה השתמש במערך הנתונים של חיזוי אישור הלוואות הזמין ב-Kaggle. מערך הנתונים חולץ בפברואר 2025 ומורכב מ-4269 רשומות שמטרתן להעריך נתוני הלוואות ולחזות את תוצאות אישור ההלוואות. הוא כולל 12 עמודות הכוללות מידע מפורט על הפרופילים הדמוגרפיים של המועמדים, כגון מצב תעסוקה, תלויים, עצמאים, סכום הלוואה, תקופת הלוואה, ציוני CIBIL, רקע פיננסי ומאפיינים ספציפיים להלוואה. מערך הנתונים יובא באמצעות ספריית Pandas ונבדק ויזואלית באמצעות df.head () כדי להבין את המבנה והאיכות שלו.

עיבוד מקדים של נתונים

במהלך שלב העיבוד המקדים של הנתונים, השלב הראשון כלל הסרת עמודת המזהה (loan_id) בשל היעדר ערך חיזוי ופוטנציאל להכניס רעש למודל. השלב השני כלל קידוד תוויות, שבו משתנים קטגוריים כמו השכלה, עצמאים loan_status הומרו לייצוגים מספריים. טרנספורמציה זו בוצעה באמצעות Label Encoder ממודול sklearn.preprocessing. באופן ספציפי, החינוך קודד כ-0 לבוגר ו-1 ללא בוגר; self_employed כ- 0 עבור לא ו- 1 עבור כן, ו- loan_status, משתנה היעד, כ- 0 עבור לא מאושר ו- 1 עבור מאושר. המרות אלו היו נחוצות כדי להבטיח תאימות למודלים של למידת מכונה, הדורשים תשומות מספריות, במיוחד עבור יישומי הלוואות דיגיטליות. התכונות הופרדו ממשתנה היעד באמצעות X=df.drop (["loan_status"], axis=1) ו-y=df ["loan_status]. הגדרה זו סיפקה בסיס מקיף לבחינת הגורמים המשפיעים על החלטות אישור הלוואות באמצעות רשומות הלוואות היסטוריות להכשרת מודלים מרובים של למידת מכונה. מודלים אלה נועדו לשפר את הדיוק והחוסן הכוללים על ידי שילוב חוזקות החיזוי של מסווגים מרובים.

מערך הנתונים המעובד פוצל לאחר מכן לקבוצות משנה של הדרכה ובדיקה באמצעות פונקציית train_test_split מ-sklearn.model_selection, כאשר 80% מהנתונים שימשו לאימון ו-20% שמורים לבדיקה. זה הבטיח שהמודל הוכשר על חלק גדול מספיק מהנתונים תוך שמירה על מדגם מייצג להערכת ביצועים. לאחר ניקוי מערך הנתונים, מובנה ונחקר סטטיסטית, הונח היסוד ליישום מסגרת למידת מכונה חזקה שמטרתה לשפר את דיוק החיזוי בסיווג אישור הלוואות. פיתוח המודל בוצע באמצעות ארבעה אלגוריתמים של למידת מכונה מבוססי אנסמבל: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model ו-Extra Trees Classifier. אלה נבחרו בשל ביצועיהם המוכחים במשימות סיווג הכוללות נתונים מובנים וטבלאיים. מסווג מודל הגברת השיפוע, המיושם מספריית מודל הגברת השיפוע, נוצר עם הגדרות ברירת מחדל (איטרציות = 1000, קצב למידה = 0.1, עומק = 6, מילולי = לא נכון). זה היה מאומן באמצעות. fit (x_train, y_train) ומוערך באמצעות .predict (X_test). למרות שמודל הגברת השיפוע מטפל באופן אוטומטי בקידוד נתונים קטגורי, תכונה זו לא נוצלה מכיוון שהנתונים כבר קודדו בתווית. ה-AdaBoost Classifier (Adaptive Boosting, המשפר לומדים חלשים) יושם באמצעות sklearn-ensemble. AdaBoost Classifier הוגדר עם n_estimators=100 ו-learning_rate=1.0, תוך שימוש בגדמי החלטה כאומדן הבסיס המוגדר כברירת מחדל. הוא הוכשר והוערך באופן דומה, ותרם לחוסן באמצעות שקלול איטרטיבי של מקרים שסווגו באופן שגוי. הגברת השיפוע היעילה, המיושמת באמצעות ספריית Efficient Gradient Boosting Model (LGBMClassifier), הוגדרה עם n_estimators=100, learning_rate=0.1 ו-max_depth=-1 (עומק עץ בלתי מוגבל). מודל זה, הידוע במהירות וביעילות שלו, מצטיין במיוחד במערכי נתונים גדולים עם תכונות ממדיות גבוהות באמצעות עצי החלטה אופטימליים להגברת שיפוע.

לבסוף, נעשה שימוש ב-ExtraTrees Classifier מ-sklearn.ensemble עם n_estimators=100 ו-criterion="gini" כאסטרטגיית הפיצול. בניגוד ליער אקראי, Extra Trees מציג אקראיות נוספת על ידי בחירת נקודות חיתוך באופן אקראי, מה שעוזר להפחית את שונות המודל ולשפר את ההכללה. האנסמבל נערך באמצעות Stacking Classifier של scikit-learn, המשפר את ההכללה על ידי צבירת תחזיות מלומדי הבסיס. כל מודל הוערך באמצעות מדדי סיווג סטנדרטיים, כולל דיוק, דיוק, ציון F1, ניתוח שגיאות ומטריצת הבלבול. מדדים אלה חושבו באמצעות פונקציות ממודול sklearn.metrics כדי להבטיח השוואת ביצועים סטנדרטית בכל המודלים.

המודל בעל הביצועים הטובים ביותר (מבוסס על דיוק וציון F1) נשמר לפריסה באמצעות ספריית Python. dump(model, "best_model.pkl"), מה שמבטיח שניתן יהיה לעשות שימוש חוזר במודל המאומן ללא צורך בהכשרה מחדש. כדי לדמות אפליקציה בעולם האמיתי, מערך קלט לדוגמה המכיל 11 תכונות נוצר באמצעות NumPy והועבר לפונקציית המודל .predict (). לדוגמה, וקטור הקלט [[0, 1, 1,4100000, 12200000, 8, 417, 2700000, 2200000, 8800000, 3300000]] החזיר תחזית של 1, המצביעה על אישור הלוואה. כל הניסויים נערכו בסביבת Python 3.10 באמצעות Google Notebook ב-Kaggle. פיתוח והערכת המודל בוצעו באמצעות ספריות scikit-learn (v1.3), Gradient Boosting Model ו-Efficient Gradient Boosting Model. כל ההיפרפרמטרים תועדו במפורש, וברירות המחדל צוינו בבירור במידת הצורך. הליכי הקידוד עקבו אחר הגישה שתוארה על ידי Pedregosa ויושמו ב-scikit-learn⁴⁶. מתודולוגיה מקיפה ושקופה זו מבטיחה שפרוטוקול הניסוי ניתן לשחזור מלא ועומד בסטנדרטים אקדמיים מחמירים במחקר למידת מכונה.

מבנה המתודולוגיה המוצעת, המקיף את שלב הכנת הנתונים, אימון והערכת מודל, מוצג באיור 1.

מחקר זה מציג מסגרת למידה של אנסמבל ערימה המאגדת את היכולות של ארבעה מסווגים רבי עוצמה: Gradient Boosting Model, AdaBoost, Efficient Gradient Boosting Model ו-Extra Trees כדי לחזות החלטות אישור הלוואות על סמך רשומות פיננסיות היסטוריות. על ידי שילוב של אסטרטגיות חיזוק ושקיות בתוך ארכיטקטורת מודל מוערם⁴⁶. הגישה מתגברת ביעילות על החסרונות האישיים של מודלים אלה, כגון הטיה ושונות, ומעניקה דיוק חיזוי משופר והכללת מודל. כל לומד בסיס תורם חוזקות ייחודיות מודל הגברת שיפוע יעיל עם משתנה קטגורי, הוא מיועד לטיפול בתכונות קטגוריות לבביות גבוהות ומבצע באופן פנימי קידוד יעד באמצעות חיזוק מסודר⁴⁷. זה מונע התאמת יתר על ידי הבטחה שרק נתוני עבר משמשים בחישוב סטטיסטיקה. בנוסחה

,

כל H_T (X) מייצג עץ החלטות המאומן על שאריות של המודל הקודם, ו-N_T מציין את תרומת הלמידה הספציפית לשלב. AdaBoost או Adaptive Boosting, מתאים את המשקל של כל מופע במהלך האימון ומתמקד בנקודות נתונים שסווגו באופן שגוי^{בעבר 48}. בנוסחה

α_t משקף את הביצועים של הלומד החלש t-th h_t(x), תוך שימת דגש רב יותר על דגימות שסווגו באופן שגוי בעבר. דגם הגברת שיפוע יעיל משלב דגימה חד-צדדית מבוססת שיפוע (GOSS) וחבילת תכונות בלעדית לביצועים מהירים יותר. הגברת מעבר צבע יעילה מציעה מהירות וביצועים גבוהים בנתונים בקנה מידה גדול⁴⁹.

f_t(x_i) מייצג את עץ ההחלטות החדש שנוסף כדי למזער את ההפסד l(•) בעוד Ω(f_t) הוא מונח רגולציה . בניגוד לאלגוריתמים להגברת האלגוריתמים, עצים נוספים מפחיתים את השונות על ידי הוספת אקראיות בפיצולי עץ ההחלטות⁵⁰. הוא מסתמך על עקרונות שקיות אך מזריק אקראיות נוספת במהלך פיצול הצומת לכלל החיזוי שלו

ממוצע התפוקות של M עצים אקראיים שהוכשרו באופן עצמאי. עבור כל פיצול, עצים נוספים בוחרים ערכי סף אקראיים לתכונות ובוחרים את הטובים ביותר מביניהם, ובכך מפחיתה את השונות ומציעה גיוון גבוה בין עצים, מה שמשפר את ההכללה. מודלים אלה משולבים באופן קולקטיבי באמצעות מסווג ערימה, שלומד לשלב בצורה אופטימלית את התפוקות שלהם כדי להחליט אם יש לאשר הלוואה. המסגרת הוערכה באמצעות מדדי סיווג נפוצים ונבדקה עם דגימות קלט חיות, מה שמדגים את הרלוונטיות המעשית שלה בסביבות הלוואות דיגיטליות⁵¹. מודלים אלה משולבים באופן קולקטיבי באמצעות מסווג ערימה, שלומד למזג את התפוקות שלהם באופן אידיאלי כדי לקבוע את תוצאות קבלת ההלוואה. ביצועי המודל הוערכו באמצעות מדדי סיווג חשובים כגון דיוק, דיוק, זיכרון, ציון F1 ו-AUC-ROC, כמו גם מטריצת בלבול, כדי לקבוע את יכולתו להפחית טעויות מסוג I ו-Type II. כדי לשמור על איזון בכיתה, נעשה שימוש בפיצול מרובד של 80:20 למבחן רכבת, עם אימות צולב פי 5 המבטיח חוסן ומפחית את שונות הדגימה. יתר על כן, המודל הוערך על פי פרופילים ריאליים של מבקשי הלוואה שכללו מידע כגון היסטוריית אשראי, הכנסה, מצב תעסוקתי וסכום הלוואה, והניב פסקי דין בינאריים ודירוגי הסתברות. מבחן דו-שלבי זה מדגים את היעילות, ההוגנות והמעשיות של המודל בהקשרי הלוואות דיגיטליות בזמן אמת. החידוש בעבודה זו טמון בעיצוב האנסמבל ההיברידי המותאם לדירוג אשראי, מה שהופך אותו למודל חזק, ניתן לפירוש וניתן לשחזור עבור פלטפורמות פיננסיות מודרניות⁵² .

Results

ניתוח מתאם תכונות

מפת החום של מתאם התכונות (איור 2) נתנה מידע שימושי על יחסי הגומלין בין תכונות שונות. נמצאו מתאמים חיוביים חזקים בין הכנסה, סכום הלוואה שנתי ומשתנים הקשורים לנכסים כגון שווי נכסי יוקרה ושווי נכסי בנק, מה שמוכיח כי הפרופיל הפיננסי של המבקש חשוב בהערכת ההלוואה. מעניין לציין שלציון CIBIL היה מתאם שלילי משמעותי (-0.77) עם מצב ההלוואה, מה שמצביע על כך של...

Discussion

מודל אנסמבל הערימה לחיזוי אישור הלוואות מתפקד בצורה יוצאת דופן על פני מדדי הערכה שונים, ומפגין דיוק ואמינות רבה. מפת החום של המתאמים חשפה כי אינדיקטורים פיננסיים כגון הכנסה שנתית, סכום הלוואה וערכי נכסים קשורים זה בזה מאוד, ומדגישים את חשיבותם בהתפתחות ההלוואות, בעוד שלציוני CIBIL יש מתאם שלילי חזק עם מצב ההלוואה, מה שמחזק את תפקידם בהערכת כדאיות האשראי. למטריצת הבלבול של המודל היה שיעור שגיאות נמוך, וזיהתה במדויק 839 מתוך 854 דוגמאות עם 15 סיווגים שגויים בלבד. מדדי הסיווג הראו דיוק כולל...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
קגל	https://www.kaggle.com/
פנדות	https://pandas.pydata.org/
ספריית מודלים	IBM	https://www.ibm.com