פיתחנו והערכנו פנימית מודל TabTransformer מבוסס קשב לסיווג אוסטאופורוזיס בבית חולים בקרב מבוגרים שעוברים ניתוחים נוירוכירורגיים בעמוד השדרה, תוך שימוש בנתונים קליניים שנאספו באופן שגרתי ב-Medical Information Mart for Intensive Care IV.
מאמר מחקר
Tab: סיווג אוסטאופורוזיס בבית חולים מבוסס טרנספורמר במבוגרים העוברים ניתוחים נוירוכירורגיים בעמוד השדרה
* These authors contributed equally
במאמר זה
סיכום
תקציר
המטרה הייתה לפתח ולהעריך פנימית מודל למידה עמוקה לסיווג אוסטאופורוזיס בבית חולים בקרב מבוגרים העוברים ניתוחים נוירוכירורגיים בעמוד השדרה, תוך שימוש בנתונים קליניים טבלאיים שנאספו באופן שגרתי. מחקר רטרוספקטיבי זה השתמש במאגר Medical Information Mart for Intensive Care IV (MIMIC-IV) כדי לזהות מטופלים בוגרים שעברו הליכים נוירוכירורגיים בעמוד השדרה. אוסטאופורוזיס הוגדרה על ידי קודי אבחנה ICD-9/10 שנרשמו במהלך הקבלה לאינדקס. מאפיינים דמוגרפיים, רשומות תרופות, מדידות מעבדה וסימנים חיוניים מאותו אשפוז שימשו לפיתוח מודלים. לאחר חלוקה שכבתית לקבוצות אימון, אימות ומבחן, טופל חוסר האיזון במחלקות רק בקבוצת האימון. מודל מבוסס TabTransformer פותח והושווה עם רשתות XGBoost, LSTM_Attention ו-Temporal Convolutional Networks (TCN). יכולת הפירוש של המודל הוערכה באמצעות SHapley Additive exPlanations (SHAP). בערכת הבדיקה שהוחזקה, TabTransformer השיגה את הביצועים הכוללים הטובים ביותר, עם שטח מתחת לעקומת מאפיין התפעול של המקלט (AUC) של 0.953 ודיוק ממוצע (AP) של 0.799. הערכים המתאימים ל-TCN, XGBoost ו-LSTM_Attention היו 0.937/0.707, 0.857/0.303, ו-0.755/0.179, בהתאמה. ניתוח SHAP זיהה גיל, מין, קריאטינין, רוחב התפלגות תאי אדומים, ביקרבונט, פוספט, נויטרופילים ומספר משתנים הקשורים לתרופות כגורמים משפיעים לתפוקת המודלים. בקבוצה רטרוספקטיבית חד-מרכזית זו, מודל TabTransformer הראה ביצועים מובחנים חזקים לסיווג אוסטאופורוזיס בבית חולים וסיפק אסוציאציות ברמת תכונות שניתן לפענח באמצעות SHAP. מכיוון שמנבאים ותוצאה הוגדרו בתוך אותו אשפוז, יש לפרש מסגרת זו כמודל סיווג חקרני מאומת פנימית ולא ככלי חיזוי עתידי מפורש במפורש זמן.
מבוא
אוסטאופורוזיס (OP) היא מצב שלדי נפוץ המאופיין בירידה בצפיפות המינרלים בעצם ובהתדרדרות מבנית של רקמת העצם, מה שמוביל לשבריריות עצם מוגברת ולסיכון גבוה יותר לשברים1. היא ממשיכה להוות דאגה משמעותית לבריאות הציבור, במיוחד בקרב אנשים מבוגריםונשים לאחר גיל המעבר. במטופלים מאושפזים העוברים ניתוחים נוירוכירורגיים בעמוד השדרה, בריאות העצם עלולה להיות מושפעת מירידה בניידות, תגובות לחץ מערכתיות, חשיפה לתרופות והפרעות בהומאוסטזיס המטבולי במהלך הקבלה לאינדקס. עדויות קודמות ממצבים נוירולוגיים ופגיעות בחוט השדרה מצביעות על כך שהקפאה ומחלה מערכתית עלולות לתרום לאובדן עצם מואץ 3,4, אם כי אותות הקשורים לאוסטאופורוזיס בהקשר קליני ספציפי זה אינם מאופיינים מספיק.
נתוני רשומות רפואיות אלקטרוניות שנאספות באופן שגרתי מספקים הזדמנות לבחון דפוסים הקשורים לאוסטאופורוזיס באוכלוסייה זו באמצעות משתנים שכבר זמינים במהלך הטיפול השגרתי, כגון מאפיינים דמוגרפיים, רשומות תרופות, בדיקות מעבדה וסימני חיים. חלק מהמשתנים הקשורים לטיפול (למשל, דפוסי שימוש בתרופות) עשויים לפעול גם כשליחים עקיפים למצב תפקודי או ניידות. עם זאת, מעט מחקרים התמקדו במבוגרים שעוברים הליכים נוירוכירורגיים בעמוד השדרה באמצעות נתונים קליניים טבליים מובנים. בנוסף, מאגר הנתונים Medical Information Mart for Intensive Care IV (MIMIC-IV) מייצג קבוצה גדולה של טיפול נמרץ רטרוספקטיבי ממרכז שלישי יחיד, ולא אוכלוסייה רב-מרכזית מייצגת באופן רחב. לכן, ניתוחים המבוססים על משאב זה צריכים להתפרש במסגרת האימות הפנימי והמודלים הקליניים החקרניים. מחקרים עדכניים בתחום למידת מכונה שיפרו את מודל הסיכון הקשור לאוסטאופורוזיס על ידי שילוב סמנים ביולוגיים עם משתנים קליניים, אך מחקר כזה נערך בעיקר באוכלוסיות שאינן נוירוכירורגיות.
שיטות למידת מכונה משמשות יותר ויותר לניתוח נתונים קליניים טבלאיים במימד גבוה, במיוחד כאשר אינטראקציות מורכבות ולא ליניאריות עשויות להתקיים בין משתנים הטרוגניים. מבין הגישות הללו, ארכיטקטורת TabTransformer מתאימה היטב לקלטים טבליים מעורבים, משום שהיא יכולה למודל קשרים קונטקסטואליים בין תכונות באמצעות תשומת לב עצמית, תוך שמירה על גמישות הן למשתנים קטגוריים והן למספריים6. כאשר משולבים עם SHapley Additive exPlanations (SHAP), מודלים כאלה יכולים גם לספק תיאור ניתן לפרשנות של תרומות התכונות, ומאפשר הערכה חקרנית של האופן שבו משתנים דמוגרפיים, מעבדתיים, פיזיולוגיים ותרופות קשורים לפלט המודל.
בהתאם לכך, במחקר זה השתמשנו בנתוני MIMIC-IV לפיתוח והערכה פנימית של מודל TabTransformer מבוסס קשב לזיהוי אוסטאופורוזיס בבית חולים בקרב מבוגרים שעברו הליכים נוירוכירורגיים בעמוד השדרה במהלך האשפוז באינדקס. באמצעות משתנים דמוגרפיים יחד עם תרופות מצטברות ברמת האשפוז, תכונות מעבדה וסימני חיים, השווינו את מודל TabTransformer למספר מודלים בסיסיים ובדקנו את התכונות המשפיעות ביותר באמצעות פרשנות מבוססת SHAP. מכיוון שגם המנבאים וגם התוצאה הוגדרו בתוך אותו אשפוז, ניתוח זה מייצג מסגרת סיווג מקביל בבית חולים ולא מודל חיזוי סיכון עתידי מפורש במפורש בזמן. לכן, עבודה זו מיועדת להיות ניתוח פנימי מאומת וחוקר בקוהורט טיפול נמרץ רטרוספקטיבי במרכז יחיד.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
פרוטוקול
מקור הנתונים
מחקר זה היה ניתוח רטרוספקטיבי המבוסס על מאגר Medical Information Mart for Intensive Care IV (MIMIC-IV, גרסה 3.1), מאגר טיפול נמרץ זמין לציבור המתארח ב-PhysioNet (https://physionet.org/content/mimiciv/3.1/). מאגר הנתונים פותח בשיתוף פעולה בין מעבדת הפיזיולוגיה החישובית של המכון הטכנולוגי של מסצ'וסטס, מרכז הרפואי Beth Israel Deaconess ופיליפס, ומכיל נתונים קליניים מקיפים שלא זוהו, כולל מידע דמוגרפי, סימני חיים, מדידות מעבדה ורשומות תרופות.
כל נתוני המטופלים ב-MIMIC-IV אינם מזוהים לחלוטין בהתאם לחוק ניידות ואחריות ביטוח הבריאות (HIPAA), ולכן מחקר זה לא דרש אישור ועדת ביקורת מוסדית (IRB). השימוש במסד הנתונים נשלט על ידי הסכם שימוש בנתונים (DUA), והגישה ניתנת רק למשתמשים מורשים שהשלימו את ההכשרה וההסמכה הנדרשים. המחברים השלימו את ההכשרה הנדרשת וקיבלו אישורי גישה (משתמש מוסמך ב-PhysioNet) וביצעו מחקר זה בהתאם לכל תקנות השימוש בנתונים הרלוונטיות.
מחקר אוכלוסייה וחילוץ נתונים
מטופלים בוגרים (≥18 שנים) שעברו פרוצדורות נוירוכירורגיות בעמוד השדרה זוהו ממאגר MIMIC-IV באמצעות קודי ICD הקשורים לפרוצדורות. פרוצדורות נוירוכירורגיות בעמוד השדרה הוגדרו כקודי ICD-9 שמתחילים ב-03 (ניתוחים בחוט השדרה ובתעלת השדרה) וקודי ICD-10 שמתחילים ב-00B, 00H, 00J, 00N, 00P, 00Q, 00R, 00S, 00T, או 00U (הליכים הקשורים לחוט השדרה). עבור מטופלים עם מספר אשפוזים בבית חולים, רק האשפוז הראשון שכללה הליך מתאים נשמר כדי למנוע מדידות חוזרות מאותו אדם.
משתנה התוצאה, אוסטאופורוזיס, הוגדר בהתבסס על קודי ICD-9 שמתחילים ב-733 וקודי ICD-10 שמתחילים ב-M80, M81 או M82 שנרשמו במהלך הקבלה לאינדקס. מכיוון שגם המנבאים וגם התוצאה נגזרו מאותו אשפוז, המשימה האנליטית במחקר זה הוצגה כסיווג בבית חולים ולא כחיזוי סיכון פרוספקטיבי.
בסך הכל 10,803 מטופלים עמדו בקריטריוני ההכללה. לאחר חלוקה שכבתית, מערך הנתונים חולק לקבוצת אימון (n = 7,561), קבוצת אימות (n = 1,621), ומערך בדיקות (n = 1,621). התפלגות המחלקות הייתה מאוד לא מאוזנת בין כל המחיצות. במערך האימונים, 499 מטופלים (6.60%) היו חיוביים לאוסטאופורוזיס ו-7,062 (93.40%) היו שליליים לאוסטאופורוזיס. בסט האימות, 107 מטופלים (6.60%) היו חיוביים ו-1,514 (93.40%) היו שליליים. מערך הבדיקות הראה את אותה התפלגות, עם 107 מקרים חיוביים (6.60%) ו-1,514 שליליים (93.40%).
הנתונים הקליניים הופקו באמצעות תוכנת ניהול מסדי נתונים יחסית מ-MIMIC-IV. המשתנים שנלקחו כללו מאפיינים דמוגרפיים (למשל, גיל ומין), מדידות מעבדה, סימני חיים ורשומות תרופות. לכל מטופל נעשה שימוש בנתונים מהקבלה באינדקס לבניית תכונות נוספות.
כדי להבטיח הערכת מודלים תקפה, מערך הנתונים חולק תחילה לקבוצות אימון, אימות ובדיקות באמצעות דגימה שכבתית (70%, 15% ו-15%)3,7. כל שלבי העיבוד המוקדם שלאחר מכן יכלו להכניס הטיה, כולל בחירת תכונות ודגימה מחדש, בוצעו אך ורק בתוך מערך האימון. חוסר האיזון במעגל ההכשרה טופל באמצעות שילוב של דגימה קטנה של הרוב וטכניקת דגימת יתר של מיעוט סינתטי (SMOTE), בעוד שמערכות האימות והבדיקה שמרו על התפלגות המחלקות המקורית כדי לשקף את השכיחות בעולם האמיתי.
הנדסת תכונות
הוטמע צינור הנדסת תכונות רב-שלבי לשיפור ביצועי המודל תוך שמירה על יכולת פרשנות. עבור כל מטופל, התרופות, המעבדה ורשומות סימני החיים מהאשפוז במדד אוגדו למאפיינים ברמת סיכום (למשל, ערכים ממוצעים למדידות חוזרות וחשיפה ממוצעת לתרופות).
כדי להפחית את הפער בתכונות, קבוצות תכונות מועמדות עם יותר מ-30% ערכים חסרים הוצאו. כדי למנוע דליפת נתונים, שלב הסינון הזה בוצע אך ורק באמצעות מערכת האימון, ואותו סט תכונות הוחל על מערכות האימות והבדיקה.
לאחר מכן, נערך סקר תכונות חד-משתני ברמת קבוצת התכונות באמצעות מבחן Mann–Whitney U להשוואת התפלגויות בין מטופלים חיוביים לאוסטאופורוזיס לשליליים. קבוצות התכונות דורגו לפי מובהקות סטטיסטית, והקבוצות העליונות (k = 20) נשמרו למידול במורד הזרם. הליך הבחירה הזה בוצע גם הוא באופן בלעדי במסגרת ההכשרה כדי למנוע דליפת מידע.
בהינתן דרגת החסר הגבוהה יחסית בין קבוצות התכונות המועמדות לשימוש, התפקיד העיקרי של שלב הבחירה בטופ-k היה לסנן תכונות עם אותות סטטיסטיים חלשים ולא לאופטימיזציה מוחלטת של ממדי התכונות. בפועל, ביצועי המודל לא היו רגישים במיוחד לערך המדויק של k בטווח סביר, מה שמרמז כי שלב זה שימש בעיקר כהליך סקר ממוקד עמידות לשלול תכונות נמוכות אינפורמטיביות תוך שמירה על אותות קליניים רלוונטיים.
תכונות דמוגרפיות בסיסיות נשמרו בכל הדגמים. ערכים חסרים במשתנים הדמוגרפיים הללו הוחשבו באמצעות הערך הממוצע שחושב מקבוצת האימון. ההתאמה הממוצעת נבחרה בשל פשטותו ויציבותו במאגר הנתונים הגדול הזה, אם כי ייתכן שהיא מפחיתה שונות ותכניס הטיה; מגבלה זו מוכרת.
עבור תכונות נבחרות של תרופות, מעבדה וסימני חיים, היעדר מדידה או חשיפה מתועדת קודדה כאפס כדי לאפשר קלט מספרי עקבי לאימון המודלים. אנו מכירים בכך שגישה זו עשויה לבלבל בין ערכי אפס אמיתיים לבין חוסר או אי-חשיפה, במיוחד עבור משתנים שבהם אפס אינו משמעותי פיזיולוגית. עם זאת, אסטרטגיית קידוד זו יושמה בעקביות בכל המדגימות ואחריה תקנון ציון Z, שמפחית עיוות הקשור לסולם. ההשפעה הפוטנציאלית של הנחה זו נדונה כמגבלה.
כל המאפיינים המספריים תוקנו באמצעות נורמליזציה של ציון Z בהתבסס על הממוצע והסטיית התקן שהוערכו מקבוצת האימון:
z = (x — μ)/σ
כאשר x מייצג את ערך התכונה הגולמי, ו-μ ו-σ מציינים את הממוצע והסטיית התקן שחושבו מקבוצת האימון. משתנים קטגוריים קודדו מספרית כדי לעמוד בדרישות הקלט של מודלי הלמידה העמוקה.
אסטרטגיית הנדסת תכונות זו אפשרה הפחתה שיטתית של הממדיות תוך שמירה על תחומים קליניים רלוונטיים, כולל דמוגרפיה, תפקוד כליה, אינדקסים המטולוגיים, סמנים דלקתיים ופרמטרים מטבוליים. מאפייני בסיס מפורטים של אוכלוסיית המחקר לאורך מערכי האימון, האימות והמבחנים מוצגים בטבלה 1.
| מאפיינים | סך הכל | סט אימונים | קבוצת האימות | סט מבחן | ערך P |
| (n=5238) | (n=1996) | (n=1621) | (n=1621) | ||
| מגדר | <0.001 | ||||
| זכר | 2477 (47.29%) | 834 (41.78%) | 797 (49.17%) | 846 (52.19%) | |
| נקבה | 2761 (52.71%) | 1162 (58.22%) | 824 (50.83%) | 775 (47.81%) | |
| גיל | 60.69 (48.29, 70.61) | 63.45 (52.00, 72.41) | 58.00 (46.00, 69.00) | 60.00 (46.00, 70.00) | <0.001 |
| גובה | 165.23 (160.79, 171.21) | 164.25(161.41, 172.23) | 166.32 (161.85, 171.22) | 165.22 (161.31, 169.89) | <0.001 |
| משקל | 72.01 (56.77, 82.46) | 75.45 (63.22, 81.45) | 70.55 (60.22, 79.33) | 73.62 (65.22, 81.88) | <0.001 |
| סנה | 1.00 (-0.73, 8.60) | 1.00 (-0.30, 8.60) | 1.00 (-1.00, 8.60) | 1.00 (-1.00, 8.60) | <0.001 |
| דוקוזאט נתרן | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 100.00 (100.00, 100.00) | 0.001 |
| הפארין | 5000.00 (1655.28, 5000.00) | 5000.00 (-1.00, 5000.00) | 5000.00 (1600.00, 5000.00) | 5000.00 (3750.00, 5000.00) | 0.292 |
| נתרן כלוריד 0.9% שטיפה | 3.00 (1.76, 3.00) | 3.00 (3.00, 3.00) | 3.00 (-1.00, 3.00) | 3.00 (3.00, 3.00) | <0.001 |
| תאי דם אדומים | 3.96 (3.51, 4.35) | 3.90 (3.49, 4.28) | 4.02 (3.53, 4.40) | 3.97 (3.50, 4.38) | <0.001 |
| המוגלובין | 11.81 (10.51, 13.02) | 11.66 (10.47, 12.82) | 11.91 (10.58, 13.14) | 11.90 (10.49, 13.15) | <0.001 |
| RDW | 13.98 (13.22, 15.15) | 14.12 (13.35, 15.24) | 13.90 (13.10, 15.06) | 13.90 (13.18, 15.13) | <0.001 |
| המטוקריט | 35.67 (31.95, 39.00) | 35.32 (31.63, 38.50) | 36.00 (32.28, 39.37) | 35.77 (32.01, 39.25) | <0.001 |
| כבידה סגולית | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | 1.01 (1.01, 1.02) | <0.001 |
| ביקרבונט | 25.72 (24.04, 27.15) | 25.86 (24.17, 27.27) | 25.65 (23.92, 27.03) | 25.62 (24.00, 27.12) | <0.001 |
| נויטרופילים | 68.67 (60.52, 76.23) | 69.41 (61.90, 76.52) | 68.10 (59.60, 75.88) | 68.34 (59.75, 76.23) | <0.001 |
| קריאטינין | 0.82 (0.68, 1.02) | 0.81 (0.68, 1.00) | 0.83 (0.69, 1.02) | 0.83 (0.68, 1.03) | <0.001 |
| פוספט | 3.29 (2.92, 3.64) | 3.27 (2.93, 3.57) | 3.30 (2.93, 3.69) | 3.30 (2.90, 3.65) | 0.002 |
| חנקן אוריאה | 15.43 (12.08, 20.18) | 15.74 (12.50, 20.20) | 15.00 (11.64, 19.89) | 15.48 (12.00, 20.43) | <0.001 |
| לימפוציטים | 19.12 (12.22, 26.15) | 18.81 (12.49, 25.30) | 19.36 (12.40, 27.07) | 19.24 (11.72, 26.27) | 0.001 |
| אלנין אמינוטרנספראז (ALT) | 20.49 (10.84, 32.82) | 20.47 (11.67, 32.06) | 20.00 (10.00, 32.93) | 21.00 (10.67, 33.67) | 0.3283 |
| MCV | 90.90 (87.50, 94.32) | 91.03 (87.64, 94.51) | 90.64 (87.43, 94.00) | 91.00 (87.40, 94.40) | <0.001 |
| MCHC | 33.14 (32.37, 33.92) | 33.11 (32.37, 33.88) | 33.16 (32.38, 33.97) | 33.16 (32.35, 33.93) | <0.001 |
| בזופילים | 0.42 (0.27, 0.61) | 0.41 (0.27, 0.59) | 0.45 (0.29, 0.63) | 0.41 (0.26, 0.60) | 0.037 |
טבלה 1. מאפייני הבסיס של אוכלוסיית המחקר מסודרים לפי אימון, אימות ומערכות מבחן.
ארכיטקטורת מודלים
כדי למודל קשרים מורכבים בין תכונות קליניות טבלאות הטרוגניות, השתמשנו בארכיטקטורה מבוססת TabTransformer שמיושמה באמצעות מסגרת PyTorch6. המודל תוכנן לעבד משתנים קטגוריים ומספריים וללכוד אינטראקציות הקשריות בין תכונות באמצעות מנגנון תשומת לב עצמית.
ייצוג קלט
משתנים קטגוריים הוסבו תחילה להטמעות צפופות. כל תכונה קטגורית מופה לוקטור הטמעה בממד d(embedding_dim = 256). תכונות מספריות הוסדרו באמצעות נורמליזציה של ציון Z ואז הוקרנו לאותו מרחב הטמעה דרך שכבת טרנספורמציה ליניארית, מה שאפשר עיבוד משותף עם תכונות קטגוריות.
וקטורי התכונה המוטמעים חוברו ליצירת רצף של טוקנים:
X = [x1,x 2,... xn]
כאשר כל xi ∈ Rd מייצג תכונה משובצת.
מקודד טרנספורמר
ההטמעות-תכונות המקושרטות עברו דרך ערימה של שכבות מקודד טרנספורמר (num_layers = 3). כל שכבה כללה תשומת לב עצמית מרובת ראשים ואחריה רשת הזנה קדימה לפי מיקום.
מנגנון תשומת הלב העצמית הרב-ראשית מוגדר כך:
—> תשומת לב (Q,K,V) = סופטמקס 
V
כאשר Q, K ו-V מסמנים מטריצות שאילתה, מפתח וערכים. ראשי קשב מרובים (num_heads = 8) שימשו ללכידת אינטראקציות מגוונות בין תכונות.
כל בלוק שנאי כלל ריכוז עצמי רב-ראשי, חיבור שאריתי ונירמול שכבה, רשת הזנה קדימה, ניתוק (קצב = 0.243).
אגרגציה וסיווג תכונות
פלט שכבת הטרנספורמר הסופית הושטח והועבר דרך פרספטרון רב-שכבתי (MLP) לסיווג. ה-MLP כלל שכבה אחת או יותר מחוברות לחלוטין עם פונקציות הפעלה לא ליניאריות.
שכבת הפלט הסופית השתמשה בפונקציית הפעלה סיגמואידי כדי לייצר את ההסתברות החזויה לאוסטאופורוזיס:
—> 
= σ(z)
כאשר z הוא פלט הלוגיט.
פונקציית אובדן ואסטרטגיית אימון
המודל אומן באמצעות אובדן אנטרופיה בינארית:
—> L = −(1/N) Σ [ yi log(ŷi) + (1 − yi) log(1 − ŷi) ]
כאשר yi מסמן את התווית האמיתית ו-i ההסתברות החזויה.
המודל אופטימיזציה באמצעות אופטימייזר אדם (קצב למידה = 1.9e-4, גודל אצווה = 64) עבור 100 תקופות. עצירה מוקדמת יושמה בהתבסס על ביצועי אימות (סבלנות = 15) כדי למנוע התאמת יתר. כדי לתמוך בשחזוריות, כל ההליכים הניסיוניים בוצעו באמצעות זרע אקראי קבוע (seed = 42).
פרשנות מודל
כדי לשפר את היכולת לפרשנות, יושמו הסברים אדיטיביים של SHapley (SHAP) על המודל המאומן. ערכי SHAP חושבו על מערך הבדיקה כדי לכמת את תרומת כל תכונה לתוצאה החזויה, מה שאפשר פרשנות גלובלית ואישית של התנהגות המודל.
כפי שמודגם באיור 1, זרימת העבודה מסכמת את התהליך מעיבוד נתונים מוקדם ב-MIMIC-IV ועד לבניית המודלים וסיווג. ארכיטקטורת TabTransformer לוכדת אינטראקציות בין תכונות טבולריות הטרוגניות באמצעות תשומת לב עצמית, בעוד שהדמיה מבוססת SHAP מספקת תובנות ניתנות לפרשנות לגבי תרומות לתכונות. מסגרת זו מאפשרת ניתוח מאומת פנימית של דפוסים הקשורים לאוסטאופורוזיס בקבוצה הטרוגנית של נוירוכירורגיה בעמוד השדרה.
איור 1. למד תהליך עבודה וארכיטקטורת מודלים. איור זה ממחיש את עיצוב המחקר הכולל, כולל בחירת קבוצה, עיבוד נתונים מוקדם, הנדסת תכונות, פיצול מערכי נתונים ופיתוח מודלים. הוא גם מסכם את ארכיטקטורת TabTransformer המשמשת לסיווג, כולל הטמעת תכונות, שכבות מקודד טרנספורמר ופלט סיווג סופי. רק האשפוז הראשון המתאים לכל מטופל נכלל. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
תוצאות
השוואת ביצועי מודלים
השווינו את מודל TabTransformer המוצע לשלושה מודלים בסיסיים (XGBoost, LSTM עם תשומת לב, ורשתות קונבולוציוניות זמניות [TCN]) על סט הבדיקה שהוחזק. כפי שמוצג באיור 2, TabTransformer השיגה את הביצועים ההבחנה הגבוהים ביותר עם AUC של 0.953 (רווח בר-סמך 95%: 0.924–0.977), אחריה TCN (AUC = 0.937, רווח בר-סמך 95%: 0.903–0.967), XGBoost (AUC = 0.857, רווח בר-סמך 95%: 0.821–0.890), ו-LSTM_Attention (AUC = 0.755, רווח בר-סמך 95%: ...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
דיון
במחקר זה פיתחנו מודל TabTransformer מבוסס קשב לסיווג אוסטאופורוזיס בבית חולים בקרב מבוגרים העוברים הליכים נוירוכירורגיים בעמוד השדרה והשתמשנו ב-SHapley Additive exPlanations (SHAP) כדי לחקור את המשתנים המרכזיים שמניעים את תפוקת המודל (איור 5 ואיור 6). תוצאות SHAP מצביעות על כך שהגיל היה הגורם הדומיננטי, ואחריו אותות חוזרים מסמנים כלייתיים ומטבוליים, מדדים המטולוגיים, משתני תרופות נבחרים ומאפיינים דמוגרפיים בסיסיים. ממצאים אלה צר...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
גילויים
למחברים אין ניגודי עניינים להצהיר עליהם.
תודות
המחברים מודים בהכרת תודה על התמיכה הכספית מתוכנית המדע והטכנולוגיה המנחה של עיר סוצ'יאן (מענק מס' Z202342).
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| Adam optimizer | PyTorch | כלול ב-PyTorch | משמש לאימון TabTransformer |
| Jupyter Notebook | Project Jupyter | הגרסה האחרונה הזמינה | משמש לפיתוח מודל ותהליך זרימת עבודה לניתוח |
| MIMIC-IV database | PhysioNet | גרסה 3.1; https://physionet.org/content/mimiciv/3.1/ | מאגר מידע ציבורי ומסופק ללא זיהוי עבור טיפול נמרץ |
| Python | Python Software Foundation | הגרסה האחרונה הזמינה | סביבת התכנות העיקרית |
| PyTorch | PyTorch Foundation | הגרסה האחרונה הזמינה | מסגרת למידת עמוק המשמשת ליישום TabTransformer |
| Relational database management software | Navicat | גרסה 17.0; https://www.navicat.com.cn/ | משמש לחילוץ נתונים מ-MIMIC-IV |
| scikit-learn | מפתחי scikit-learn | הגרסה האחרונה הזמינה | משמש לעיבוד מוקדם, פיצול נתונים ומודלים בסיסיים |
| SHAP | מפתחי SHAP | הגרסה האחרונה הזמינה | משמש לניתוח פרשנות מודל |
| SMOTE | imbalanced-learn | הגרסה האחרונה הזמינה | משמש לדגימת יתר של מחלקה מיעוטית בקבוצת האימון |
| XGBoost | מפתחי XGBoost | הגרסה האחרונה הזמינה | מודל השוואת בסיס |
מקורות
- Rachner, T. D., Khosla, S., Hofbauer, L. C. Osteoporosis: now and the future. Lancet. 377 (9773), 1276-1287 (2011).
- Khosla, S., Hofbauer, L. C. Osteoporosis treatment: recent developments and ongoing challenges. Lancet Diabetes Endocrinol. 5 (11), 898-907 (2017).
- Jiang, S. D., Dai, L. Y., Jiang, L. S. Osteoporosis after spinal cord injury. Osteoporos Int. 17 (2), 180-192 (2006).
- Kivrak, M., et al. The impact of the SMOTE method on machine learning and ensemble learning performance results in addressing class imbalance in data used for predicting total testosterone deficiency in type 2 diabetes patients. Diagnostics (Basel). 14 (23), 2634 (2024).
- Carvalho, F. R., Gavaia, P. J. Enhancing osteoporosis risk prediction using machine learning: a holistic approach integrating biomarkers and clinical data. Comput Biol Med. 192, 110289 (2025).
- Huang, X., Khetan, A., Cvitkovic, M., Karnin, Z. TabTransformer: tabular data modeling using contextual embeddings. arXiv. , (2020).
- Kapila, A., Takkar, A. Neurological disorders, corticosteroids, and fracture risk: hiding in the hindsight!. J Postgrad Med Educ Res. 56 (2), 61-62 (2022).
- Battaglino, R. A., Lazzari, A. A., Garshick, E., Morse, L. R. Spinal cord injury-induced osteoporosis: pathogenesis and emerging therapies. Curr Osteoporos Rep. 10 (4), 278-285 (2012).
- Landi, F., Liperoti, R., Russo, A., Giovannini, S., et al. Sarcopenia as a risk factor for falls in elderly individuals: results from the ilSIRENTE study. Clin Nutr. 31 (5), 652-658 (2012).
- Romagnani, P., et al. Chronic kidney disease. Nat Rev Dis Primers. 11 (1), 8 (2025).
- Liu, S., Liang, R. Synergistic impact of immuno-nutritional and hypoxia-metabolic disturbances on post-stroke epilepsy: a “two-hit” prediction model and web-based risk calculator. Front Nutr. 13, 1759899 (2026).
- Liu, S., Zhou, J. Trends and development of enhanced recovery after surgery programs in cranial and spinal neurosurgery. Neurochirurgie. 71 (5), 101704 (2025).
- Carvalho, F. R., Gavaia, P. J., Brito Camacho, A. OrthoMortPred: predicting one-year mortality following orthopedic hospitalization. Int J Med Inform. 192, 105657 (2024).
- Liu, S., Liang, R. Risk stratification for intracranial infection after high-grade gliomas surgery: a nomogram development and validation study. Front Oncol. 15, 1697966 (2025).
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
הדפסות חוזרות והרשאות
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה