14.5: הפעלה של מקלט העלילה האופיינית

תרשים ROC (Receiver Operating Characteristic) הוא כלי גרפי המשמש להערכת הביצועים של מודל סיווג בינארי על ידי המחשת הפשרה בין רגישות (שיעור חיובי אמיתי) וספציפיות (שיעור חיובי כוזב). על ידי התוויית רגישות כנגד 1 – ספציפיות על פני הגדרות סף שונות, עקומת ROC מראה עד כמה המודל מבחין בין מחלקות, כאשר עקומה קרובה יותר לפינה השמאלית העליונה מצביעה על מודל מדויק יותר. האזור מתחת לעקומת ROC (AUC) משמש כמדד ביצועים יחיד: ערכים קרובים יותר ל-1 מסמלים הבחנה טובה יותר, בעוד שערכים קרובים ל-0.5 מצביעים על יכולת ניבוי נמוכה, בדומה לניחוש אקראי.

בהערכת כלי אבחון למחלות ספציפיות, איזון רגישות וספציפיות חיוני לקביעת דיוק הבדיקה. רגישות מודדת את יכולתה של הבדיקה לזהות נכון אנשים עם המחלה, בעוד ספציפיות מודדת את יכולתה להוציא את אלה שאינם כאלה. התאמת סף האבחון יכולה לשנות איזון זה, ולהשפיע על יעילות הבדיקה. עקומת ROC שימושית במיוחד בהמחשת האופן שבו רגישות וספציפיות משתנות על פני ספים אלה, ומסייעת לזהות את הסף האופטימלי לסיווג.

כאשר למשתנה המנבא אין קשר למחלה, רגישות ו-1 – ספציפיות יתיישרו לאורך הקו האלכסוני, מה שמצביע על כך שהמודל לא מתפקד טוב יותר מהסיכוי. עם זאת, כאשר ערכים גבוהים יותר של מנבא מצביעים על סיכון גבוה יותר למחלה, עקומת ROC תעלה מעל האלכסון. אם ערכים נמוכים יותר מצביעים על סיכון גדול יותר, ניתן להתאים את המודל כדי להבטיח שעקומת ה-ROC תעלה מעל קו זה, ותדגים אפליה משופרת.

השטח מתחת לעקומת ROC מכמת את יכולתו של המשתנה להבחין בין מצבים חולים ובריאים, בדומה ל-R² ברגרסיה ליניארית אך עבור תוצאות בינאריות. השוואת עקומות ROC ממודלים שונים של סיווג חושפת את דיוק החיזוי שלהן על פני ספים שונים, ומראה, למשל, אם שיטות מסוימות יעילות באופן דומה בבדיקות ספציפיות גבוהות ובסיכון נמוך, אך שונות בדיוק עבור אבחון קליני. באופן אידיאלי, עקומת ROC צריכה לסטות באופן משמעותי מהאלכסון, שכן סטייה גדולה יותר מצביעה על בדיקת אבחון מדויקת יותר. AUC קרוב ל-1 משקף כלי יעיל ביותר, בעוד שערכים קרובים ל-0.5 מצביעים על אמינות מוגבלת.