גרף ROC (Receiver Operating Characteristic)

גרף ROC (מאפיין הפעלה של מקלט) הוא כלי גרפי המשמש להעריך את ביצועי המודל לסיווג בינארי על ידי הצגת מאזן הרגישות (שיעור חיוביים אמיתיים) והסגוליות (שיעור חיוביים שגויים). על ידי הצגת רגישות מול 1 - סגוליות על פני הגדרות סף שונות, עקומת -ROC מראה עד כמה המודל מבחין בין הקבוצות, כאשר עקומה קרובה לפינה השמאלית-עליונה מצביעה על מודל מדויק יותר. השטח תחת עקומת -ROC (AUC) משמש כמדד הביצועים אחד: ערכים קרובים ל-1 מציינים הבחנה טובה יותר, בעוד שערכים קרובים ל-0.5 מצביעים על כוח ניבוי נמוך, בדומה לניחוש אקראי.

בהערכה של כלים אבחוניים למחלות מסוימות, חשוב לאזן בין רגישות לסגוליות לצורך קביעת דיוק הבדיקה. רגישות מודדת את יכולת הבדיקה לזהות נכון את האנשים עם המחלה, בעוד שסגוליות מודדת את יכולתה להוציא את אלו שאין להם אותה. התאמת ספי אבחון יכולה להזיז את האיזון הזה, ולהשפיע על יעילות הבדיקה. גרף ה-ROC שימושי במיוחד בהדגמת כיצד משתנים רגישות וסגוליות על פני ספים שונים, ומסייע בזיהוי הסף האופטימלי לסיווג.

כאשר משתנה החיזוי אין לו קשר למחלה, רגישות ו-1 - סגוליות יתפוס מקו דיאגונלי, דבר שמצביע על כך שהמודל לא מבצע טוב יותר מאשר הסתברות אקראית. עם זאת, כאשר ערכים גבוהים יותר של המשתנה מצביעים על סיכון גבוה יותר למחלה, עקומת -ROC תעלה מעל הדיאגונל. אם ערכים נמוכים מצביעים על סיכון גבוה יותר, ניתן לכוונן את המודל כך שגרף -ROC יעלה מעל קו זה, דבר שמדגים הבחנה משופרת.

השטח תחת עקומת -ROC quantifies את יכולת המשתנה להבחין בין מצבים חולים ובריאים, בדומה ל-R² ברגרסיה לינארית אך עבור תוצאות בינאריות. השוואת גרפי ROC ממודלים שונים לסיווג חושפת את דיוק הניבוי שלהם על פני ספים שונים, ומראה, לדוגמה, אם שיטות מסוימות יעילות באופן דומה בסינונים בעלי סגוליות גבוהה וסיכון נמוך, אך נבדלות בדיוק עבור אבחונים קליניים. באופן אידיאלי, עקומת -ROC צריכה להסתעף משמעותית מהדיאגונל, שכן הסתעפות גדולה יותר מצביעה על בדיקה אבחונית מדויקת יותר. AUC הקרוב ל-1 משקף כלי יעיל מאוד, בעוד שערכים קרובים ל-0.5 מצביעים על אמינות מוגבלת.