14.5: График рабочих характеристик ресивера

График ROC (Receiver Working Characteristic) — это графический инструмент, используемый для оценки производительности модели двоичной классификации путем демонстрации компромисса между чувствительностью (истинно положительным коэффициентом) и специфичностью (ложноположительным коэффициентом). Путем построения графика чувствительности в зависимости от специфичности 1 для различных пороговых значений кривая ROC показывает, насколько хорошо модель различает классы, а кривая, расположенная ближе к верхнему левому углу, указывает на более точную модель. Площадь под кривой ROC (AUC) служит единым показателем эффективности: значения ближе к 1 означают лучшую дискриминацию, в то время как значения около 0,5 указывают на плохую прогностическую силу, подобно случайному угадыванию.

При оценке диагностических инструментов для конкретных заболеваний баланс чувствительности и специфичности имеет важное значение для определения точности теста. Чувствительность измеряет способность теста правильно идентифицировать людей с заболеванием, в то время как специфичность измеряет его способность исключать людей без него. Корректировка диагностических пороговых значений может сместить этот баланс, что повлияет на эффективность теста. ROC-кривая особенно полезна для иллюстрации того, как чувствительность и специфичность изменяются в этих пороговых значениях, помогая определить оптимальный порог для классификации.

Когда предикторная переменная не имеет связи с заболеванием, чувствительность и специфичность 1 будут выравниваться по диагональной линии, указывая на то, что модель работает не лучше, чем случайность. Однако, когда более высокие значения предиктора указывают на больший риск заболевания, ROC-кривая поднимается выше диагонали. Если более низкие значения предполагают более высокий риск, модель может быть скорректирована таким образом, чтобы ROC-кривая поднималась выше этой линии, демонстрируя улучшенную дискриминацию.

Площадь под ROC-кривой количественно определяет способность переменной различать больные и здоровые состояния, подобно R² в линейной регрессии, но для бинарных исходов. Сравнение ROC-кривых из различных классификационных моделей показывает их прогностическую точность для разных пороговых значений, показывая, например, являются ли определенные методы одинаково эффективными в скринингах с высокой специфичностью и низким риском, но различаются в точности для клинической диагностики. В идеале ROC-кривая должна значительно отклоняться от диагонали, так как большее отклонение указывает на более точный диагностический тест. AUC, близкий к 1, указывает на высокую эффективность инструмента, в то время как значения около 0,5 указывают на ограниченную надежность.