14.5: Wykres charakterystyki operacyjnej odbiornika

Wykres ROC (Receiver Operating Characteristic) to graficzne narzędzie służące do oceny wydajności binarnego modelu klasyfikacji poprzez zilustrowanie kompromisu między czułością (prawdziwy współczynnik dodatni) a swoistością (fałszywy współczynnik dodatni). Poprzez wykreślenie czułości w stosunku do 1 - swoistości przy różnych ustawieniach progowych, krzywa ROC pokazuje, jak dobrze model rozróżnia klasy, przy czym krzywa bliżej lewego górnego rogu wskazuje na dokładniejszy model. Obszar pod krzywą ROC (AUC) służy jako pojedyncza miara wydajności: wartości bliższe 1 oznaczają lepszą dyskryminację, podczas gdy wartości bliskie 0,5 sugerują słabą moc predykcyjną, podobnie jak w przypadku losowego zgadywania.

Przy ocenie narzędzi diagnostycznych pod kątem konkretnych chorób, zrównoważenie czułości i swoistości jest niezbędne do określenia dokładności testu. Czułość mierzy zdolność testu do prawidłowej identyfikacji osób z chorobą, podczas gdy swoistość mierzy jego zdolność do wykluczania osób bez niej. Dostosowanie progów diagnostycznych może zmienić tę równowagę, wpływając na skuteczność testu. Krzywa ROC jest szczególnie przydatna w ilustrowaniu, jak czułość i swoistość zmieniają się w obrębie tych progów, pomagając zidentyfikować optymalny punkt odcięcia dla klasyfikacji.

Gdy zmienna predykcyjna nie ma związku z chorobą, czułość i swoistość 1- będą ustawione wzdłuż linii przekątnej, wskazując, że model nie działa lepiej niż przypadek. Jednak gdy wyższe wartości predyktora wskazują na większe ryzyko choroby, krzywa ROC będzie się wznosić ponad tę linię. Jeśli niższe wartości sugerują większe ryzyko, model można dostosować, aby zapewnić, że krzywa ROC wzniesie się ponad tę linię, wykazując lepszą dyskryminację.

Obszar pod krzywą ROC kwantyfikuje zdolność zmiennej do rozróżniania stanów chorobowych i zdrowych, podobnie jak R ^2 w regresji liniowej, ale dla wyników binarnych. Porównanie krzywych ROC z różnych modeli klasyfikacji ujawnia ich dokładność predykcyjną w różnych progach, pokazując na przykład, czy pewne metody są podobnie skuteczne w badaniach przesiewowych o wysokiej swoistości i niskim ryzyku, ale różnią się precyzją w diagnostyce klinicznej. W idealnym przypadku krzywa ROC powinna znacznie odchylać się od przekątnej, ponieważ większe odchylenie wskazuje na dokładniejszy test diagnostyczny. AUC bliskie 1 odzwierciedla wysoce skuteczne narzędzie, podczas gdy wartości bliskie 0,5 wskazują na ograniczoną niezawodność.

Oceniając narzędzie diagnostyczne lub test pod kątem konkretnej choroby, ważne jest, aby rozważyć znaczenie zarówno czułości, jak i swoistości.

Równowaga między czułością a swoistością zależy od progów definiowania choroby, ponieważ różne progi mogą prowadzić do różnych wyników.

Rozważmy na przykład test diagnostyczny dla choroby opracowanej przy użyciu różnych progów poziomu miana w surowicy.

Wykreślenie czułości w funkcji dopełnienia swoistości obliczonego na podstawie tej tabeli daje charakterystykę pracy odbiornika lub wykres ROC.

Jak pokazano na wykresie, im dalej krzywa odchyla się od linii odniesienia, tym większa dokładność diagnostyczna. I odwrotnie, bliższa odległość wskazuje na zmniejszoną wiarygodność testu.

Tak więc obszar pod krzywą ROC jest cennym wskaźnikiem skuteczności testu w dokładnym rozróżnianiu osób chorych i zdrowych.

Lepszy test diagnostyczny charakteryzuje się obszarem zbliżającym się do 1,00 poniżej swojej krzywej, podczas gdy nieskuteczny test zbliża się do obszaru 0,50.