$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Ein ROC-Diagramm (Receiver Operating Characteristic) ist ein grafisches Tool zur Bewertung der Leistung eines binären Klassifizierungsmodells, indem es den Kompromiss zwischen Sensitivität (Rate der wahren positiven Ergebnisse) und Spezifität (Rate der falschen positiven Ergebnisse) veranschaulicht. Durch die Darstellung der Sensitivität gegenüber 1 - Spezifität über verschiedene Schwellenwerteinstellungen hinweg zeigt die ROC-Kurve, wie gut das Modell zwischen Klassen unterscheidet, wobei eine Kurve näher an der oberen linken Ecke ein genaueres Modell anzeigt. Der Bereich unter der ROC-Kurve (AUC) dient als einzelnes Leistungsmaß: Werte näher an 1 bedeuten eine bessere Unterscheidung, während Werte nahe 0,5 eine schlechte Vorhersagekraft nahelegen, ähnlich wie bei zufälligem Raten.
Bei der Bewertung von Diagnosetools für bestimmte Krankheiten ist das Ausbalancieren von Sensitivität und Spezifität für die Bestimmung der Genauigkeit eines Tests von entscheidender Bedeutung. Die Sensitivität misst die Fähigkeit des Tests, Personen mit der Krankheit korrekt zu identifizieren, während die Spezifität seine Fähigkeit misst, Personen ohne Krankheit auszuschließen. Das Anpassen von Diagnoseschwellen kann dieses Gleichgewicht verschieben und die Wirksamkeit des Tests beeinträchtigen. Die ROC-Kurve ist besonders nützlich, um zu veranschaulichen, wie sich Sensitivität und Spezifität über diese Schwellenwerte hinweg ändern, und hilft dabei, den optimalen Grenzwert für die Klassifizierung zu ermitteln.
Wenn die Prädiktorvariable keinen Zusammenhang mit der Krankheit aufweist, werden Sensitivität und 1 - Spezifität entlang der diagonalen Linie ausgerichtet, was darauf hinweist, dass das Modell nicht besser als der Zufall abschneidet. Wenn jedoch höhere Werte eines Prädiktors ein höheres Krankheitsrisiko anzeigen, wird die ROC-Kurve über die Diagonale steigen. Wenn niedrigere Werte ein höheres Risiko nahelegen, kann das Modell angepasst werden, um sicherzustellen, dass die ROC-Kurve über diese Linie steigt, was eine verbesserte Unterscheidung zeigt.
Der Bereich unter der ROC-Kurve quantifiziert die Fähigkeit der Variable, zwischen kranken und gesunden Zuständen zu unterscheiden, ähnlich wie R^2 bei der linearen Regression, jedoch für binäre Ergebnisse. Der Vergleich von ROC-Kurven aus verschiedenen Klassifizierungsmodellen zeigt ihre Vorhersagegenauigkeit über verschiedene Schwellenwerte hinweg und zeigt beispielsweise, ob bestimmte Methoden bei hochspezifischen, risikoarmen Screenings ähnlich wirksam sind, sich jedoch in der Präzision für die klinische Diagnostik unterscheiden. Idealerweise sollte die ROC-Kurve deutlich von der Diagonale abweichen, da eine größere Abweichung auf einen genaueren Diagnosetest hinweist. Ein AUC nahe 1 weist auf ein hochwirksames Tool hin, während Werte nahe 0,5 auf eine begrenzte Zuverlässigkeit hinweisen.
