14.5: Receiver Operating Characteristic Plot

Ein ROC-Diagramm (Receiver Operating Characteristic) ist ein grafisches Tool zur Bewertung der Leistung eines binären Klassifizierungsmodells, indem es den Kompromiss zwischen Sensitivität (Rate der wahren positiven Ergebnisse) und Spezifität (Rate der falschen positiven Ergebnisse) veranschaulicht. Durch die Darstellung der Sensitivität gegenüber 1 - Spezifität über verschiedene Schwellenwerteinstellungen hinweg zeigt die ROC-Kurve, wie gut das Modell zwischen Klassen unterscheidet, wobei eine Kurve näher an der oberen linken Ecke ein genaueres Modell anzeigt. Der Bereich unter der ROC-Kurve (AUC) dient als einzelnes Leistungsmaß: Werte näher an 1 bedeuten eine bessere Unterscheidung, während Werte nahe 0,5 eine schlechte Vorhersagekraft nahelegen, ähnlich wie bei zufälligem Raten.

Bei der Bewertung von Diagnosetools für bestimmte Krankheiten ist das Ausbalancieren von Sensitivität und Spezifität für die Bestimmung der Genauigkeit eines Tests von entscheidender Bedeutung. Die Sensitivität misst die Fähigkeit des Tests, Personen mit der Krankheit korrekt zu identifizieren, während die Spezifität seine Fähigkeit misst, Personen ohne Krankheit auszuschließen. Das Anpassen von Diagnoseschwellen kann dieses Gleichgewicht verschieben und die Wirksamkeit des Tests beeinträchtigen. Die ROC-Kurve ist besonders nützlich, um zu veranschaulichen, wie sich Sensitivität und Spezifität über diese Schwellenwerte hinweg ändern, und hilft dabei, den optimalen Grenzwert für die Klassifizierung zu ermitteln.

Wenn die Prädiktorvariable keinen Zusammenhang mit der Krankheit aufweist, werden Sensitivität und 1 - Spezifität entlang der diagonalen Linie ausgerichtet, was darauf hinweist, dass das Modell nicht besser als der Zufall abschneidet. Wenn jedoch höhere Werte eines Prädiktors ein höheres Krankheitsrisiko anzeigen, wird die ROC-Kurve über die Diagonale steigen. Wenn niedrigere Werte ein höheres Risiko nahelegen, kann das Modell angepasst werden, um sicherzustellen, dass die ROC-Kurve über diese Linie steigt, was eine verbesserte Unterscheidung zeigt.

Der Bereich unter der ROC-Kurve quantifiziert die Fähigkeit der Variable, zwischen kranken und gesunden Zuständen zu unterscheiden, ähnlich wie R^2 bei der linearen Regression, jedoch für binäre Ergebnisse. Der Vergleich von ROC-Kurven aus verschiedenen Klassifizierungsmodellen zeigt ihre Vorhersagegenauigkeit über verschiedene Schwellenwerte hinweg und zeigt beispielsweise, ob bestimmte Methoden bei hochspezifischen, risikoarmen Screenings ähnlich wirksam sind, sich jedoch in der Präzision für die klinische Diagnostik unterscheiden. Idealerweise sollte die ROC-Kurve deutlich von der Diagonale abweichen, da eine größere Abweichung auf einen genaueren Diagnosetest hinweist. Ein AUC nahe 1 weist auf ein hochwirksames Tool hin, während Werte nahe 0,5 auf eine begrenzte Zuverlässigkeit hinweisen.

Bei der Beurteilung eines Diagnoseinstruments oder Tests für eine bestimmte Krankheit ist es entscheidend, die Bedeutung von Sensitivität und Spezifität abzuwägen.

Ein Gleichgewicht zwischen Sensitivität und Spezifität hängt von den Schwellenwerten für die Definition der Krankheit ab, da unterschiedliche Schwellenwerte zu unterschiedlichen Ergebnissen führen können.

Stellen Sie sich zum Beispiel einen diagnostischen Test für eine Krankheit vor, die unter Verwendung unterschiedlicher Schwellenwerte für Serumtiter entwickelt wurde.

Die Darstellung der Sensitivität gegen das aus dieser Tabelle berechnete Komplement der Spezifität ergibt das Betriebsmerkmal des Empfängers oder das ROC-Diagramm.

Wie in der Grafik dargestellt, ist die diagnostische Genauigkeit umso größer, je weiter die Kurve von der Benchmarklinie abweicht. Umgekehrt deutet eine größere Nähe auf eine verminderte Zuverlässigkeit des Tests hin.

Der Bereich unter der ROC-Kurve ist also ein wertvoller Indikator für die Effizienz eines Tests bei der genauen Unterscheidung zwischen erkrankten und nicht erkrankten Personen.

Ein überlegener diagnostischer Test zeichnet sich durch einen Bereich von fast 1,00 unter seiner Kurve aus, während ein ineffektiver Test sich einem Bereich von 0,50 nähert.