14.5: 受信者動作特性プロット

ROC (受信者動作特性) プロットは、感度 (真陽性率) と特異度 (偽陽性率) のトレードオフを示すことで、バイナリ分類モデルのパフォーマンスを評価するために使用されるグラフィカル ツールです。様々な閾値設定で感度を 1 - 特異度に対してプロットすると、ROC 曲線はモデルがクラスをどれだけうまく区別しているかを示します。曲線が左上隅に近いほど、より正確なモデルであることを示します。ROC 曲線の下の領域 (AUC) は、単一のパフォーマンス測定として機能します。値が 1 に近いほど識別力が高く、値が 0.5 に近いほど予測力が低​​いことを示し、ランダムな推測に似ています。

特定の病気の診断ツールを評価する場合、感度と特異度のバランスをとることが、検定の精度を決定するために不可欠です。感度は、病気にかかっている個人を正しく識別する検定の能力を測定し、特異度は病気にかかっていない個人を除外する能力を測定します。診断閾値を調整すると、このバランスが変わり、検定の有効性に影響する可能性があります。 ROC 曲線は、感度と特異度がこれらの閾値を超えてどのように変化するかを示すのに特に役立ち、分類の最適な切り欠きを特定するのに役立ちます。

予測変数が病気と関連していない場合、感度と 1 - 特異度は対角線に沿って並び、モデルのパフォーマンスが偶然と変わらないことを示します。ただし、予測変数の値が高いほど病気リスクが高いことを示す場合、ROC 曲線は対角線より上に上がります。値が低いほどリスクが高いことを示唆する場合は、モデルを調整して ROC 曲線がこの線より上に上がるようにし、識別力が向上していることを示すことができます。

ROC 曲線の下の領域は、変数が病気状態と健康状態を区別する能力を定量化します。これは、バイナリ結果に対する線形回帰の R ^2 によく似ています。様々な分類モデルの ROC 曲線を比較すると、異なる閾値にわたる予測精度が明らかになり、例えば、特定の手法が高特異度、低リスクのスクリーニングでは同様に効果的であるが、臨床診断では精度が異なるかどうかがわかります。理想的には、ROC 曲線は対角線から大きく外れている必要があります。これは、外れが大きいほど、診断検定の精度が高いことを示します。AUC が 1 に近いほど、ツールの有効性が非常に高いことを示し、0.5 に近い値は信頼性が限られていることを示します。

特定の病気の診断ツールや検査を評価する際には、感度と特異性の両方の重要性を比較検討することが重要です。

感度と特異度のバランスは、疾患を定義するための閾値に依存し、閾値が異なると結果が異なる可能性があります。

たとえば、さまざまな血清力価レベルの閾値を使用して開発された疾患の診断テストについて考えてみます。

この表から計算された特異性の補数に対する感度をプロットすると、レシーバーの動作特性またはROCグラフが得られます。

グラフに示されているように、曲線がベンチマーク線から離れるほど、診断精度は高くなります。逆に、近接しているほど、テストの信頼性が低下していることを示します。

したがって、ROC曲線の下の領域は、罹患者と非罹患者を正確に区別する検査の効率を示す貴重な指標となります。

優れた診断テストは、その曲線の下で1.00に近い領域によって特徴付けられますが、効果のないテストは0.50の領域に近づきます。