ROC-Kurve
Eine ROC-Kurve (Receiver operating characteristic curve) ist ein Graphshowing die Leistung eines Klassifizierungsmodells an allen classificationthresholds., Diese Kurve zeichnet zwei Parameter auf:
- True Positive Rate
- False Positive Rate
True Positive Rate (TPR) ist ein Synonym für Rückruf und wird daher wie folgt definiert:
False Positive Rate (FPR) ist wie folgt definiert:
Eine ROC-Kurve zeichnet TPR vs. FPR an verschiedenen Klassifizierungsschwellenwerten auf.Durch die Senkung der Klassifizierungsschwelle werden mehr Elemente als positiv klassifiziert, wodurch sowohl falsch positive als auch wahr positive Werte erhöht werden. Die folgende Abbildung zeigt eine atypische ROC-Kurve.,
Abbildung 4. TP vs. FP-rate auf unterschiedliche Klassifizierung der Schwellenwerte.
Um die Punkte in einer ROC-Kurve zu berechnen, könnten wir ein logistisches Regressionsmodell viele Male mit unterschiedlichen Klassifizierungsschwellen auswerten, aber dies wäre ineffizient. Glücklicherweise gibt es einen effizienten, sortierbasierten Algorithmdas kann diese Informationen für uns bereitstellen, genannt AUC.
AUC: Fläche Unter der ROC-Kurve
Abbildung 5., Die AUC (Fläche unter der ROC-Kurve).
Die AUC liefert ein aggregiertes Maß für die Leistung über alle möglichen Klassifizierungsschwellen hinweg. Eine Möglichkeit, AUC zu interpretieren, besteht darin, dass die Wahrscheinlichkeit, dass das Modell ein zufälliges positives Beispiel höher einstuft als ein zufälliges negatives Beispiel. Zum Beispiel die folgenden Beispiele, die angeordnet sindvon links nach rechts in aufsteigender Reihenfolge der logistischen Regressionsvorhersagen:
Abbildung 6. Vorhersagen in aufsteigender Reihenfolge des logistischen Regressions-Scores.,
AUC repräsentiert die Wahrscheinlichkeit, dass ein zufälliges positives (grünes) Beispiel rechts von einem zufälligen negativen (rotes) Beispiel positioniert wird.
AUC liegt im Wertebereich von 0 bis 1. Ein Modell, dessen Vorhersagen zu 100% falsch sind, hat eine AUC von 0,0; eines, dessen Vorhersagen zu 100% korrekt sind, hat eine AUC von 1,0.
AUC ist aus den folgenden zwei Gründen wünschenswert:
- AUC ist skaleninvariant. Es misst, wie gut predictionsare rangiert, anstatt ihre absoluten Werte.
- AUC ist Klassifizierungs-Schwellenwert-invariant., Es misst die Qualität der Vorhersagen des Modells, unabhängig davon, welcher Klassifizierungsschwelle gewählt wird.
Beide Gründe haben jedoch Vorbehalte, die die Nützlichkeit von AUC in bestimmten Anwendungsfällen einschränken können:
-
Skaleninvarianz ist nicht immer wünschenswert. Zum Beispiel, manchmal warenally brauchen gut kalibrierte Wahrscheinlichkeitsausgaben, und AUC wird sie nicht darüber erzählen.
-
Klassifikation-Schwellenwert-Invarianz ist nicht immer wünschenswert. In Fällen, in denen es große Unterschiede in den Kosten falscher Negativer vs., falsch positive, kann es entscheidend sein, eine Art von Klassifizierungsfehler zu minimieren. Wenn Sie beispielsweise eine E-Mail-Spam-Erkennung durchführen, möchten Sie wahrscheinlich die Minimierung von Fehlalarmen priorisieren (auch wenn dies zu einer signifikanten Zunahme von Fehlalarmen führt). AUCisn ‚ t eine nützliche Metrik für diese Art der Optimierung.