ROC kurve
En ROC kurve (receiver operating characteristic curve) er en graphshowing udførelsen af en klassificering model på alle classificationthresholds., Denne kurve plots to parametre:
- Sandt Positive Rate
- Falsk Positiv Rate
Sandt Positive Rate (TPR) er et synonym for tilbagekaldelse og er thereforedefined som følger:
Falsk Positiv Rate (FPR) er defineret som følger:
En ROC kurve plots TPR vs. FPR på forskellige klassificering tærskler.Sænkning af klassificeringstærsklen klassificerer flere elementer som positive, såforøgelse af både falske positive og sande positive. Følgende figur viser atypisk ROC-kurve.,
Figur 4. TP vs. FP-sats ved forskellige klassificeringstærskler.
for at beregne punkterne i en ROC-kurve kunne vi evaluere en logistisk regressionsmodel mange gange med forskellige klassificeringstærskler, men det ville være ineffektivt. Heldigvis er der en effektiv, sorteringsbaseret algoritme, der kan give disse oplysninger til os, kaldet AUC.
AUC: Arealet Under ROC-Kurven
Figur 5., AUC (område under ROC-kurven).
AUC giver et samlet mål for ydeevne på tværs af alle mulige klassificeringstærskler. En måde at fortolke AUC på er som sandsynlighedat modellen rangerer et tilfældigt positivt eksempel højere end et tilfældigt negativt eksempel. For eksempel gives følgende eksempler, hvor der er arrangedfrom venstre til højre i stigende rækkefølge af logistisk regression forudsigelser:
Figur 6. Forudsigelser rangeret i stigende rækkefølge af logistisk regression score.,AUC repræsenterer sandsynligheden for, at et tilfældigt positivt (grønt) eksempel er placeret til højre for et tilfældigt negativt (rødt) eksempel.
AUC varierer i værdi fra 0 til 1. En model, hvis forudsigelser er 100% forkerthar en AUC på 0.0; en, hvis forudsigelser er 100% korrekte, har en AUC på 1.0.
AUC er ønskeligt af følgende to grunde:
- AUC er skala-invariant. Det måler, hvor godt forudsigelserer rangeret, snarere end deres absolutte værdier.
- AUC er klassificering-tærskel-invariant., Den måler kvaliteten af modellens forudsigelser, uanset hvilken klassificeringstærskel der vælges.
begge disse grunde kommer dog med advarsler, hvilket kanbegrænse brugen af AUC i visse brugssager:
-
skala invariance er ikke altid ønskelig. For eksempel har nogle gange brug for godt kalibrerede sandsynlighedsudgange, og AUC vil ikke tellus om det.
-
klassificering-tærskel invariance er ikke altid ønskelig. I tilfælde, hvor der er store forskelle i omkostningerne ved falske negativer vs., falske positiver, det kan være kritisk at minimere en type klassificeringsfejl. For eksempel,når du laver e-mail-spam-detektion, vil du sandsynligvis prioritere minimering af falske positiver (selvom det resulterer i en betydelig stigning i falske negativer). AUCisn ‘ t en nyttig metrisk for denne type optimering.