ROC-curve
een ROC-curve (receiver operating characteristic curve) is een grafiek die de prestaties van een Classificatiemodel bij alle classificatiedrempels weergeeft., Deze curve plots twee parameters:
- True Positive Rate
- False Positive Rate
True Positive Rate (TPR) is een synoniem voor het oproepen en is thereforedefined als volgt:
False Positive Rate (FPR) is als volgt gedefinieerd:
Een ROC curve percelen TPR vs. FPR op verschillende indeling van de drempels.Het verlagen van de classificatiedrempel classificeert meer items als positief, waardoor zowel False positieven als True positieven worden verhoogd. De volgende figuur toont atypische ROC-curve.,
Figuur 4. TP vs. FP tarief bij verschillende classificatiedrempels.
om de punten in een ROC-curve te berekenen, zouden we een logistiek regressiemodel vele malen kunnen evalueren met verschillende classificatiedrempels, maar dit zou niet efficiënt zijn. Gelukkig is er een efficiënt, sorteergebaseerd algoritme dat deze informatie voor ons kan leveren, genaamd AUC.
AUC: Area Under the ROC Curve
Figuur 5., AUC (gebied onder de ROC-Curve).
AUC geeft een geaggregeerde prestatiemeting voor alle mogelijke classificatiedrempels. Een manier om AUC te interpreteren is als de waarschijnlijkheid dat het model een willekeurig positief voorbeeld hoger rangschikt dan een willekeurig negatief voorbeeld. Bijvoorbeeld, gegeven de volgende voorbeelden, die van links naar rechts zijn gerangschikt in oplopende volgorde van logistieke regressievoorspellingen:
Figuur 6. Voorspellingen gerangschikt in oplopende volgorde van logistieke regressiescore.,
AUC vertegenwoordigt de kans dat een willekeurig positief (groen) voorbeeld rechts van een willekeurig negatief (rood) voorbeeld wordt geplaatst.
AUC varieert in waarde van 0 tot 1. Een model waarvan de voorspellingen 100% wronghas een AUC van 0.0; een waarvan de voorspellingen 100% correct zijn heeft een AUC van 1.0.
AUC is wenselijk om de volgende twee redenen:
- AUC is schaalinvariant. Het meet hoe goed voorspellingenworden gerangschikt, in plaats van hun absolute waarden.
- AUC is classification-threshold-invariant., Het meet de kwaliteit van de voorspellingen van het model, ongeacht de gekozen classificatiedrempel.
beide redenen komen echter met kanttekeningen, die het nut van AUC in bepaalde gebruiksgevallen kunnen beperken:
-
schaalinvariantie is niet altijd wenselijk. Bijvoorbeeld, soms wareneally nodig goed gekalibreerde waarschijnlijkheid uitgangen, en AUC zal niet tellus over dat.
-
classificatie-drempelinvariantie is niet altijd wenselijk. In gevallen waarin er grote verschillen zijn in de kosten van valse negatieven vs., false positieven, kan het van cruciaal belang zijn om een type classificatiefout te minimaliseren. Bijvoorbeeld, bij het doen van e-mail spam detectie, wilt u waarschijnlijk prioriteit te minimaliseren valse positieven (zelfs alsdat resulteert in een aanzienlijke toename van valse negatieven). AUCisn ‘ T een nuttige metric voor dit type van optimalisatie.