ROC křivka
ROC křivka (receiver operating characteristic curve) je graphshowing výkon modelu klasifikace na všech classificationthresholds., Tato křivka zobrazuje dva parametry:
- True Positive Rate
- Falešné pozitivity
True Positive Rate (TPR) je synonymum pro odvolání a je thereforedefined takto:
False Positive Rate (FPR) je definována takto:
ROC křivka zobrazuje TPR vs. FPR v různých klasifikačních prahů.Snížení prahové hodnoty klasifikace klasifikuje více položek jako pozitivní, tjzvýšení falešných pozitiv i skutečných pozitiv. Následující obrázek ukazuje atypickou křivku ROC.,
Obrázek 4. Míra TP vs. FP při různých prahových hodnotách klasifikace.
pro výpočet bodů v křivce ROC bychom mohli mnohokrát vyhodnotit logistický regressionmodel s různými prahovými hodnotami klasifikace, ale to by bylo nedostatečné. Naštěstí Existuje efektivní algoritmus založený na třídění, který nám může poskytnout tyto informace, nazývané AUC.
AUC: Plocha Pod ROC Křivkou
Obrázek 5., AUC (oblast pod křivkou ROC).
AUC poskytuje souhrnnou míru výkonnosti napříč všemi možnými prahovými hodnotami klasifikace. Jedním ze způsobů interpretace AUC je pravděpodobnostže model řadí náhodný pozitivní příklad více než náhodnýnegativní příklad. Například, vzhledem k tomu, tyto příklady, které jsou arrangedfrom zleva doprava ve vzestupném pořadí logistické regrese předpovědi:
Obr. 6. Předpovědi se umístily ve vzestupném pořadí logistického regresního skóre.,
AUC představuje pravděpodobnost, že náhodný pozitivní (zelený) příklad je umístěn napravo od náhodného negativního (červeného) příkladu.
AUC se pohybuje v hodnotě od 0 do 1. Model, jehož předpovědi jsou 100% špatnémá AUC 0, 0; ten, jehož předpovědi jsou 100% správné, má AUC 1, 0.
AUC je žádoucí z následujících dvou důvodů:
- AUC je scale-invariantní. Měří, jak dobře jsou predikce hodnoceny, spíše než jejich absolutní hodnoty.
- AUC je klasifikace-práh-invariantní., Měří kvalitu předpovědí modelu bez ohledu na to, jaký je zvolený práh klasifikace.
Nicméně, oba tyto důvody přijít s výhradami, které maylimit užitečnost AUC v určitých případech použití:
-
Scale invariance není vždy žádoucí. Například někdy byly potřeba dobře kalibrované pravděpodobnostní výstupy a AUC o tom neřekne.
-
klasifikace – prahová invariance není vždy žádoucí. V případech, kdy existují velké rozdíly v nákladech na falešné negativy vs., falešně pozitivní, může být důležité minimalizovat jeden typ klasifikační chyby. Například, když děláte detekci e-mailového spamu, pravděpodobně budete chtít upřednostnit minimalizaci falešných pozitiv (i kdyžto vede k výraznému nárůstu falešných negativů). AUCisn ‚ t užitečná metrika pro tento typ optimalizace.