Roc curve
Krzywa ROC (Receiver operating characteristic curve) jest wykresem przedstawiającym wydajność modelu klasyfikacji we wszystkich twierdzeniach klasyfikacyjnych., Ta krzywa wykreśla dwa parametry:
- True Positive Rate
- False Positive Rate
True Positive Rate (TPR) jest synonimem przywołania i dlatego jest zdefiniowana w następujący sposób:
false Positive Rate (FPR) jest zdefiniowana w następujący sposób:
krzywa Roc wykreśla TPR vs.fpr przy różnych progach klasyfikacji.Obniżenie progu klasyfikacji klasyfikuje więcej pozycji jako dodatnie, w związku z czym zwiększa się zarówno fałszywie dodatnie, jak i prawdziwe dodatnie. Poniższy rysunek przedstawia nietypową krzywą ROC.,
Rysunek 4. Kurs TP A kurs FP przy różnych progach klasyfikacyjnych.
aby obliczyć punkty w krzywej ROC, możemy wielokrotnie Oceniać regresję logistyczną z różnymi progami klasyfikacji, ale byłoby to niewystarczające. Na szczęście istnieje skuteczny algorytm sortowania, który może dostarczyć nam tych informacji, zwany AUC.
AUC: obszar pod krzywą ROC
Rysunek 5., AUC (pole pod krzywą ROC).
AUC stanowi zagregowaną miarę wyników we wszystkich możliwych progach klasyfikacji. Jednym ze sposobów interpretacji AUC jest prawdopodobieństwo, że model plasuje losowy przykład pozytywny bardziej niż losowy przykład. Na przykład, biorąc pod uwagę następujące przykłady, które są ułożone od lewej do prawej w porządku rosnącym prognoz regresji logistycznej:
Rysunek 6. Przewidywania uszeregowane w porządku rosnącym regresji logistycznej.,
AUC reprezentuje prawdopodobieństwo, że losowy pozytywny (zielony) przykład jest pozycjonowany na prawo od losowego negatywnego (czerwonego) przykładu.
wartości AUC wahają się od 0 do 1. Model, którego przewidywania są w 100% błędne, ma AUC 0,0; ten, którego przewidywania są w 100% poprawne, ma AUC 1,0.
AUC jest pożądane z dwóch następujących powodów:
- AUC jest niezmienne w skali. Mierzy ona, jak dobrze predykcje są uszeregowane, a nie ich wartości bezwzględne.
- AUC jest klasyfikacyjno-progowe-niezmienne., Mierzy jakość prognoz modelu niezależnie od wybranego progu klasyfikacji.
jednak oba te powody mają zastrzeżenia, które mogą ograniczać przydatność AUC w niektórych przypadkach użycia:
-
niezmienność skali nie zawsze jest pożądana. Na przykład, czasami trzeba dobrze skalibrowane wyjścia prawdopodobieństwa, a AUC nie powie o tym.
-
Klasyfikacja-niezmienność progu nie zawsze jest pożądana. W przypadkach, w których występują znaczne różnice w kosztach fałszywych negatywów vs., false positives, może być krytyczne, aby zminimalizować jeden rodzaj błędu klasyfikacji. Na przykład podczas wykrywania spamu w wiadomościach e-mail prawdopodobnie chcesz nadać priorytet minimalizacji fałszywych alarmów(nawet jeśli powoduje to znaczny wzrost liczby fałszywych alarmów). AUCisn nie jest użytecznym wskaźnikiem dla tego typu optymalizacji.