Clasificación: curva ROC y AUC

curva ROC

una curva ROC (receiver operating characteristic curve) es un gráfico que muestra el rendimiento de un modelo de clasificación en todas las posiciones de clasificación., Esta curva traza dos parámetros:

• True Positive Rate
• False Positive Rate

True Positive Rate (TPR) es un sinónimo de recuerdo y, por lo tanto, se define de la siguiente manera:

false positive rate (fpr) se define de la siguiente manera:

Una curva ROC traza TPR vs.fpr en diferentes umbrales de clasificación.La reducción del umbral de clasificación clasifica más elementos como positivos, lo que aumenta tanto los falsos positivos como los verdaderos positivos. La siguiente figura muestra la curva ROC atípica.,

la Figura 4. Tasa de TP vs. FP en diferentes umbrales de clasificación.

para calcular los puntos en una curva ROC, podríamos evaluar un modelo de regresión logística muchas veces con diferentes umbrales de clasificación, pero esto sería insuficiente. Afortunadamente, hay un algoritmo eficiente basado en la clasificación que puede proporcionarnos esta información, llamado AUC.

AUC: Área Bajo la Curva ROC

la Figura 5., AUC (área bajo la curva ROC).

el AUC proporciona una medida agregada del rendimiento en todos los umbrales de clasificación posibles. Una forma de interpretar el AUC es como la probabilidadque el modelo clasifica un ejemplo positivo Aleatorio más alto que un ejemplo negativo Aleatorio. Por ejemplo, dados los siguientes ejemplos, que están dispuestos de izquierda a derecha en orden ascendente de predicciones de regresión logística:

Figura 6. Predicciones clasificadas en orden ascendente de puntuación de regresión logística.,

AUC representa la probabilidad de que un ejemplo positivo Aleatorio (verde) se posicione a la derecha de un ejemplo negativo Aleatorio (rojo).

el valor del AUC varía de 0 a 1. Un modelo cuyas predicciones son 100% incorrectas tiene un AUC de 0.0; uno cuyas predicciones son 100% correctas tiene un AUC de 1.0.

el AUC es deseable por las siguientes dos razones:

• el AUC es invariante de escala. Mide qué tan bien se clasifican las predicciones, en lugar de sus valores absolutos.
• AUC es invariante de umbral de clasificación., Mide la calidad de las predicciones del modelo independientemente del umbral de clasificación elegido.

sin embargo, ambas razones vienen con advertencias, que pueden limitar la utilidad del AUC en ciertos casos de uso:

• la invariancia de escala no siempre es deseable. Por ejemplo, a veces wereally necesita salidas de probabilidad bien calibradas, y AUC no tellus sobre eso.

• clasificación-la invariancia del umbral no siempre es deseable. En casos donde hay grandes disparidades en el costo de los falsos negativos vs., falsos positivos, puede ser crítico minimizar un tipo de error de clasificación. Por ejemplo, al hacer la detección de spam de correo electrónico, es probable que desee Priorizar la minimización de falsos positivos (incluso si eso resulta en un aumento significativo de falsos negativos). No es una métrica útil para este tipo de optimización.