a menudo, cuando hablo con organizaciones que buscan implementar la ciencia de datos en sus procesos, a menudo se preguntan: «¿Cómo obtengo el modelo más preciso?”. Y pregunté más adelante, » ¿qué desafío de negocio está tratando de resolver usando el modelo?,»y obtendré la mirada desconcertante porque la pregunta que planteé realmente no responde a su pregunta. Entonces necesitaré explicar por qué hice la pregunta antes de comenzar a explorar si la precisión es la métrica del modelo de principio a fin del que elegiremos nuestro «mejor» modelo.
así que pensé que explicaré en esta publicación de blog que la precisión no tiene por qué ser el único modelo de métricas que los científicos persiguen e incluyen una explicación simple de otras métricas también.
En primer lugar, veamos la siguiente matriz de confusión. ¿Cuál es la precisión para el modelo?,
Muy fácil, te darás cuenta de que la exactitud de este modelo, es muy muy alta, en el 99,9%!! ¡Órale! Usted ha golpeado el bote y el santo grial (*gritar y correr por la habitación, bombeando el Puño en el aire varias veces*)!
Pero….(bueno, usted sabe que esto está viniendo a la derecha?) ¿qué pasa si menciono que el positivo aquí es en realidad alguien que está enfermo y portando un virus que se puede propagar muy rápidamente?, ¿O lo positivo aquí representa un caso de fraude? O lo positivo aquí representa terrorista que el modelo dice que es un no terrorista? Bueno, entiendes la idea. Los costos de tener un positivo real mal Clasificado (o falso negativo) es muy alto aquí en estas tres circunstancias que planteé.
OK, así que ahora se dio cuenta de que la precisión no es la métrica de modelo de todo y todo a usar al seleccionar el mejor modelo? ¿ahora qué?
permítanme presentar dos nuevas métricas (si usted no ha oído hablar de ella y si lo hace, tal vez solo me humor un poco y seguir leyendo?, : D)
así que si miras Wikipedia, verás que la fórmula para calcular la precisión y el recuerdo es la siguiente:
Déjame ponerlo aquí para una explicación más detallada.
me Deja poner en la matriz de confusión y de sus partes.
la Precisión de
Genial!, Ahora veamos primero la precisión.
¿Qué te aviso para el denominador? El denominador es en realidad el total predicho positivo!, So the formula becomes
Immediately, you can see that Precision talks about how precise/accurate your model is out of those predicted positive, how many of them are actual positive.,
La precisión es una buena medida para determinar, cuando los costos de los falsos positivos son altos. Por ejemplo, detección de spam de correo electrónico. En la detección de spam de correo electrónico, un falso positivo significa que un correo electrónico que no es spam (negativo real) ha sido identificado como spam (spam previsto). El usuario de correo electrónico puede perder correos electrónicos importantes si la precisión no es alta para el modelo de detección de spam.
Recall
así que apliquemos la misma lógica para Recall. Recordar cómo se calcula el recuerdo.,
There you go! So Recall actually calculates how many of the Actual Positives our model capture through labeling it as Positive (True Positive)., Aplicando el mismo entendimiento, sabemos que el recuerdo será la métrica del modelo que usamos para seleccionar nuestro mejor modelo cuando hay un alto costo asociado con el falso negativo.
por ejemplo, en detección de fraude o detección de pacientes enfermos. Si una transacción fraudulenta (positiva real) se predice como no fraudulenta (negativa prevista), la consecuencia puede ser muy mala para el banco.
del mismo modo, en la detección de pacientes enfermos. Si un paciente enfermo (positivo real) pasa por la prueba y se predijo que no está enfermo (negativo pronosticado)., El costo asociado con el falso negativo será extremadamente alto si la enfermedad es contagiosa.
puntuación F1
Ahora bien, si usted lee mucha literatura sobre la precisión y el recuerdo, no puede evitar la otra medida, F1, que es una función de la precisión y el recuerdo. Buscando en Wikipedia, la fórmula es como sigue:
F1 Score es necesaria cuando se desea buscar un equilibrio entre la Precisión y el Recall., Right…so ¿Cuál es la diferencia entre la puntuación de F1 y la precisión entonces? Hemos visto anteriormente que la precisión puede ser en gran medida contribuido por un gran número de negativos verdaderos que en la mayoría de las circunstancias de negocios, no nos centramos en mucho, mientras que los falsos negativos y falsos positivos generalmente tienen costos de negocio (tangible & intangible) por lo tanto, la puntuación F1 podría ser una mejor medida para usar si necesitamos buscar un equilibrio entre precisión y Recuerdo y hay una distribución de clases desigual (gran número de negativos reales).,
espero que la explicación ayude a aquellos que comienzan en Ciencia de datos y trabajan en problemas de clasificación, que la precisión no siempre será la métrica para seleccionar el mejor modelo.
Nota: considere suscribirse a mi boletín o diríjase a mi sitio web para obtener las últimas noticias.
deseo a todos los lectores un divertido viaje de aprendizaje de Ciencia de datos.