Spesso quando parlo con le organizzazioni che stanno cercando di implementare la scienza dei dati nei loro processi, spesso fanno la domanda: “Come posso ottenere il modello più accurato?”. E ho chiesto ulteriormente, ” Quale sfida aziendale stai cercando di risolvere utilizzando il modello?,”e avrò lo sguardo sconcertante perché la domanda che ho posto non risponde davvero alla loro domanda. Dovrò quindi spiegare perché ho posto la domanda prima di iniziare a esplorare se la precisione è la metrica del modello be-all e end-all che sceglieremo il nostro modello “migliore”.
Così ho pensato di spiegare in questo post del blog che la precisione non deve essere necessario essere l’unico modello metriche dati scienziati inseguono e includono semplice spiegazione di altre metriche pure.
In primo luogo, diamo un’occhiata alla seguente matrice di confusione. Qual è la precisione per il modello?,
Molto facilmente, si noterà che la precisione di questo modello è molto molto alto, al 99.9%!! Wow! Hai colpito il jackpot e santo Graal (*urlare e correre per la stanza, pompando il pugno in aria più volte*)!
Ma….(beh, sai che questo sta arrivando giusto?) e se dicessi che il positivo qui è in realtà qualcuno che è malato e che porta un virus che può diffondersi molto rapidamente?, O il positivo qui rappresenta un caso di frode? O il positivo qui rappresenta il terrorista che il modello dice che è un non terrorista? Beh, si ottiene l’idea. I costi di avere un positivo effettivo classificato erroneamente (o falso negativo) sono molto alti qui in queste tre circostanze che ho posto.
OK, quindi ora ti sei reso conto che la precisione non è la metrica del modello be-all e end-all da utilizzare quando si seleziona il modello migliore…ora cosa?
Permettetemi di introdurre due nuove metriche (se non ne avete sentito parlare e se lo fate, forse solo umorismo me un po ‘ e continua a leggere?, : D)
Quindi se guardi Wikipedia, vedrai che la formula per calcolare la precisione e il richiamo è la seguente:
Lascia che lo metta qui per ulteriori spiegazioni.
Lasciate che mi ha messo in confusione matrice e sue parti.
di Precisione
Grande!, Ora vediamo prima la precisione.
che Cosa noti per il denominatore? Il denominatore è in realtà il Totale Previsto positivo!, So the formula becomes
Immediately, you can see that Precision talks about how precise/accurate your model is out of those predicted positive, how many of them are actual positive.,
La precisione è una buona misura per determinare, quando i costi del falso positivo sono elevati. Per esempio, e-mail di rilevamento dello spam. Nel rilevamento dello spam e-mail, un falso positivo significa che un’e-mail che non è spam (negativo effettivo) è stata identificata come spam (spam previsto). L’utente e-mail potrebbe perdere email importanti se la precisione non è elevata per il modello di rilevamento dello spam.
Recall
Quindi applichiamo la stessa logica per il richiamo. Ricorda come viene calcolato il Richiamo.,
There you go! So Recall actually calculates how many of the Actual Positives our model capture through labeling it as Positive (True Positive)., Applicando la stessa comprensione, sappiamo che il richiamo deve essere la metrica del modello che usiamo per selezionare il nostro modello migliore quando c’è un costo elevato associato al Falso negativo.
Ad esempio, nel rilevamento di frodi o nel rilevamento di pazienti malati. Se una transazione fraudolenta (effettiva positiva) è prevista come non fraudolenta (Prevista negativa), la conseguenza può essere molto negativa per la banca.
Allo stesso modo, nel rilevamento del paziente malato. Se un paziente malato (effettivo positivo) passa attraverso il test e previsto come non malato (previsto negativo)., Il costo associato al Falso negativo sarà estremamente alto se la malattia è contagiosa.
F1 Score
Ora, se si legge un sacco di altra letteratura sulla precisione e richiamo, non si può evitare l’altra misura, F1 che è una funzione di precisione e richiamo. Guardando Wikipedia, la formula è la seguente:
F1 Punteggio è necessario quando si desidera cercare un equilibrio tra Precisione e Richiamo., Right…so qual è la differenza tra punteggio F1 e precisione allora? In precedenza abbiamo visto che la precisione può essere in gran parte contribuito da un gran numero di Veri Negativi che in più circostanze di business, noi non concentrarsi su molto considerando che di Falsi Negativi e di Falsi Positivi di solito ha costi aziendali (materiali & immateriali), quindi F1 Punteggio potrebbe essere una misura migliore per utilizzare se abbiamo bisogno di trovare un equilibrio tra Precisione e Richiamo E c’è un’irregolare distribuzione di classe (grande numero di Effettivi Negativi).,
Spero che la spiegazione aiuterà coloro che iniziano sulla scienza dei dati e lavorano su problemi di classificazione, che l’accuratezza non sarà sempre la metrica da cui selezionare il modello migliore.
Nota: Prendere in considerazione la firma per la mia newsletter o la testa al mio sito web per l’ultima.
Auguro a tutti i lettori un DIVERTENTE viaggio di apprendimento della scienza dei dati.