Často, když mluvím s organizacemi, které se snaží implementovat datové vědy do svých procesů, se často ptají na otázku, „Jak mohu získat co nejpřesnější model?”. A dále jsem se zeptal: „jakou obchodní výzvu se snažíte vyřešit pomocí modelu?,“a dostanu záhadný vzhled, protože otázka, kterou jsem položil, ve skutečnosti neodpovídá na jejich otázku. Pak budu muset vysvětlit, proč jsem se zeptal na otázku, než začneme zkoumat, zda je přesnost metrikou typu be-all a end-all, ze které si vybereme náš „nejlepší“ model.
takže jsem si myslel, že v tomto blogu vysvětlím, že přesnost nemusí být jediným a jediným modelem metriky data vědci pronásledují a zahrnují jednoduché vysvětlení dalších metrik.
nejprve se podívejme na následující matici zmatku. Jaká je přesnost modelu?,
Velmi snadno, můžete si všimnout, že přesnost pro tento model je velmi, velmi vysoká, na 99,9%!! Páni! Jste hit jackpot a svatý grál (*křičet a běhat po místnosti, čerpání pěst ve vzduchu několikrát*)!
ale….(dobře víte, že to přijde správně?) co když jsem se zmínil, že pozitivní je ve skutečnosti někdo, kdo je nemocný a nese virus, který se může velmi rychle šířit?, Nebo pozitivní zde představují případ podvodu? Nebo pozitivní zde představuje terorista, že model říká, že je to non-terorista? No, máš nápad. Náklady na mis-klasifikované skutečné pozitivní (nebo falešně negativní) jsou zde velmi vysoké za těchto tří okolností, které jsem představoval.
OK, takže nyní jste si uvědomili, že přesnost není metrika be-all a end-all modelu, která se používá při výběru nejlepšího modelu … teď co?
dovolte mi představit dvě nové metriky (pokud jste o tom neslyšeli a pokud ano, možná mě trochu pobavíte a pokračujte ve čtení?, 😀 )
Takže když se podíváte na Wikipedii, uvidíte, že vzorec pro výpočet Precision a Recall je následující:
nechtě mě dát je sem pro další vysvětlení.
Dovolte mi, abych dal ve zmatku matrix a jeho částí.
Přesné
Skvěle!, Nyní se podívejme nejprve na přesnost.
Co dělat, zjistíte, že pro jmenovatel? Jmenovatelem je vlastně celkový předpokládaný pozitivní!, So the formula becomes
Immediately, you can see that Precision talks about how precise/accurate your model is out of those predicted positive, how many of them are actual positive.,
přesnost je dobrým opatřením k určení, kdy jsou náklady na falešně pozitivní vysoké. Například detekce nevyžádané pošty. V e-mailu spam detekce, falešně pozitivní, znamená to, že e-mail, který je non-spam (skutečné negativní) byl identifikován jako spam (předpokládaná spam). Uživatel e-mailu může ztratit důležité e-maily, pokud přesnost není pro model detekce spamu vysoká.
Recall
takže použijeme stejnou logiku pro vyvolání. Připomeňme, jak se počítá odvolání.,
There you go! So Recall actually calculates how many of the Actual Positives our model capture through labeling it as Positive (True Positive)., Použití stejné pochopení, víme, že Odvolání musí být model metrické používáme vybrat naše nejlepší model, když tam je vysoká cena spojená s Falešně Negativní.
například při odhalování podvodů nebo detekci nemocných pacientů. Pokud je podvodná transakce (skutečná pozitivní) předpovídána jako podvodná (předpovídaná negativní), může být důsledek pro banku velmi špatný.
podobně při detekci nemocných pacientů. Pokud nemocný pacient (skutečný pozitivní) projde testem a předpovídá, že není nemocný (předpovídaný negativní)., Náklady spojené s falešným negativem budou extrémně vysoké, pokud je nemoc nakažlivá.
F1 Score
Nyní pokud čtete spoustu další literatury o přesnosti a vyvolání, nemůžete se vyhnout druhému opatření, F1, které je funkcí přesnosti a vyvolání. Při pohledu na Wikipedii, vzorec je následující:
F1 Skóre je potřeba, když chcete hledat rovnováhu mezi Precision a Recall., Right…so jaký je tedy rozdíl mezi skóre F1 a přesností? Již dříve jsme viděli, že přesnost může být do značné míry přispěl velký počet Pravda Negativy, které ve většině obchodních podmínek, nebudeme se zaměřovat na mnohem vzhledem k tomu, že Falešně Negativní a Falešně Pozitivní obvykle má obchodní náklady (hmotné & nehmotné), tedy F1 Skóre by mohlo být lepší opatření použít, pokud potřebujeme hledat rovnováhu mezi Precision a Recall, A tam je nerovnoměrné třídy rozdělení (velký počet Skutečných Negativy).,
doufám, že vysvětlení pomůže těm, kteří začínají na vědě o datech a pracují na klasifikačních problémech, že přesnost nebude vždy metrikou pro výběr nejlepšího modelu.
Poznámka: zvažte přihlášení k odběru newsletteru nebo přejděte na můj web nejnovější.
přeji všem čtenářům zábavnou cestu k učení vědy o datech.