Quando a AUC ROC é enganosa, e o que você usaria no lugar?

A AUC ROC é enganosa quando os positivos são raros, porque a taxa de falsos positivos tem um denominador enorme, então uma enxurrada de alarmes falsos quase não mexe na curva. Um modelo pode marcar 0.95 de AUC ROC e ainda ser inutilizável em um cenário de fraude ou de doença. Use AUC de precisão e recall no lugar, ou precisão em um recall fixo ou em um orçamento de alertas, que reflete o que os revisores realmente vivem.

A AUC ROC desmorona quando os positivos são raros. O eixo x é a taxa de falsos positivos, que é falsos positivos sobre todos os negativos, então se você tem um milhão de negativos, dez mil alarmes falsos dão uma taxa de falsos positivos de um por cento. A curva quase não percebe. Enquanto isso, a pessoa que trabalha na fila vê dez mil alertas lixo para algumas centenas de reais e, com toda a razão, para de confiar no modelo. Então eu olho a AUC de precisão e recall, que coloca a precisão no eixo y e portanto é sensível exatamente a isso. Melhor ainda, eu reporto a precisão no ponto de operação que a gente vai realmente usar. Em um modelo de fraude que eu coloquei em produção, a AUC ROC era 0.96 e o número que importava era que, nos mil maiores scores por dia, a precisão era de 31 por cento. Esse é o número que o time de revisão sente, e é o número que se mexeu quando eu melhorei as features. Em problemas balanceados a AUC ROC serve bem e eu uso sem problema; é especificamente no caso de positivos raros que ela adula o modelo.