Quand l'AUC ROC est-elle trompeuse, et qu'utiliseriez-vous à la place ?

L'AUC ROC est trompeuse quand les positifs sont rares, parce que le taux de faux positifs a un dénominateur énorme : un déluge de fausses alertes bouge à peine la courbe. Un modèle peut afficher 0,95 d'AUC ROC et rester inutilisable en contexte de fraude ou de dépistage. Utilisez plutôt l'AUC précision rappel, ou la précision à rappel fixé ou à budget d'alertes fixé, ce qui reflète ce que vivent réellement les analystes.

L'AUC ROC s'effondre quand les positifs sont rares. L'axe des abscisses est le taux de faux positifs, soit les faux positifs sur l'ensemble des négatifs, donc si vous avez un million de négatifs, dix mille fausses alertes font un taux de faux positifs de 1%. La courbe le remarque à peine. Pendant ce temps, la personne qui traite la file voit dix mille alertes bidon pour quelques centaines de vraies et cesse tout à fait raisonnablement de faire confiance au modèle. Je regarde donc l'AUC précision rappel, qui met la précision en ordonnée et y est donc sensible. Mieux encore, je présente la précision au point de fonctionnement qu'on utilisera vraiment. Sur un modèle de fraude que j'ai déployé, l'AUC ROC valait 0,96 et le chiffre qui comptait, c'est qu'aux mille meilleurs scores par jour, la précision était de 31%. C'est le chiffre que ressent l'équipe de revue, et c'est celui qui a bougé quand j'ai amélioré les variables. Sur des problèmes équilibrés, l'AUC ROC convient très bien et je l'utilise sans état d'âme ; c'est spécifiquement le cas des positifs rares où elle flatte un modèle.