Vous avez un jeu de données de fraude où 0,3% des lignes sont positives. Comment gérez-vous ce déséquilibre ?

Changez d'abord l'indicateur, puisque l'exactitude est inutile à 0,3% : utilisez l'AUC précision rappel, ou le rappel à budget d'alertes fixé. Essayez ensuite les poids de classe avant le rééchantillonnage, parce que la pondération est plus simple et n'invente pas de lignes. Si vous rééchantillonnez, faites-le uniquement à l'intérieur du pli d'entraînement. Enfin, recalibrez les probabilités, puisque la pondération et le suréchantillonnage déforment tous deux les scores prédits.

La première chose que je change, c'est le tableau de scores, parce qu'un modèle qui prédit toujours pas de fraude est exact à 99,7% et complètement inutile. J'utilise l'AUC précision rappel et, plus utile encore, le rappel au volume d'alertes que l'équipe peut réellement examiner. Ensuite je commence simple, avec des poids de classe dans la fonction de perte, ce qui ne coûte rien et apporte souvent l'essentiel du bénéfice. Je ne me tourne vers SMOTE ou le sous-échantillonnage que si la pondération plafonne, et honnêtement j'ai trouvé les échantillons synthétiques de la classe minoritaire décevants sur des données tabulaires de fraude, parce que les points interpolés se situent dans des régions de l'espace des variables qui n'existent pas. Deux choses sur lesquelles je suis strict. Le rééchantillonnage se fait à l'intérieur du pli d'entraînement, jamais avant le découpage, sinon le jeu de validation finit par contenir des quasi-doublons des lignes d'entraînement et le score est une fiction. Et après tout cela, les probabilités prédites ne sont plus calibrées, donc si quelqu'un en aval multiplie le score par un montant en euros, j'ajuste une étape de calibration sur un jeu de test propre. Sur mon dernier modèle de fraude, ça a déplacé l'estimation de perte attendue plus que le changement de modèle lui-même.