Comment choisissez-vous une fonction de perte, et quand prendriez-vous autre chose que celle par défaut ?

Choisissez la perte qui correspond à la décision et au coût de se tromper, pas celle du tutoriel. L'entropie croisée pour la classification quand il vous faut des probabilités calibrées, l'erreur quadratique moyenne quand les grosses erreurs sont disproportionnellement graves, l'erreur absolue moyenne ou Huber quand les valeurs aberrantes ne doivent pas dominer, la perte focale pour un déséquilibre extrême, et une perte quantile (pinball) quand il vous faut un centile précis plutôt qu'une moyenne.

La perte est la seule chose que le modèle optimise vraiment, donc elle doit encoder ce que nous coûte une erreur. En régression, la MSE ajuste la moyenne conditionnelle et punit les gros écarts de façon quadratique, ce qui est correct si une grosse erreur est vraiment disproportionnellement grave. Ça veut aussi dire qu'une poignée de valeurs aberrantes peut dominer tout l'ajustement. La MAE ajuste la médiane et est bien plus robuste, et Huber donne un comportement quadratique près de zéro avec des queues linéaires, ce qui est mon choix par défaut habituel sur des cibles réelles bruitées. Le cas dont je me souviens le mieux, c'est un modèle de délai de livraison. Nous avions entraîné sur la MSE, et les prédictions étaient bonnes en moyenne et inutiles en exploitation, parce que ce dont le métier avait besoin, c'était un délai qu'on puisse promettre, c'est-à-dire à peu près le 90e centile. Passer à une perte pinball à 0,9 a donné exactement ça et le taux de retards a chuté nettement, sans le moindre changement d'architecture. En classification je reste sur l'entropie croisée sauf si le déséquilibre est sévère, où la perte focale sous-pondère les négatifs faciles pour que les cas difficiles contribuent vraiment. Ce que je vérifie systématiquement ensuite, c'est la calibration, parce que tout ce qui repondère la perte déforme les probabilités de sortie.