Expliquez-moi le compromis biais variance et comment il se manifeste quand vous réglez réellement un modèle.

Le biais est l'erreur d'un modèle trop simple pour capter le vrai signal ; la variance est l'erreur d'un modèle si flexible qu'il ajuste le bruit de l'échantillon d'entraînement. L'erreur totale attendue vaut le biais au carré plus la variance plus le bruit irréductible. En pratique, vous le voyez comme un écart : une erreur élevée à la fois en entraînement et en validation signale du biais, une erreur d'entraînement faible avec une validation bien pire signale de la variance.

Le biais est l'erreur due au fait que votre modèle ne peut pas représenter la vraie relation, la variance est l'erreur due au fait qu'il court après le bruit de l'échantillon sur lequel vous vous trouvez avoir entraîné. Ce qui rend la notion utile, c'est que c'est un outil de débogage, pas un slogan. Je regarde l'erreur d'entraînement à côté de l'erreur de validation. Si les deux sont mauvaises, j'ai un problème de biais, donc j'ajoute de la capacité, des variables plus riches, ou des interactions. Si l'erreur d'entraînement est proche de zéro et que la validation est bien pire, c'est de la variance, donc je resserre avec une régularisation plus forte, moins de variables, ou plus de données si je peux en obtenir. L'exemple le plus net que j'ai rencontré était un modèle de gradient boosting sur des données de transactions. À profondeur dix, il obtenait un score presque parfait en entraînement et bien pire sur le jeu de test. Redescendre à profondeur quatre et ajouter une pénalité sur les feuilles a comblé l'essentiel de l'écart, et l'AUC sur le jeu de test a même augmenté. L'autre chose que je surveille, c'est que plus de données aide beaucoup contre la variance et quasiment pas contre le biais : si la courbe d'apprentissage a plafonné, acheter plus de lignes est de l'argent jeté.