Me explique o tradeoff entre viés e variância e como ele aparece quando você está de fato ajustando um modelo.

Viés é o erro de um modelo simples demais para capturar o sinal real; variância é o erro de um modelo tão flexível que ajusta o ruído da amostra de treino. O erro esperado total é viés ao quadrado mais variância mais ruído irredutível. Na prática você enxerga isso como uma diferença: erro alto no treino e na validação significa viés, erro baixo no treino com validação bem pior significa variância.

Viés é o erro que você tem porque o seu modelo não consegue representar a relação verdadeira, variância é o erro que você tem porque ele está perseguindo o ruído da amostra em que você por acaso treinou. O que torna isso útil é que é uma ferramenta de depuração, não um slogan. Eu olho o erro de treino ao lado do erro de validação. Se os dois estão ruins, eu tenho um problema de viés, então adiciono capacidade, features mais ricas ou interações. Se o erro de treino está perto de zero e o de validação está bem pior, isso é variância, então eu recuo com regularização mais forte, menos features, ou mais dados se eu conseguir. O exemplo mais claro que eu peguei foi um modelo de gradient boosting em dados de transação. Com profundidade dez ele acertava quase tudo no treino e ia bem pior no holdout. Baixar para profundidade quatro e adicionar uma penalidade por folha fechou boa parte da diferença e a AUC de holdout até subiu. A outra coisa que eu observo é que mais dados ajudam muito na variância e quase nada no viés, então se a curva de aprendizado já estabilizou, comprar mais linhas é desperdício de dinheiro.