Explícame el compromiso entre sesgo y varianza y cómo aparece cuando estás ajustando un modelo de verdad.

El sesgo es el error de un modelo demasiado simple para capturar la señal real; la varianza es el error de un modelo tan flexible que ajusta el ruido de la muestra de entrenamiento. El error esperado total es sesgo al cuadrado más varianza más ruido irreducible. En la práctica lo ves como una brecha: error alto en entrenamiento y en validación significa sesgo, error bajo en entrenamiento con validación mucho peor significa varianza.

El sesgo es el error que tienes porque tu modelo no puede representar la relación verdadera; la varianza es el error que tienes porque está persiguiendo el ruido de la muestra concreta con la que entrenaste. Lo que lo vuelve útil es que es una herramienta de depuración, no un eslogan. Yo miro el error de entrenamiento junto al de validación. Si los dos son malos, tengo un problema de sesgo, así que añado capacidad, variables más ricas o interacciones. Si el error de entrenamiento es casi cero y el de validación es mucho peor, eso es varianza, así que freno con más regularización, menos variables o más datos si puedo conseguirlos. El ejemplo más claro que me he encontrado fue un modelo de gradient boosting sobre datos de transacciones. Con profundidad diez puntuaba casi perfecto en entrenamiento y bastante peor en holdout. Bajar a profundidad cuatro y añadir una penalización por hoja cerró casi toda la brecha y el AUC en holdout hasta subió. Lo otro que vigilo es que más datos ayudan mucho a la varianza y casi nada al sesgo, así que si la curva de aprendizaje se ha aplanado, comprar más filas es tirar el dinero.