¿Cómo eliges una función de pérdida, y cuándo usarías algo distinto de la opción por defecto?

Elige la pérdida que encaja con la decisión y con el coste de equivocarse, no la que usó el tutorial. Entropía cruzada para clasificación cuando necesitas probabilidades calibradas, error cuadrático medio cuando los errores grandes son desproporcionadamente malos, error absoluto medio o Huber cuando los valores atípicos no deben dominar, focal loss para desbalanceo extremo, y una pérdida de cuantil o pinball cuando necesitas un percentil concreto y no una media.

La pérdida es lo único que el modelo optimiza de verdad, así que debería codificar lo que nos cuesta un error. En regresión, el MSE ajusta la media condicional y castiga los fallos grandes de forma cuadrática, lo que es correcto si un error grande de verdad es desproporcionadamente malo. También significa que un puñado de valores atípicos puede dominar todo el ajuste. El MAE ajusta la mediana y es mucho más robusto, y Huber da comportamiento cuadrático cerca de cero con colas lineales, que es mi opción por defecto habitual con objetivos reales y sucios. El caso que mejor recuerdo fue un modelo de tiempo de entrega. Entrenamos con MSE, y las predicciones estaban bien de media y eran inútiles a nivel operativo, porque lo que el negocio necesitaba era un tiempo que pudiera prometer, que es más o menos el percentil 90. Cambiar a una pérdida pinball en 0,9 dio exactamente eso y la tasa de retrasos cayó de golpe, sin ningún cambio de arquitectura. En clasificación me quedo con la entropía cruzada salvo que el desbalanceo sea severo, donde la focal loss reduce el peso de los negativos fáciles para que los difíciles contribuyan de verdad. Lo que siempre reviso después es la calibración, porque cualquier cosa que repondere la pérdida distorsiona las probabilidades de salida.