Como você escolhe uma função de perda, e quando você usaria algo diferente do padrão?

Escolha a perda que corresponde à decisão e ao custo de errar, não a que o tutorial usou. Cross entropy para classificação quando você precisa de probabilidades calibradas, erro quadrático médio quando erros grandes são desproporcionalmente ruins, erro absoluto médio ou Huber quando outliers não devem dominar, focal loss para desbalanceamento extremo, e uma perda quantílica ou pinball quando você precisa de um percentil específico em vez de uma média.

A perda é a única coisa que o modelo de fato otimiza, então ela deve codificar quanto um erro nos custa. Em regressão, o MSE ajusta a média condicional e pune erros grandes de forma quadrática, o que está certo se um erro grande realmente for desproporcionalmente ruim. Também significa que um punhado de outliers pode dominar o ajuste inteiro. O MAE ajusta a mediana e é bem mais robusto, e o Huber dá comportamento quadrático perto de zero com caudas lineares, que é o meu padrão de sempre em alvos bagunçados do mundo real. O caso de que eu mais lembro foi um modelo de tempo de entrega. A gente treinou com MSE, e as previsões estavam boas na média e inúteis na operação, porque o que o negócio precisava era de um tempo que dava para prometer, que é aproximadamente o percentil 90. Trocar para uma pinball loss em 0,9 deu exatamente isso e a taxa de atraso caiu forte, sem nenhuma mudança de arquitetura. Em classificação eu fico com cross entropy a menos que o desbalanceamento seja severo, onde a focal loss reduz o peso dos negativos fáceis para que os difíceis de fato contribuam. A coisa que eu sempre checo depois é calibração, porque qualquer coisa que reponderar a perda distorce as probabilidades de saída.