Arrancas un entrenamiento y la pérdida no baja en absoluto. ¿Cómo lo depuras?

Empieza demostrando que el modelo puede aprender: sobreajusta un único batch pequeño hasta una pérdida casi nula. Si no puede, el bug está en el modelo, en la pérdida o en el optimizador, no en el volumen de datos. Luego comprueba la tasa de aprendizaje en ambos extremos, verifica que las etiquetas estén alineadas con las entradas, confirma que los gradientes fluyen, y confirma que el optimizador recibió de verdad los parámetros que crees.

El primer movimiento siempre es el mismo: coger un batch de unos ocho ejemplos e intentar llevar la pérdida casi a cero sobre él. Un modelo que funciona memoriza ocho ejemplos en un par de cientos de pasos. Si no puede, el problema no es la cantidad de datos ni la regularización, es algo roto en el modelo, en la pérdida o en el optimizador, y he estrechado muchísimo la búsqueda. A partir de ahí compruebo la tasa de aprendizaje en ambos extremos, porque demasiado alta se ve como una pérdida que rebota o se va a NaN, y demasiado baja parece una línea plana que en realidad avanza a rastras. Imprimo las normas de gradiente por capa, lo que me dice de inmediato si la señal se está muriendo o si alguna capa no recibe nada porque se congeló por accidente o nunca se le pasó al optimizador. Luego la ruta de datos, y con sinceridad ahí suele estar el bug: etiquetas desplazadas en uno respecto a las entradas tras un barajado, normalización aplicada dos veces, o un tensor de objetivos que es todo de una clase por un bug de filtrado. Siempre miro un puñado de ejemplos decodificados con sus etiquetas a ojo antes de culpar a la arquitectura.