Otra persona del equipo no consigue reproducir tus resultados de entrenamiento. ¿Qué podría ser distinto?

Normalmente una de cinco cosas: la instantánea de datos, las semillas aleatorias, las versiones de librerías y de CUDA, kernels de GPU no deterministas, o diferencias de hardware en el comportamiento de punto flotante. Fija los datos con una instantánea fechada en vez de una consulta viva, siembra todas las fuentes aleatorias incluidos los workers del cargador de datos, contenedoriza el entorno, y acepta que el determinismo bit a bit en GPU cuesta rendimiento y no siempre vale la pena comprarlo.

Bajo por una lista, lo más probable primero. Los datos, casi siempre. Si la consulta de entrenamiento lee una tabla viva, cambió entre mi ejecución y la suya, y ninguna semilla arregla eso, así que el entrenamiento lee una instantánea fechada con un recuento de filas registrado. Después las semillas, y no solo la del framework: la de random de Python, la de NumPy, la del framework y, crucialmente, la de los workers del cargador de datos, cada uno con su propia semilla para que el barajado y el aumento de datos también sean reproducibles. Luego el entorno, y por eso el entrenamiento corre en un contenedor con versiones de librerías y de CUDA fijadas en vez de con lo que alguien tenga instalado. Después de eso ya estás en el no determinismo de GPU. Algunos kernels usan acumulación atómica, así que el orden de reducción varía entre ejecuciones y salen diferencias diminutas de punto flotante que se acumulan a lo largo de miles de pasos. Puedes forzar algoritmos deterministas, pero eso desactiva los kernels rápidos y he visto que cuesta un veinte por ciento o más. Así que pregunto qué necesitamos de verdad. Para una investigación de depuración o un modelo regulado pago el determinismo bit a bit. Normalmente solo necesito resultados que coincidan dentro del ruido, y lo demuestro ejecutando la misma configuración dos veces y enseñando la dispersión.