¿Cómo llevas el registro de los experimentos para poder reproducir un modelo seis meses después?

Versiona cuatro cosas a la vez: código, datos, configuración y entorno. Usa una herramienta de seguimiento como MLflow o Weights and Biases para registrar parámetros, métricas y artefactos por ejecución; fija los datos con una instantánea fechada en lugar de una consulta en vivo; guarda los hiperparámetros en ficheros de configuración bajo git; y registra las versiones de los paquetes. El artefacto del modelo debe llevar el SHA de git que lo produjo.

La regla con la que trabajo es que un modelo solo es reproducible si código, datos, configuración y entorno están todos fijados. El código es fácil, eso es git. La configuración la guardo en YAML en el repositorio y no en celdas de notebook, así los hiperparámetros exactos viven en el historial de commits. El entorno es un fichero de bloqueo y una etiqueta de imagen de contenedor. Los datos son lo que pilla a la gente, y me pilló a mí: una vez intenté reproducir un modelo de cuatro meses antes, tenía el código y los parámetros exactos, y salió un resultado distinto, porque la consulta de entrenamiento leía de una tabla que se había rellenado hacia atrás mientras tanto. Ahora el entrenamiento lee de una instantánea fechada con un recuento de filas y una suma de verificación registrados, nunca de una consulta en vivo. Para el seguimiento de ejecuciones uso MLflow, registrando parámetros, métricas, la lista de variables y el artefacto del modelo por ejecución, y el artefacto lleva el SHA de git y el ID de la instantánea de datos en sus metadatos. Así un modelo en producción se rastrea hasta una ejecución exacta y esa ejecución se puede repetir. Es como una hora de montaje y me ha ahorrado semanas.