Como você registra os experimentos para conseguir reproduzir um modelo seis meses depois?

Versione quatro coisas juntas: código, dados, configuração e ambiente. Use uma ferramenta de tracking como MLflow ou Weights and Biases para registrar parâmetros, métricas e artefatos por execução; fixe os dados com um snapshot datado em vez de uma consulta ao vivo; mantenha os hiperparâmetros em arquivos de configuração no git; e registre as versões dos pacotes. O artefato do modelo deve carregar o SHA do git que o produziu.

A regra que eu sigo é que um modelo só é reprodutível se código, dados, configuração e ambiente estiverem todos fixados. Código é fácil, é o git. Configuração eu mantenho em YAML no repositório em vez de em células de notebook, então os hiperparâmetros exatos vivem no histórico de commits. Ambiente é um arquivo de lock e uma tag de imagem de container. Dados é o que pega as pessoas, e pegou a mim: uma vez eu tentei reproduzir um modelo de quatro meses antes, tinha o código e os parâmetros exatos, e obtive um resultado diferente, porque a consulta de treino puxava de uma tabela que tinha sido reprocessada nesse meio tempo. Agora o treino lê de um snapshot datado com contagem de linhas e checksum registrados, nunca de uma consulta ao vivo. Para tracking eu uso MLflow, registrando parâmetros, métricas, a lista de features e o artefato do modelo por execução, e o artefato carrega o SHA do git e o ID do snapshot de dados nos metadados. Assim um modelo em produção é rastreado até uma execução exata e a execução pode ser repetida. É cerca de uma hora de configuração e já me poupou semanas.