Outra pessoa do time não consegue reproduzir os seus resultados de treino. O que pode estar diferente?

Normalmente uma de cinco coisas: o snapshot de dados, as sementes aleatórias, versões de biblioteca e do CUDA, kernels de GPU não determinísticos, ou diferenças de hardware no comportamento de ponto flutuante. Fixe os dados por snapshot datado em vez de uma consulta ao vivo, semeie toda fonte de aleatoriedade incluindo os workers do data loader, containerize o ambiente, e aceite que determinismo bit a bit exato em GPU custa performance e nem sempre vale a pena comprar.

Eu desço uma lista, do mais provável ao menos. Dados, quase sempre. Se a consulta de treino lê uma tabela ao vivo, ela mudou entre a minha rodada e a dela, e nenhuma quantidade de sementes conserta isso, então o treino lê um snapshot datado com contagem de linhas registrada. Depois, sementes, e não só a semente do framework: o random do Python, o NumPy, o framework, e criticamente os workers do data loader, cada um precisando da própria semente para que embaralhamento e augmentação também sejam reprodutíveis. Depois ambiente, e é por isso que o treino roda num container com versões de biblioteca e de CUDA fixadas em vez de com o que a pessoa por acaso tem instalado. Depois disso você entra no não determinismo de GPU. Alguns kernels usam acumulação atômica, então a ordem da redução varia de rodada para rodada e você tem diferenças minúsculas de ponto flutuante que se acumulam ao longo de milhares de passos. Dá para forçar algoritmos determinísticos, mas isso desabilita os kernels rápidos e eu já vi custar vinte por cento ou mais. Então eu pergunto do que a gente de fato precisa. Para uma investigação de depuração ou um modelo regulado eu pago por determinismo bit a bit. Normalmente eu só preciso de resultados que batam dentro do ruído, e eu demonstro isso rodando a mesma configuração duas vezes e mostrando a dispersão.