Wie trackst du Experimente, damit du ein Modell sechs Monate später reproduzieren kannst?

Versioniere vier Dinge gemeinsam: Code, Daten, Konfiguration und Umgebung. Nutze ein Tracking-Tool wie MLflow oder Weights and Biases, um Parameter, Metriken und Artefakte pro Run zu loggen, pin die Daten über einen datierten Snapshot statt über eine Live-Query, halte Hyperparameter in Config-Dateien unter git und notiere Paketversionen. Das Modellartefakt sollte den git-SHA tragen, der es erzeugt hat.

Meine Regel lautet: Ein Modell ist nur reproduzierbar, wenn Code, Daten, Config und Umgebung alle gepinnt sind. Code ist einfach, das ist git. Config halte ich als YAML im Repo statt in Notebook-Zellen, damit die exakten Hyperparameter in der Commit-Historie liegen. Umgebung ist ein Lockfile plus ein Container-Image-Tag. Daten sind das, woran die meisten scheitern, und ich bin auch schon daran gescheitert: Ich wollte mal ein Modell von vor vier Monaten reproduzieren, hatte exakt denselben Code und dieselben Parameter und bekam ein anderes Ergebnis, weil die Trainings-Query aus einer Tabelle zog, die zwischenzeitlich backfilled worden war. Heute liest Training aus einem datierten Snapshot mit protokollierter Zeilenzahl und Checksumme, nie aus einer Live-Query. Fürs Run-Tracking nutze ich MLflow und logge Parameter, Metriken, die Featureliste und das Modellartefakt pro Run, und das Artefakt trägt den git-SHA und die Snapshot-ID in seinen Metadaten. So lässt sich ein Modell in Produktion auf einen exakten Run zurückführen und der Run neu abspielen. Das ist etwa eine Stunde Setup und hat mir Wochen gespart.