Wie verwaltest du Modellversionen, damit du schnell zurückrollen kannst, wenn etwas schiefgeht?

Behandle Modelle als unveränderliche versionierte Artefakte in einer Registry, nie als Datei, die an Ort und Stelle überschrieben wird. Jede Version hält den Commit des Trainingscodes, den Daten-Snapshot, ihre Metriken und eine Stage wie Staging oder Produktion fest. Das Serving liest aus der Konfiguration, welche Version es lädt, Rollback ist also eine Konfigänderung in Sekunden, und die vorherige Version bleibt ladbar statt neu gebaut werden zu müssen.

Regel eins ist, dass ein Modellartefakt unveränderlich ist. Es bekommt eine Version, wird einmal geschrieben, und nichts überschreibt es je, denn der Tag, an dem du zurückrollen musst, ist der Tag, an dem du merkst, dass die alte Datei ersetzt wurde. Jede Version trägt Lineage: den Git-SHA des Trainingscodes, die Kennung des Daten-Snapshots, die Hyperparameter-Konfiguration, die Evaluationsmetriken und wer sie promotet hat. Wenn also in drei Monaten jemand fragt, warum sich das Modell im April anders verhalten hat, ist das ein Lookup und kein archäologisches Projekt. Das Serving hat keine Version hartcodiert. Es liest einen Zeiger aus der Konfiguration, Promoten heißt also den Zeiger ändern und Zurückrollen heißt ihn zurückändern, beides in Sekunden. Ich halte die vorherige Version im Speicher geladen, wo der Footprint es zulässt, damit ein Rollback kein Redeploy und keinen Cold Start auf einem frischen Container braucht. Und ich probe es, denn ein ungetesteter Rollback-Pfad ist kein Rollback-Pfad. Im letzten Team haben wir das ab und zu bewusst in einem Fenster mit wenig Traffic gemacht, und genau so haben wir gemerkt, dass sich die Konfigänderung sauber verteilt hat, ein Cache downstream aber noch zehn Minuten lang die alte Schwelle hielt.