Du hast eine neue Modellversion, die offline besser aussieht. Wie rollst du sie sicher aus?

Erst dunkel ausliefern: lass sie im Shadow Mode neben dem aktuellen Modell laufen, live Traffic scoren, ohne auf den Output zu reagieren, und vergleiche Score-Verteilungen, Latenz und Feature-Verfügbarkeit. Sieht das vernünftig aus, geh auf einen Canary mit kleinem Prozentsatz und ein Online-Experiment auf der Geschäftsmetrik, dazu Guardrails. Halt die alte Version geladen, damit Rollback eine Konfigänderung ist und kein Redeploy.

Offline besser heißt nicht online besser, ich promote also nie direkt auf Basis einer Validation-Zahl. Erster Schritt ist Shadow Mode: das neue Modell scort dieselben Live-Requests, wir loggen seinen Output, und nichts reagiert darauf. Das fängt die langweiligen, aber tödlichen Dinge ab, Unterschiede in der Feature-Verfügbarkeit, Latenzregressionen, unerwartete Nulls, und ich kann die beiden Score-Verteilungen auf identischem Traffic vergleichen. Wenn die Scores des neuen Modells verschoben sind, müssen Schwellen downstream nachgezogen werden, selbst wenn sich die Ranking-Qualität verbessert hat, und das lernt man viel besser im Shadow als in Produktion. Dann ein Canary bei ein paar Prozent mit einem ordentlichen Online-Experiment auf der Geschäftsmetrik, nicht auf AUC. Daneben definiere ich vorab Guardrails: p99-Latenz, Fehlerrate und etwas, das ein selbstbewusst falsches Modell abfängt, was die Primärmetrik übersehen würde, etwa eine große Verschiebung der Flag-Rate. Rollback muss eine Konfigänderung sein, bei der die alte Version noch geladen ist, das dauert dann Sekunden, und ich schreibe die auslösenden Zahlen vor dem Launch auf, denn mitten im Absturz zu entscheiden, ob eine Metrik schlimm genug ist, ist ein miserabler Zeitpunkt für Meinungsbildung.