Wie entscheidest du, wann ein Produktionsmodell neu trainiert wird?

Trigger auf Evidenz, nicht nur auf den Kalender. Monitore Input-Drift, die Verteilung der Vorhersagen und, wo Labels es zulassen, die Live-Performance über ein rollendes Fenster. Trainier neu, wenn eine Metrik eine vorher definierte Schwelle überschreitet, oder in einer Kadenz, die zur Geschwindigkeit der Domäne passt. Validier den Kandidaten immer gegen das aktuelle Modell auf frischen Daten, bevor du ihn promotest.

Ich nutze beides, Zeitplan und Trigger. Der Zeitplan richtet sich danach, wie schnell sich die Domäne bewegt: ein Fraud-Modell würde ich wöchentlich neu trainieren, eine Nachfrageprognose monatlich, einen Bildklassifikator auf einer stabilen Taxonomie vielleicht zweimal im Jahr. Trigger kommen aus dem Monitoring: Population Stability auf den wichtigsten Inputs, Verschiebungen in der Vorhersageverteilung und, wo Labels schnell genug ankommen, die tatsächliche Performance über ein rollendes Fenster. Die Randbedingung, die Leute unterschätzen, ist Label-Latenz. Wenn Churn-Labels sechzig Tage brauchen, kann ich echte Degradation zwei Monate lang nicht messen, ich stütze mich also stärker auf Input-Drift als Frühwarnung und sage klar, dass das ein Proxy ist. Was ich nicht überspringe, ist das Gate. Ein neu trainiertes Modell ist ein Release-Kandidat, kein Upgrade. Es wird gegen das aktuelle Modell auf der jüngsten Holdout-Periode bewertet, und wenn es nicht gewinnt, behalten wir das alte, denn frischere Trainingsdaten machen nicht automatisch ein besseres Modell. Und ich achte auf Feedback-Schleifen: wenn das Modell entscheidet, wer ein Angebot sieht, enthält das nächste Trainingsset nur Ergebnisse für Leute, die es ohnehin mochte, ich halte also ein kleines zufälliges Holdout, damit die Daten ehrlich bleiben.