Wie entscheidest du, ob eine Pipeline Batch oder Streaming sein sollte?

Lass die Entscheidung davon abhängen, wie schnell die Daten eine Entscheidung verändern. Wenn niemand vor dem nächsten Morgen auf die Daten reagiert, ist Batch billiger, leichter zu durchdenken und deutlich einfacher nachzuladen. Streaming wählst du, wenn Latenz Teil des Produkts ist, etwa bei Fraud Scoring, Live-Beständen oder Alerting. Streaming kostet dich Exactly-once-Handling, verspätete Daten, State Management und Dauerbereitschaft.

Ich frage zuerst, wer darauf reagiert und wie schnell. Wenn die Antwort lautet, dass eine Analystin um 9 Uhr ein Dashboard öffnet, dann ist ein nächtlicher oder stündlicher Batch-Job die richtige Wahl, weil er billiger ist, sich trivial wiederholen lässt und ich letzten Dienstag ohne großes Nachdenken neu rechnen kann. Streaming nehme ich, wenn Latenz wirklich Teil des Produkts ist. In einem Payments-Team haben wir Transaktions-Events in ein Fraud-Modell gestreamt, weil eine Entscheidung neunzig Minuten später überhaupt keinen Wert mehr hat. Was ich immer explizit mache, sind die Kosten von Streaming. Du erbst State Stores, Watermarks und eine Policy für verspätete Daten, und die Tatsache, dass eine Schemaänderung an einem laufenden Job eher eine Migration als ein Deploy ist. Sehr oft meint ein Stakeholder mit Echtzeit einfach nicht morgen, und ein Micro-Batch alle fünfzehn Minuten auf dem Warehouse liefert genau das zu einem Bruchteil der Betriebslast.