Wie würdest du für eine neue Plattform zwischen Airflow, Dagster und einem managed Scheduler wählen?

Entscheide nach Team-Skills, Integrationsbedarf und wie wichtig dir Datenbewusstsein ist. Airflow hat das breiteste Ökosystem und den größten Bewerbermarkt und behandelt Arbeit als Tasks. Dagster modelliert Assets und ihre Lineage direkt, was Testbarkeit und Observability dessen verbessert, welche Daten existieren. Managed Scheduler senken den Betriebsaufwand, schränken dich aber ein. Für ein kleines Team gewinnt die Option mit den geringsten Betriebskosten, die deine Leute debuggen können.

Ich würde zuerst Kriterien setzen: wer pflegt es, womit muss es integrieren, und braucht das Team Lineage und Tests eingebaut. Airflow ist der sichere Standard, weil Ökosystem und Bewerbermarkt riesig sind und fast jeder Data Engineer es um 3 Uhr nachts debuggen kann, was mehr wert ist als Featurelisten. Sein Modell ist task-zentriert, es weiß also, dass ein Task lief, aber nicht, welche Daten jetzt existieren. Dagster dreht das mit Software-defined Assets um, sodass das System weiß, dass diese Tabelle veraltet ist und sich aus jenen zwei ableitet, was lokales Testen und das Durchdenken von Backfills wirklich angenehmer macht. Würde ich bei null starten mit einem Team, dem Tests wichtig sind, würde ich zu Dagster tendieren. Habe ich bestehende Airflow-DAGs und ein Team geerbt, das sie kennt, lohnt eine Migration die Störung selten. Und solange wir keine Platform Engineers übrig haben, würde ich die managed Variante des Gewählten nehmen, denn den Scheduler zu betreiben ist nicht der Ort, an dem ein kleines Team Wert schafft.