Comment choisiriez-vous entre Airflow, Dagster et un ordonnanceur managé pour une nouvelle plateforme ?

Choisissez selon les compétences de l'équipe, les besoins d'intégration et l'importance que vous accordez à la conscience des données. Airflow a l'écosystème et le vivier de recrutement les plus larges, et traite le travail comme des tâches. Dagster modélise directement les assets et leur lignage, ce qui améliore les tests et l'observabilité de ce qui existe comme donnée. Les ordonnanceurs managés réduisent la charge opérationnelle mais vous contraignent. Pour une petite équipe, l'option au coût opérationnel le plus faible que vos gens savent déboguer l'emporte.

Je poserais d'abord les critères : qui le maintient, avec quoi il doit s'intégrer, et si l'équipe a besoin de lignage et de tests intégrés. Airflow est le choix sûr par défaut, parce que l'écosystème et le vivier de recrutement sont énormes, et que presque tout data engineer sait le déboguer à 3h du matin, ce qui vaut plus qu'une liste de fonctionnalités. Son modèle est centré tâches : il sait qu'une tâche s'est exécutée, pas quelle donnée existe désormais. Dagster inverse cela avec des assets définis par le code, si bien que le système sait que cette table est périmée et qu'elle dérive de ces deux-là, ce qui rend le test local et le raisonnement sur les rejeux vraiment plus agréables. Si je démarrais de zéro avec une équipe qui valorise les tests, je pencherais pour Dagster. Si j'héritais de DAG Airflow existants et d'une équipe qui les connaît, migrer vaut rarement la perturbation. Et à moins d'avoir des ingénieurs plateforme en rab, je prendrais la version managée de celui que nous choisissons, parce que faire tourner l'ordonnanceur n'est pas là qu'une petite équipe crée de la valeur.