Como você escolheria entre Airflow, Dagster e um scheduler gerenciado para uma plataforma nova?

Escolha pelas habilidades do time, pelas necessidades de integração e por quanto você se importa com consciência de dados. O Airflow tem o ecossistema e o mercado de contratação mais amplos e trata o trabalho como tasks. O Dagster modela ativos e a linhagem deles diretamente, o que melhora testes e observabilidade sobre quais dados existem. Schedulers gerenciados reduzem a carga operacional, mas limitam você. Para um time pequeno, ganha a opção de menor custo operacional que as suas pessoas consigam depurar.

Eu definiria os critérios primeiro: quem mantém isso, com o que precisa integrar e se o time precisa de linhagem e testes embutidos. O Airflow é o padrão seguro porque o ecossistema e o mercado de contratação são enormes, e quase todo engenheiro de dados consegue depurá-lo às 3 da manhã, o que vale mais do que lista de features. O modelo dele é centrado em task, então ele sabe que uma task rodou, mas não quais dados existem agora. O Dagster inverte isso com ativos definidos em software, então o sistema sabe que esta tabela está desatualizada e que ela deriva daquelas duas, o que torna o teste local e o raciocínio sobre backfill genuinamente melhores. Se eu estivesse começando do zero com um time que valoriza testes, eu iria de Dagster. Se eu herdasse DAGs de Airflow existentes e um time que as conhece, migrar raramente compensa a perturbação. E a menos que a gente tenha engenheiros de plataforma sobrando, eu escolheria a versão gerenciada da opção que a gente pegar, porque rodar o scheduler não é onde um time pequeno cria valor.