¿Cómo elegirías entre Airflow, Dagster y un scheduler gestionado para una plataforma nueva?

Elige según las habilidades del equipo, las necesidades de integración y cuánto te importa la conciencia de datos. Airflow tiene el ecosistema y la bolsa de talento más amplios y trata el trabajo como tareas. Dagster modela los activos de datos y su linaje directamente, lo que mejora las pruebas y la observabilidad de qué datos existen. Los schedulers gestionados reducen la carga operativa pero te limitan. Para un equipo pequeño gana la opción de menor coste operativo que tu gente sepa depurar.

Fijaría primero los criterios: quién lo mantiene, con qué tiene que integrarse y si el equipo necesita linaje y pruebas integrados. Airflow es la opción segura por defecto porque el ecosistema y la bolsa de talento son enormes, y casi cualquier ingeniero de datos sabe depurarlo a las 3 de la mañana, lo que vale más que una lista de funcionalidades. Su modelo está centrado en tareas, así que sabe que una tarea corrió pero no qué datos existen ahora. Dagster le da la vuelta con activos definidos por software, así que el sistema sabe que esta tabla está desactualizada y que deriva de esas dos, lo que hace bastante más agradable probar en local y razonar sobre rellenos históricos. Si empezara de cero con un equipo que valora las pruebas, me inclinaría por Dagster. Si heredara DAGs de Airflow ya existentes y un equipo que los conoce, migrar rara vez compensa la interrupción. Y salvo que nos sobren ingenieros de plataforma, cogería la versión gestionada de lo que elijamos, porque operar el scheduler no es donde un equipo pequeño crea valor.