¿Cómo decides si un pipeline debe ser batch o streaming?

Deja que la decisión la marque la rapidez con la que el dato cambia una decisión. Si nadie actúa sobre el dato antes de la mañana siguiente, batch sale más barato, es más simple de razonar y muchísimo más fácil de rellenar hacia atrás. Elige streaming cuando la latencia forma parte del producto, como en scoring de fraude, inventario en vivo o alertas. El streaming te cuesta manejo de exactly once, datos tardíos, gestión de estado y guardia permanente.

Empiezo preguntando quién actúa sobre esto y con qué rapidez. Si la respuesta es un analista que abre un dashboard a las 9 de la mañana, entonces un job batch nocturno u horario es la decisión correcta, porque es más barato, se puede reprocesar sin drama y puedo volver a ejecutar el martes pasado sin pensarlo demasiado. Me voy a streaming cuando la latencia es realmente parte del producto. En un equipo de pagos mandábamos eventos de transacción en streaming a un modelo de fraude porque una decisión tomada noventa minutos después no vale absolutamente nada. Lo que intento dejar explícito es lo que cuesta el streaming. Heredas stores de estado, watermarks y una política de datos tardíos, además del hecho de que cambiar un esquema sobre un job en marcha es una migración y no un deploy. Muchas veces, cuando un stakeholder dice tiempo real, lo que quiere decir es no mañana, y un micro batch de quince minutos sobre el warehouse le da lo que busca por una fracción de la carga operativa.