Como você decide se um pipeline deve ser batch ou streaming?

Deixe a decisão ser guiada pela velocidade com que o dado muda uma decisão. Se ninguém age sobre o dado antes da manhã seguinte, batch sai mais barato, é mais simples de raciocinar e muito mais fácil de reprocessar. Escolha streaming quando a latência faz parte do produto, como em scoring de fraude, estoque ao vivo ou alertas. Streaming cobre você com tratamento exactly once, dados atrasados, gestão de estado e plantão permanente.

Eu começo perguntando quem age sobre isso e com que rapidez. Se a resposta é um analista abrindo um dashboard às 9h, então um job batch diário ou de hora em hora é a escolha certa, porque sai mais barato, é trivialmente reprocessável e eu consigo rodar a terça-feira passada de novo sem pensar muito. Eu vou de streaming quando a latência realmente faz parte do produto. Em um time de pagamentos, nós mandávamos eventos de transação em streaming para um modelo de fraude porque uma decisão tomada noventa minutos depois não tem valor nenhum. O que eu tento deixar explícito é quanto o streaming custa. Você herda state stores, watermarks e política de dados atrasados, além do fato de que mudar um schema em um job rodando é uma migração, não um deploy. Boa parte das vezes, quando um stakeholder diz tempo real, ele quer dizer não amanhã, e um micro batch de quinze minutos no warehouse entrega o que ele quer por uma fração da carga operacional.