Comment décidez-vous si un pipeline doit être en batch ou en streaming ?

Laissez la décision se guider sur la vitesse à laquelle la donnée change une décision. Si personne n'agit sur la donnée avant le lendemain matin, le batch coûte moins cher, se raisonne plus simplement et se rejoue bien plus facilement. Choisissez le streaming quand la latence fait partie du produit : scoring de fraude, stock en temps réel, alerting. Le streaming vous coûte la gestion de l'exactly once, les données en retard, la gestion d'état et une astreinte permanente.

Je commence par demander qui agit sur cette donnée, et à quelle vitesse. Si la réponse est un analyste qui ouvre un tableau de bord à 9h, alors un job batch nocturne ou horaire est le bon choix : c'est moins cher, trivialement rejouable, et je peux relancer mardi dernier sans avoir à réfléchir longtemps. Je passe au streaming quand la latence fait vraiment partie du produit. Dans une équipe paiements, nous envoyions les événements de transaction en streaming vers un modèle de fraude, parce qu'une décision prise quatre-vingt-dix minutes plus tard n'a plus aucune valeur. Ce que j'essaie de rendre explicite, c'est ce que coûte le streaming. Vous héritez de stores d'état, de watermarks et d'une politique de données en retard, et du fait que changer un schéma sur un job en cours relève de la migration, pas du déploiement. Très souvent, quand un interlocuteur dit temps réel, il veut dire pas demain, et un micro batch de quinze minutes sur l'entrepôt lui donne ce qu'il veut pour une fraction de la charge opérationnelle.