Vous devez agréger deux milliards de lignes pour une variable. Le faites-vous en SQL ou rapatriez-vous les données dans pandas ?

Faites-le en SQL, dans l'entrepôt. Deux milliards de lignes ne tiendront pas dans la mémoire de pandas, et les déplacer sur le réseau est la partie lente. Poussez le filtrage, les jointures et l'agrégation vers le moteur, qui est fait pour ça, et ne rapatriez que le résultat agrégé. Utilisez pandas ou Polars pour le dernier kilomètre, une fois que les données sont assez petites pour tenir confortablement en mémoire.

SQL, sans hésiter. Deux milliards de lignes n'entreront pas dans un dataframe pandas sur une machine qu'on me donnera, et même si c'était le cas, le transfert sur le réseau dominerait tout. Le moteur est conçu pour balayer et agréger à cette échelle avec un parallélisme que je n'ai pas en local. Je pousse donc le filtre, la jointure et le group by dans l'entrepôt et je rapatrie l'agrégat, qui pour une table de variables fait en général quelques millions de lignes indexées par entité et par date, et ça tient confortablement en mémoire. Ma frontière approximative, c'est que tout ce qui réduit des lignes relève du SQL, et tout ce qui met en forme un petit résultat pour la modélisation relève de Python. Le coût m'importe aussi, donc je m'assure que la requête élague les partitions sur la colonne de date au lieu de balayer tout l'historique, et si la variable est recalculée chaque jour je la construis de façon incrémentale, en ajoutant la veille plutôt qu'en recalculant trois ans chaque matin. Sur un projet, ce changement a fait passer un job nocturne d'environ quarante minutes à moins de trois, et a réduit la facture à peu près du même facteur.