Necesitas agregar dos mil millones de filas para una variable. ¿Lo haces en SQL o lo traes a pandas?

Hazlo en SQL, dentro del warehouse. Dos mil millones de filas no caben en la memoria de pandas y moverlas por la red es la parte lenta. Empuja el filtrado, el join y la agregación al motor, que está hecho para eso, y trae de vuelta solo el resultado agregado. Usa pandas o Polars para el último tramo, cuando los datos ya sean lo bastante pequeños para caber cómodamente en memoria.

SQL, sin dudarlo. Dos mil millones de filas no van a entrar en un dataframe de pandas en ninguna máquina que me vayan a dar, y aunque entraran, la transferencia por el cable dominaría todo lo demás. El motor está diseñado para escanear y agregar a esa escala con un paralelismo que yo no tengo en local. Así que empujo el filtro, el join y el group by al warehouse y me traigo el agregado, que para una tabla de variables suelen ser unos pocos millones de filas indexadas por entidad y fecha, y eso cabe cómodamente en memoria. Mi frontera aproximada es que todo lo que reduzca filas va en SQL, y todo lo que dé forma a un resultado pequeño para modelar va en Python. También me importa el coste, así que me aseguro de que la consulta pode particiones por la columna de fecha en vez de escanear todo el histórico, y si la variable se recalcula a diario la construyo de forma incremental, añadiendo el día anterior en lugar de recalcular tres años cada mañana. En un proyecto ese cambio llevó un job nocturno de unos cuarenta minutos a menos de tres, y recortó la factura más o menos en el mismo factor.