Você precisa agregar dois bilhões de linhas para uma feature. Você faz isso em SQL ou puxa para o pandas?

Faça em SQL, no warehouse. Dois bilhões de linhas não cabem na memória do pandas e mover isso pela rede é a parte lenta. Empurre filtragem, join e agregação para o motor, que é feito para isso, e traga de volta só o resultado agregado. Use pandas ou Polars no último trecho, quando os dados já são pequenos o bastante para caber confortavelmente na memória.

SQL, sem hesitar. Dois bilhões de linhas não vão entrar em um dataframe do pandas em nenhuma máquina que vão me dar, e mesmo que entrassem, a transferência pela rede dominaria tudo. O motor foi feito para escanear e agregar nessa escala, com um paralelismo que eu não tenho localmente. Então eu empurro o filtro, o join e o group by para o warehouse e trago de volta o agregado, que para uma tabela de features costuma ser alguns milhões de linhas chaveadas por entidade e data, e isso cabe confortavelmente na memória. Meu limite aproximado é que tudo o que reduz linhas pertence ao SQL, e tudo o que dá forma a um resultado pequeno para modelagem pertence ao Python. Eu também me importo com custo, então eu garanto que a consulta poda partições pela coluna de data em vez de escanear o histórico inteiro, e se a feature é recalculada todo dia eu a construo de forma incremental, acrescentando o dia anterior em vez de recalcular três anos toda manhã. Em um projeto, essa mudança levou um job noturno de cerca de quarenta minutos para menos de três, e cortou a conta mais ou menos no mesmo fator.