Du musst zwei Milliarden Zeilen für ein Feature aggregieren. Machst du das in SQL oder ziehst du sie in pandas?

Mach es in SQL, im Warehouse. Zwei Milliarden Zeilen passen nicht in den pandas-Speicher, und sie übers Netz zu bewegen ist der langsame Teil. Schieb Filtern, Joinen und Aggregieren in die Engine, die dafür gebaut ist, und hol nur das aggregierte Ergebnis zurück. Nutze pandas oder Polars für die letzte Meile, sobald die Daten klein genug für den Speicher sind.

SQL, ohne zu zögern. Zwei Milliarden Zeilen gehen auf keiner Maschine, die ich bekomme, in ein pandas-Dataframe, und selbst wenn, würde der Transfer über die Leitung alles andere dominieren. Die Engine ist dafür gebaut, in dieser Größenordnung mit einer Parallelität zu scannen und zu aggregieren, die ich lokal nicht habe. Also schiebe ich Filter, Join und Group By ins Warehouse und hole das Aggregat zurück, das für eine Feature-Tabelle meist ein paar Millionen Zeilen nach Entität und Datum sind, und das passt bequem in den Speicher. Meine grobe Grenze: Alles, was Zeilen reduziert, gehört in SQL, alles, was ein kleines Ergebnis fürs Modellieren formt, gehört nach Python. Kosten sind mir auch wichtig, also achte ich darauf, dass die Query Partitionen auf der Datumsspalte pruned statt die komplette Historie zu scannen, und wenn das Feature täglich neu berechnet wird, baue ich es inkrementell auf und hänge gestern an, statt jeden Morgen drei Jahre neu zu rechnen. In einem Projekt hat das einen Nachtjob von rund vierzig Minuten auf unter drei gebracht und die Rechnung um ungefähr denselben Faktor gesenkt.