आपको किसी feature के लिए दो अरब rows aggregate करनी हैं। यह आप SQL में करेंगे या pandas में खींचेंगे?

यह warehouse में, SQL में करें। दो अरब rows pandas की memory में समाएंगी नहीं और उन्हें network पर लाना ही धीमा हिस्सा है। filtering, joining और aggregation को engine तक नीचे धकेलें, जो इसी के लिए बना है, और सिर्फ aggregated नतीजा वापस खींचें। जब डेटा इतना छोटा हो जाए कि आराम से memory में बैठ जाए, तब आखिरी मील के लिए pandas या Polars इस्तेमाल करें।

SQL, बिना झिझके। दो अरब rows मुझे मिलने वाली किसी भी मशीन पर pandas dataframe में नहीं जाएंगी, और अगर चली भी जातीं तो तार पर होने वाला transfer ही सब कुछ खा जाता। engine इसी पैमाने पर scan और aggregate करने के लिए बना है, उस parallelism के साथ जो मेरे पास स्थानीय तौर पर है ही नहीं। तो मैं filter, join और group by को warehouse में धकेलता हूं और aggregate वापस लाता हूं, जो किसी feature table के लिए आम तौर पर entity और तारीख से keyed कुछ लाख rows होती हैं, और वह आराम से memory में बैठ जाती हैं। मेरी मोटी सीमा यह है कि जो कुछ rows घटाता है वह SQL में, और जो कोई छोटा नतीजा modeling के लिए आकार देता है वह Python में। मुझे लागत की भी परवाह है, तो मैं पक्का करता हूं कि query पूरा इतिहास scan करने के बजाय date column पर partitions prune करे, और अगर feature रोज दोबारा बनता है तो मैं उसे incremental बनाता हूं, हर सुबह तीन साल दोबारा गिनने के बजाय कल का जोड़ देता हूं। एक प्रोजेक्ट पर इस बदलाव ने रात के job को करीब चालीस मिनट से तीन मिनट के नीचे ला दिया, और बिल भी लगभग उतने ही गुना कम हुआ।