किसी एनालिसिस को SQL से हटाकर Python में आप कब ले जाते हैं?

filter करने, join करने और aggregate करने के लिए SQL में ही रहें, क्योंकि काम डेटा के पास ही होता है और उसे हिलाए बिना बढ़ता है। Python तब जाएं जब आपको सांख्यिकीय modeling, दोहराव या simulation, जटिल string या text processing, किसी बाहरी API को call, या दोबारा बनाने लायक chart चाहिए। एक काम का नियम: पहले SQL में aggregate करके छोटा कीजिए, फिर उस छोटे नतीजे को उन कामों के लिए Python में लाइए जिनमें SQL कमजोर है।

मेरा डिफॉल्ट है कि जो भी filter, join या aggregate है वह SQL में हो, क्योंकि गणना वहीं होती है जहां डेटा रहता है और मैं किसी group by के लिए gigabyte तार पर नहीं हिला रहा जिसे warehouse सेकंडों में कर देता। मैं Python तब जाता हूं जब काम ऐसा हो जिसमें SQL सचमुच कमजोर है: कोई model fit करना, simulation चलाना, गंदे text की parsing, किसी बाहरी API तक पहुंचना, या ऐसे chart बनाना जिन्हें मैं हूबहू दोबारा बना सकूं। मैं जो नियम मानता हूं वह है पहले aggregate करके छोटा करना। summarized नतीजा खींचिए, शायद पचास हजार पंक्तियां, कच्ची दो करोड़ नहीं, जो मैंने लोगों को करते और फिर हैरान होते देखा है कि उनका kernel क्यों मर गया। दूसरा कारक है संभालने लायक होना। अगर यह एनालिसिस हर महीने कोई और दोबारा चलाने वाला है, तो test के साथ version control में रखे model का SQL उस notebook से बेहतर है जो एक ही व्यक्ति के environment पर निर्भर है। अगर यह एक बार की खोजबीन है, तो notebook बिल्कुल ठीक है और लिखने में तेज भी।