चालीस गीगाबाइट की CSV जो मेमोरी में नहीं समाएगी, उसे आप कैसे process करेंगे?

उसे stream करें। फाइल खोलकर लाइन दर लाइन इटरेट करें, या file object पर csv.reader इस्तेमाल करें, ताकि एक समय पर सिर्फ एक row मेमोरी में रहे, और हर record को बीच की लिस्टें बनाने के बजाय generator stages से गुजारें। destination पर writes को कुछ हजार के बैच में करें। अगर काम CPU bound हो तो फाइल को byte ranges में बांटकर कई processes में डालें।

कुछ भी पूरा लोड नहीं होता। file object पहले से लाइनों पर एक iterator है, तो मैं csv.reader से row दर row पढ़ता हूं और parsing, filtering और transforming के लिए generator stages जोड़ता हूं, जिससे फाइल के साइज से बेपरवाह peak memory लगभग एक record पर रहती है। writes बैच में जाते हैं, आम तौर पर हर insert में कुछ हजार rows, क्योंकि हर row पर Postgres तक जाना बाकी सब पर भारी पड़ता है। चालीस गीगाबाइट में वक्त लगता है, इसलिए मैं इसे दोबारा शुरू करने लायक बनाता हूं: byte offset या आखिरी process हुई key एक छोटी state file में रखता हूं, हर लाख rows पर प्रगति लॉग करता हूं, और upsert से write को idempotent बनाता हूं ताकि दोबारा चलाने पर डुप्लिकेट न बनें। अगर अड़चन I/O की जगह parsing निकले तो मैं फाइल को byte offsets पर बांटकर ranges एक process pool को देता हूं, यह ध्यान रखते हुए कि सीमाएं लाइन पर संरेखित हों। सच कहूं तो मेरा पहला सुझाव अक्सर यह होता है कि लोड के लिए Python छोड़ दें और डेटाबेस का bulk copy इस्तेमाल करें, फिर transformation SQL में करें, क्योंकि वह आम तौर पर दस गुना तेज होता है।