list comprehension और generator expression में क्या फर्क है?

list comprehension पूरी लिस्ट तुरंत मेमोरी में बना देती है; generator expression एक lazy iterator लौटाती है जो आपके कंज्यूम करने पर एक एक आइटम बनाता है। Generators स्थिर मेमोरी लेते हैं और सोर्स खत्म होने से पहले ही yield करना शुरू कर सकते हैं, लेकिन आप उन पर सिर्फ एक बार इटरेट कर सकते हैं, और न index ले सकते हैं न लंबाई।

Square brackets मुझे ऐसी लिस्ट देते हैं जो अगली लाइन चलने से पहले पूरी बन चुकी होती है, जबकि parentheses एक generator देते हैं जो हर आइटम मांगने पर बनाता है। कुछ सौ आइटम पर फर्क नगण्य है, तो मैं लिस्ट लेता हूं क्योंकि उसे डीबग करना आसान है और मैं उसे दो बार देख सकता हूं। जैसे ही सोर्स कोई फाइल, डेटाबेस cursor या API paginator बनता है, मैं generator पर चला जाता हूं। एक reconciliation job में एक बड़े export को लिस्ट में पढ़ने से container अपनी मेमोरी लिमिट पार कर गया और बार बार kill होता रहा, और brackets की एक जोड़ी को parentheses में बदलने से peak memory कुछ मेगाबाइट पर आ गई, क्योंकि हमारे पास कभी एक ही row होती थी। पेच यह है कि generator एक पास के बाद खत्म हो जाता है। मैंने किसी को generator की गिनती लॉग करके फिर उस पर लूप चलाते देखा है, और लूप की बॉडी कभी चली ही नहीं। अगर मुझे डेटा एक से ज्यादा बार चाहिए तो मैं जानबूझकर उसे materialize करता हूं और मेमोरी की कीमत मान लेता हूं।