Was ist der Unterschied zwischen einer List Comprehension und einem Generator Expression?

Eine List Comprehension baut die komplette Liste sofort im Speicher auf; ein Generator Expression gibt dir einen lazy Iterator zurück, der Elemente einzeln produziert, während du sie konsumierst. Generatoren brauchen konstanten Speicher und können liefern, bevor die Quelle erschöpft ist, aber du kannst sie nur einmal durchlaufen, nicht indizieren und ihre Länge nicht abfragen.

Eckige Klammern geben mir eine Liste, die vollständig materialisiert ist, bevor die nächste Zeile läuft, runde Klammern geben mir einen Generator, der jedes Element auf Abruf berechnet. Bei ein paar hundert Elementen ist der Unterschied Rauschen, also nehme ich eine Liste, weil sie leichter zu debuggen ist und ich zweimal reinschauen kann. Sobald die Quelle eine Datei, ein Datenbank-Cursor oder ein API-Paginator ist, wechsle ich zum Generator. In einem Abgleichjob, an dem ich gearbeitet habe, hat das Einlesen eines großen Exports in eine Liste den Container über sein Speicherlimit gedrückt und er wurde immer wieder gekillt, und der Tausch eines Klammerpaars hat den Peak-Speicher auf ein paar Megabyte gesenkt, weil wir immer nur eine Zeile gehalten haben. Der Haken ist, dass ein Generator nach einem Durchlauf erschöpft ist. Ich habe zugesehen, wie jemand die Anzahl eines Generators geloggt und danach darüber iteriert hat, und der Schleifenkörper lief nie. Wenn ich die Daten mehr als einmal brauche, materialisiere ich sie bewusst und nehme den Speicher in Kauf.