Qual é a diferença entre uma list comprehension e uma generator expression?

Uma list comprehension constrói a lista inteira em memória na hora; uma generator expression devolve um iterador preguiçoso que produz itens um por vez conforme você consome. Generators usam memória constante e podem começar a entregar antes de a fonte acabar, mas você só consegue iterar uma vez e não dá para indexar nem pegar o tamanho.

Colchetes me dão uma lista totalmente materializada antes de a próxima linha rodar, enquanto parênteses me dão um generator que calcula cada item sob demanda. Para algumas centenas de itens a diferença é ruído, então eu uso lista porque é mais fácil de depurar e eu posso olhar duas vezes. No momento em que a fonte é um arquivo, um cursor de banco ou um paginador de API, eu mudo para generator. Num job de reconciliação em que trabalhei, ler um export grande para uma lista estourava o limite de memória do container e ele ficava sendo morto, e trocar um par de colchetes por parênteses derrubou o pico de memória para alguns megabytes porque a gente só segurava uma linha por vez. O detalhe é que um generator se esgota depois de uma passada. Já vi alguém logar a contagem de um generator e depois iterar sobre ele, e o corpo do loop nunca executou. Se eu preciso dos dados mais de uma vez, eu materializo de propósito e aceito o custo de memória.