Como você processaria um CSV de quarenta gigabytes que não cabe na memória?

Faça streaming. Abra o arquivo e itere linha por linha, ou use csv.reader sobre o objeto de arquivo, para só uma linha ficar residente por vez, e empurre cada registro por estágios de generator em vez de montar listas intermediárias. Escreva no destino em lotes de alguns milhares. Se o trabalho for CPU bound, divida por faixas de bytes entre processos.

Nada é carregado inteiro. Um objeto de arquivo já é um iterador sobre linhas, então eu leio linha por linha com csv.reader e encadeio estágios de generator para parsing, filtragem e transformação, o que mantém o pico de memória em cerca de um registro independente do tamanho do arquivo. As escritas vão em lote, tipicamente alguns milhares de linhas por insert, porque round trips linha a linha para o Postgres dominam tudo o mais. Como quarenta gigabytes demora, eu deixo o processo reiniciável: rastreio o offset de bytes ou a última chave processada num arquivinho de estado, logo progresso a cada cem mil linhas, e faço a escrita idempotente com upsert para que uma reexecução não duplique. Se o parsing acabar sendo o gargalo em vez do I/O, eu divido o arquivo por offsets de bytes e passo as faixas para um process pool, com cuidado de alinhar nas quebras de linha. Sinceramente, porém, minha primeira sugestão costuma ser pular o Python na carga por completo e usar o bulk copy do banco, e depois fazer a transformação em SQL, porque isso geralmente é uma ordem de magnitude mais rápido.