¿Cómo procesarías un CSV de cuarenta gigabytes que no cabe en memoria?

Léelo en streaming. Abre el fichero e itéralo línea a línea, o usa csv.reader sobre el objeto de fichero, para que solo haya una fila residente a la vez, y pasa cada registro por etapas de generadores en vez de construir listas intermedias. Agrupa las escrituras al destino en lotes de unos pocos miles. Si el trabajo tiene carga de CPU, reparte por rangos de bytes entre procesos.

Nada se carga entero. Un objeto de fichero ya es un iterador sobre líneas, así que leo fila a fila con csv.reader y encadeno etapas de generadores para parsear, filtrar y transformar, lo que mantiene el pico de memoria en aproximadamente un registro sea cual sea el tamaño del fichero. Las escrituras van por lotes, normalmente unos pocos miles de filas por insert, porque las idas y vueltas a Postgres fila a fila dominan sobre todo lo demás. Como cuarenta gigabytes llevan un rato, lo hago reanudable: guardo el offset en bytes o la última clave procesada en un pequeño fichero de estado, logueo el progreso cada cien mil filas y hago la escritura idempotente con un upsert para que volver a lanzarlo no pueda duplicar. Si resulta que el cuello de botella es el parseo y no la E/S, parto el fichero por offsets de bytes y reparto rangos a un process pool, con cuidado de alinear en los saltos de línea. Aunque, siendo sincero, mi primera sugerencia suele ser saltarse Python para la carga y usar la copia masiva de la base de datos, y luego hacer la transformación en SQL, porque eso suele ser un orden de magnitud más rápido.