Você precisa de um job noturno que leia vinte milhões de linhas, transforme e grave os resultados. Como você o escreve para não esgotar a memória?

Faça streaming em vez de materializar: leia com um cursor rolável ou keyset paging, defina um fetch size para o driver não bufferizar tudo, e processe em blocos com um commit por bloco. Se você usa JPA, limpe o contexto de persistência entre blocos ou use uma sessão stateless, senão toda entidade fica no cache de primeiro nível. Faça as escritas em lote com JDBC batching, e deixe o job reiniciável a partir do último bloco commitado.

A regra central é que nenhuma etapa segura vinte milhões de nada. Eu leio com keyset paging na chave primária, ou um cursor rolável com fetch size explícito, e vale saber que alguns drivers ignoram isso e bufferizam o result set inteiro a menos que você também rode dentro de uma transação com autocommit desligado, coisa que as pessoas descobrem do jeito difícil quando o heap enche antes de qualquer processamento começar. Aí eu processo em blocos de alguns milhares, gravo com JDBC batching para ser uma ida e volta por bloco em vez de por linha, e commito por bloco. Com JPA a armadilha extra é o contexto de persistência: toda entidade lida fica gerenciada, então a memória cresce e os flushes ficam mais lentos conforme o dirty checking percorre mais objetos. Eu limpo ele a cada bloco ou uso uma sessão stateless. Reinicialização importa tanto quanto memória, então o job registra a última chave commitada, o que significa que uma falha na linha dezoito milhões retoma em vez de começar de novo. E eu limito a taxa, porque um job em lote que satura o banco às duas da manhã ainda atinge quem estiver acordado.