Uma chave de cache popular expira e centenas de requisições batem no banco ao mesmo tempo. Como você evita isso?

Evite a estampida com single flight: a primeira requisição que der miss pega um lock curto e recalcula enquanto as outras esperam um instante ou servem o valor antigo. Combine isso com stale while revalidate, para que uma entrada expirada ainda seja servida enquanto uma atualização roda em segundo plano, e adicione jitter aos tempos de vida para que chaves criadas juntas não expirem juntas. Para chaves quentes conhecidas, atualize proativamente antes da expiração.

O padrão é uma manada: uma chave quente expira e todas as requisições concorrentes dão miss no mesmo instante, então todas rodam a mesma query cara. A correção central é single flight, em que o primeiro miss adquire um lock de vida curta na chave e faz o trabalho, e todos os outros ou esperam pelo resultado ou recebem o valor antigo por um momento. Eu combino isso com expiração suave: guardo um tempo lógico de atualização dentro do valor e mantenho o tempo de vida rígido mais longo, então uma entrada passada do tempo de atualização ainda é servida enquanto um worker recalcula em segundo plano. Os usuários nunca sentem a latência. Depois o jitter, porque se um deploy aquece mil chaves com o mesmo tempo de vida de cinco minutos, elas expiram juntas e eu recebo a estampida no cache inteiro de uma vez. A pergunta maior que vem depois é o que acontece quando o cache está completamente vazio, depois de um restart ou um failover. Eu quero que o banco sobreviva a isso, então faço teste de carga com o cache desligado pelo menos uma vez.