Comment ajouteriez-vous une couche de cache devant un endpoint à forte lecture sans servir des données trop anciennes ?

Prenez le TTL le plus court qui change encore la donne, puis invalidez à l'écriture en supprimant ou en écrasant la clé dans le chemin qui modifie la ligne. Indexez sur toutes les entrées qui changent le résultat, y compris le locataire et une version de schéma. Ajoutez un verrou single flight pour qu'un manque ne provoque pas une ruée sur la base. Acceptez une obsolescence explicite là où elle est inoffensive, et suivez le taux de hit pour savoir que ça marche.

Avant d'ajouter quoi que ce soit, je regarde si la requête ne peut pas simplement être rendue rapide, parce qu'un cache devant une mauvaise requête cache le problème jusqu'au moment où le cache rate au pire moment. En supposant que ce soit vraiment à forte lecture, je pars sur du cache aside dans Redis. La clé contient l'identifiant du locataire, les vrais paramètres de la requête, et un préfixe de version que je peux incrémenter au déploiement pour qu'une forme de réponse modifiée ne soit jamais servie depuis d'anciennes entrées. Le TTL est le filet de sécurité et non le mécanisme : j'invalide explicitement à l'écriture, dans le même chemin de code qui met à jour la ligne, donc la fenêtre d'obsolescence se compte en millisecondes dans le cas normal. Le mode de défaillance que j'anticipe, c'est la ruée, quand une clé chaude expire et que deux cents requêtes ratent toutes et tapent la base en même temps, donc j'utilise un verrou single flight et les perdants attendent le gagnant. Ensuite j'exporte le taux de hit comme métrique, parce qu'un cache passé de 95 pour cent à 10 après un refactoring passe inaperçu jusqu'à ce que la base s'écroule.