एक लोकप्रिय cache key expire होती है और सैकड़ों requests एक साथ डेटाबेस पर टूट पड़ती हैं। आप इसे कैसे रोकेंगे?

stampede को single flight से रोकें: जो पहली request miss करे वह एक छोटा lock लेकर दोबारा हिसाब लगाती है, बाकी थोड़ी देर इंतज़ार करती हैं या पुरानी value दे देती हैं। इसके साथ stale while revalidate रखें, ताकि expire हो चुकी entry तब भी दी जाती रहे जब पीछे refresh चल रहा हो, और time to live values में jitter डालें ताकि एक साथ बनी keys एक साथ expire न हों। जिन keys के hot होने का पता है, उन्हें expiry से पहले ही सक्रिय होकर refresh करें।

पैटर्न एक thundering herd है: एक hot key expire होती है और उसी पल हर समानांतर request miss कर जाती है, तो सब वही महंगी query चला देती हैं। असली फिक्स single flight है, जहां पहला miss उस key पर एक छोटी उम्र वाला lock लेकर काम करता है, और बाकी सब या तो नतीजे का इंतज़ार करते हैं या पल भर के लिए पुरानी value पा जाते हैं। इसके साथ मैं soft expiry रखता हूं: value के अंदर एक logical refresh time रखता हूं और असली time to live लंबा रखता हूं, ताकि refresh time पार कर चुकी entry तब भी परोसी जाती रहे जब एक worker पीछे उसे दोबारा बना रहा हो। यूज़र को वह latency दिखती ही नहीं। फिर jitter, क्योंकि अगर कोई deploy एक हज़ार keys को उसी पांच मिनट वाले time to live से गर्म कर दे तो वे साथ expire होंगी और मुझे पूरे cache पर एक साथ stampede मिलेगा। इसके बाद जो बड़ा सवाल आता है वह यह कि cache पूरी तरह खाली हो जाए तो क्या होगा, किसी restart या failover के बाद। मैं चाहता हूं कि डेटाबेस उसे झेल जाए, इसलिए मैं कम से कम एक बार cache बंद करके load test करता हूं।