किसी public API के लिए आप rate limiter कैसे डिजाइन करेंगे?

पहले तय कीजिए कि सीमा किस चीज पर लगेगी, आम तौर पर IP नहीं बल्कि API key पर, फिर algorithm चुनिए: bursts की छूट देने के लिए token bucket, ज्यादा समान लागू करने के लिए sliding window। counters को Redis जैसे साझा store में रखिए ताकि हर इंस्टेंस एक ही बात माने, atomic increments और expiry के साथ। Retry After header और बची हुई quota के साथ 429 लौटाइए, और अगर limiter खुद उपलब्ध न हो तो fail open कीजिए ताकि वह आपके API को न गिरा दे।

मैं इससे शुरू करता हूं कि सीमा किस हिसाब से लगेगी, और public API के लिए वह API key है, IP नहीं, क्योंकि एक ही NAT के पीछे बैठे कस्टमर एक दूसरे को बाहर नहीं कर देने चाहिए। फिर algorithm। token bucket मेरा डिफॉल्ट है, क्योंकि वह client को थोड़ा burst करने देता है, जो असली integrations के व्यवहार से मेल खाता है: वे जागते हैं, बीस requests भेजते हैं, फिर घंटे भर चुप रहते हैं। sliding window log ज्यादा सटीक है लेकिन हर key पर ज्यादा जगह लेता है। अहम बात यह है कि counter साझा होना चाहिए, क्योंकि अगर मेरे छहों इंस्टेंस अपना अपना count रखेंगे तो असली सीमा वह हो जाएगी जो मैंने बताई थी उससे छह गुना, तो Redis के साथ atomic increment और expiry, या जब चेक और decrement एक साथ चाहिए तो एक छोटी Lua स्क्रिप्ट। मना करते वक्त मैं 429 लौटाता हूं, headers में Retry After और बची हुई quota के साथ, क्योंकि जो client ठीक से पीछे हट सकता है वह मुझे पीटना बंद कर देता है। और मैं fail open करता हूं, क्योंकि जो limiter API को ही गिरा दे उसने उस दुरुपयोग से ज्यादा नुकसान किया जिसे वह रोक रहा था।