Como você projetaria um rate limiter para uma API pública?

Escolha primeiro a dimensão do limite, geralmente a chave de API e não o IP, e aí escolha um algoritmo: token bucket para permitir rajadas, janela deslizante para imposição mais suave. Mantenha os contadores num store compartilhado como o Redis para toda instância concordar, usando incrementos atômicos com expiração. Devolva 429 com um header Retry After e a cota restante, e falhe aberto se o próprio limitador estiver indisponível, para ele não derrubar sua API.

Eu começo por qual é a unidade do limite, e para uma API pública isso é a chave de API, não o IP, porque clientes atrás de um NAT não deveriam derrubar uns aos outros. Depois o algoritmo. Token bucket é meu padrão, porque deixa o cliente estourar um pouco, o que combina com como integrações reais se comportam: elas acordam, disparam vinte requests, e depois ficam quietas por uma hora. Um log de janela deslizante é mais preciso mas guarda mais por chave. A parte importante é que o contador tem que ser compartilhado, porque se cada uma das minhas seis instâncias contar a própria conta o limite real é seis vezes o que eu anunciei, então Redis com incremento atômico e expiração, ou um script Lua pequeno quando eu preciso da checagem e do decremento juntos. Na rejeição eu devolvo 429 com Retry After e a cota restante nos headers, porque um cliente que consegue recuar direito para de me martelar. E eu falho aberto, já que um limitador que derruba a API fez mais mal do que o abuso que ele evitou.