Como você faz uma chamada a uma dependência que pode estar lenta ou fora do ar?

Defina um timeout explícito em toda chamada, menor que o prazo do próprio chamador, e nunca confie no padrão da biblioteca cliente. Repita apenas operações idempotentes, com backoff exponencial mais jitter e um número pequeno e limitado de tentativas. Adicione um circuit breaker para que falhas repetidas falhem rápido em vez de enfileirar, e defina como é o modo degradado: um valor em cache, uma resposta parcial ou um erro claro em vez de uma requisição pendurada.

A primeira coisa é um timeout em toda chamada de saída, escolhido a partir da distribuição de latência e não no chute, e sempre menor que o prazo que me foi dado, para eu falhar antes de quem me chamou desistir. Eu propago esse prazo restante para baixo, senão o trabalho continua numa requisição que ninguém está esperando. Retries só se aplicam a chamadas idempotentes, e mesmo assim com backoff exponencial e jitter, limitados a duas ou três tentativas. O motivo do limite é a amplificação: se cada camada tenta três vezes, uma oscilação lá embaixo vira uma ordem de grandeza a mais de carga, e é assim que uma dependência lenta vira uma queda completa. Por isso eu também gosto de um orçamento de retry, em que os retries ficam limitados a uma pequena porcentagem do total de requisições. Um circuit breaker fica por cima, para que assim que as falhas passem de um limite eu falhe imediatamente por um período de descanso e sonde de vez em quando, o que me impede de empilhar requisições em cima de algo que já está sofrendo. E eu decido de antemão o que significa degradado; num serviço de precificação nós servíamos o último preço em cache com uma marcação de desatualizado em vez de derrubar o checkout.