Votre service appelle une API tierce qui devient parfois lente. Comment configurez-vous le client pour que cela ne vous mette pas à terre ?

Fixez des délais explicites de connexion et de lecture sur le client, parce que plusieurs clients HTTP Java attendent indéfiniment par défaut, et ajoutez un délai global de requête. Bornez le pool de connexions pour cet hôte, ne réessayez que les appels idempotents avec backoff et jitter, et ajoutez un disjoncteur pour que des échecs durables échouent vite. Décidez le repli à l'avance : une valeur en cache, une réponse dégradée, ou une erreur claire plutôt qu'une requête qui pend.

Je pars du principe que les valeurs par défaut sont mauvaises, parce que plusieurs clients attendront volontiers pour toujours sur une lecture, et c'est exactement comme ça qu'une dépendance lente finit par garer tous les threads de mon service. Donc délai de connexion court, délai de lecture fondé sur leur vraie distribution de latence plutôt que sur un chiffre rond, et un délai global de requête par-dessus, puisque les reprises et les redirections peuvent s'empiler. Ensuite l'isolation : cette dépendance a son propre pool de connexions avec un maximum, pour que sa dégradation ne consomme pas toute la capacité dont les autres appels ont besoin. Des reprises uniquement sur les opérations idempotentes, plafonnées à deux tentatives avec backoff exponentiel et jitter, et un disjoncteur devant, pour qu'une fois le taux d'erreur au-dessus d'un seuil j'échoue immédiatement pendant une période de repos plutôt que d'empiler des requêtes sur quelque chose qui souffre déjà. La dernière pièce, c'est ce que l'utilisateur obtient, décidé à l'avance. Sur une intégration de tarifs d'expédition, nous servions des tarifs en cache avec un marqueur de fraîcheur plutôt que de faire échouer le paiement, et ça a transformé une panne fournisseur en un petit problème de précision au lieu de commandes perdues. Je le teste avec un proxy qui injecte des délais.