Comment construiriez-vous un endpoint qui a besoin de données venant de trois services amont lents ?

Appelez-les en parallèle plutôt qu'en séquence. Dans un framework asynchrone, lancez les trois avec asyncio.gather ou un task group pour que la latence totale soit celle de l'appel le plus lent, pas la somme. Mettez un timeout sur chaque appel, décidez quelles réponses sont optionnelles pour pouvoir dégrader au lieu d'échouer, et mettez en cache ce qui est stable. Si le client peut le tolérer, renvoyez plutôt un identifiant de tâche.

En séquence ces trois latences s'additionnent, donc le premier geste est de les lancer ensemble. Avec httpx et un handler asynchrone je fais un gather des trois coroutines, ou j'utilise un task group pour qu'un échec annule proprement les autres, et l'endpoint coûte alors à peu près l'amont le plus lent au lieu de la somme. Chaque appel reçoit un timeout explicite, parce que la valeur par défaut de la plupart des clients revient à l'infini et qu'un seul socket bloqué épuisera le pool de workers. Ensuite je décide ce qui est essentiel. Si deux des trois sont décoratifs, je collecte les exceptions au lieu de les lever et j'affiche la page sans eux plutôt que de renvoyer une cinq cents, et j'émets une métrique pour qu'on sache quand même que c'est arrivé. Tout ce qui est stable va en cache, puisque même soixante secondes de cache enlèvent l'essentiel de la charge. Si le client le tolère, la meilleure forme est d'accepter la requête, de mettre le travail en file et de renvoyer un identifiant de tâche à interroger, ce qui sort complètement la latence amont du chemin de requête.