Como você construiria um endpoint que precisa de dados de três serviços upstream lentos?

Chame os três concorrentemente em vez de em sequência. Num framework async, dispare os três com asyncio.gather ou um task group para a latência total ser a da chamada mais lenta, não a soma. Dê timeout a cada chamada, decida quais respostas são opcionais para poder degradar em vez de falhar, e faça cache do que for estável. Se o cliente tolerar, devolva um id de job.

Em sequência aquelas três latências somam, então o primeiro movimento é rodar juntas. Com httpx e um handler async eu junto as três corrotinas num gather, ou uso um task group para uma falha cancelar as irmãs de forma limpa, e aí o endpoint custa aproximadamente o upstream mais lento em vez da soma. Toda chamada ganha um timeout explícito, porque o padrão na maioria dos clientes é efetivamente infinito e um socket travado vai esgotar o pool de workers. Depois eu decido o que é essencial. Se dois dos três são enfeite, eu coleto exceções em vez de levantar e renderizo a página sem eles em vez de devolver um quinhentos, e emito uma métrica para a gente saber que aconteceu. Qualquer coisa estável ganha cache, já que mesmo sessenta segundos de cache tiram a maior parte da carga. Se o cliente tolerar, o formato melhor é aceitar o request, enfileirar o trabalho e devolver um id de job para consultar, o que tira a latência dos upstreams do caminho do request por completo.