Wie würdest du einen Endpunkt bauen, der Daten von drei langsamen Upstream-Services braucht?

Ruf sie nebenläufig statt nacheinander auf. In einem async Framework startest du alle drei mit asyncio.gather oder einer Task Group, sodass die Gesamtlatenz der langsamste Aufruf ist und nicht die Summe. Gib jedem Aufruf ein Timeout, entscheide, welche Antworten optional sind, damit du degradieren statt scheitern kannst, und cache, was stabil ist. Verträgt der Client es, gib stattdessen eine Job-ID zurück.

Nacheinander addieren sich diese drei Latenzen, der erste Zug ist also, sie zusammen laufen zu lassen. Mit httpx und einem async Handler sammle ich die drei Coroutines mit gather ein, oder nehme eine Task Group, damit ein Fehler die Geschwister sauber abbricht, und der Endpunkt kostet dann etwa den langsamsten Upstream statt der Summe. Jeder Aufruf bekommt ein explizites Timeout, denn der Default in den meisten Clients ist praktisch unendlich und ein hängender Socket erschöpft den Worker-Pool. Dann entscheide ich, was essenziell ist. Sind zwei von dreien Dekoration, sammle ich Exceptions ein statt zu werfen und rendere die Seite ohne sie, statt einen Fünfhunderter zu liefern, und ich emittiere eine Metrik, damit wir es trotzdem mitbekommen. Alles Stabile wird gecacht, denn selbst sechzig Sekunden Caching nehmen den Großteil der Last weg. Verträgt der Client es, ist die bessere Form, den Request anzunehmen, die Arbeit in eine Queue zu legen und eine Job-ID zum Pollen zurückzugeben, was die Upstream-Latenz komplett vom Request-Pfad nimmt.