Un service qui allait bien hier a maintenant une latence p99 de quatre secondes. Comment le déboguez-vous ?

Délimitez d'abord : tous les endpoints ou un seul, tous les utilisateurs ou un seul locataire, et à quel moment exact ça a commencé. Alignez cet horodatage sur les déploiements, les bascules de flags et les changements de trafic. Ensuite descendez avec la télémétrie que vous avez déjà : les traces pour trouver le span qui a grossi, les logs de requêtes lentes de la base, la saturation du pool de connexions, le CPU et la mémoire des machines. Atténuez d'abord, que ce soit un retour arrière ou du délestage, et cherchez la cause racine ensuite.

D'abord je veux des bornes, parce qu'elles réduisent vite l'espace de recherche. Est-ce un endpoint ou tous, une région, un locataire, et à quelle heure ça a commencé ? Ensuite j'aligne cet horodatage sur les déploiements, les bascules de feature flags et les changements de configuration, parce que la plupart du temps quelque chose a changé et la réponse est juste là. Si rien n'a changé de notre côté, je vais aux traces et je trouve quel span a grossi, ce qui me dit immédiatement si c'est nous, la base ou un appel en aval. La base est le suspect habituel : une requête qui allait bien à un million de lignes cesse d'aller bien à dix millions, ou un index manque, ou le pool est saturé et le temps est passé à attendre une connexion plutôt qu'à exécuter la requête. Ce dernier cas est sournois parce que chaque requête a encore l'air rapide isolément. Et pendant que je fais tout ça, s'il y a une atténuation évidente comme revenir sur le dernier déploiement, je la prends d'abord. Les clients se soucient de la latence, pas de mon explication.