Como você faria o profiling de um serviço Python que ficou mais lento depois de um release?

Comece estreitando para onde o tempo vai antes de tocar em código. Compare o diff do release, olhe tracing ou métricas de tempo para achar o endpoint lento, e aí faça profiling daquele caminho com cProfile ou py-spy, que consegue amostrar um processo vivo sem restart. Olhe tempo cumulativo para achar a chamada responsável, forme uma hipótese, mude uma coisa e meça de novo.

A primeira pergunta é o que de fato mudou, porque um release me dá uma lista curta de suspeitos. Depois eu quero números, não opiniões, então spans de tracing ou tempo por endpoint me dizem qual rota regrediu e se o tempo está no banco, numa chamada upstream ou no próprio processo. Se está no processo, o py-spy é o meu primeiro recurso porque ele se anexa a um container rodando e amostra sem restart, então eu consigo perfilar a carga real de produção em vez de uma sintética. Um flame graph normalmente deixa óbvio. Para um caso local reproduzível eu uso cProfile e ordeno por tempo cumulativo, já que o tempo próprio esconde o chamador que é o verdadeiro responsável. Um cuidado: fazer profiling altera a temporização, então eu nunca confio nos números absolutos dele, só na forma relativa. Aí eu mudo exatamente uma coisa e meço de novo. Da última vez que fiz isso o culpado era um serializer novo fazendo uma cópia profunda por linha, e matar essa cópia levou o endpoint de quatrocentos milissegundos de volta para noventa.