O que faz um bom acionamento, e como você limparia uma escala de plantão barulhenta?

Um bom acionamento é urgente, acionável e ligado a impacto no usuário, com um link de runbook anexado. Qualquer outra coisa deveria ser um ticket ou um dashboard. Para limpar uma escala, puxe um mês de acionamentos, conte por alerta, e delete ou rebaixe qualquer coisa rotineiramente reconhecida sem nenhuma ação tomada. Substitua alertas baseados em causa por alertas de burn rate do SLO baseados em sintoma, e defina um orçamento de acionamentos por turno.

O meu teste é simples: precisa de um humano agora, esse humano consegue fazer algo a respeito, e um usuário se importa. Se qualquer um desses é não, é um ticket ou um gráfico, não um acionamento. Para a limpeza eu sempre começo pelos dados, então eu exporto um mês de acionamentos agrupados por regra de alerta e acrescento uma coluna com o que quem respondeu de fato fez. Da última vez que fiz isso, quatro regras respondiam por mais de 70% dos acionamentos e cada uma delas era resolvida com reconhecer e nenhuma ação. Essas foram deletadas, não ajustadas. Depois eu substituí uma parede de regras baseadas em causa, tipo disco em 80% e pod reiniciou, por alertas de burn rate sobre o SLO, então a gente aciona quando usuários estão sendo prejudicados a uma taxa que vai esgotar o orçamento de erro, e deixa as causas aparecerem nos dashboards durante a investigação. A gente definiu uma meta de menos de dois acionamentos por turno e tratava um estouro como um defeito com ticket, o que mantinha a coisa honesta.