O que é alta cardinalidade num sistema de métricas, e como você mantém isso sob controle?

Cardinalidade é o número de combinações únicas de label de uma métrica, e cada combinação é uma série temporal separada mantida em memória. Colocar ids de usuário, ids de requisição, endereços de email ou caminhos de URL crus em labels pode criar milhões de séries e derrubar uma instância do Prometheus. Mantenha labels limitados e de baixa aridade, transforme segmentos dinâmicos de caminho em template, empurre o detalhe por requisição para logs ou traces, e imponha limites com relabeling e teto de amostras.

Toda combinação única de valores de label é a sua própria série temporal, com a sua própria pegada de memória e o seu próprio chunk em disco. Então no momento em que alguém adiciona user_id ou um caminho cru como label, você vai de algumas centenas de séries para milhões. A gente teve uma instância de Prometheus tomando OOM repetidamente e descobriu que um time tinha adicionado a URL completa, incluindo query string, como label no contador de requisições deles. A regra que eu uso é que o valor de um label tem que vir de um conjunto pequeno e fechado que você conseguiria escrever num quadro branco: método, classe de status, template do endpoint, região. Qualquer coisa sem limite vai para uma linha de log ou um atributo de span, onde o modelo de armazenamento foi feito para isso. Na prática eu imponho com metric_relabel_configs para descartar labels sabidamente ruins no momento do scrape, um limite de amostras por target para que um serviço não derrube a instância inteira, e uma revisão rápida sempre que uma métrica nova aparece num pull request.