¿Qué es la cardinalidad alta en un sistema de métricas y cómo la mantienes bajo control?

La cardinalidad es el número de combinaciones únicas de etiquetas de una métrica, y cada combinación es una serie temporal distinta guardada en memoria. Meter ids de usuario, ids de petición, direcciones de correo o rutas de URL en crudo en las etiquetas puede crear millones de series y tumbar una instancia de Prometheus. Mantén las etiquetas acotadas y de baja aridad, plantilla los segmentos dinámicos de las rutas, empuja el detalle por petición a logs o trazas, e impón límites con relabeling y topes de muestras.

Cada combinación única de valores de etiqueta es su propia serie temporal, con su huella de memoria y su bloque en disco. Así que en cuanto alguien añade user_id o una ruta en crudo como etiqueta, pasas de unos cientos de series a millones. Tuvimos una instancia de Prometheus quedándose sin memoria una y otra vez, y resultó que un equipo había añadido la URL completa, con query string incluida, como etiqueta de su contador de peticiones. La regla que uso es que el valor de una etiqueta tiene que venir de un conjunto pequeño y cerrado que podrías escribir en una pizarra: método, clase de estado, plantilla del endpoint, región. Todo lo no acotado se va a una línea de log o a un atributo de span, donde el modelo de almacenamiento está diseñado para eso. En la práctica lo impongo con metric_relabel_configs para descartar etiquetas malas conocidas en el momento del scrape, un límite de muestras por objetivo para que un servicio no pueda tumbar la instancia entera, y una revisión rápida cada vez que aparece una métrica nueva en un pull request.