¿En qué se diferencian el particionado y el clustering en un warehouse en la nube, y cómo los eliges?

El particionado divide una tabla en trozos físicamente separados, normalmente por fecha, de modo que una consulta filtrada poda particiones enteras y escanea menos datos. El clustering ordena los datos dentro del almacenamiento por las columnas elegidas para que el motor pueda saltarse bloques con esos predicados. Particiona por la columna que aparece en casi todos los WHERE, típicamente la fecha del evento; haz clustering sobre las columnas de alta cardinalidad por las que la gente filtra o une después.

El particionado es grueso y físico: divides por día y una consulta filtrada a la última semana lee siete particiones en vez de la tabla entera. El clustering es un orden de grano fino dentro de los datos para que el motor pueda saltarse bloques según los valores mínimo y máximo que guarda por bloque. Mi regla es particionar por aquello que aparece en casi todas las consultas, que casi siempre es una fecha de evento o de ingesta, y luego hacer clustering sobre el siguiente uno o dos predicados, como id de cliente o país. El fallo que he limpiado más de una vez es el exceso de particiones. Alguien particionó por id de cliente, acabó con cuarenta mil particiones de unos pocos kilobytes cada una, y solo la planificación de la consulta se volvió más lenta que el escaneo que intentaba evitar. La otra costumbre que mantengo es verificar en lugar de confiar. En BigQuery compruebo los bytes procesados antes y después con un dry run, porque si la estimación no baja, la poda no está ocurriendo, normalmente porque el filtro envuelve la columna de partición en una función.