Como particionamento e clustering diferem em um warehouse em nuvem, e como você os escolhe?

Particionamento divide uma tabela em pedaços fisicamente separados, normalmente por data, para que uma consulta filtrada elimine partições inteiras e escaneie menos dados. Clustering ordena os dados no armazenamento pelas colunas escolhidas, para que o motor consiga pular blocos com base nesses predicados. Particione pela coluna que aparece em quase todo WHERE, tipicamente a data do evento; faça clustering pelas colunas de alta cardinalidade que as pessoas filtram ou usam em joins logo depois.

Particionamento é grosso e físico: divide por dia, e uma consulta filtrada na última semana lê sete partições em vez da tabela inteira. Clustering é uma ordenação fina dentro dos dados, para que o motor consiga pular blocos com base nos valores mínimo e máximo que ele guarda por bloco. Minha regra é particionar pela coisa que está em quase toda consulta, que quase sempre é uma data de evento ou de ingestão, e depois fazer clustering pelo próximo um ou dois predicados, como id de cliente ou país. A falha que eu já limpei mais de uma vez é particionamento excessivo. Alguém particionou por id de cliente, acabou com quarenta mil partições de poucos kilobytes cada, e só o planejamento da consulta ficou mais lento do que o escaneamento que ele tentava evitar. O outro hábito que eu mantenho é verificar em vez de confiar. No BigQuery eu checo os bytes processados antes e depois com um dry run, porque se a estimativa não cai, a poda não está acontecendo, geralmente porque o filtro envolve a coluna de partição dentro de uma função.