En quoi le partitionnement et le clustering diffèrent-ils dans un entrepôt cloud, et comment les choisissez-vous ?

Le partitionnement découpe une table en morceaux physiquement séparés, en général par date, si bien qu'une requête filtrée élague des partitions entières et scanne moins de données. Le clustering trie les données dans le stockage selon des colonnes choisies, pour que le moteur puisse sauter des blocs sur ces prédicats. Partitionnez sur la colonne qui apparaît dans presque toutes les clauses WHERE, en général la date d'événement ; clusterisez sur les colonnes à forte cardinalité que les gens filtrent ou joignent ensuite.

Le partitionnement est grossier et physique : découpez par jour, et une requête filtrée sur la semaine dernière lit sept partitions au lieu de toute la table. Le clustering est un ordonnancement fin à l'intérieur des données, pour que le moteur puisse sauter des blocs en s'appuyant sur les valeurs min et max qu'il stocke par bloc. Ma règle : partitionner sur ce qui est présent dans presque toutes les requêtes, presque toujours une date d'événement ou d'ingestion, puis clusteriser sur le ou les deux prédicats suivants, comme l'identifiant client ou le pays. L'échec que j'ai nettoyé plus d'une fois, c'est le sur-partitionnement. Quelqu'un avait partitionné par identifiant client, s'est retrouvé avec quarante mille partitions de quelques kilo-octets chacune, et la planification des requêtes à elle seule est devenue plus lente que le scan qu'elle cherchait à éviter. L'autre habitude que je garde, c'est de vérifier plutôt que de faire confiance. Sur BigQuery, je regarde les octets traités avant et après avec un dry run, parce que si l'estimation ne baisse pas, l'élagage n'a pas lieu, en général parce que le filtre enveloppe la colonne de partition dans une fonction.