La facture de votre entrepôt a doublé en trois mois. Comment la faites-vous baisser ?

Mesurez avant de couper. Sortez l'historique des requêtes groupé par utilisateur, par outil et par entrepôt pour trouver où part vraiment la dépense, puisqu'il s'agit en général d'un petit nombre de requêtes ou d'un tableau de bord qui se rafraîchit beaucoup trop souvent. Puis attaquez le haut du classement : ajoutez des filtres de partition, matérialisez les grosses jointures répétées, réduisez la fréquence de rafraîchissement des tableaux de bord, dimensionnez correctement le calcul avec suspension automatique, et posez une expiration sur les tables de travail.

Je commence par récupérer les données, parce que tout le monde a une théorie et que la théorie est en général fausse. Tous les grands entrepôts exposent un historique de requêtes avec les octets scannés ou les crédits consommés : je groupe donc par utilisateur, par compte de service et par entrepôt sur le dernier mois, et je trie par coût total. Le schéma que je retrouve, c'est qu'une poignée de choses domine. La dernière fois, 40% de la dépense venait d'un tableau de bord BI qui se rafraîchissait toutes les quinze minutes sur une table d'événements bruts, pour un public d'environ six personnes, dont aucune ne le consultait plus d'une fois par jour. Le basculer sur une table pré-agrégée rafraîchie toutes les heures a coupé la facture de plus d'un tiers à lui seul. Ensuite vient la liste habituelle : requêtes sans filtre de partition, SELECT star sur des tables très larges, entrepôts dimensionnés en XL parce que quelqu'un était pressé, et pas de suspension automatique, donc ils tournent à vide toute la nuit. Puis les garde-fous : délais d'expiration de requête, limites d'octets par utilisateur, et un tableau de bord de coûts que l'équipe regarde vraiment chaque semaine.