आपका warehouse बिल तीन महीनों में दोगुना हो गया। आप उसे कैसे नीचे लाएंगे?

काटने से पहले नापें। query history को user, tool और warehouse के हिसाब से निकालें ताकि पता चले खर्च असल में कहां है, क्योंकि आम तौर पर वह कुछ गिनी चुनी queries या बहुत ज्यादा refresh होता कोई dashboard होता है। फिर सबसे ऊपर वाली चीजों पर हमला करें: partition filters जोड़ें, बार बार दोहराए जाने वाले भारी joins को materialize करें, dashboard की refresh दर घटाएं, compute को सही आकार दें और auto suspend लगाएं, और scratch tables पर expiry सेट करें।

पहले मैं डेटा निकालता हूं, क्योंकि हर किसी के पास एक थ्योरी होती है और थ्योरी आम तौर पर गलत होती है। हर बड़ा warehouse query history देता है जिसमें bytes scanned या credits consumed होते हैं, इसलिए मैं पिछले महीने का डेटा user, service account और warehouse के हिसाब से जोड़ता हूं और कुल लागत से sort करता हूं। जो pattern मुझे बार बार मिलता है वह यह है कि गिनी चुनी चीजें ही हावी होती हैं। पिछली बार 40% खर्च एक BI dashboard का था जो raw event table पर हर पंद्रह मिनट में refresh हो रहा था, करीब छह लोगों के लिए, जिनमें से कोई भी उसे दिन में एक बार से ज्यादा नहीं देखता था। उसे घंटे में एक बार refresh होने वाली pre aggregated table पर ले जाने भर से बिल एक तिहाई से ज्यादा गिर गया। उसके बाद वही जानी पहचानी सूची है: partition filter छोड़ देने वाली queries, बहुत चौड़ी tables पर SELECT star, जल्दबाजी में XL आकार दिए गए warehouses, और auto suspend न होने से रात भर खाली चलते रहना। फिर guardrails, यानी query timeouts, per user byte limits, और एक cost dashboard जो टीम सचमुच हर हफ्ते देखती हो।