cloud warehouse में partitioning और clustering में क्या फर्क है, और आप उन्हें कैसे चुनते हैं?

partitioning किसी table को भौतिक रूप से अलग हिस्सों में बांटती है, आम तौर पर date से, इसलिए filter वाली query पूरे partitions छांट देती है और कम डेटा scan करती है। clustering चुने हुए columns के हिसाब से storage के अंदर डेटा को sort करती है ताकि engine उन predicates पर blocks छोड़ सके। partition उस column पर करें जो लगभग हर WHERE clause में आता है, आम तौर पर event date; cluster उन high cardinality columns पर करें जिन पर लोग इसके बाद filter या join करते हैं।

partitioning मोटी और भौतिक चीज है: दिन के हिसाब से बांटिए, और पिछले हफ्ते पर filter की गई query पूरी table के बजाय सात partitions पढ़ेगी। clustering डेटा के अंदर बारीक ordering है ताकि engine हर block के लिए रखी min और max values के आधार पर blocks छोड़ सके। मेरा नियम यह है कि उस चीज पर partition करें जो लगभग हर query में है, जो लगभग हमेशा event या ingestion date होती है, फिर अगले एक दो predicates पर cluster करें, जैसे customer id या country। जो गड़बड़ी मैंने एक से ज्यादा बार सुधारी है वह है over partitioning। किसी ने customer id पर partition कर दिया, कुछ किलोबाइट वाले चालीस हजार partitions बन गए, और अकेली query planning उस scan से धीमी हो गई जिससे बचने की कोशिश हो रही थी। दूसरी आदत जो मैं रखता हूं वह है भरोसा करने के बजाय जांचना। BigQuery पर मैं dry run से पहले और बाद के bytes processed देखता हूं, क्योंकि अगर अनुमान गिरा नहीं तो pruning हो ही नहीं रही, और आम तौर पर इसकी वजह यह होती है कि filter partition column को किसी function में लपेट देता है।