broadcast join और shuffle join का फर्क समझाएं, और बताएं कि आप उन्हें कैसे tune करेंगे।

shuffle join दोनों साइड को join key के हिसाब से नेटवर्क पर दोबारा partition करता है ताकि मिलती जुलती keys एक ही executor पर उतरें, जो महंगा पड़ता है। broadcast join छोटी table पूरी की पूरी हर executor को भेज देता है, इसलिए बड़ी साइड बिना shuffle के वहीं locally join हो जाती है। broadcast तब करें जब छोटी साइड executor memory में आराम से समा जाए, auto broadcast threshold tune करें, और पक्का करें कि statistics सही हों ताकि planner सही चुनाव करे।

shuffle join दोनों datasets को नेटवर्क पर घुमाता है ताकि एक ही key वाली rows एक ही partition में पहुंचें, यानी serialization, disk spill और खूब सारा network traffic। broadcast join यह सब टाल देता है, छोटी table हर executor को भेजकर वहीं local hash join कर लेता है, इसलिए बड़ी table हिलती ही नहीं। planner अपने आप broadcast चुनता है जब उसे लगता है कि एक साइड auto broadcast threshold से नीचे है, जिसका डिफॉल्ट करीब 10MB है, और यहां असली काम 'लगता है' शब्द कर रहा है। अगर statistics पुराने हैं या source बिना stats वाला file scan है, तो वह गलत चुनेगा, इसलिए मैं या तो ANALYZE चलाता हूं या साफ broadcast hint देता हूं। failure mode जानने लायक है: जो table असल में दो गीगाबाइट है उसे broadcast करने पर वह driver के जरिए इकट्ठी होती है और job को मार देती है। जो joins हम हर घंटे उसी key पर दोहराते थे, उनके लिए tables को उस key पर bucket करने से shuffle हमेशा के लिए हट गया।