Erklär den Unterschied zwischen einem Broadcast Join und einem Shuffle Join und wie du sie tunen würdest.

Ein Shuffle Join repartitioniert beide Seiten nach dem Join-Key über das Netzwerk, damit passende Keys auf demselben Executor landen, und das ist teuer. Ein Broadcast Join schickt die kleinere Tabelle vollständig an jeden Executor, sodass die größere Seite lokal gejoint wird, ganz ohne Shuffle. Broadcaste, wenn die kleine Seite bequem in den Executor-Speicher passt, tune den Auto-Broadcast-Schwellwert und sorg dafür, dass die Statistiken stimmen, damit der Planner richtig wählt.

Ein Shuffle Join bewegt beide Datensätze über das Netzwerk, damit Zeilen mit gleichem Key in derselben Partition landen, das bedeutet Serialisierung, Spill auf Disk und viel Netzwerkverkehr. Ein Broadcast Join vermeidet das alles, indem er die kleine Tabelle an jeden Executor schickt und einen lokalen Hash Join macht, sodass die große Tabelle nie bewegt wird. Der Planner wählt automatisch Broadcast, wenn er glaubt, dass eine Seite unter dem Auto-Broadcast-Schwellwert liegt, der standardmäßig bei etwa 10MB liegt, und das Wort glaubt trägt hier viel Gewicht. Sind die Statistiken veraltet oder ist die Quelle ein File Scan ohne Stats, liegt er falsch, also fahre ich entweder ANALYZE oder setze einen expliziten Broadcast-Hint. Der Failure Mode lohnt sich zu kennen: eine Tabelle zu broadcasten, die in Wahrheit zwei Gigabyte hat, sammelt sie über den Driver ein und killt den Job. Für Joins, die wir stündlich auf demselben Key wiederholt haben, hat Bucketing der Tabellen auf diesem Key den Shuffle dauerhaft beseitigt.