Explica la diferencia entre un broadcast join y un shuffle join, y cómo los ajustarías.

Un shuffle join reparticiona ambos lados por la clave de join a través de la red para que las claves coincidentes caigan en el mismo executor, lo cual es caro. Un broadcast join envía la tabla más pequeña entera a cada executor, así que el lado grande se une localmente sin shuffle. Haz broadcast cuando el lado pequeño quepa con holgura en la memoria del executor, ajusta el umbral de auto broadcast y asegúrate de que las estadísticas son correctas para que el planificador elija bien.

Un shuffle join mueve ambos conjuntos de datos por la red para que las filas con la misma clave acaben en la misma partición, lo que implica serialización, volcado a disco y mucho tráfico de red. Un broadcast join evita todo eso enviando la tabla pequeña a cada executor y haciendo un hash join local, así que la tabla grande nunca se mueve. El planificador elige broadcast automáticamente cuando cree que un lado está por debajo del umbral de auto broadcast, que por defecto ronda los 10MB, y la palabra clave ahí es cree. Si las estadísticas están desactualizadas o el origen es un escaneo de ficheros sin estadísticas, se equivocará, así que o ejecuto ANALYZE o uso una hint explícita de broadcast. El modo de fallo merece conocerse: hacer broadcast de una tabla que en realidad pesa dos gigabytes la recolecta a través del driver y mata el job. Para joins que repetíamos cada hora sobre la misma clave, hacer bucketing de las tablas por esa clave eliminó el shuffle de forma permanente.