Explique a diferença entre um broadcast join e um shuffle join, e como você faria o tuning deles.

Um shuffle join reparticiona os dois lados pela chave de join através da rede, para que chaves iguais caiam no mesmo executor, o que é caro. Um broadcast join envia a tabela menor inteira para cada executor, então o lado maior é unido localmente sem shuffle. Use broadcast quando o lado pequeno cabe com folga na memória do executor, ajuste o limite de auto broadcast e garanta que as estatísticas estão corretas para o planejador escolher direito.

Um shuffle join move os dois datasets pela rede para que linhas com a mesma chave terminem na mesma partição, o que significa serialização, spill em disco e muito tráfego de rede. Um broadcast join evita tudo isso enviando a tabela pequena para cada executor e fazendo um hash join local, então a tabela grande nunca se move. O planejador escolhe broadcast automaticamente quando acredita que um dos lados está abaixo do limite de auto broadcast, que por padrão fica em torno de 10MB, e a palavra acredita está fazendo todo o trabalho aí. Se as estatísticas estão desatualizadas ou a origem é um scan de arquivos sem estatísticas, ele vai errar, então eu rodo ANALYZE ou uso uma dica explícita de broadcast. O modo de falha vale conhecer: fazer broadcast de uma tabela que na verdade tem dois gigabytes coleta tudo pelo driver e mata o job. Para joins que repetíamos de hora em hora na mesma chave, aplicar bucketing nas tabelas por essa chave eliminou o shuffle de vez.