Expliquez la différence entre une jointure par broadcast et une jointure par shuffle, et comment vous les régleriez.

Une jointure par shuffle repartitionne les deux côtés sur la clé de jointure à travers le réseau, pour que les clés correspondantes atterrissent sur le même executor, ce qui coûte cher. Une jointure par broadcast envoie la plus petite table en entier à chaque executor, si bien que le gros côté est joint localement, sans shuffle. Diffusez quand le petit côté tient confortablement en mémoire d'executor, réglez le seuil d'auto broadcast, et assurez-vous que les statistiques sont justes pour que le planificateur choisisse correctement.

Une jointure par shuffle déplace les deux jeux de données sur le réseau pour que les lignes de même clé finissent dans la même partition, ce qui veut dire sérialisation, débordement sur disque et beaucoup de trafic réseau. Une jointure par broadcast évite tout cela en expédiant la petite table à chaque executor et en faisant une jointure par hachage locale, si bien que la grosse table ne bouge jamais. Le planificateur choisit le broadcast automatiquement quand il croit qu'un côté est sous le seuil d'auto broadcast, par défaut autour de 10 Mo, et c'est le mot croit qui fait tout le travail. Si les statistiques sont périmées ou si la source est un scan de fichiers sans statistiques, il se trompera : je lance donc soit un ANALYZE, soit un hint de broadcast explicite. Le mode de défaillance vaut la peine d'être connu : diffuser une table qui fait en réalité deux gigaoctets la collecte via le driver et tue le job. Pour des jointures que nous répétions toutes les heures sur la même clé, bucketiser les tables sur cette clé a supprimé le shuffle définitivement.