Tutoriels shuffle

2 tutoriels en accès libre sur shuffle : guides techniques, sans compte.

Joins en Spark : broadcast, shuffle et skew

Un join qui met une heure au lieu de trois minutes, c’est la stratégie choisie. Broadcast, sort-merge, skew : quand chacun s’applique et comment forcer.

6 minsparkscalajoinshufflebig-data

Partitions et shuffle en Spark : bien les régler

Vos jobs tournent avec 200 partitions par défaut, et c’est presque toujours faux. La règle des 128 Mo, repartition, coalesce et l’AQE de Spark 3.

6 minsparkscalapartitionsshufflebig-data