Entraînement distribué et fédéré

1. Quel est le batch global pour 8 workers de batch 32 sans accumulation ?
2. À quoi sert un all-reduce des gradients ?
3. Pourquoi le scheduler dépend-il du nombre de workers ?
4. Quelle différence clé sépare DDP et apprentissage fédéré ?
5. [E] Quel contrôle valide un passage distribué ?

Réponses. 1. 256. 2. À donner le même gradient agrégé aux répliques. 3. Le nombre de mises à jour ou le batch global peut changer. 4. Les clients fédérés sont séparés, partiels et souvent non-IID. 5. Une comparaison mono-worker sur données et batch global équivalents.

Activité — Équivalence à un worker

Calculez le batch global pour 8 workers, batch local 32 et accumulation 2. Écrivez ensuite un test comparant une mise à jour mono-worker et distribuée sur les mêmes données. Réussite : écart numérique expliqué, graines et ordre d'échantillonnage consignés.