Entrenamiento distribuido y federado

1. ¿Cuál es el batch global para 8 workers de batch 32 sin acumulación?
2. ¿Para qué sirve un all-reduce de los gradientes?
3. ¿Por qué el scheduler depende del número de workers?
4. ¿Qué diferencia clave separa DDP y aprendizaje federado?
5. [E] ¿Qué control valida un paso a distribuido?

Respuestas. 1. 256. 2. Para dar el mismo gradiente agregado a las réplicas. 3. El número de actualizaciones o el batch global puede cambiar. 4. Los clientes federados están separados, son parciales y a menudo no IID. 5. Una comparación con un solo worker sobre datos y batch global equivalentes.

Actividad — Equivalencia con un worker

Calcula el batch global para 8 workers, batch local 32 y acumulación 2. Escribe después una prueba que compare una actualización con un solo worker y una distribuida sobre los mismos datos. Éxito: brecha numérica explicada, semillas y orden de muestreo registrados.