Gradiente y retropropagación

Objetivo: entender cómo un error final se convierte en una corrección local.

El gradiente reúne las derivadas de la pérdida respecto a los parámetros. Su componente ∂L/∂w_i indica cómo un pequeño aumento del peso w_i haría variar la pérdida.

La regla de la cadena

Si L depende de a, que depende de z, que depende de w:

text

∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w

La retropropagación aplica eficientemente esta regla desde la pérdida hacia cada parámetro del grafo. No constituye el optimizador: calcula los gradientes; el optimizador decide después la actualización.

python

optimizer.zero_grad()  # borrar los gradientes anteriores
logits = model(x)
loss = criterion(logits, y)
loss.backward()        # calcular los gradientes
optimizer.step()       # modificar los parámetros