Gradient et rétropropagation

Objectif : comprendre comment une erreur finale devient une correction locale.

Le gradient rassemble les dérivées de la perte par rapport aux paramètres. Sa composante ∂L/∂w_i indique comment une petite augmentation du poids w_i ferait varier la perte.

La règle de chaîne

Si L dépend de a, qui dépend de z, qui dépend de w :

text

∂L/∂w = ∂L/∂a × ∂a/∂z × ∂z/∂w

La rétropropagation applique efficacement cette règle depuis la perte vers chaque paramètre du graphe. Elle ne constitue pas l'optimiseur : elle calcule les gradients ; l'optimiseur décide ensuite de la mise à jour.

python

optimizer.zero_grad()  # effacer les gradients précédents
logits = model(x)
loss = criterion(logits, y)
loss.backward()        # calculer les gradients
optimizer.step()       # modifier les paramètres