Descente de gradient et optimiseurs

Objectif : régler l'optimisation sans confondre vitesse d'apprentissage et qualité.

La descente de gradient met à jour les paramètres dans la direction opposée au gradient :

θ ← θ - η ∇L(θ)

η est le taux d'apprentissage. Trop petit : progression lente ou stagnation. Trop grand : oscillation, divergence ou NaN.

Les principaux optimiseurs

• SGD : mise à jour directe ; simple et souvent très bonne généralisation.
• Momentum : moyenne les directions récentes et réduit les oscillations.
• Adam : adapte le pas par paramètre ; baseline efficace et rapide.
• AdamW : découple correctement le weight decay ; très utilisé avec Transformers.

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-2)