Descenso de gradiente y optimizadores

Objetivo: ajustar la optimización sin confundir velocidad de aprendizaje y calidad.

El descenso de gradiente actualiza los parámetros en la dirección opuesta al gradiente:

θ ← θ - η ∇L(θ)

η es la tasa de aprendizaje. Demasiado pequeña: progresión lenta o estancamiento. Demasiado grande: oscilación, divergencia o NaN.

Los principales optimizadores

• SGD: actualización directa; simple y a menudo con muy buena generalización.
• Momentum: promedia las direcciones recientes y reduce las oscilaciones.
• Adam: adapta el paso por parámetro; baseline eficaz y rápida.
• AdamW: desacopla correctamente el weight decay; muy utilizado con Transformers.

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-2)