Descida de gradiente e otimizadores

Objetivo: ajustar a otimização sem confundir velocidade de aprendizado e qualidade.

A descida do gradiente atualiza os parâmetros na direção oposta ao gradiente:

θ ← θ - η ∇L(θ)

η é a taxa de aprendizado. Pequena demais: progressão lenta ou estagnação. Grande demais: oscilação, divergência ou NaN.

Os principais otimizadores

• SGD: atualização direta; simples e frequentemente com muito boa generalização.
• Momentum: faz a média das direções recentes e reduz as oscilações.
• Adam: adapta o passo por parâmetro; baseline eficaz e rápida.
• AdamW: desacopla corretamente o weight decay; muito usado com Transformers.

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-2)