الانحدار التدريجي والمحسِّنات

الهدف: ضبط التحسين دون الخلط بين سرعة التعلم وجودة النموذج.

يُحدِّث الانحدار التدريجي المعاملات في الاتجاه المعاكس للتدرج:

θ ← θ - η ∇L(θ)

η هو معدّل التعلم (Learning rate). إذا كان صغيراً جداً: تقدّم بطيء أو ركود. إذا كان كبيراً جداً: تذبذب، أو تباعُد، أو NaN.

أهمّ المحسِّنات

• SGD: تحديث مباشر؛ بسيط، وكثيراً ما يُنتج تعميماً جيداً جداً.
• Momentum: يُحسِّب متوسّط الاتجاهات الأخيرة ويُخفِّف التذبذبات.
• Adam: يُكيّف الخطوة لكل معامل؛ خط أساس فعّال وسريع.
• AdamW: يفصل weight decay بشكل صحيح؛ يُستعمل كثيراً مع المحوّلات (Transformers).

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-2)