الهدف: إبقاء دوالّ التنشيط والتدرجات في نطاق قابل للاستغلال.
لا يجوز تهيئة جميع الأوزان بالصفر: ستبقى عصبونات الطبقة الواحدة متماثلة وتتعلّم الشيء نفسه. التهيئة العشوائية تكسر هذا التماثل، لكن يجب أن يحافظ مقياسها على الإشارة.
tanh.يُهيّئ PyTorch الطبقات المعتادة بشكل معقول أصلاً. أيّ تهيئة يدوية يجب أن تكون مبرَّرة وموثَّقة.
تُطبِّع BatchNorm دوالّ التنشيط باستخدام إحصاءات الدُّفعة الصغيرة، ثم تتعلّم مقياساً
(Scale) وإزاحة (Shift). في وضع التحقّق، تستخدم متوسّطات متحرّكة مُتعلَّمة. ولهذا فإن نسيان
model.eval() يُغيّر النتائج.
تُطبِّع LayerNorm كل مثال على بُعد تمثيله ولا تعتمد على الأمثلة الأخرى في الدُّفعة. تناسب المتتاليات والمحوّلات، بما في ذلك عند استخدام دُفعات صغيرة.
معاينة — بقية الدرس متاحة للمسجّلين فقط.
وصولك مرتبط بحسابك وليس بهذا الرابط. سجّل الدخول بنفس البريد الذي استخدمته في الصف: دورتك بانتظارك، ولا حاجة لإدخال الرمز مجددًا.
تسجيل الدخولليس لديك حساب بعد؟ أنشئ حسابًاالوحدات الأولى من الدورة مفتوحة للجميع. أما البقية فأمامك ثلاثة خيارات: شراء هذه الدورة مرة واحدة، أو الاشتراك، أو إدخال الرمز الموزّع في القاعة.