Gradient Clipping
قص التدرج
التعريف
تحديد حجم التدرج بحد أعلى قبل تحديث الأوزان لمنع انفجاره.
إذا تجاوز معيار التدرج عتبة يُعاد تحجيمه ليساوي العتبة مع الحفاظ على اتجاهه. يفيد خصوصاً في الشبكات المتكررة والمحوّلات.
Definition
Gradient clipping caps the norm (or value) of gradients before the update step, preventing exploding gradients and unstable training.
شرح مبسّط للمبتدئين
كفرملة تمنع الخطوة من أن تكون كبيرة جداً مهما كان الانحدار حاداً.
شرح أكاديمي متخصص
\(g\leftarrow g\cdot\min(1,\tau/\|g\|)\).
أمثلة عملية
- قص المعيار عند 1.0 في تدريب نموذج لغوي.
التطبيقات والاستخدامات
- تدريب RNN والمحوّلات.
المزايا
- يثبّت التدريب.
القيود والعيوب
- يضيف معاملاً فائقاً.
