Momentum
الزخم
التعريف
إضافة إلى الانحدار التدريجي تُراكم متوسطاً متحركاً للتدرجات السابقة لتسريع الحركة وتخفيف التذبذب.
يعمل الزخم كالكرة المتدحرجة: يستمر الاتجاه المتسق ويُخمد التذبذب العرضي. يتخطى السهول الضحلة ويسرع التقارب في الأودية الضيقة.
Definition
Momentum accumulates an exponentially decaying average of past gradients to accelerate descent along consistent directions and damp oscillations.
شرح مبسّط للمبتدئين
ككرة تتدحرج على تلة: تأخذ سرعة تساعدها على تجاوز الحفر الصغيرة.
شرح أكاديمي متخصص
\(v_{t+1}=\beta v_t+g_t,\;\theta_{t+1}=\theta_t-\eta v_{t+1}\).
أمثلة عملية
- SGD بزخم 0.9.
التطبيقات والاستخدامات
- تدريب الشبكات الالتفافية.
المزايا
- تقارب أسرع.
القيود والعيوب
- قد يتجاوز القاع إن كان كبيراً.
المعادلات الرياضية
الانحدار بالزخم
v_{t+1}=\beta v_t+g_t,\qquad \theta_{t+1}=\theta_t-\eta\,v_{t+1}تُجمَع التدرجات السابقة بتضاؤل أسي ثم يُستخدم المجموع في التحديث.
| الرمز | المعنى |
|---|---|
| \(v\) | السرعة |
| \(\beta\) | معامل الزخم |
| \(g_t\) | التدرج |
