الدرس 5 من 7 · التحسين الرياضي

معدل التعلم وجدولته Learning Rate

معدل التعلم أهم معامل فائق في التدريب: صغيره يبطئ، وكبيره يذبذب أو يباعد؛ ونتعرف على جداول التخفيض والإحماء وطرق الاختيار العملي.

رياضيات التعلم الآلي الصعوبة: متوسط زمن الدراسة: 40 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

معدل التعلم (Learning Rate) \(\eta\) يحدد طول الخطوة في كل تحديث. القيمة نفسها قد تكون ممتازة لنموذج وكارثية لآخر، ولذلك يُعد ضبطه من أهم خطوات التدريب.

الأهداف التعليمية

  • تحليل أثر معدل التعلم على التقارب
  • تمييز أعراض المعدل الصغير والكبير في منحنى الخسارة
  • تطبيق جداول التخفيض الخطوي والأسي والجيبي
  • فهم الإحماء (Warmup)

2 لماذا ندرس هذا الموضوع؟

معظم إخفاقات التدريب الأولى (خسارة لا تنخفض، أو NaN، أو تذبذب) ترجع إلى معدل تعلم غير مناسب. والجداول الحديثة مثل الإحماء ثم التخفيض الجيبي (Cosine Decay) جزء أساسي من تدريب النماذج الكبيرة.

3 الشرح النظري

ثلاث حالات

معدل التعلمالسلوكما نراه في منحنى الخسارة
صغير جداًتقارب بطيءانخفاض بطيء جداً
مناسبتقارب سريع مستقرانخفاض سريع ثم استقرار
كبيرتذبذب حول الحد الأدنىخسارة متذبذبة لا تستقر
كبير جداًتباعدخسارة تتزايد أو تصبح NaN

جداول معدل التعلم

  • خطوي: يُضرب في عامل (مثل 0.1) كل عدد من الحقب.
  • أسي: \(\eta_t = \eta_0\gamma^t\).
  • جيبي: \(\eta_t = \eta_{\min} + \frac12(\eta_0 - \eta_{\min})(1 + \cos(\pi t/T))\).
  • الإحماء: زيادة خطية من قيمة صغيرة خلال الخطوات الأولى لتجنب عدم الاستقرار في البداية.

الاختيار العملي

يُجرَّب عادةً عدد من القيم على مقياس لوغاريتمي (مثل \(10^{-4}\) إلى \(10^{-1}\))، أو يُستخدم اختبار نطاق معدل التعلم (LR Range Test) الذي يزيد المعدل تدريجياً ويراقب الخسارة. ومعدل التعلم يتفاعل مع حجم الدفعة: الدفعات الأكبر تتحمل معدلات أكبر عادة.

θ_t على J = θ² لثلاثة معدلات تعلم: تقارب، تذبذب، تباعد

4 التعريفات الرياضية

معدل التعلم
معامل فائق موجب يحدد حجم خطوة التحديث.
\[\theta_{t+1} = \theta_t - \eta\,g_t\]
جدولة معدل التعلم
تغيير معدل التعلم أثناء التدريب وفق قاعدة محددة.
\[\eta_t = \eta_0\gamma^t\]
المعامل الفائق
معامل يُختار قبل التدريب ولا يُتعلَّم بالانحدار التدرجي، مثل معدل التعلم وحجم الدفعة.
معدل التعلم (Learning Rate)
معامل فائق يحدد حجم خطوة تحديث المعاملات في الانحدار التدرجي ونسخه.
\[\theta\leftarrow\theta-\eta g\]
المعامل الفائق (Hyperparameter)
معامل يحدد سلوك التدريب أو بنية النموذج ويُختار خارج حلقة التحسين.

5 المعادلات

\[\eta_t = \eta_0\,\gamma^{t}\]
تخفيض أسي
\[\eta_t = \eta_{\min} + \tfrac12(\eta_0-\eta_{\min})\big(1+\cos\tfrac{\pi t}{T}\big)\]
تخفيض جيبي
\[\eta_t = \eta_0\,\frac{t}{T_w},\; t \le T_w\]
إحماء خطي

6 مثال محلول خطوة بخطوة

أثر معدل التعلم على دالة تربيعية

المسألة: لـ \(J(\theta) = \theta^2\) من \(\theta_0 = 1\)، قارن \(\eta = 0.1\) و\(0.9\) و\(1.1\) بعد خطوتين.

  1. المعامل \(\theta_{t+1} = (1 - 2\eta)\theta_t\).
  2. \(\eta = 0.1\): العامل 0.8، فـ \(\theta_2 = 0.64\) (تقارب رتيب).
  3. \(\eta = 0.9\): العامل \(-0.8\)، فـ \(\theta_2 = 0.64\) بعد المرور بـ \(-0.8\) (تقارب متذبذب).
  4. \(\eta = 1.1\): العامل \(-1.2\)، فـ \(\theta_2 = 1.44\) (تباعد).

النتيجة: المعدل 0.1 يتقارب بسلاسة، و0.9 يتذبذب ويتقارب، و1.1 يتباعد.

تخفيض أسي

المسألة: معدل ابتدائي 0.1 ويضرب في 0.5 كل حقبة. ما المعدل في الحقبة الرابعة (t = 3)؟

  1. \(0.1\cdot0.5^3 = 0.1\cdot0.125\).

النتيجة: \(0.0125\)

7 تطبيق عملي في الذكاء الاصطناعي

  • تدريب المحولات: الإحماء ثم التخفيض الجيبي جدول شائع في تدريب النماذج اللغوية.
  • الضبط الدقيق: يُستخدم معدل تعلم أصغر بكثير عند ضبط نموذج مدرَّب مسبقاً لتجنب محو ما تعلمه.
  • البحث عن المعاملات الفائقة: معدل التعلم أول ما يُضبط في البحث الشبكي أو العشوائي.

8 مختبر تفاعلي مرتبط بالدرس

محاكاة الانحدار التدرجي والانحدار التدرجي العشوائي وMomentum وAdam على دوال محدبة وغير محدبة، مع التحكم في معدل التعلم ومشاهدة منحنى الخسارة والمسار والتقارب أو التباعد والحد الأدنى المحلي والعام.

افتح مختبر التحسين

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • لماذا يحتاج SGD إلى تخفيض معدل التعلم ليتقارب بدقة؟
  • كيف تعرف من منحنى الخسارة أن معدل التعلم صغير جداً؟

أخطاء شائعة

  • ضبط معدل التعلم على مقياس خطي بدلاً من اللوغاريتمي.
  • تغيير حجم الدفعة كثيراً دون مراجعة معدل التعلم.
  • تفسير التذبذب الناتج عن المعدل الكبير على أنه ضوضاء طبيعية.

تدرب على 5 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • المعدل الصغير بطيء، والكبير يذبذب أو يباعد.
  • الجداول تبدأ بخطوات كبيرة ثم تصغّرها.
  • الإحماء يثبّت بداية التدريب.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.