الدرس 3 من 7 · التحسين الرياضي
الانحدار التدرجي Gradient Descent
الانحدار التدرجي يتحرك خطوة صغيرة عكس التدرج في كل تكرار؛ نشتق قاعدة التحديث، وننفذ تكرارات يدوية، ونفهم شروط التقارب ومعايير التوقف.
محتويات الدرس
1 مقدمة
الانحدار التدرجي (Gradient Descent) أبسط خوارزمية تحسين تكرارية وأكثرها استخداماً: نبدأ من نقطة ونكرر التحرك في اتجاه أشد هبوط \(-\nabla J\) بخطوة يحددها معدل التعلم \(\eta\).
الأهداف التعليمية
- اشتقاق قاعدة التحديث من التقريب الخطي
- تنفيذ تكرارات يدوية
- تحليل التقارب على دالة تربيعية
- اختيار معيار توقف
2 لماذا ندرس هذا الموضوع؟
كل محسّنات التعلم العميق (SGD، Momentum، RMSProp، Adam) تنويعات على هذه الفكرة. فهم سلوكها على دوال بسيطة يفسر ما نراه في منحنيات التدريب: التقارب البطيء، والتذبذب، والتباعد.
3 الشرح النظري
قاعدة التحديث
\[\theta_{t+1} = \theta_t - \eta\,\nabla J(\theta_t)\]
من تقريب تايلور الخطي \(J(\theta + \Delta) \approx J(\theta) + \nabla J^\top\Delta\)، فاختيار \(\Delta = -\eta\nabla J\) يعطي \(J(\theta + \Delta) \approx J(\theta) - \eta\lVert\nabla J\rVert^2\)، أي نقصاناً للخطوات الصغيرة.
الخوارزمية
- اختر نقطة بداية \(\theta_0\) ومعدل تعلم \(\eta\).
- احسب التدرج \(\nabla J(\theta_t)\).
- حدّث \(\theta_{t+1} = \theta_t - \eta\nabla J(\theta_t)\).
- كرر حتى يتحقق معيار التوقف: عدد تكرارات أقصى، أو \(\lVert\nabla J\rVert \lt \epsilon\)، أو توقف تحسن الخسارة على بيانات التحقق.
التقارب على دالة تربيعية
لـ \(J(\theta) = \frac{a}{2}(\theta - c)^2\) يكون \(\theta_{t+1} - c = (1 - \eta a)(\theta_t - c)\). يتقارب إذا كان \(|1 - \eta a| \lt 1\)، أي \(0 \lt \eta \lt 2/a\)؛ ويتذبذب إذا كان \(1/a \lt \eta \lt 2/a\)؛ ويتباعد إذا كان \(\eta \gt 2/a\).
الانحدار التدرجي الكامل (Batch)
يحسب التدرج على كل بيانات التدريب في كل خطوة، فهو دقيق لكنه مكلف مع البيانات الكبيرة؛ وهذا ما يدفع إلى SGD في الدرس التالي.
4 التعريفات الرياضية
- الانحدار التدرجي
- خوارزمية تكرارية تحدّث المعاملات عكس اتجاه التدرج.\[\theta_{t+1} = \theta_t - \eta\nabla J(\theta_t)\]
- التقارب
- اقتراب المتتالية من نقطة ثابتة يكون فيها التدرج صفراً.\[\lim_{t\to\infty}\theta_t = \theta^*\]
- الانحدار التدرجي (Gradient Descent)
- خوارزمية تحسين تكرارية تحدّث المعاملات بخطوات صغيرة عكس اتجاه التدرج حتى تقترب من حد أدنى.\[\theta_{t+1}=\theta_t-\eta\nabla J(\theta_t)\]
5 المعادلات
6 مثال محلول خطوة بخطوة
ثلاث تكرارات يدوية
المسألة: طبّق الانحدار التدرجي على \(J(\theta) = (\theta - 3)^2\) من \(\theta_0 = 0\) بمعدل تعلم 0.1.
- التدرج \(J'(\theta) = 2(\theta - 3)\).
- \(\theta_1 = 0 - 0.1\cdot(-6) = 0.6\).
- \(\theta_2 = 0.6 - 0.1\cdot(-4.8) = 1.08\).
- \(\theta_3 = 1.08 - 0.1\cdot(-3.84) = 1.464\).
- الخطأ يتقلص بعامل \(1 - 0.1\cdot2 = 0.8\) في كل خطوة.
النتيجة: \(\theta_3 = 1.464\)، والمتتالية تتقارب نحو 3.
7 تطبيق عملي في الذكاء الاصطناعي
- الانحدار الخطي واللوجستي: يُدرَّبان بالانحدار التدرجي عندما تكون البيانات كبيرة.
- الشبكات العصبية: الانتشار العكسي يحسب التدرج، والانحدار التدرجي (أو نسخه) يحدّث الأوزان.
- الإيقاف المبكر: إيقاف التكرارات عند توقف تحسن خسارة التحقق نوع من التنظيم.
8 مختبر تفاعلي مرتبط بالدرس
محاكاة الانحدار التدرجي والانحدار التدرجي العشوائي وMomentum وAdam على دوال محدبة وغير محدبة، مع التحكم في معدل التعلم ومشاهدة منحنى الخسارة والمسار والتقارب أو التباعد والحد الأدنى المحلي والعام.
افتح مختبر التحسين9 تمارين تدريبية
أسئلة مراجعة للتفكير
- ماذا يحدث على \(J = (\theta - 3)^2\) إذا كان \(\eta = 1\)؟
- لماذا قد يتوقف الانحدار التدرجي عند نقطة سرج نظرياً؟
أخطاء شائعة
- جمع التدرج بدلاً من طرحه.
- اختيار معدل تعلم كبير يسبب التباعد.
- التوقف بعد عدد ثابت من الخطوات دون مراقبة الخسارة.
10 ملخص الدرس
- التحديث: \(\theta \leftarrow \theta - \eta\nabla J\).
- على الدالة التربيعية يتقارب إذا \(0 \lt \eta \lt 2/a\).
- الانحدار الكامل دقيق ومكلف للبيانات الكبيرة.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
