الدرس 1 من 7 · التحسين الرياضي

دوال الهدف ومسائل التحسين Objective Functions

صياغة مسألة التعلم بوصفها تحسيناً: متغيرات القرار ودالة الهدف والقيود، والحدود الدنيا المحلية والعامة، وشروط الرتبة الأولى والثانية.

رياضيات التعلم الآلي الصعوبة: متوسط زمن الدراسة: 40 دقيقة
محتويات الدرس
  1. مقدمة
  2. لماذا ندرس هذا الموضوع؟
  3. الشرح النظري
  4. التعريفات الرياضية
  5. المعادلات
  6. مثال محلول
  7. التطبيق في الذكاء الاصطناعي
  8. المختبر التفاعلي
  9. تمارين تدريبية
  10. الملخص
  11. اختبار قصير
  12. دروس مرتبطة

1 مقدمة

كل خوارزمية تعلم تقريباً تُصاغ مسألةَ تحسين (Optimization): نبحث عن معاملات \(\theta\) تجعل دالة الهدف (Objective Function) \(J(\theta)\) أصغر ما يمكن (أو أكبر ما يمكن).

الأهداف التعليمية

  • صياغة مسألة تحسين بمتغيراتها وهدفها وقيودها
  • التمييز بين الحد الأدنى المحلي والعام ونقطة السرج
  • تطبيق شرط الرتبة الأولى (التدرج صفر)
  • استخدام المشتقة الثانية للتصنيف

2 لماذا ندرس هذا الموضوع؟

الفرق بين نموذج جيد وآخر رديء يكمن غالباً في صياغة الهدف: ماذا نقلل؟ وبأي قيود؟ وهل المسألة محدبة لها حل وحيد أم سطحها مليء بالحدود المحلية؟ هذه الأسئلة تحدد اختيار الخوارزمية ومعاملاتها.

3 الشرح النظري

الصيغة العامة

\[\min_{\theta\in\mathbb{R}^d} J(\theta)\quad\text{بشرط}\quad g_i(\theta)\le0,\; h_j(\theta) = 0\]

في التعلم الآلي تكون المسألة غالباً غير مقيدة، والهدف هو الخسارة على بيانات التدريب مضافاً إليها حد تنظيم: \(J(\theta) = \frac1n\sum_i\ell_i(\theta) + \lambda R(\theta)\).

أنواع النقاط الحرجة

  • حد أدنى عام: أصغر قيمة على كامل المجال.
  • حد أدنى محلي: أصغر من كل النقاط القريبة فقط.
  • نقطة سرج: التدرج صفر لكن الدالة تصعد في اتجاه وتهبط في آخر.

شروط الأمثلية

شرط لازم (الرتبة الأولى): \(\nabla J(\theta^*) = 0\). شرط كافٍ لحد أدنى محلي (الرتبة الثانية): مصفوفة هِسّه موجبة التحديد عند \(\theta^*\). وفي متغير واحد: \(J'(\theta^*) = 0\) و\(J''(\theta^*) \gt 0\).

الحل التحليلي والحل التكراري

بعض المسائل لها حل مغلق (مثل المربعات الصغرى)، لكن معظم نماذج التعلم العميق تُحل تكرارياً بالانحدار التدرجي ونسخه.

حد أعلى محلي عند −1 وحد أدنى محلي عند 1

4 التعريفات الرياضية

دالة الهدف
الدالة التي نسعى إلى تقليلها أو تعظيمها بالنسبة إلى المعاملات.
\[J(\theta)\]
الحد الأدنى المحلي
نقطة قيمتها أصغر من كل النقاط في جوار لها.
\[J(\theta^*) \le J(\theta)\;\forall\theta: \lVert\theta-\theta^*\rVert \lt \epsilon\]
النقطة الحرجة
نقطة ينعدم عندها التدرج.
\[\nabla J(\theta^*) = \mathbf{0}\]
دالة الهدف (Objective Function)
الدالة التي تُقلَّل أو تُعظَّم في مسألة التحسين، وفي التعلم الآلي هي الخسارة مضافاً إليها التنظيم غالباً.
\[J(\theta)\]
الحد الأدنى المحلي (Local Minimum)
نقطة قيمة الدالة عندها أصغر من قيمها في جوار صغير حولها.
\[\nabla J=0,\;\nabla^2J\succ0\]
الحد الأدنى العام (Global Minimum)
أصغر قيمة تبلغها الدالة على كامل مجالها.
\[J(\theta^*)\le J(\theta)\;\forall\theta\]

5 المعادلات

\[\theta^* = \arg\min_{\theta} J(\theta)\]
مسألة التحسين
\[J(\theta) = \frac{1}{n}\sum_{i=1}^{n}\ell(f_\theta(\mathbf{x}_i), y_i) + \lambda R(\theta)\]
الهدف في التعلم الآلي
\[\nabla J(\theta^*) = 0,\quad \nabla^2 J(\theta^*) \succ 0\]
شروط الحد الأدنى المحلي

6 مثال محلول خطوة بخطوة

إيجاد الحد الأدنى تحليلياً

المسألة: أوجد النقاط الحرجة لـ \(J(\theta) = \theta^3 - 3\theta\) وصنّفها.

  1. \(J'(\theta) = 3\theta^2 - 3 = 0\Rightarrow \theta = \pm1\).
  2. \(J''(\theta) = 6\theta\).
  3. عند \(\theta = 1\): \(J'' = 6 \gt 0\) فهو حد أدنى محلي وقيمته \(-2\).
  4. عند \(\theta = -1\): \(J'' = -6 \lt 0\) فهو حد أعلى محلي وقيمته 2.
  5. الدالة غير محدودة من الأسفل (\(J\to-\infty\) عندما \(\theta\to-\infty\))، فالحد الأدنى المحلي ليس عاماً.

النتيجة: حد أدنى محلي عند 1، وحد أعلى محلي عند −1، ولا يوجد حد أدنى عام.

7 تطبيق عملي في الذكاء الاصطناعي

  • تدريب النماذج: التدريب حل تقريبي لمسألة \(\min_\theta J(\theta)\).
  • التنظيم: إضافة \(\lambda\lVert\theta\rVert^2\) إلى الهدف تفضّل الأوزان الصغيرة وتحسّن التعميم.
  • نقاط السرج في الأبعاد العالية: في الشبكات الكبيرة تكون نقاط السرج أكثر شيوعاً من الحدود المحلية الرديئة.

8 مختبر تفاعلي مرتبط بالدرس

محاكاة الانحدار التدرجي والانحدار التدرجي العشوائي وMomentum وAdam على دوال محدبة وغير محدبة، مع التحكم في معدل التعلم ومشاهدة منحنى الخسارة والمسار والتقارب أو التباعد والحد الأدنى المحلي والعام.

افتح مختبر التحسين

9 تمارين تدريبية

أسئلة مراجعة للتفكير

  • ما الفرق بين \(\min J\) و\(\arg\min J\)؟
  • لماذا قد لا يكون للمسألة حد أدنى عام؟

أخطاء شائعة

  • اعتبار كل نقطة تدرجها صفر حداً أدنى.
  • الخلط بين قيمة الهدف عند الحل (\(J^*\)) ومكان الحل (\(\theta^*\)).
  • نسيان أن الحد المحلي قد لا يكون عاماً.

تدرب على 5 أسئلة من بنك الأسئلة لهذا الدرس

10 ملخص الدرس

  • التعلم = تحسين دالة هدف.
  • التدرج الصفري شرط لازم وليس كافياً.
  • المشتقة الثانية (هِسّه) تميز الحد الأدنى من الأعلى ونقطة السرج.

11 اختبار قصير

5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.