الدرس 6 من 7 · التحسين الرياضي
التحسين المحدب Convex Optimization
الدالة المحدبة لا حدود محلية رديئة فيها: كل حد أدنى محلي عام. نتعرف على تعريف التحدب واختباراته وأمثلته في التعلم الآلي ولماذا تختلف الشبكات العميقة عنه.
محتويات الدرس
1 مقدمة
المجموعة المحدبة لا "تجاويف" فيها: القطعة بين أي نقطتين منها تبقى داخلها. والدالة المحدبة (Convex Function) هي التي يقع الوتر بين أي نقطتين على منحناها فوق المنحنى.
الأهداف التعليمية
- تعريف المجموعة والدالة المحدبة
- اختبار التحدب بالمشتقة الثانية أو هِسّه
- معرفة قواعد تركيب الدوال المحدبة
- فهم لماذا يكون الحد المحلي عاماً في المسائل المحدبة
2 لماذا ندرس هذا الموضوع؟
الانحدار الخطي والانحدار اللوجستي وآلات المتجهات الداعمة (SVM) مسائل محدبة، فيضمن الانحدار التدرجي الوصول إلى الحل الأمثل العام بمعدل تعلم مناسب. أما خسارة الشبكات العميقة فغير محدبة، ومع ذلك تعمل الطرق التدرجية فيها عملياً؛ وفهم الفرق يوضح ما يمكن ضمانه نظرياً وما لا يمكن.
3 الشرح النظري
التعريف
\(f\) محدبة إذا كان لكل \(\mathbf{x},\mathbf{y}\) ولكل \(\lambda\in[0,1]\):
\[f(\lambda\mathbf{x} + (1-\lambda)\mathbf{y}) \le \lambda f(\mathbf{x}) + (1-\lambda)f(\mathbf{y})\]
اختبارات التحدب
- متغير واحد: \(f''(x) \ge 0\) لكل x.
- متعدد المتغيرات: هِسّه موجبة شبه التحديد في كل نقطة.
- الرتبة الأولى: \(f(\mathbf{y}) \ge f(\mathbf{x}) + \nabla f(\mathbf{x})^\top(\mathbf{y}-\mathbf{x})\)، أي أن المماس تحت الدالة دائماً.
قواعد التركيب
- مجموع دوال محدبة بمعاملات غير سالبة محدب.
- تركيب دالة محدبة مع دالة خطية محدب: \(f(A\mathbf{x}+\mathbf{b})\).
- القيمة العظمى لدوال محدبة محدبة.
النتيجة الأساسية
في الدالة المحدبة كل حد أدنى محلي حد أدنى عام. وإذا كانت محدبة تماماً (Strictly Convex) فالحل وحيد. هذا يفسر لماذا لا تعتمد نتيجة الانحدار الخطي على نقطة البداية، بينما تعتمد نتيجة تدريب شبكة عميقة عليها.
4 التعريفات الرياضية
- الدالة المحدبة
- دالة يقع الوتر بين أي نقطتين على منحناها فوقه أو عليه.\[f(\lambda x+(1-\lambda)y)\le\lambda f(x)+(1-\lambda)f(y)\]
- المجموعة المحدبة
- مجموعة تحتوي القطعة المستقيمة بين أي نقطتين منها.\[\lambda\mathbf{x}+(1-\lambda)\mathbf{y}\in C\]
- الدالة المحدبة (Convex Function)
- دالة يقع الوتر بين أي نقطتين على منحناها فوقه، ولا تملك حدوداً محلية غير عامة.\[f(\lambda x+(1-\lambda)y)\le\lambda f(x)+(1-\lambda)f(y)\]
5 المعادلات
6 مثال محلول خطوة بخطوة
اختبار تحدب
المسألة: هل \(f(x) = x^4 - 2x^2\) محدبة؟ وهل \(g(x) = e^{x} + x^2\) محدبة؟
- \(f''(x) = 12x^2 - 4\)، وهي سالبة عند \(x = 0\) (\(-4\))، فـ f غير محدبة؛ ولها حدان أدنيان عند \(x = \pm1\).
- \(g''(x) = e^{x} + 2 \gt 0\) لكل x، فـ g محدبة تماماً ولها حد أدنى وحيد.
النتيجة: f غير محدبة، وg محدبة تماماً.
7 تطبيق عملي في الذكاء الاصطناعي
- الانحدار الخطي واللوجستي: خسارتاهما محدبتان، فيضمن التحسين الوصول إلى الحل العام.
- التنظيم L2: إضافة \(\lambda\lVert\mathbf{w}\rVert^2\) تجعل الهدف محدباً تماماً وحلّه وحيداً.
- الشبكات العميقة: خسارتها غير محدبة بسبب التنشيطات غير الخطية وتماثلات الأوزان، ولذلك تؤثر التهيئة في النتيجة.
8 مختبر تفاعلي مرتبط بالدرس
محاكاة الانحدار التدرجي والانحدار التدرجي العشوائي وMomentum وAdam على دوال محدبة وغير محدبة، مع التحكم في معدل التعلم ومشاهدة منحنى الخسارة والمسار والتقارب أو التباعد والحد الأدنى المحلي والعام.
افتح مختبر التحسين9 تمارين تدريبية
أسئلة مراجعة للتفكير
- لماذا تجعل إضافة تنظيم L2 الحل وحيداً؟
- اذكر سببين لعدم تحدب خسارة الشبكة العصبية.
أخطاء شائعة
- الخلط بين المحدبة (Convex) والمقعرة (Concave).
- الاعتقاد بأن الدالة المحدبة يجب أن تكون قابلة للاشتقاق (|x| محدبة).
- افتراض أن خسارة الشبكات العصبية محدبة.
10 ملخص الدرس
- الدالة المحدبة: الوتر فوق المنحنى.
- اختبار المشتقة الثانية أو هِسّه.
- في المسائل المحدبة كل حد محلي عام.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
