التحسين الرياضي Mathematical Optimization

رياضيات التعلم الآلي الصعوبة: متوسط 7 دروس الزمن المتوقع: 5 ساعة و10 دقيقة

تعريف بالمسار

دوال الهدف ودوال الخسارة والانحدار التدرجي ونسخه العشوائية ومعدل التعلم والتحدب ومحسّن Adam.

الأهداف التعليمية

  • صياغة مسألة التعلم كمسألة تحسين
  • تطبيق Gradient Descent وSGD يدوياً
  • اختيار معدل التعلم وفهم أثره
  • فهم آلية Adam

قائمة الدروس

  1. 1 دوال الهدف ومسائل التحسين Objective Functionsصياغة مسألة التعلم بوصفها تحسيناً: متغيرات القرار ودالة الهدف والقيود، والحدود الدنيا المحلية والعامة، وشروط الرتبة الأولى والثانية. متوسط · 40 د
  2. 2 دوال الخسارة Loss Functionsدوال الخسارة تقيس بُعد التنبؤ عن الحقيقة: MSE وMAE للانحدار، والانتروبيا التقاطعية للتصنيف، وHuber للمقاومة؛ ونربط كل منها بافتراض احتمالي. متوسط · 45 د
  3. 3 الانحدار التدرجي Gradient Descentالانحدار التدرجي يتحرك خطوة صغيرة عكس التدرج في كل تكرار؛ نشتق قاعدة التحديث، وننفذ تكرارات يدوية، ونفهم شروط التقارب ومعايير التوقف. متوسط · 50 د
  4. 4 الانحدار التدرجي العشوائي (SGD) Stochastic Gradient DescentSGD يقدّر التدرج من عينة أو دفعة صغيرة بدلاً من كل البيانات، فيصبح التحديث رخيصاً ومشوشاً؛ ونتعرف على الدفعات الصغيرة والحِقب والزخم (Momentum). متوسط · 45 د
  5. 5 معدل التعلم وجدولته Learning Rateمعدل التعلم أهم معامل فائق في التدريب: صغيره يبطئ، وكبيره يذبذب أو يباعد؛ ونتعرف على جداول التخفيض والإحماء وطرق الاختيار العملي. متوسط · 40 د
  6. 6 التحسين المحدب Convex Optimizationالدالة المحدبة لا حدود محلية رديئة فيها: كل حد أدنى محلي عام. نتعرف على تعريف التحدب واختباراته وأمثلته في التعلم الآلي ولماذا تختلف الشبكات العميقة عنه. متقدم · 45 د
  7. 7 محسّن Adam Adam OptimizerAdam يجمع الزخم (متوسط التدرجات) مع التكييف لكل معامل (متوسط مربعاتها) وتصحيح التحيز؛ فيعطي خطوات بحجم متقارب لكل الأوزان، وهو المحسّن الافتراضي في كثير من نماذج التعلم العميق. متقدم · 45 د

التطبيقات في الذكاء الاصطناعي

  • Gradient Descent
  • SGD
  • Adam
  • Loss Minimization

الاختبار النهائي للمسار

12 سؤالاً مختارة عشوائياً من بنك أسئلة المسار، الزمن 25 دقيقة، ونسبة النجاح 65%.

ابدأ الاختبار النهائي تدرب على أسئلة المسار

المراجع العلمية

  1. Mathematics for Machine Learning — Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong (Cambridge University Press) mml-book.github.io
  2. Deep Learning — Ian Goodfellow, Yoshua Bengio, Aaron Courville (MIT Press) www.deeplearningbook.org
  3. Machine Learning Crash Course — Linear Regression — Google for Developers developers.google.com/machine-learning/crash-course/linear-regression