التعلم المعزز
Reinforcement Learning
كيف يتعلم وكيل اتخاذ قرارات متتابعة بالتجربة والمكافأة: من عمليات ماركوف واستكشاف الآلات ذات الأذرع إلى Q-learning وشبكات DQN وتدرج السياسة وPPO والتعلم من التفضيلات البشرية.
- 12 درساً
- 3 مستويات
- 2.7 ساعة تقريباً
- 5 اختبارات
عن المسار
التعلم المعزز ثالث أنماط تعلم الآلة إلى جانب التعلم الموجَّه وغير الموجَّه. لا توجد فيه إجابات صحيحة جاهزة، بل إشارة مكافأة متأخرة وضجيجية يجب أن يتعلم الوكيل منها سياسة جيدة. يبدأ المسار من الصياغة الرياضية، ويمر بالخوارزميات الجدولية، وينتهي بالطرق العميقة الحديثة وتطبيقاتها في مواءمة النماذج اللغوية.
الصياغة والمفاهيم
مبتدئ · Beginner · 53 دقيقة · 4 دروس
اللغة الرياضية للتعلم المعزز: عمليات قرار ماركوف، والعائد المخصوم، والسياسات، ودوال القيمة، ومعضلة الاستكشاف والاستغلال.
الأهداف التعليمية
- تعريف الوكيل والبيئة والحالة والفعل والمكافأة
- صياغة المسألة بوصفها MDP
- فهم العائد ودوال القيمة ومعادلة بلمان
المتطلبات السابقة
- إنهاء مسار تعلم الآلة أو ما يعادله
- الوكيل والبيئة والمكافأة Agent, Environment and Reward 12 دقيقة
- عمليات قرار ماركوف Markov Decision Processes 14 دقيقة
- الآلات ذات الأذرع والاستكشاف Multi-Armed Bandits and Exploration 12 دقيقة
- السياسات ودوال القيمة ومعادلة بلمان Policies, Value Functions and the Bellman Equation 15 دقيقة
الطرق الجدولية والتقريب
متوسط · Intermediate · 53 دقيقة · 4 دروس
خوارزميات تعمل حين تكون الحالات قليلة بما يكفي لجدول، ثم الانتقال إلى تقريب دالة القيمة عندما يكبر فضاء الحالات.
الأهداف التعليمية
- تطبيق البرمجة الديناميكية عند معرفة النموذج
- التعلم من التجربة بطرق مونت كارلو والفروق الزمنية
- تطبيق Q-learning وSARSA
- الانتقال إلى تقريب الدوال
المتطلبات السابقة
- إنهاء المستوى المبتدئ
- البرمجة الديناميكية: تكرار القيمة والسياسة Dynamic Programming: Value and Policy Iteration 13 دقيقة
- التعلم من التجربة: مونت كارلو والفروق الزمنية Learning from Experience: Monte Carlo and Temporal Difference 14 دقيقة
- Q-learning وSARSA Q-learning and SARSA 14 دقيقة
- تقريب الدوال في التعلم المعزز Function Approximation in RL 12 دقيقة
التعلم المعزز العميق
متقدم · Advanced · 56 دقيقة · 4 دروس
الشبكات العصبية بوصفها مقربات للقيمة والسياسة، والخوارزميات التي تقف خلف ألعاب الفيديو والروبوتات ومواءمة النماذج اللغوية الكبيرة.
الأهداف التعليمية
- فهم DQN وحيلها الأساسية
- اشتقاق تدرج السياسة وطرق الممثل والناقد
- فهم PPO وسبب انتشاره
- فهم RLHF وDPO ومخاطر اختراق المكافأة
المتطلبات السابقة
- إنهاء المستويين السابقين
- أساسيات التعلم العميق
- شبكات Q العميقة (DQN) Deep Q-Networks 14 دقيقة
- تدرج السياسة والممثل والناقد Policy Gradients and Actor-Critic Methods 15 دقيقة
- خوارزمية PPO Proximal Policy Optimization 13 دقيقة
- التعلم المعزز من التفضيلات البشرية Reinforcement Learning from Human Feedback 14 دقيقة
الاختبار النهائي: التعلم المعزز
15 سؤالاً من كل مستويات المسار · درجة النجاح 70% · اجتيازه يتيح شهادة اجتياز الاختبار.
