Policy Gradient
تدرج السياسة
التعريف
طرق تعلم معزَّز تحسّن السياسة مباشرة بصعود تدرج العائد المتوقع بالنسبة لمعاملاتها.
بدل تقدير قيمة كل فعل تُعدَّل معاملات سياسة عشوائية لزيادة احتمال الأفعال التي أدت إلى عائد مرتفع. تشمل REINFORCE وActor-Critic وPPO، وهي الأساس في RLHF.
Definition
Policy gradient methods optimise a parameterised policy directly by ascending the gradient of expected return, as in REINFORCE, actor-critic and PPO.
شرح مبسّط للمبتدئين
كلاعب يزيد ميله لتكرار الحركات التي أدت إلى الفوز.
شرح أكاديمي متخصص
\(\nabla_\theta J=\mathbb{E}[\nabla_\theta\log\pi_\theta(a|s)\,G]\) (مبرهنة تدرج السياسة).
أمثلة عملية
- تعليم روبوت المشي.
التطبيقات والاستخدامات
- الألعاب والروبوتات وRLHF.
المزايا
- يعالج الأفعال المستمرة.
القيود والعيوب
- تباين عالٍ في التقدير.
المعادلات الرياضية
تدرج السياسة
\nabla_\theta J(\theta)=\mathbb{E}_{\pi_\theta}\left[\nabla_\theta\log\pi_\theta(a\mid s)\,G_t\right]نرفع احتمال الأفعال المرتبطة بعائد كبير ونخفضه للأفعال ذات العائد الصغير.
| الرمز | المعنى |
|---|---|
| \(\pi_\theta\) | السياسة |
| \(G_t\) | العائد |
| \(J\) | الأداء المتوقع |
