تقريب الدوال في التعلم المعزز
Function Approximation in RL
ماذا نفعل عندما يصبح جدول القيم أكبر من أن يُخزَّن؟
من الجدول إلى الدالة
$$\hat{V}(s; w) \approx V^\pi(s) \qquad \hat{Q}(s, a; w) \approx Q^\pi(s, a)$$
- خطي: \(\hat{V}(s; w) = w^\top \phi(s)\) حيث \(\phi\) سمات مصممة، مثل tile coding.
- غير خطي: شبكة عصبية تأخذ الحالة الخام، مثل الصورة.
تحديث TD شبه التدرجي
$$w \leftarrow w + \alpha\big[r + \gamma \hat{V}(s’; w) – \hat{V}(s; w)\big]\nabla_w \hat{V}(s; w)$$
نعامل الهدف \(r + \gamma \hat{V}(s’; w)\) كأنه ثابت ولا نشتقه.
الثالوث القاتل
| المكوّن | لماذا نريده | خطره |
|---|---|---|
| تقريب الدوال | التعميم والتوسع | أخطاء تنتشر بين الحالات |
| bootstrapping | تباين أقل وتعلم أسرع | الأهداف تعتمد على تقديرات خاطئة |
| خارج السياسة | إعادة استخدام البيانات | توزيع البيانات لا يطابق السياسة المستهدفة |
كيف تتعامل الطرق العميقة مع ذلك؟
- شبكة هدف (target network) مجمدة مؤقتاً لتثبيت الأهداف.
- ذاكرة إعادة التشغيل لكسر الترابط بين العينات المتتالية.
- قص التدرجات وتطبيع المكافآت.
هذه الحيل هندسية في جوهرها: تحسّن الاستقرار عملياً، لكنها لا تعيد ضمانات التقارب النظرية للحالة الجدولية.
مصطلحات الدرس
- الثالوث القاتل Deadly Triad
- اجتماع تقريب الدوال وbootstrapping والتعلم خارج السياسة، وهو ما قد يسبب عدم استقرار التعلم وتباعده.
- تقريب الدوال Function Approximation
- تمثيل دالة القيمة أو السياسة بنموذج ذي معاملات بدلاً من جدول.
الملخص
في الفضاءات الكبيرة أو المتصلة لا يمكن حفظ قيمة لكل حالة، فنقرّب دالة القيمة بنموذج ذي معاملات مثل دالة خطية في السمات أو شبكة عصبية. هذا يتيح التعميم بين الحالات المتشابهة، لكنه يفقدنا ضمانات التقارب. اجتماع تقريب الدوال وbootstrapping والتعلم خارج السياسة يُعرف بالثالوث القاتل لأنه قد يسبب التباعد.
أسئلة مراجعة
-
ما مكونات الثالوث القاتل؟
تقريب الدوال، وbootstrapping، والتعلم خارج السياسة.
-
لماذا يسمى تحديث TD مع التقريب تدرجاً شبه كامل؟
لأننا نشتق الخسارة بالنسبة للتقدير الحالي فقط ونعامل الهدف كأنه ثابت رغم اعتماده على المعاملات.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة