كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

التعلم المعزز متوسط · Intermediate 12 دقيقة

تقريب الدوال في التعلم المعزز

Function Approximation in RL

ماذا نفعل عندما يصبح جدول القيم أكبر من أن يُخزَّن؟

تقدّمك في المسار0%

من الجدول إلى الدالة

$$\hat{V}(s; w) \approx V^\pi(s) \qquad \hat{Q}(s, a; w) \approx Q^\pi(s, a)$$

  • خطي: \(\hat{V}(s; w) = w^\top \phi(s)\) حيث \(\phi\) سمات مصممة، مثل tile coding.
  • غير خطي: شبكة عصبية تأخذ الحالة الخام، مثل الصورة.

تحديث TD شبه التدرجي

$$w \leftarrow w + \alpha\big[r + \gamma \hat{V}(s’; w) – \hat{V}(s; w)\big]\nabla_w \hat{V}(s; w)$$

نعامل الهدف \(r + \gamma \hat{V}(s’; w)\) كأنه ثابت ولا نشتقه.

الثالوث القاتل

المكوّنلماذا نريدهخطره
تقريب الدوالالتعميم والتوسعأخطاء تنتشر بين الحالات
bootstrappingتباين أقل وتعلم أسرعالأهداف تعتمد على تقديرات خاطئة
خارج السياسةإعادة استخدام البياناتتوزيع البيانات لا يطابق السياسة المستهدفة

كيف تتعامل الطرق العميقة مع ذلك؟

  • شبكة هدف (target network) مجمدة مؤقتاً لتثبيت الأهداف.
  • ذاكرة إعادة التشغيل لكسر الترابط بين العينات المتتالية.
  • قص التدرجات وتطبيع المكافآت.

هذه الحيل هندسية في جوهرها: تحسّن الاستقرار عملياً، لكنها لا تعيد ضمانات التقارب النظرية للحالة الجدولية.

مصطلحات الدرس

الثالوث القاتل Deadly Triad
اجتماع تقريب الدوال وbootstrapping والتعلم خارج السياسة، وهو ما قد يسبب عدم استقرار التعلم وتباعده.
تقريب الدوال Function Approximation
تمثيل دالة القيمة أو السياسة بنموذج ذي معاملات بدلاً من جدول.

الملخص

في الفضاءات الكبيرة أو المتصلة لا يمكن حفظ قيمة لكل حالة، فنقرّب دالة القيمة بنموذج ذي معاملات مثل دالة خطية في السمات أو شبكة عصبية. هذا يتيح التعميم بين الحالات المتشابهة، لكنه يفقدنا ضمانات التقارب. اجتماع تقريب الدوال وbootstrapping والتعلم خارج السياسة يُعرف بالثالوث القاتل لأنه قد يسبب التباعد.

أسئلة مراجعة

  1. ما مكونات الثالوث القاتل؟

    تقريب الدوال، وbootstrapping، والتعلم خارج السياسة.

  2. لماذا يسمى تحديث TD مع التقريب تدرجاً شبه كامل؟

    لأننا نشتق الخسارة بالنسبة للتقدير الحالي فقط ونعامل الهدف كأنه ثابت رغم اعتماده على المعاملات.

المصادر والمراجع

  1. Sutton & Barto — Reinforcement Learning: An Introduction (Ch. 9–11)
  2. Tsitsiklis & Van Roy (1997) — An Analysis of Temporal-Difference Learning with Function Approximation

إكمال الدرس