ساحة التعلم المعزز
Reinforcement Learning Arena
صمّم المكافآت واضبط معدل التعلم والخصم والاستكشاف ليحل الوكيل العالم الشبكي بأقل عدد من الحلقات.
تعمل اللعبة كاملة في متصفحك. لا يُرسل شيء إلى خدمة خارجية.
تُحمَّل اللعبة…
التلميحات
ثلاثة مستويات: الأول يوجّه فقط، والثالث أقرب إلى الحل. اكشفها واحداً واحداً.
وضع التعلم
- التلميح 1: ابدأ بـ ε = 1 مع تناقص 0.97 ثم جرب ε ثابتاً صغيراً وقارن المنحنى.
- التلميح 2: غيّر مكافأة الخطوة إلى 0 وراقب طول المسار.
- التلميح 3: فعّل الانزلاق وقارن السياسة المتعلّمة بالسياسة المثلى.
وضع التحدي
- التلميح 1: التحدي يقيس عدد الحلقات حتى يجد الوكيل أقصر مسار: أسرع = نقاط أكثر.
- التلميح 2: α كبير يتعلم أسرع في عالم حتمي.
- التلميح 3: استكشاف أقل من اللازم قد يعلق الوكيل في طريق طويل.
كيف تعمل؟ How It Works
تعريف المشكلة
وكيل في عالم شبكي يتعلم بالتجربة سياسة توصله إلى الهدف بأكبر عائد متوقع، متجنباً الحفر، دون أن يعرف خريطة العالم مسبقاً.
الخوارزمية
تعلّم Q (Q-Learning) الجدولي مع سياسة ε-greedy وتناقص ε، ومقارنة بالسياسة المثلى المحسوبة بتكرار القيمة (Value Iteration) على النموذج الكامل.
المدخلات
خريطة العالم (3 مستويات)، تصميم المكافأة (خطوة، هدف، حفرة)، المعاملات α وγ وε، واحتمال الانزلاق.
المخرجات
جدول Q، منحنى العائد لكل حلقة، السياسة الجشعة (الأسهم)، والمقارنة مع السياسة المثلى.
خطوات التنفيذ
- في كل خطوة يختار الوكيل فعلاً عشوائياً باحتمال ε وإلا الفعل الأفضل حسب Q.
- يستقبل المكافأة r والحالة التالية s′.
- يحدّث: Q(s,a) ← Q(s,a) + α [r + γ max Q(s′,·) − Q(s,a)].
- بعد كل حلقة يتناقص ε إلى حد أدنى 0.05، وتنتهي الحلقة عند الهدف أو حفرة أو 100 خطوة.
المعلمات
- α معدل التعلم 0.05–1
- γ معامل الخصم 0.5–0.99
- ε الأولي وتناقصه لكل حلقة
- احتمال الانزلاق 0–0.3
- مكافأة الخطوة والهدف وعقوبة الحفرة
مثال
مع مكافأة خطوة صفرية لا يستعجل الوكيل، فقد يتجول طويلاً؛ مع مكافأة −1 لكل خطوة يتعلم أقصر طريق. ومع الانزلاق قد تبتعد السياسة المثلى عن حافة الحفر.
المزايا
- لا يحتاج نموذجاً للعالم (Model-free).
- يتقارب إلى Q المثلى بشروط معروفة (زيارة كل الأزواج وتناقص α مناسب).
- بسيط التنفيذ.
القيود
- الجدول لا يتسع لفضاءات حالة كبيرة أو مستمرة.
- حساس لتصميم المكافأة والمعاملات.
- المفاضلة بين الاستكشاف والاستغلال قد تبطئ التعلم.
التعقيد الحسابي
كل تحديث O(|A|). الذاكرة O(|S|·|A|). تكرار القيمة: O(|S|·|A|) لكل تكرار.
مقاييس التقييم
- العائد المخصوم لكل حلقة
- عدد الحلقات حتى تصبح السياسة الجشعة حلاً بأقصر طول
- تطابق السياسة مع السياسة المثلى
التطبيقات الواقعية
- الروبوتات والتحكم
- إدارة الموارد والجدولة
- أنظمة التوصية التكيفية
- الألعاب
