كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

ساحة التعلم المعزز

Reinforcement Learning Arena

صمّم المكافآت واضبط معدل التعلم والخصم والاستكشاف ليحل الوكيل العالم الشبكي بأقل عدد من الحلقات.

تدريب فعلي (Model Training) متوسط نحو 15 دقيقة Q-Learningε-greedyValue Iteration

تعمل اللعبة كاملة في متصفحك. لا يُرسل شيء إلى خدمة خارجية.

تُحمَّل اللعبة…

التلميحات

ثلاثة مستويات: الأول يوجّه فقط، والثالث أقرب إلى الحل. اكشفها واحداً واحداً.

وضع التعلم

وضع التحدي

كيف تعمل؟ How It Works

تعريف المشكلة

وكيل في عالم شبكي يتعلم بالتجربة سياسة توصله إلى الهدف بأكبر عائد متوقع، متجنباً الحفر، دون أن يعرف خريطة العالم مسبقاً.

الخوارزمية

تعلّم Q (Q-Learning) الجدولي مع سياسة ε-greedy وتناقص ε، ومقارنة بالسياسة المثلى المحسوبة بتكرار القيمة (Value Iteration) على النموذج الكامل.

المدخلات

خريطة العالم (3 مستويات)، تصميم المكافأة (خطوة، هدف، حفرة)، المعاملات α وγ وε، واحتمال الانزلاق.

المخرجات

جدول Q، منحنى العائد لكل حلقة، السياسة الجشعة (الأسهم)، والمقارنة مع السياسة المثلى.

خطوات التنفيذ

  1. في كل خطوة يختار الوكيل فعلاً عشوائياً باحتمال ε وإلا الفعل الأفضل حسب Q.
  2. يستقبل المكافأة r والحالة التالية s′.
  3. يحدّث: ⁦Q(s,a) ← Q(s,a) + α [r + γ max Q(s′,·) − Q(s,a)]⁩.
  4. بعد كل حلقة يتناقص ε إلى حد أدنى 0.05، وتنتهي الحلقة عند الهدف أو حفرة أو 100 خطوة.

المعلمات

  • α معدل التعلم 0.05–1
  • γ معامل الخصم 0.5–0.99
  • ε الأولي وتناقصه لكل حلقة
  • احتمال الانزلاق 0–0.3
  • مكافأة الخطوة والهدف وعقوبة الحفرة

مثال

مع مكافأة خطوة صفرية لا يستعجل الوكيل، فقد يتجول طويلاً؛ مع مكافأة −1 لكل خطوة يتعلم أقصر طريق. ومع الانزلاق قد تبتعد السياسة المثلى عن حافة الحفر.

المزايا

  • لا يحتاج نموذجاً للعالم (Model-free).
  • يتقارب إلى Q المثلى بشروط معروفة (زيارة كل الأزواج وتناقص α مناسب).
  • بسيط التنفيذ.

القيود

  • الجدول لا يتسع لفضاءات حالة كبيرة أو مستمرة.
  • حساس لتصميم المكافأة والمعاملات.
  • المفاضلة بين الاستكشاف والاستغلال قد تبطئ التعلم.

التعقيد الحسابي

كل تحديث ⁦O(|A|)⁩. الذاكرة ⁦O(|S|·|A|)⁩. تكرار القيمة: ⁦O(|S|·|A|)⁩ لكل تكرار.

مقاييس التقييم

  • العائد المخصوم لكل حلقة
  • عدد الحلقات حتى تصبح السياسة الجشعة حلاً بأقصر طول
  • تطابق السياسة مع السياسة المثلى

التطبيقات الواقعية

  • الروبوتات والتحكم
  • إدارة الموارد والجدولة
  • أنظمة التوصية التكيفية
  • الألعاب

المراجع