Reinforcement Learning
التعلم المعزز
التعريف
نوع من تعلم الآلة يتعلم فيه وكيل اتخاذ القرارات بالتجربة والتفاعل مع بيئة ليعظّم مجموع المكافآت.
في التعلم المعزز لا توجد إجابات صحيحة جاهزة كما في التعلم الموجّه، بل وكيل (Agent) يلاحظ حالة البيئة، ويختار فعلاً، فيتلقى مكافأة وحالة جديدة. الهدف تعلّم سياسة (Policy) تعظّم العائد المتوقع على المدى البعيد.
يواجه الوكيل معضلة الاستكشاف مقابل الاستغلال (Exploration vs. Exploitation). من خوارزمياته: Q-Learning وSARSA وأساليب تدرج السياسة وActor-Critic، ومع التعلم العميق ظهرت DQN التي لعبت ألعاب Atari بمستوى بشري. ويُستخدم أيضاً في ضبط النماذج اللغوية بالتغذية الراجعة البشرية (RLHF).
Definition
Reinforcement learning is a paradigm of machine learning in which an agent learns to choose actions through trial-and-error interaction with an environment so as to maximise cumulative reward.
شرح مبسّط للمبتدئين
تدريب كلب بالمكافآت: حين يجلس عند الأمر يأخذ قطعة طعام، فيتعلم مع الوقت ما الأفعال التي تجلب المكافأة.
شرح أكاديمي متخصص
يُصاغ عادةً عملية قرار ماركوفية (MDP) بالخماسية \((S, A, P, R, \gamma)\). تحقق دالة القيمة المثلى معادلة بلمان للأمثلية، وتقرّبها خوارزميات مثل Q-Learning بالتحديث التكراري.
أمثلة عملية
- برامج تتعلم لعب الشطرنج وGo وألعاب الفيديو.
- التحكم في الروبوتات وتعلم المشي.
- تحسين أنظمة التبريد وجدولة الموارد.
Q = {("s", "a"): 2.0, ("s2", "a"): 5.0, ("s2", "b"): 3.0}
alpha, gamma, r = 0.5, 0.9, 1.0
best_next = max(Q[("s2", x)] for x in ["a", "b"])
Q[("s", "a")] += alpha * (r + gamma * best_next - Q[("s", "a")])
print(Q[("s", "a")])شرح الكود
تطبيق مباشر للمعادلة على مثال المعادلة نفسه.
النتيجة المتوقعة
3.75
التطبيقات والاستخدامات
- الألعاب والروبوتات.
- أنظمة التوصية والإعلانات.
- مواءمة النماذج اللغوية (RLHF).
المزايا
- يتعلم من التفاعل دون بيانات موسومة.
- مناسب لاتخاذ قرارات متتابعة طويلة المدى.
القيود والعيوب
- يحتاج عدداً ضخماً من التجارب غالباً.
- تصميم دالة المكافأة صعب وقد يُستغل بطرق غير مقصودة (Reward Hacking).
المعادلات الرياضية
تحديث Q-Learning
Q(s,a) \leftarrow Q(s,a) + \alpha \big[\, r + \gamma \max_{a'} Q(s',a') - Q(s,a) \,\big]نحرّك تقدير قيمة الفعل نحو المكافأة الحالية مضافاً إليها أفضل قيمة متوقعة من الحالة التالية.
| الرمز | المعنى |
|---|---|
| \(Q(s,a)\) | القيمة المتوقعة لاتخاذ الفعل a في الحالة s |
| \(\alpha\) | معدل التعلم |
| \(r\) | المكافأة الفورية |
| \(\gamma\) | معامل الخصم (بين 0 و1) |
| \(s'\) | الحالة التالية |
مثال تطبيقي
إذا كان \(Q(s,a)=2\) و\(r=1\) و\(\gamma=0.9\) و\(\max Q(s',\cdot)=5\) و\(\alpha=0.5\): القيمة الجديدة \(2+0.5(1+4.5-2)=3.75\).
المصادر العلمية
مراجع ومصادر علمية
-
كتابReinforcement Learning: An Introduction (2nd ed.) المرجع الأساسي في التعلم المعزز، متاح مجاناً.
-
بحث علميHuman-level control through deep reinforcement learning شبكة DQN التي لعبت ألعاب Atari.
