كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

التعلم المعزز مبتدئ · Beginner 12 دقيقة

الآلات ذات الأذرع والاستكشاف

Multi-Armed Bandits and Exploration

أبسط صورة لمعضلة الاستكشاف والاستغلال، واستراتيجيات ε-greedy وUCB وطريقة طومسون.

تقدّمك في المسار0%

المسألة

عدد \(K\) من الأذرع، لكل منها متوسط مكافأة مجهول \(\mu_k\). في كل خطوة نختار ذراعاً ونرى مكافأته فقط. الهدف تعظيم المجموع، أو تقليل الندم:

$$\text{Regret}(T) = T\mu^* – \sum_{t=1}^{T} \mathbb{E}[r_t]$$

ثلاث استراتيجيات

الاستراتيجيةالفكرةملاحظات
ε-greedyاستكشاف عشوائي بنسبة εبسيطة، لكنها تستكشف حتى الأذرع الرديئة الواضحة
UCB1التقدير + علاوة لعدم اليقينندم لوغاريتمي في الحالة القياسية
طومسونمعاينة من التوزيع اللاحقفعالة عملياً وطبيعية مع الإطار البايزي

UCB1

$$a_t = \arg\max_k \left( \hat{\mu}_k + \sqrt{\frac{2 \ln t}{n_k}} \right)$$

محاكاة صغيرة

import numpy as np
rng = np.random.default_rng(0)
true_p = np.array([0.05, 0.10, 0.12])           # احتمالات النجاح الحقيقية
a, b = np.ones(3), np.ones(3)                    # توزيع Beta مسبق لكل ذراع
for t in range(5000):
    k = np.argmax(rng.beta(a, b))                # معاينة طومسون
    r = rng.random() < true_p[k]
    a[k] += r; b[k] += 1 - r
print((a + b - 2).astype(int))                   # عدد مرات اختيار كل ذراع

تطبيقات

  • اختبارات A/B التكيفية في المواقع.
  • التوصيات وتخصيص المحتوى (الآلات ذات السياق contextual bandits).
  • التجارب السريرية التكيفية، مع ضوابط أخلاقية وتنظيمية صارمة.

الآلات ذات الأذرع حالة خاصة من MDP بحالة واحدة: الأفعال لا تغيّر الحالة، فلا توجد مشكلة إسناد فضل عبر الزمن.

مصطلحات الدرس

الاستكشاف والاستغلال Exploration vs Exploitation
الموازنة بين تجربة أفعال جديدة لاكتشاف مكافآت أفضل واستغلال أفضل فعل معروف حالياً.
الندم Regret
الفرق بين المكافأة الكلية لأفضل استراتيجية ممكنة والمكافأة التي حصّلها الوكيل فعلاً.
معاينة طومسون Thompson Sampling
اختيار الفعل بمعاينة قيمة لكل ذراع من توزيعها اللاحق ثم اختيار الأكبر.

الملخص

في مسألة الآلات ذات الأذرع يختار الوكيل كل مرة ذراعاً من عدة أذرع لكل منها توزيع مكافأة مجهول. الاستغلال يعني اختيار أفضل ذراع حسب التقديرات الحالية، والاستكشاف يعني تجربة أذرع أخرى لتحسين التقدير. استراتيجية ε-greedy تستكشف عشوائياً بنسبة ε، وUCB تضيف علاوة لعدم اليقين، وطريقة طومسون تعاين من التوزيع اللاحق. تُستخدم في التجارب الإلكترونية والتوصيات والتجارب السريرية التكيفية.

أسئلة مراجعة

  1. لماذا تفشل الاستراتيجية الجشعة البحتة؟

    لأنها قد تثبت على ذراع رديئة بسبب تقدير أولي محظوظ ولا تجرب الأذرع الأخرى بما يكفي.

  2. ما فكرة UCB؟

    اختيار الذراع ذات أعلى حد ثقة علوي، أي التقدير مضافاً إليه علاوة تكبر مع قلة التجارب.

المصادر والمراجع

  1. Sutton & Barto — Reinforcement Learning: An Introduction (Ch. 2)
  2. Lattimore & Szepesvári — Bandit Algorithms
  3. Russo et al. — A Tutorial on Thompson Sampling

إكمال الدرس