Reward Model
نموذج المكافأة
التعريف
نموذج يُدرَّب على تفضيلات بشرية ليعطي درجة تعكس جودة الاستجابة، ويُستخدم لتوجيه التعلم المعزَّز.
تُجمع مقارنات بين ردين ويُدرَّب النموذج بخسارة تفضيل (برادلي–تيري). في RLHF تُحسَّن السياسة ضد هذه الدرجة، وقد تُستغل نقاط ضعفه (Reward Hacking).
Definition
A reward model is trained on human preference comparisons to score response quality and serves as the optimisation target in RLHF.
شرح مبسّط للمبتدئين
كحكم يعطي كل رد درجة بحسب ما يفضله الناس.
شرح أكاديمي متخصص
الخسارة \(-\log\sigma(r(x,y_w)-r(x,y_l))\) حيث \(y_w\) المفضَّل.
أمثلة عملية
- ترتيب ردّين من الأفضل إلى الأسوأ.
التطبيقات والاستخدامات
- RLHF.
المزايا
- يحوّل التفضيل إلى إشارة قابلة للتحسين.
القيود والعيوب
- قد يُستغل.
