Direct Preference Optimization
الأمثلة المباشرة للتفضيل
التعريف
طريقة مواءمة تُدرِّب النموذج مباشرة على أزواج تفضيلات بخسارة بسيطة دون نموذج مكافأة منفصل أو تعلم معزَّز.
تُعيد صياغة هدف RLHF بحيث يظهر نموذج المكافأة ضمنياً في نسبة الاحتمالات بين النموذج والمرجع. أبسط وأكثر ثباتاً من PPO ويُستخدم على نطاق واسع.
Definition
DPO optimises a language model directly on preference pairs with a classification-style loss, eliminating the explicit reward model and RL loop.
شرح مبسّط للمبتدئين
بدل تدريب حكم ثم تدريب اللاعب عليه، تدرّب اللاعب مباشرة على أي حركتين أفضل.
شرح أكاديمي متخصص
قدّمه Rafailov وآخرون (2023)؛ الخسارة تعظّم فرق لوغاريتم النسبة بين الرد المفضَّل وغير المفضَّل.
أمثلة عملية
- ضبط نموذج على أزواج ردود مفضَّلة وغير مفضَّلة.
التطبيقات والاستخدامات
- مواءمة النماذج.
المزايا
- بسيط ومستقر.
القيود والعيوب
- حساس لجودة بيانات التفضيل.
