التعلم المعزز من التغذية الراجعة البشرية
Reinforcement Learning from Human Feedback
تدريب نموذج مكافأة على تفضيلات البشر بين إجابات النموذج، ثم تحسين النموذج اللغوي بالتعلم المعزز ليتبع هذه التفضيلات.
آلية العمل
ثلاث مراحل: ضبط إشرافي على أمثلة مكتوبة، تدريب نموذج مكافأة على ترتيبات بشرية، ثم تحسين السياسة بخوارزمية PPO.
المزايا
- يحسّن اتباع التعليمات والمواءمة
القيود
- مكلف بشرياً
- قد يستغل النموذج ثغرات نموذج المكافأة
التطبيقات العملية
ضبط المساعدات المحادثية مثل InstructGPT وChatGPT.
عناصر مرتبطة
قُدّم في
استند إليه
خريطة المعرفة لهذا العنصر
افتح بالحجم الكاملالمصادر والمراجع العلمية
- Long Ouyang; Jeff Wu; Xu Jiang; ... (20) (2022). Training language models to follow instructions with human feedback. arXiv, 2203.02155. DOI: 10.48550/arXiv.2203.02155 · arXiv: 2203.02155
يدعم: ورقة InstructGPT
