مواءمة الذكاء الاصطناعي
AI Alignment
جعل أنظمة الذكاء الاصطناعي تتصرف وفق نوايا البشر وقيمهم وتتجنب السلوك الضار.
اتجاه ناشئ: توجد أنظمة وأبحاث فعلية، لكن نضجه وانتشاره ما زالا محل بحث. آخر مراجعة لهذه المعلومات: 2026-11-17.
التعريف
مجموعة أساليب لضبط أهداف النظام وسلوكه ومراقبته.
الأساس العلمي
التعلم من التفضيلات البشرية، والتقييم العدائي، وقابلية التفسير الآلي.
تاريخ التطور
من أبحاث التعلم المعزز من التفضيلات إلى InstructGPT (2022).
الوضع البحثي الحالي
حقيقة: RLHF وأساليب قريبة منه مستخدمة في معظم المساعدات المحادثية.
التطبيقات المحتملة
توقع: أساليب رقابة أدق للأنظمة الأكثر استقلالية.
التحديات
- تحديد القيم المطلوبة
- قياس المواءمة
- استغلال ثغرات نموذج المكافأة
عناصر مرتبطة
يستند إلى
خريطة المعرفة لهذا العنصر
افتح بالحجم الكاملالمصادر والمراجع العلمية
- Long Ouyang; Jeff Wu; Xu Jiang; ... (20) (2022). Training language models to follow instructions with human feedback. arXiv, 2203.02155. DOI: 10.48550/arXiv.2203.02155 · arXiv: 2203.02155
يدعم: InstructGPT
