Prompt Injection
حقن المطالبة
التعريف
هجوم يضع فيه المهاجم تعليمات خبيثة داخل مدخلات يقرؤها النموذج فتتجاوز تعليمات المطوّر.
قد يكون مباشراً (المستخدم نفسه) أو غير مباشر (تعليمات مخفية في صفحة أو وثيقة يستخرجها النموذج). يتضاعف الخطر مع الوكلاء الذين يملكون أدوات. تُخفف بفصل التعليمات عن البيانات وتقييد الصلاحيات والتحقق.
Definition
Prompt injection is an attack in which untrusted text embedded in model inputs contains instructions that override or subvert the developer's intended behaviour.
شرح مبسّط للمبتدئين
كرسالة مخفية داخل مستند تقول للمساعد: تجاهل أوامر مديرك واتبعني.
شرح أكاديمي متخصص
لا يوجد حل جذري حالياً لأن النموذج لا يفصل أصلاً بين التعليمات والبيانات.
أمثلة عملية
- صفحة ويب تحمل تعليمات مخفية لوكيل تصفح.
التطبيقات والاستخدامات
- الأمن في تطبيقات النماذج.
المزايا
- فهمه يحسّن تصميم الأنظمة الآمنة.
القيود والعيوب
- الدفاعات جزئية فقط.
