كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

الوحدة 3 · الدرس 6 · 17 دقيقة قراءة

أمان الأدوات والصلاحيات

Tool Security and Permissions

المقدمة

كل أداة تمنحها للوكيل هي باب إلى نظامك. إذا خُدع الوكيل أو أخطأ فإن الأداة هي ما يحوّل الخطأ إلى ضرر حقيقي. في هذا الدرس نتعلم مبدأ أقل صلاحية، والتحقق من المدخلات، والموافقة البشرية، وخطر الحقن غير المباشر عبر نتائج الأدوات.

أهداف التعلم

  • تطبيق مبدأ أقل صلاحية (Least Privilege) عند تصميم الأدوات
  • اكتشاف مخاطر المدخلات مثل تجاوز المسار في أدوات الملفات
  • تحديد الأدوات التي تتطلب موافقة بشرية قبل التنفيذ
  • شرح الحقن غير المباشر للتعليمات عبر نتائج الأدوات وطرق تقليله

لماذا الأدوات هي نقطة الخطر الأكبر؟

النموذج اللغوي الذي لا يملك أدوات قد يكتب نصًا خاطئًا، وهذا مزعج. أما الوكيل الذي يملك أداة حذف ملفات أو إرسال بريد فقد يحوّل خطأ في الفهم إلى ضرر لا يمكن التراجع عنه. تصنّف قائمة OWASP لمخاطر تطبيقات النماذج اللغوية «الصلاحيات المفرطة» للوكلاء ضمن أبرز المخاطر، لأن النموذج قابل للخداع بطبيعته، فلا يجوز أن يكون هو خط الدفاع الوحيد.

القاعدة الذهبية: افترض أن النموذج قد يطلب أي شيء، ثم صمّم الأدوات بحيث يبقى الضرر محدودًا حتى في أسوأ الحالات.

فحص المدخلات والمحتوى المسترجعInput & Retrieved-Content Filteringأقل صلاحية لكل أداةLeast Privilegeموافقة بشرية للأفعال الحساسةHuman-in-the-Loopعزل التنفيذ وحدود المواردSandbox & Limitsالتتبع والمراقبة والتنبيهTracing & Monitoring
الدفاع في العمق: لا تعتمد على طبقة واحدة؛ افحص المدخلات، وقيّد الصلاحيات، واطلب الموافقة، واعزل التنفيذ، وراقب.

مبدأ أقل صلاحية

امنح كل أداة الحد الأدنى من الصلاحيات اللازمة لمهمتها فقط:

  • أداة تقرأ تقارير الطلاب تتصل بقاعدة البيانات بحساب قراءة فقط، لا بحساب المسؤول.
  • أداة الملفات تعمل داخل مجلد محدد لا على نظام الملفات كله.
  • أداة البحث في قاعدة البيانات تقبل معاملات محددة وتبني الاستعلام بنفسها، ولا تقبل نص SQL كاملًا من النموذج.
  • مفاتيح API تبقى في التطبيق، ولا تُكتب أبدًا في التعليمات أو في سياق النموذج.

التحقق من المدخلات: مثال تجاوز المسار

لنفترض أداة file_reader تقرأ ملفات من مجلد docs. إذا طلب النموذج المسار ../../etc/passwd وكانت الأداة تضمّه إلى المجلد بسذاجة، فستقرأ ملفًا خارج المجلد المسموح. هذا هجوم معروف باسم تجاوز المسار (Path Traversal). قد يأتي هذا الطلب من خطأ في النموذج أو من تعليمات خبيثة دُسّت في مستند.

الموافقة البشرية للأفعال الحساسة

بعض الأدوات لا يكفي فيها التحقق التقني، لأن السؤال ليس «هل الطلب صحيح الشكل؟» بل «هل يريد المستخدم فعلًا هذا الأثر؟». إرسال بريد باسم الجامعة، أو حذف سجل، أو دفع مبلغ، كلها تستحق خطوة موافقة بشرية (Human Approval) يرى فيها المستخدم ما سيحدث بالضبط قبل التنفيذ. ستدرس هذا النمط بعمق في درس الإنسان في الحلقة.

مثال عملي: بوابة صلاحيات

المثال التالي بايثون عادي. نبني بوابة تمر عبرها كل الاستدعاءات: تتحقق من أن الأداة في القائمة المسموحة لهذا الوكيل، وتمنع تجاوز المسار، وتطلب موافقة للأدوات ذات الأثر:

python
from pathlib import PurePosixPath

POLICY = {
    "file_reader": {"risk": "read"},
    "db_search":   {"risk": "read"},
    "send_email":  {"risk": "write", "needs_approval": True},
}
ALLOWED_FOR_AGENT = {"file_reader", "db_search", "send_email"}
BASE = PurePosixPath("/srv/academy/docs")

def safe_path(relative: str) -> PurePosixPath:
    parts = PurePosixPath(relative).parts
    if PurePosixPath(relative).is_absolute() or ".." in parts:
        raise PermissionError("مسار خارج المجلد المسموح")
    return BASE / relative

def gate(call: dict, approved: bool = False) -> str:
    name, args = call["name"], call["args"]
    if name not in ALLOWED_FOR_AGENT or name not in POLICY:
        return "مرفوض: أداة غير مسموحة لهذا الوكيل"
    if name == "file_reader":
        try:
            args["path"] = str(safe_path(args["path"]))
        except PermissionError as e:
            return f"مرفوض: {e}"
    if POLICY[name].get("needs_approval") and not approved:
        return f"بانتظار موافقة المستخدم على: {name} {args}"
    return f"مسموح بالتنفيذ: {name} {args}"

print(gate({"name": "file_reader", "args": {"path": "syllabus.txt"}}))
print(gate({"name": "file_reader", "args": {"path": "../../etc/passwd"}}))
print(gate({"name": "delete_db", "args": {}}))
print(gate({"name": "send_email", "args": {"to": "dean@example.edu"}}))
print(gate({"name": "send_email", "args": {"to": "dean@example.edu"}}, approved=True))

البوابة لا تثق بالنموذج: كل قرار فيها يعتمد على سياسة مكتوبة في الكود، لا على ما يقوله النموذج عن نفسه أو عن الأداة.

طبقات دفاع متعددة

لا توجد حماية واحدة كافية، لذلك نجمع عدة طبقات:

  1. قائمة أدوات مسموحة لكل وكيل حسب دوره.
  2. تحقق صارم من المعاملات بمخطط وقيود.
  3. صلاحيات تشغيل دنيا وبيئة معزولة (Sandbox) للأدوات الخطرة.
  4. موافقة بشرية للأفعال ذات الأثر.
  5. سجل تدقيق (Audit Log) لكل استدعاء ونتيجته.

وتذكّر من درس مخططات الأدوات أن تعليقات الأداة في MCP غير موثوقة افتراضيًا؛ فادعاء أداة أنها «للقراءة فقط» ليس بديلًا عن سياستك.

الملخص

الأدوات هي ما يحوّل أخطاء النموذج أو خداعه إلى ضرر فعلي، لذلك يجب ألا يكون النموذج خط الدفاع الوحيد. مبدأ أقل صلاحية يحدّ أثر أي خطأ، والتحقق من المدخلات يمنع هجمات مثل تجاوز المسار. الأفعال الحساسة تحتاج موافقة بشرية، ونتائج الأدوات تُعامل بيانات لا أوامر تجنبًا للحقن غير المباشر. الحماية الفعالة طبقات متعددة: قائمة مسموحة، وتحقق، وعزل، وموافقة، وسجل تدقيق.

المصطلحات

المصطلحEnglishالتعريف
أقل صلاحيةLeast Privilegeمنح كل مكوّن الحد الأدنى من الصلاحيات اللازمة لمهمته
تجاوز المسارPath Traversalاستخدام ../ للوصول إلى ملفات خارج المجلد المسموح
الحقن غير المباشر للتعليماتIndirect Prompt Injectionتعليمات خبيثة مخبأة في محتوى خارجي يقرؤه الوكيل عبر أداة
الموافقة البشريةHuman Approvalخطوة يؤكد فيها الإنسان الفعل قبل تنفيذه
القائمة المسموحةAllowlistقائمة صريحة بما يُسمح به ورفض كل ما عداه
سجل التدقيقAudit Logسجل دائم لكل استدعاء أداة ومعاملاته ونتيجته

أسئلة المراجعة

  1. لماذا لا يجوز الاعتماد على النموذج وحده لمنع الاستخدام الخاطئ للأدوات؟
  2. كيف تمنع أداة قراءة ملفات من الوصول إلى ملفات خارج مجلدها؟
  3. أعط ثلاثة أمثلة لأدوات تحتاج موافقة بشرية وفسّر السبب.
  4. كيف يحدث الحقن غير المباشر للتعليمات وما أهم وسيلة لتقليل أثره؟

المراجع