كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

تشغيل النماذج ونشرها (MLOps) متقدم · Advanced 14 دقيقة

المراقبة وكشف الانحراف

Monitoring and Drift Detection

كيف تعرف أن نموذجك بدأ يخطئ قبل أن يخبرك المستخدمون؟

تقدّمك في المسار0%

ماذا نراقب؟

الطبقةالمؤشرات
التشغيلالكمون، معدل الأخطاء، استهلاك الذاكرة والمعالج
جودة البياناتالقيم المفقودة، القيم خارج المدى، الفئات الجديدة
الانحرافتوزيع السمات والمخرجات مقارنة بالمرجع
الأداءالمقاييس الفعلية عند توفر التسميات
العدالةالأداء حسب المجموعات

حساب PSI

import numpy as np
def psi(ref, cur, bins=10):
    edges = np.quantile(ref, np.linspace(0, 1, bins + 1))
    edges[0], edges[-1] = -np.inf, np.inf
    r = np.histogram(ref, edges)[0] / len(ref)
    c = np.histogram(cur, edges)[0] / len(cur)
    r, c = np.clip(r, 1e-6, None), np.clip(c, 1e-6, None)
    return float(np.sum((c - r) * np.log(c / r)))

عتبات شائعة في الممارسة: أقل من 0.1 استقرار، و0.1–0.25 تغير متوسط، وأكثر من 0.25 تغير كبير. هذه قواعد عرفية لا قوانين إحصائية.

تقرير انحراف بـ Evidently

# الواجهة تغيرت بين الإصدارات؛ هذا مثال للإصدارات 0.7 فأحدث
from evidently import Report
from evidently.presets import DataDriftPreset
report = Report([DataDriftPreset()])
result = report.run(reference_data=ref_df, current_data=cur_df)
result.save_html("drift_report.html")

تصميم التنبيهات

  • اربط التنبيه بأثر محتمل، لا بكل تغير إحصائي.
  • اجمع على نوافذ زمنية مناسبة لتقليل الضجيج.
  • حدد من يستجيب، وما الإجراء: فحص، أو تراجع، أو إعادة تدريب.

المراقبة الأكثر قيمة هي الأداء الفعلي؛ خطط مسبقاً لكيفية الحصول على تسميات حقيقية لعينة من التنبؤات.

مصطلحات الدرس

انحراف البيانات Data Drift
تغير توزيع مدخلات النموذج في الإنتاج عن توزيعها في بيانات التدريب.
انحراف المفهوم Concept Drift
تغير العلاقة بين المدخلات والهدف مع الزمن، فتصبح القاعدة التي تعلمها النموذج أقل صحة.
مؤشر استقرار المجتمع Population Stability Index
مقياس يقارن توزيع متغير بين فترتين عبر فئات، ويُستخدم كثيراً في النماذج المالية.

الملخص

المراقبة تشمل الصحة التشغيلية (الكمون والأخطاء والموارد)، وجودة البيانات الواردة، وانحراف توزيع المدخلات والمخرجات، والأداء الفعلي عند وصول التسميات الحقيقية. انحراف البيانات يعني تغير توزيع المدخلات، وانحراف المفهوم يعني تغير العلاقة بين المدخلات والهدف. تُستخدم اختبارات إحصائية ومقاييس مثل PSI لكشف الانحراف، لكن الانحراف الإحصائي لا يعني بالضرورة انخفاض الأداء، فالتنبيهات تحتاج إلى عتبات مدروسة.

أسئلة مراجعة

  1. ما الفرق بين انحراف البيانات وانحراف المفهوم؟

    الأول تغير توزيع المدخلات، والثاني تغير العلاقة بين المدخلات والهدف.

  2. كيف تراقب الأداء عندما تتأخر التسميات الحقيقية أشهراً؟

    بمراقبة انحراف المدخلات والمخرجات كمؤشرات مبكرة، ووسم عينات دورية يدوياً.

المصادر والمراجع

  1. Evidently AI Documentation
  2. Prometheus Documentation
  3. Gama et al. (2014) — A Survey on Concept Drift Adaptation
  4. Rabanser et al. (2019) — Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift

إكمال الدرس