المراقبة وكشف الانحراف
Monitoring and Drift Detection
كيف تعرف أن نموذجك بدأ يخطئ قبل أن يخبرك المستخدمون؟
ماذا نراقب؟
| الطبقة | المؤشرات |
|---|---|
| التشغيل | الكمون، معدل الأخطاء، استهلاك الذاكرة والمعالج |
| جودة البيانات | القيم المفقودة، القيم خارج المدى، الفئات الجديدة |
| الانحراف | توزيع السمات والمخرجات مقارنة بالمرجع |
| الأداء | المقاييس الفعلية عند توفر التسميات |
| العدالة | الأداء حسب المجموعات |
حساب PSI
import numpy as np
def psi(ref, cur, bins=10):
edges = np.quantile(ref, np.linspace(0, 1, bins + 1))
edges[0], edges[-1] = -np.inf, np.inf
r = np.histogram(ref, edges)[0] / len(ref)
c = np.histogram(cur, edges)[0] / len(cur)
r, c = np.clip(r, 1e-6, None), np.clip(c, 1e-6, None)
return float(np.sum((c - r) * np.log(c / r)))عتبات شائعة في الممارسة: أقل من 0.1 استقرار، و0.1–0.25 تغير متوسط، وأكثر من 0.25 تغير كبير. هذه قواعد عرفية لا قوانين إحصائية.
تقرير انحراف بـ Evidently
# الواجهة تغيرت بين الإصدارات؛ هذا مثال للإصدارات 0.7 فأحدث
from evidently import Report
from evidently.presets import DataDriftPreset
report = Report([DataDriftPreset()])
result = report.run(reference_data=ref_df, current_data=cur_df)
result.save_html("drift_report.html")تصميم التنبيهات
- اربط التنبيه بأثر محتمل، لا بكل تغير إحصائي.
- اجمع على نوافذ زمنية مناسبة لتقليل الضجيج.
- حدد من يستجيب، وما الإجراء: فحص، أو تراجع، أو إعادة تدريب.
المراقبة الأكثر قيمة هي الأداء الفعلي؛ خطط مسبقاً لكيفية الحصول على تسميات حقيقية لعينة من التنبؤات.
مصطلحات الدرس
- انحراف البيانات Data Drift
- تغير توزيع مدخلات النموذج في الإنتاج عن توزيعها في بيانات التدريب.
- انحراف المفهوم Concept Drift
- تغير العلاقة بين المدخلات والهدف مع الزمن، فتصبح القاعدة التي تعلمها النموذج أقل صحة.
- مؤشر استقرار المجتمع Population Stability Index
- مقياس يقارن توزيع متغير بين فترتين عبر فئات، ويُستخدم كثيراً في النماذج المالية.
الملخص
المراقبة تشمل الصحة التشغيلية (الكمون والأخطاء والموارد)، وجودة البيانات الواردة، وانحراف توزيع المدخلات والمخرجات، والأداء الفعلي عند وصول التسميات الحقيقية. انحراف البيانات يعني تغير توزيع المدخلات، وانحراف المفهوم يعني تغير العلاقة بين المدخلات والهدف. تُستخدم اختبارات إحصائية ومقاييس مثل PSI لكشف الانحراف، لكن الانحراف الإحصائي لا يعني بالضرورة انخفاض الأداء، فالتنبيهات تحتاج إلى عتبات مدروسة.
أسئلة مراجعة
-
ما الفرق بين انحراف البيانات وانحراف المفهوم؟
الأول تغير توزيع المدخلات، والثاني تغير العلاقة بين المدخلات والهدف.
-
كيف تراقب الأداء عندما تتأخر التسميات الحقيقية أشهراً؟
بمراقبة انحراف المدخلات والمخرجات كمؤشرات مبكرة، ووسم عينات دورية يدوياً.
المصادر والمراجع
إكمال الدرس
أكملت كل دروس المسار! يمكنك الآن طلب شهادة إكمال المسار.
اطلب الشهادة