تقييم النماذج

مصفوفة الالتباس

	متنبأ موجب	متنبأ سالب
حقيقي موجب	TP	FN
حقيقي سالب	FP	TN

مقاييس التصنيف

$$\text{Precision} = \frac{TP}{TP+FP} \qquad \text{Recall} = \frac{TP}{TP+FN} \qquad F_1 = \frac{2 \cdot P \cdot R}{P + R}$$

• Accuracy: نسبة التنبؤات الصحيحة، مضللة مع عدم التوازن.
• Balanced Accuracy: متوسط الاستدعاء لكل فئة.
• ROC-AUC: احتمال أن يعطي النموذج مثالاً موجباً عشوائياً درجة أعلى من مثال سالب عشوائي.
• PR-AUC (Average Precision): أكثر إفادة عندما تكون الفئة الموجبة نادرة.

مثال

from sklearn.metrics import (confusion_matrix, classification_report,
                             roc_auc_score, average_precision_score)
y_pred = clf.predict(X_test)
y_score = clf.predict_proba(X_test)[:, 1]
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred, digits=3))
print("ROC-AUC", roc_auc_score(y_test, y_score))
print("PR-AUC ", average_precision_score(y_test, y_score))

مقاييس الانحدار

$$\text{MAE} = \frac{1}{n}\sum |y_i – \hat{y}_i| \qquad \text{RMSE} = \sqrt{\frac{1}{n}\sum (y_i – \hat{y}_i)^2}$$

اختيار المقياس

اختر المقياس قبل التجارب، وفق كلفة الأخطاء:

• الفحص الطبي الأولي: الاستدعاء مهم جداً.
• تصفية الرسائل المزعجة: الدقة الموجبة مهمة حتى لا تُحجب رسائل مهمة.
• تقدير الأسعار: MAE سهل التفسير بوحدة السعر.

عدم اليقين

أبلغ عن المتوسط والانحراف المعياري عبر طيات التحقق المتقاطع، أو فترات ثقة بالإقلاع (bootstrap) على بيانات الاختبار. فرق صغير بين نموذجين قد لا يكون ذا دلالة.