التحقق المتقاطع

الفكرة

تقسيم واحد إلى تدريب واختبار يعطي تقديراً متأثراً بالحظ في اختيار العينة. التحقق المتقاطع يكرر التقييم على عدة تقسيمات ويعطي متوسطاً وتشتتاً.

K-Fold

from sklearn.model_selection import cross_validate, StratifiedKFold
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
res = cross_validate(model, X, y, cv=cv, scoring=["accuracy", "f1_macro"])
print(res["test_f1_macro"].mean(), res["test_f1_macro"].std())

اختيار نوع التقسيم

طبيعة البيانات	الأداة
تصنيف بفئات غير متوازنة	StratifiedKFold
عدة عينات لكل مريض أو مستخدم	GroupKFold أو StratifiedGroupKFold
سلاسل زمنية	TimeSeriesSplit
بيانات صغيرة جداً	RepeatedStratifiedKFold

التحقق المتداخل

عند ضبط المعاملات الفائقة واختيار النموذج على البيانات نفسها، تكون أفضل نتيجة متفائلة. الحل:

from sklearn.model_selection import GridSearchCV, cross_val_score
inner = StratifiedKFold(5, shuffle=True, random_state=1)
outer = StratifiedKFold(5, shuffle=True, random_state=2)
search = GridSearchCV(model, param_grid, cv=inner)
scores = cross_val_score(search, X, y, cv=outer)
print(scores.mean(), scores.std())

الحلقة الداخلية تختار المعاملات، والخارجية تقدّر أداء الإجراء كاملاً.

أخطاء شائعة

• المعالجة المسبقة خارج الطيات (تسرب). ضع كل شيء في Pipeline.
• اختيار السمات على كامل البيانات قبل التحقق المتقاطع.
• الإبلاغ عن أفضل طية بدلاً من المتوسط.