فرط التخصيص ونقص التخصيص

الصورة العامة

الحالة	خطأ التدريب	خطأ التحقق
نقص التخصيص	مرتفع	مرتفع
مناسب	منخفض	منخفض وقريب من التدريب
فرط التخصيص	منخفض جداً	مرتفع

الانحياز والتباين

للانحدار مع خسارة المربعات، يتحلل الخطأ المتوقع عند نقطة إلى:

$$\mathbb{E}\big[(y – \hat{f}(x))^2\big] = \text{Bias}\big[\hat{f}(x)\big]^2 + \text{Var}\big[\hat{f}(x)\big] + \sigma^2$$

حيث \(\sigma^2\) ضوضاء لا يمكن تقليلها. النماذج البسيطة انحيازها عالٍ، والمعقدة تباينها عالٍ.

التشخيص بمنحنى التعلم

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve

sizes, tr, va = learning_curve(model, X, y, cv=5,
                               train_sizes=np.linspace(0.1, 1.0, 6))
fig, ax = plt.subplots()
ax.plot(sizes, tr.mean(axis=1), "o-", label="train")
ax.plot(sizes, va.mean(axis=1), "o-", label="validation")
ax.set_xlabel("training examples"); ax.set_ylabel("score"); ax.legend()

• فجوة كبيرة مستمرة: فرط تخصيص، وقد تفيد بيانات إضافية.
• المنحنيان متقاربان ومنخفضان: نقص تخصيص، والحل نموذج أقوى أو سمات أفضل.

العلاج

فرط التخصيص	نقص التخصيص
تنظيم أقوى (L1/L2)	تنظيم أضعف
تقليل العمق أو عدد المعاملات	نموذج أكثر تعقيداً
بيانات تدريب أكثر	سمات أكثر إفادة
تجميع النماذج	تدريب أطول (للنماذج التكرارية)
التوقف المبكر وDropout في الشبكات	تقليل التنظيم

تحذير

قد تبدو النتيجة الممتازة على التحقق علامة نجاح، لكنها أحياناً علامة تسرب بيانات. إذا كانت النتائج أفضل من المتوقع، افحص خط المعالجة قبل الاحتفال.