التعلم العميق بالعربي الدكتور علاء طعيمة
تعلم الآلة الإحصاء والرياضيات التعلم العميق متقدم محتوى تجريبي

Regularization

التنظيم

التعريف

مجموعة تقنيات تقيّد النموذج أو تعاقب تعقيده أثناء التدريب لتحسين تعميمه على البيانات الجديدة.

يُضاف التنظيم عادةً حدّاً جزائياً إلى دالة الخسارة يعاقب الأوزان الكبيرة: تنظيم L2 (Ridge أو Weight Decay) يدفع الأوزان نحو قيم صغيرة، وتنظيم L1 (Lasso) يجعل بعضها صفراً تماماً فيؤدي إلى اختيار الخصائص.
وهناك أشكال أخرى لا تعتمد على حد جزائي صريح، مثل الإسقاط (Dropout) والإيقاف المبكر وزيادة البيانات. يُضبط معامل التنظيم \(\lambda\) بالتحقق المتقاطع.

Definition

Regularization is any modification to a learning algorithm intended to reduce its generalisation error but not its training error, commonly by adding a penalty on model complexity such as the L1 or L2 norm of the weights.

شرح مبسّط للمبتدئين

كأنك تضع حدوداً لطالب حتى لا يكتب إجابات طويلة مليئة بتفاصيل لا داعي لها، فيضطر إلى التركيز على الفكرة الأساسية.

شرح أكاديمي متخصص

من منظور بايزي يكافئ تنظيم L2 افتراض توزيع قبلي غاوسي على الأوزان، ويكافئ L1 توزيعاً قبلياً لابلاسياً، ويصبح التقدير هو أقصى احتمال بعدي (MAP).

أمثلة عملية

  • Ridge وLasso في الانحدار الخطي.
  • Weight Decay في تدريب الشبكات العصبية.
  • Dropout بنسبة 0.5 في الطبقات المتصلة كلياً.
أثر Lasso في تصفير المعاملات Python 
import numpy as np
from sklearn.linear_model import Lasso, Ridge

rng = np.random.default_rng(0)
X = rng.normal(size=(100, 5))
y = 3 * X[:, 0] + 0.1 * rng.normal(size=100)  # خاصية واحدة مفيدة فقط

print(np.round(Ridge(alpha=1.0).fit(X, y).coef_, 2))
print(np.round(Lasso(alpha=0.1).fit(X, y).coef_, 2))

شرح الكود

Ridge يصغّر كل المعاملات دون تصفيرها، أما Lasso فيجعل معاملات الخصائص غير المفيدة صفراً.

النتيجة المتوقعة

[ 2.95  0.01  0.01 -0.    0.  ]
[ 2.87  0.    0.   -0.    0.  ]

التطبيقات والاستخدامات

  • تحسين تعميم نماذج الانحدار والتصنيف.
  • اختيار الخصائص تلقائياً (L1).
  • تدريب الشبكات العميقة (Weight Decay وDropout).

المزايا

  • يقلل فرط التخصيص دون الحاجة إلى بيانات إضافية.
  • L1 يعطي نماذج متفرقة أسهل تفسيراً.

القيود والعيوب

  • التنظيم المفرط يسبب نقص التخصيص.
  • يحتاج ضبط \(\lambda\) بالتحقق المتقاطع، والخصائص يجب أن تكون بمقاييس متقاربة.

المعادلات الرياضية

الخسارة مع حدّ التنظيم

J(\mathbf{w}) = L(\mathbf{w}) + \lambda\, \Omega(\mathbf{w}), \quad \Omega_{L2} = \lVert \mathbf{w} \rVert_2^2, \quad \Omega_{L1} = \lVert \mathbf{w} \rVert_1

الخسارة الكلية هي خسارة البيانات مضافاً إليها حد يعاقب حجم الأوزان، ويتحكم \(\lambda\) في قوته.

شرح الرموز
الرمزالمعنى
\(L(\mathbf{w})\)خسارة البيانات (مثل متوسط مربع الخطأ)
\(\lambda\)معامل التنظيم (أكبر = تقييد أقوى)
\(\lVert \mathbf{w} \rVert_2^2\)مجموع مربعات الأوزان
\(\lVert \mathbf{w} \rVert_1\)مجموع القيم المطلقة للأوزان

مثال تطبيقي

إذا كانت \(\mathbf{w}=(3,-4)\) فإن \(\lVert\mathbf{w}\rVert_2^2=25\) و\(\lVert\mathbf{w}\rVert_1=7\)؛ ومع \(\lambda=0.1\) يضيف تنظيم L2 القيمة 2.5 إلى الخسارة.

المصادر العلمية

مراجع ومصادر علمية

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده