التعزيز التدرجي
Gradient Boosting
التعريف
يبني أشجاراً صغيرة متتالية، كل شجرة جديدة تتعلم تصحيح أخطاء (بواقي) مجموع الأشجار السابقة.
الفكرة الأساسية
على عكس الغابة العشوائية التي تبني أشجاراً مستقلة بالتوازي، يبني التعزيز الأشجار بالتسلسل ويخطو بخطوة تعلم صغيرة في اتجاه تقليل الخسارة.
آلية العمل
- نبدأ بتنبؤ ثابت (متوسط أو لوغاريتم الأرجحية)
- نحسب البواقي أو تدرج الخسارة
- ندرّب شجرة صغيرة تتنبأ بهذه البواقي
- نضيفها مضروبة في معدل التعلم
- نكرر لعدد محدد من الأشجار
نوع البيانات ونوع المشكلة
| نوع البيانات | جدولية رقمية وفئوية |
|---|---|
| نوع المشكلة | تصنيف وانحدار |
المزايا
- من أقوى الخوارزميات على البيانات الجدولية
- يعطي أهمية الخصائص
القيود
- يحتاج ضبطاً أدق للمعاملات
- قد يفرط في التخصيص مع أشجار كثيرة ومعدل تعلم كبير
- التدريب تسلسلي فهو أبطأ
المعاملات المهمة
- عدد الأشجار
- معدل التعلم learning rate
- عمق الشجرة
- نسبة العينة subsample
مقاييس التقييم
- Accuracy الدقة
- Precision وRecall
- F1-score
- Confusion Matrix مصفوفة الالتباس
- ROC AUC للتصنيف الثنائي
- للانحدار: MAE وRMSE وR²
الأدوات التي تدعمها
| Orange | Gradient Boosting |
|---|---|
| KNIME | Gradient Boosted Trees Learner + Predictor |
| WEKA | meta.AdditiveRegression (للانحدار) و meta.LogitBoost (للتصنيف) |
أمثلة تطبيقية
- تقدير المخاطر الائتمانية
- التنبؤ بالطلب
- تصنيف العملاء
