Gradient Boosting

التعريف

تقنية تجميعية تبني نماذج ضعيفة (غالباً أشجاراً) بالتتابع، ويتعلم كل نموذج تصحيح أخطاء مجموع النماذج السابقة بتدرج الخسارة.

يبدأ بتنبؤ بسيط، ثم يحسب في كل جولة «البواقي» أو سالب تدرج الخسارة، ويدرب شجرة صغيرة على التنبؤ بها، ويضيف مخرجاتها إلى النموذج مضروبة في معدل تعلم صغير.
من تطبيقاته الشهيرة XGBoost وLightGBM وCatBoost، وهي من أقوى الطرائق على البيانات الجدولية.

Definition

Gradient boosting builds an additive model stage by stage, fitting each new weak learner, typically a shallow tree, to the negative gradient of the loss of the current ensemble.

شرح مبسّط للمبتدئين

كطالب يراجع أخطاءه في كل اختبار ويركز عليها، فيتحسن تدريجياً بدل تعلم كل شيء دفعة واحدة.

شرح أكاديمي متخصص

التحديث \(F_m=F_{m-1}+\nu h_m\) حيث \(h_m\) تقرّب \(-\partial L/\partial F\) على بيانات التدريب (Friedman 2001). يُنظَّم بالتقليص ونسبة العينات وعمق الأشجار.