Gradient boosting

خوارزمية تدريب حيث يتم تدريب النماذج الضعيفة لتحسين الجودة (تقليل الخطأ) بشكل متكرر لنموذج قوي. على سبيل المثال، يمكن أن يكون النموذج الضعيف نموذج شجرة قرار خطيًا أو صغيرًا. يصبح النموذج القوي مجموع كل النماذج الضعيفة التي تم تدريبها مسبقًا.
في أبسط أشكال تعزيز التدرج، في كل تكرار، يتم تدريب نموذج ضعيف للتنبؤ بتدرج الخطأ للنموذج القوي. بعد ذلك، يتم تحديث ناتج النموذج القوي بطرح التدرج المتوقع، على غرار التدرج الاشتقاقي (gradient descent).
تشمل الانواع الحديثة لتعزيز التدرج أيضًا المشتق الثاني (Hessian) للخسارة في حساباتهم.
تُستخدم أشجار القرار (Decision trees) بشكل شائع كنماذج ضعيفة في تعزيز التدرج.