Momentum

خوارزمية تدرج اشتقاقي (gradient descent) معقدة تعتمد فيها خطوة التعلم ليس فقط على المشتق في الخطوة الحالية، ولكن أيضًا على مشتقات الخطوة (الخطوات) التي سبقتها مباشرة. يتضمن الزخم حساب متوسط متحرك أسيًا للتدرجات بمرور الوقت، مشابهًا للزخم في الفيزياء. أحيانًا يمنع الزخم التعلم من الوقوع في الحدود الدنيا المحلية.