ما هو الانحدار التدريجي العشوائي Stochastic Gradient Descent (SGD)؟

الانحدار التدريجي العشوائي Stochastic Gradient Descent (SGD) هو نسخة مطوّرة من خوارزمية الانحدار التدريجي (Gradient Descent) تُستخدم بكثرة في التعلم العميق، وبدلًا من حساب المشتقات باستخدام مجموعة البيانات كاملة (وهو أمر مكلف وبطيء)، يقوم SGD بتحديث الأوزان اعتمادًا على عينة واحدة أو دفعة صغيرة من البيانات(Mini Batch)في كل خطوة. هذا يجعل التدريب أسرع وأكثر كفاءة مع البيانات الضخمة، كما يضيف بعض العشوائية التي تساعد النموذج على الهروب من القيم المثلى المحلية (Local Minima) والوصول إلى حلول أفضل في فضاء المعلمات.