Vanishing Gradient
تلاشي التدرج
التعريف
مشكلة تصغر فيها التدرجات إلى ما يقارب الصفر أثناء رجوعها عبر طبقات كثيرة، فتتوقف الطبقات الأولى عن التعلم.
ينتج عن ضرب مشتقات صغيرة كثيرة عبر قاعدة السلسلة، كما في Sigmoid وTanh. تُخفَّف بدوال ReLU، والتهيئة الجيدة، والتطبيع، والوصلات المتبقية، وبوابات LSTM.
Definition
The vanishing gradient problem occurs when gradients shrink exponentially as they propagate backward through many layers, preventing early layers from learning.
شرح مبسّط للمبتدئين
كهمسة تنتقل في سلسلة طويلة من الناس: تضعف حتى لا يسمعها آخر شخص.
شرح أكاديمي متخصص
إذا كان المعدّل \(|\sigma'|\le0.25\) فإن حاصل ضربه عبر L طبقة يتناقص أسياً بـ L.
أمثلة عملية
- شبكة Sigmoid بعمق 20 طبقة.
التطبيقات والاستخدامات
- تشخيص مشكلات التدريب.
المزايا
- فهمه يوجه تصميم الشبكات.
القيود والعيوب
- ضده مشكلة انفجار التدرج.
