Vanishing gradient problem

الميل إلى أن تصبح تدرجات الطبقات المخفية (hidden layers) المبكرة لبعض الشبكات العصبية العميقة (deep neural networks) مسطحة بشكل مدهش (منخفضة). تؤدي التدرجات المنخفضة بشكل متزايد إلى تغييرات أصغر بشكل متزايد في الأوزان الموجودة على العقد في الشبكة العصبية العميقة، مما يؤدي إلى القليل من التعلم أو انعدامه. تصبح النماذج التي تعاني من مشكلة التدرج المتلاشي صعبة أو مستحيلة التدريب. تعالج خلايا الذاكرة طويلة قصيرة المدى (LSTM) هذه المشكلة.
قارن مع مشكلة انفجار التدرج (exploding gradient problem).