تلاشي التدرج (Gradient Vanishing) هو مشكلة شائعة في تدريب الشبكات العصبية العميقة، حيث تصبح التدرجات صغيرة جدًا أثناء الانتشار الخلفي، خاصة في الطبقات الأولى، مما يمنع تحديث الأوزان بشكل فعّال. نتيجة لذلك، يتباطأ التعلم أو يتوقف تمامًا، ويعجز النموذج عن تعلّم التمثيلات العميقة. تحدث هذه المشكلة غالبًا مع دوال تفعيل مثل sigmoid أو tanh.
من طرق معالجة تلاشي التدرج: استخدام دوال تفعيل مثل ReLU، وتطبيع الأوزان، واستخدام معماريات خاصة مثل LSTM أو ResNet التي تسهّل تدفّق التدرجات بعمق أكبر.
ا.م.د. علاء طعيمة عبد الكاظم
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق