الفرق بين دوال التفعيل ReLU وSigmoid وTanh يتمثل في طبيعة عملها ومجال مخرجاتها: دالةSigmoid تحوّل المدخلات إلى قيم بين0 و1 مما يجعلها مناسبة للتصنيف الثنائي (Binary Classification) لكنها تعاني من مشكلة تلاشي التدرج (Vanishing Gradient). أما دالةTanh فتحوّل المدخلات إلى قيم بين-1 و+1، وهو ما يجعل مخرجاتها متمركزة حول الصفر (Zero-Centered) مما يسهل التعلم أكثر من Sigmoid، لكنها أيضًا تعاني من نفس مشكلة التدرج. في المقابل، دالةReLU تُبقي القيم الموجبة كما هي وتحوّل القيم السالبة إلى صفر، وتتميز ببساطتها وسرعة حسابها وتقليلها لمشكلة تلاشي التدرج، مما يجعلها الأكثر استخدامًا في الشبكات العصبية العميقة وخاصة في تطبيقات الرؤية الحاسوبية (Computer Vision).
ا.م.د. علاء طعيمة عبد الكاظم
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق