Activation Function
دالة التنشيط
التعريف
دالة غير خطية تُطبَّق على مخرج كل عصبون لتمكين الشبكة من تعلم علاقات معقدة.
لو خلت الشبكة من دوال التنشيط لكانت مهما بلغ عمقها تكافئ تحويلاً خطياً واحداً. إضافة اللاخطية هي ما يمنحها القدرة على تمثيل دوال معقدة.
من أشهرها ReLU وSigmoid وTanh وGELU. يؤثر اختيارها في سرعة التدريب وفي مشكلة تلاشي التدرج.
Definition
An activation function is a non-linear function applied to a neuron's pre-activation output, enabling neural networks to approximate complex non-linear mappings.
شرح مبسّط للمبتدئين
كبوابة تقرر كم من الإشارة تمر إلى العصبون التالي: أحياناً تمرّر كل شيء، وأحياناً تقطعه.
شرح أكاديمي متخصص
تتيح مبرهنة التقريب الشامل لشبكة بطبقة خفية واحدة ودالة تنشيط غير خطية تقريب أي دالة مستمرة على مجموعة متراصة بدقة اعتباطية.
أمثلة عملية
- ReLU: \(\max(0,x)\) في الشبكات الالتفافية.
- Sigmoid في المخرج الثنائي.
- GELU في المحوّلات.
import numpy as np
x = np.array([-2.0, 0.0, 2.0])
relu = np.maximum(0, x)
sigmoid = 1 / (1 + np.exp(-x))
print(relu)
print(sigmoid.round(3))شرح الكود
تقطع ReLU القيم السالبة، بينما تضغط Sigmoid كل قيمة إلى المجال بين 0 و1.
النتيجة المتوقعة
[0. 0. 2.] [0.119 0.5 0.881]
التطبيقات والاستخدامات
- كل الشبكات العصبية العميقة.
المزايا
- تمنح الشبكة قدرة تمثيل غير خطية.
- ReLU بسيطة وسريعة الحساب.
القيود والعيوب
- Sigmoid وTanh تسببان تلاشي التدرج.
- ReLU قد تؤدي إلى عصبونات «ميتة».
