الدرس 2 من 2 · الدوال والرسوم البيانية
الدوال غير الخطية ودوال التنشيط Nonlinear and Activation Functions
الدوال الخطية وحدها لا تكفي؛ نقرأ رسوم الدوال غير الخطية الشائعة (Sigmoid وtanh وReLU وLeaky ReLU) ونفهم لماذا تجعل الشبكات العصبية قادرة على تمثيل علاقات معقدة.
محتويات الدرس
1 مقدمة
دالة التنشيط (Activation Function) دالة غير خطية تُطبَّق على مخرج كل عصبون بعد المجموع الموزون. من دونها تنهار أي شبكة متعددة الطبقات إلى تحويل خطي واحد.
الأهداف التعليمية
- التمييز بين الدالة الخطية وغير الخطية
- قراءة رسوم Sigmoid وtanh وReLU وخصائصها
- حساب قيم دوال التنشيط
- اختيار دالة التنشيط المناسبة
2 لماذا ندرس هذا الموضوع؟
تركيب دوال خطية دالة خطية: \(W_2(W_1\mathbf{x}) = (W_2W_1)\mathbf{x}\). اللاخطية هي ما يسمح للشبكة بتمثيل حدود قرار منحنية. وشكل دالة التنشيط (مداها، وتشبعها، ومشتقتها) يحدد سرعة التدريب واستقراره.
3 الشرح النظري
دوال التنشيط الشائعة
| الدالة | الصيغة | المدى | ملاحظة |
|---|---|---|---|
| Sigmoid | \(\sigma(x) = \frac{1}{1+e^{-x}}\) | \((0, 1)\) | تتشبع عند الطرفين |
| tanh | \(\tanh x = \frac{e^x - e^{-x}}{e^x + e^{-x}}\) | \((-1, 1)\) | متمركزة حول الصفر |
| ReLU | \(\max(0, x)\) | \([0, \infty)\) | بسيطة، لا تتشبع للموجب |
| Leaky ReLU | \(\max(\alpha x, x)\) | \(\mathbb{R}\) | ميل صغير للسالب |
لماذا اللاخطية؟
شبكة بطبقتين خطيتين تكافئ طبقة واحدة. أما مع ReLU مثلاً فتستطيع الشبكة تقريب أي دالة متصلة على مجموعة محدودة بدقة كافية إذا كانت عريضة بما يكفي (مبرهنة التقريب الشامل).
خصائص مهمة
- التشبع: Sigmoid وtanh مسطحتان عند القيم الكبيرة، فتكون مشتقتاهما قريبتين من الصفر.
- العصبونات الميتة: ReLU تعطي صفراً وتدرجاً صفرياً لكل المدخلات السالبة، وقد يتوقف عصبون عن التعلم.
- العلاقة: \(\tanh x = 2\sigma(2x) - 1\).
4 التعريفات الرياضية
- دالة التنشيط
- دالة غير خطية تُطبَّق على المجموع الموزون في العصبون.\[a = \phi(\mathbf{w}\cdot\mathbf{x} + b)\]
- الدالة الخطية
- دالة تحقق \(f(a\mathbf{x} + b\mathbf{y}) = af(\mathbf{x}) + bf(\mathbf{y})\).\[f(x) = mx\]
- دالة التنشيط (Activation Function)
- دالة غير خطية تُطبَّق على المجموع الموزون في العصبون، وتمنح الشبكة قدرتها على تمثيل علاقات غير خطية.\[a=\phi(z)\]
- دالة Sigmoid (Sigmoid Function)
- دالة على شكل حرف S مداها (0,1)، تُستخدم لتمثيل الاحتمالات الثنائية.\[\sigma(x)=\frac{1}{1+e^{-x}}\]
5 المعادلات
6 مثال محلول خطوة بخطوة
قيم دوال التنشيط
المسألة: احسب \(\sigma(0)\) و\(\sigma(2)\) و\(\tanh(0)\) و\(\operatorname{ReLU}(-3)\) و\(\operatorname{ReLU}(2.5)\).
- \(\sigma(0) = 1/2 = 0.5\).
- \(\sigma(2) = 1/(1 + e^{-2}) \approx 0.8808\).
- \(\tanh 0 = 0\).
- \(\operatorname{ReLU}(-3) = 0\)، و\(\operatorname{ReLU}(2.5) = 2.5\).
النتيجة: 0.5، 0.8808، 0، 0، 2.5
7 تطبيق عملي في الذكاء الاصطناعي
- الطبقات المخفية: ReLU ونسخها الخيار الافتراضي في كثير من الشبكات الالتفافية.
- البوابات: Sigmoid تُستخدم في بوابات LSTM لأن مداها \((0,1)\) يمثل نسبة ما يُسمح بمروره.
- المحولات: تستخدم المحولات دوالاً ملساء مثل GELU في طبقاتها الأمامية.
8 مختبر تفاعلي مرتبط بالدرس
شبكة صغيرة (مدخلان، طبقة مخفية بعصبونين، مخرج واحد) تُحسب كاملة داخل المتصفح: المدخلات، الأوزان والانحيازات، المجموع الموزون، دوال التنشيط، الانتشار الأمامي، الخسارة، الانتشار العكسي، حساب التدرجات مع التحقق العددي، وتحديث الأوزان.
افتح مختبر رياضيات الشبكات العصبية9 تمارين تدريبية
أسئلة مراجعة للتفكير
- أثبت أن تركيب دالتين خطيتين دالة خطية.
- لماذا يُفضَّل tanh على Sigmoid أحياناً في الطبقات المخفية؟
أخطاء شائعة
- استخدام دالة خطية في كل الطبقات ثم توقع تعلم علاقات غير خطية.
- استخدام Sigmoid في طبقات مخفية عميقة كثيرة دون انتباه إلى تلاشي التدرج.
- الخلط بين مدى Sigmoid ومدى tanh.
10 ملخص الدرس
- اللاخطية ضرورية لقدرة الشبكة التمثيلية.
- Sigmoid في (0,1)، وtanh في (−1,1)، وReLU في [0,∞).
- التشبع يضعف التدرج، وReLU قد تنتج عصبونات ميتة.
11 اختبار قصير
5 أسئلة · 10 دقائق · النجاح من 60% — اجتيازه يُكمل الدرس.
