البحث في المدرسة
31 نتيجة لـ «exploding gradients»
الدروس (8)
- التدرج (Gradients)…الجزئية في متجه واحد هو التدرج (Gradient)، ويُرمز له \nabla f. التعريف \nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial…
- الاستقرار والتحكم الأمثل LQR (Stability and Optimal Control (LQR))…وهي حالة خاصة من برمجة بيلمان. لماذا تنفجر التدرجات في الشبكات المتكررة؟ ولماذا يتباعد الانحدار التدرجي إذا كبر معدل التعلم؟ الجواب في الحالتين واحد: نظام خطي متكرر يكبّر الحالة في كل خطوة.…
- الانحدار التدرجي (Gradient Descent)…التوقف. الانحدار التدرجي (Gradient Descent) أبسط خوارزمية تحسين تكرارية وأكثرها استخداماً: نبدأ من نقطة ونكرر التحرك في اتجاه أشد هبوط -\nabla J بخطوة يحددها معدل التعلم \eta.…
- الانحدار التدرجي العشوائي (SGD) (Stochastic Gradient Descent)…التدرجي العشوائي (Stochastic Gradient Descent) يستخدم تدرج عينة واحدة أو دفعة صغيرة (Mini-batch) تقديراً غير متحيز للتدرج الكامل. التقدير العشوائي للتدرج إذا كان J(\theta) = \frac…
- المشتقات العددية والتحقق من التدرج (Numerical Differentiation and Gradient Checking)…الفرق المركزي للتحقق من صحة التدرجات المحسوبة بالانتشار العكسي. تحسب أطر التعلم العميق التدرجات بالاشتقاق التلقائي (Automatic Differentiation)، لكن حين نكتب طبقة أو دالة خسارة جديدة…
- قاعدة السلسلة (Chain Rule)…بالفرق المركزي \frac{L(w+\varepsilon) - L(w-\varepsilon)}{2\varepsilon}، وهي طريقة Gradient Checking. الانتشار العكسي تحسب أطر التعلم العميق التدرجات آلياً (Automatic Differentiation)…
- المتباينات والقيمة المطلقة (Inequalities and Absolute Value)…ليبشتز للتدرج؛ تجاوز الحد يجعل التحديثات تتباعد. قص التدرج Gradient Clipping يفرض |g_i| \le c أو \|g\| \le c لمنع انفجار التدرجات في الشبكات المتكررة. خسارة Hinge في SVM تكون الخس…
- المعادلات التفاضلية العادية وحلولها (Ordinary Differential Equations)…\gt 0. للوجستية: y^* = 0 غير مستقرة وy^* = 1 مستقرة. التدفق التدرجي \dot w(t) = -\nabla L(w(t)) على طول الحل تتناقص الخسارة دائماً لأن \frac{d}{dt}L(w(t)) = -\|\nab…
المفاهيم (5)
- التدرج (Gradient)متجه المشتقات الجزئية الأولى لدالة عددية، يشير إلى اتجاه أشد صعود وطوله أكبر معدل تغير. ∇(x²+y²) = (2x, 2y)
- الانحدار التدرجي (Gradient Descent)خوارزمية تحسين تكرارية تحدّث المعاملات بخطوات صغيرة عكس اتجاه التدرج حتى تقترب من حد أدنى. من 0 إلى 1.464 في ثلاث خطوات نحو 3
- الانحدار التدرجي العشوائي (Stochastic Gradient Descent (SGD))نسخة من الانحدار التدرجي تقدّر التدرج من عينة أو دفعة صغيرة عشوائية في كل خطوة. تدريب الشبكات العميقة بدفعات 128
- التحقق من التدرج (Gradient Checking)مقارنة التدرج المحسوب بالانتشار العكسي بتقريب عددي للكشف عن الأخطاء. خطأ نسبي 1e-9 → صحيح غالباً
- التدفق التدرجي (Gradient Flow)النسخة المستمرة من الانحدار التدرجي، وتتناقص عليها الخسارة دائماً. GD = خطوة أويلر
المختبرات (2)
- مختبر التفاضل والتكامل (Calculus Lab)…المشتقة عددياً ورسم المماس، والمشتقات الجزئية والتدرج لدالة بمتغيرين، وعرض قاعدة السلسلة خطوة بخطوة، والتكامل العددي بطريقتي شبه المنحرف وسمبسون. رسم الدالة والمماس المشتقات الجزئية وال…
- مختبر التحسين (Optimization Lab)محاكاة الانحدار التدرجي والانحدار التدرجي العشوائي وMomentum وAdam على دوال محدبة وغير محدبة، مع التحكم في معدل التعلم ومشاهدة منحنى الخسارة والمسار والتقارب أو التباعد والحد الأدنى المحلي و…
المصطلحات (8)
- تدرج (Gradient)متجه المشتقات الجزئية، ويشير إلى اتجاه أشد صعود. ∇(x²+y²) = (2x,2y)
- تلاشي التدرج (Vanishing Gradient)تضاؤل التدرج في الطبقات الأولى بسبب ضرب مشتقات محلية صغيرة عبر طبقات كثيرة. شبكات Sigmoid العميقة
- الانحدار التدرجي (Gradient Descent)تحديث المعاملات عكس التدرج تكرارياً.
- الانحدار التدرجي العشوائي (Stochastic Gradient Descent)انحدار تدرجي بتدرج دفعة صغيرة عشوائية.
- التحقق من التدرج (Gradient Checking)مقارنة التدرج التحليلي بتقريب الفروق المحدودة.
- التدفق التدرجي (Gradient Flow)الحد المستمر للانحدار التدرجي.
- مشتقة (Derivative)معدل التغير اللحظي للدالة وميل المماس. (x²)′ = 2x
- مشتقة جزئية (Partial Derivative)مشتقة بالنسبة إلى متغير واحد مع تثبيت البقية. ∂(xy)/∂x = y
الأسئلة (8)
- لماذا تُستبدل خسارة 0–1 بالانتروبيا التقاطعية عند تدريب المصنفات بالانحدار التدرجي؟لماذا تُستبدل خسارة 0–1 بالانتروبيا التقاطعية عند تدريب المصنفات بالانحدار التدرجي؟
- إذا كانت كل مشتقة محلية في شبكة من 50 طبقة تساوي 0.25، فإن التدرج الواصل إلى الطبقة الأولى يتضاءل بعامل \(0.25^{50}\) تقريباً.إذا كانت كل مشتقة محلية في شبكة من 50 طبقة تساوي 0.25، فإن التدرج الواصل إلى الطبقة الأولى يتضاءل بعامل 0.25^{50} تقريباً.
- ما طول التدرج للدالة \(f(x,y) = 3x + 4y\)؟ما طول التدرج للدالة f(x,y) = 3x + 4y؟
- إذا كان التدرج صفراً عند نقطة، فإنها حتماً حد أدنى للدالة.إذا كان التدرج صفراً عند نقطة، فإنها حتماً حد أدنى للدالة.
- خاصيتان: الأولى مداها 0–1 والثانية 0–100000. ما الإجراء الأنسب قبل الانحدار التدرجي؟خاصيتان: الأولى مداها 0–1 والثانية 0–100000. ما الإجراء الأنسب قبل الانحدار التدرجي؟
- كل نقطة ينعدم عندها التدرج حد أدنى محلي.كل نقطة ينعدم عندها التدرج حد أدنى محلي.
- في الانحدار التدرجي نحدّث المعاملات في اتجاه التدرج نفسه.في الانحدار التدرجي نحدّث المعاملات في اتجاه التدرج نفسه.
- زخم بـ \(\beta = 0.9\)، و\(v_t = 2\)، والتدرج الحالي \(g_t = 1\). ما \(v_{t+1}\)؟زخم بـ \beta = 0.9، وv_t = 2، والتدرج الحالي g_t = 1. ما v_{t+1}؟
