البحث في المدرسة
27 نتيجة لـ «gradient descent ascent»
الدروس (8)
- الانحدار التدرجي (Gradient Descent)…التوقف. الانحدار التدرجي (Gradient Descent) أبسط خوارزمية تحسين تكرارية وأكثرها استخداماً: نبدأ من نقطة ونكرر التحرك في اتجاه أشد هبوط -\nabla J بخطوة يحددها معدل التعلم \eta.…
- الألعاب الصفرية ومبرهنة Minimax والشبكات التنافسية (Zero-Sum Games, Minimax and GANs)في اللعبة الصفرية ما يكسبه لاعب يخسره الآخر؛ مبرهنة Minimax تضمن أن \max\min = \min\max بالاستراتيجيات المختلطة، والشبكات التوليدية التنافسية لعبة صفرية بين مولّد ومميّز، والانحدار-الصعو…
- الانحدار التدرجي العشوائي (SGD) (Stochastic Gradient Descent)…التدرجي العشوائي (Stochastic Gradient Descent) يستخدم تدرج عينة واحدة أو دفعة صغيرة (Mini-batch) تقديراً غير متحيز للتدرج الكامل. التقدير العشوائي للتدرج إذا كان J(\theta) = \frac…
- النقاط الثابتة ومبرهنة الانكماش (Fixed Points and the Contraction Mapping Theorem)…(مبرهنة باناخ). هذا يفسر تقارب الانحدار التدرجي وتكرار القيمة في التعلم المعزز. اضغط زر cos في الآلة الحاسبة مراراً من أي عدد: ستصل إلى 0.739085... دائماً. هذه نقطة ثابتة لدالة جيب التمام،…
- المعادلات التفاضلية العادية وحلولها (Ordinary Differential Equations)…على طول الحل تتناقص الخسارة دائماً لأن \frac{d}{dt}L(w(t)) = -\|\nabla L\|^2 \le 0. والانحدار التدرجي بمعدل تعلم η هو خطوة أويلر لهذه المعادلة. Neural ODEs بدلاً من عدد منته من الطب…
- الاستقرار والتحكم الأمثل LQR (Stability and Optimal Control (LQR))…في الشبكات المتكررة؟ ولماذا يتباعد الانحدار التدرجي إذا كبر معدل التعلم؟ الجواب في الحالتين واحد: نظام خطي متكرر يكبّر الحالة في كل خطوة. ونظرية الاستقرار تعطينا معياراً دقيقاً لذلك. الاس…
- التدرج (Gradients)…أشد صعود للدالة؛ والسير عكسه هو جوهر الانحدار التدرجي الذي تُدرَّب به النماذج. حين تكون الدالة بعدة متغيرات نجمع مشتقاتها الجزئية في متجه واحد هو التدرج (Gradient)، ويُرمز له \nabla…
- المتباينات والقيمة المطلقة (Inequalities and Absolute Value)…\infty)x \ge aA \cup Bاتحاد فترتينصلة بالتحسين في الانحدار التدرجي على f(w) = \tfrac{L}{2}w^2 يصبح التحديث w \leftarrow (1 - \eta L)w، ويتقارب إذا وفقط إذا |1 - \eta…
المفاهيم (2)
- الانحدار التدرجي (Gradient Descent)خوارزمية تحسين تكرارية تحدّث المعاملات بخطوات صغيرة عكس اتجاه التدرج حتى تقترب من حد أدنى. من 0 إلى 1.464 في ثلاث خطوات نحو 3
- الانحدار التدرجي العشوائي (Stochastic Gradient Descent (SGD))نسخة من الانحدار التدرجي تقدّر التدرج من عينة أو دفعة صغيرة عشوائية في كل خطوة. تدريب الشبكات العميقة بدفعات 128
المسارات (1)
المختبرات (1)
المصطلحات (7)
- الانحدار التدرجي (Gradient Descent)تحديث المعاملات عكس التدرج تكرارياً.
- الانحدار التدرجي العشوائي (Stochastic Gradient Descent)انحدار تدرجي بتدرج دفعة صغيرة عشوائية.
- تدرج (Gradient)متجه المشتقات الجزئية، ويشير إلى اتجاه أشد صعود. ∇(x²+y²) = (2x,2y)
- تحسين (Optimization)البحث عن قيم المعاملات التي تقلل دالة الهدف أو تعظمها.
- معدل التعلم (Learning Rate)حجم خطوة التحديث في الانحدار التدرجي. 0.001
- التدفق التدرجي (Gradient Flow)الحد المستمر للانحدار التدرجي.
- الانكماش (Contraction Mapping)دالة تقلص المسافات بمعامل أصغر من 1.
الأسئلة (8)
- لماذا تُستبدل خسارة 0–1 بالانتروبيا التقاطعية عند تدريب المصنفات بالانحدار التدرجي؟لماذا تُستبدل خسارة 0–1 بالانتروبيا التقاطعية عند تدريب المصنفات بالانحدار التدرجي؟
- خاصيتان: الأولى مداها 0–1 والثانية 0–100000. ما الإجراء الأنسب قبل الانحدار التدرجي؟خاصيتان: الأولى مداها 0–1 والثانية 0–100000. ما الإجراء الأنسب قبل الانحدار التدرجي؟
- في الانحدار التدرجي نحدّث المعاملات في اتجاه التدرج نفسه.في الانحدار التدرجي نحدّث المعاملات في اتجاه التدرج نفسه.
- معدل التعلم معامل فائق يُختار قبل التدريب ولا يُتعلَّم بالانحدار التدرجي في الإعداد المعتاد.معدل التعلم معامل فائق يُختار قبل التدريب ولا يُتعلَّم بالانحدار التدرجي في الإعداد المعتاد.
- ما الذي يقلله التدريب بالانحدار التدرجي على متوسط الخسارة مباشرة؟ما الذي يقلله التدريب بالانحدار التدرجي على متوسط الخسارة مباشرة؟
- لدالة \(f(w) = 5w^2\) (أي \(L = 10\)) ما الحد الأعلى لمعدل التعلم الذي يضمن تقارب الانحدار التدرجي؟لدالة f(w) = 5w^2 (أي L = 10) ما الحد الأعلى لمعدل التعلم الذي يضمن تقارب الانحدار التدرجي؟
- ما المعادلة التفاضلية التي يكون الانحدار التدرجي خطوة أويلر لها؟ما المعادلة التفاضلية التي يكون الانحدار التدرجي خطوة أويلر لها؟
- لدالة \(\tfrac{L}{2}w^2\)، متى يكون الانحدار التدرجي انكماشاً؟لدالة \tfrac{L}{2}w^2، متى يكون الانحدار التدرجي انكماشاً؟
