Weight Initialization
تهيئة الأوزان
التعريف
اختيار القيم الابتدائية لأوزان الشبكة قبل التدريب بطريقة تحافظ على استقرار الإشارات والتدرجات.
التهيئة بالأصفار تمنع التمايز بين الوحدات، والتهيئة العشوائية الكبيرة تسبب انفجار التنشيطات. تقترح Xavier وHe تباينات تعتمد على عدد المدخلات والمخرجات ونوع التنشيط.
Definition
Weight initialisation sets starting parameter values, using schemes like Xavier or He that preserve activation and gradient variance across layers.
شرح مبسّط للمبتدئين
كنقطة بداية في سباق: اختيار سيئ يعطل الانطلاق.
شرح أكاديمي متخصص
طريقة He لـ ReLU: \(\mathrm{Var}(w)=2/n_{in}\).
أمثلة عملية
- تهيئة He في شبكة ReLU.
التطبيقات والاستخدامات
- تدريب الشبكات العميقة.
المزايا
- تسريع التقارب.
القيود والعيوب
- سوء الاختيار يربك التدريب.
