مختبر الرؤية الحاسوبية الخوارزميات التطبيع بالدفعات
التطبيع بالدفعات
Batch normalization
تطبيع مخرجات الطبقة بمتوسط الدفعة وتباينها ثم إعادة تحجيمها بمعاملات متعلَّمة.
هذا المحتوى أُعدّ آلياً من مصادر موثقة ولم تكتمل مراجعته العلمية البشرية بعد. إن وجدت خطأً فأبلغنا.
الصيغة الرياضية
\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^{2} + \epsilon}},\quad y = \gamma\hat{x} + \betaالشرح
يسرّع التدريب ويسمح بمعدلات تعلم أعلى. عند الاستدلال تُستخدم إحصاءات متراكمة، ويمكن دمجه في الالتفاف السابق.
التطبيقات
كل الشبكات الحديثة تقريباً.
القيود
يتأثر بحجم الدفعة الصغير.
المراجع
- S. Ioffe, C. Szegedy (2015).Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. arXiv:1502.03167 (ICML 2015). doi:10.48550/arXiv.1502.03167
