Layer Normalization
تطبيع الطبقة
التعريف
تطبيع يحسب المتوسط والتباين على خصائص المثال الواحد، لا على الدفعة، فيناسب التسلسلات.
لا يعتمد على حجم الدفعة ويعمل بالصورة نفسها أثناء التدريب والاستدلال، لذلك هو القياسي في المحوّلات. تتنوع صيغ مثل RMSNorm الأبسط.
Definition
Layer normalisation normalises activations across the features of each individual example, independent of batch size, and is standard in transformers.
شرح مبسّط للمبتدئين
كمعايرة درجات كل طالب على حدة بدل مقارنتها بالصف كله.
شرح أكاديمي متخصص
\(y=\gamma(x-\mu)/\sqrt{\sigma^2+\epsilon}+\beta\) مع إحصاءات محسوبة على البعد الأخير.
أمثلة عملية
- LayerNorm قبل كل كتلة انتباه.
التطبيقات والاستخدامات
- المحوّلات والشبكات المتكررة.
المزايا
- مستقل عن الدفعة.
القيود والعيوب
- قد يكون أبطأ من BatchNorm في الالتفافية.
