محسّن Adam Adam Optimizer

Adam (Adaptive Moment Estimation) محسّن يحتفظ بمتوسطين متحركين لكل معامل: الأول للتدرج (العزم الأول)، والثاني لمربع التدرج (العزم الثاني). ثم يقسم الأول على جذر الثاني فيتكيف حجم الخطوة مع كل معامل.

الأوزان المختلفة في الشبكة تتلقى تدرجات بمقاييس مختلفة جداً؛ ومعدل تعلم واحد لا يناسبها جميعاً. Adam يطبّع الخطوة لكل معامل فيقل الاعتماد على الضبط الدقيق لمعدل التعلم، ولذلك يُستخدم على نطاق واسع في المحولات والنماذج التوليدية، وتُستخدم نسخته AdamW (مع فصل اضمحلال الأوزان) في تدريب كثير من النماذج اللغوية.

المعادلات

\[\begin{aligned} m_t &= \beta_1 m_{t-1} + (1-\beta_1)g_t \\ v_t &= \beta_2 v_{t-1} + (1-\beta_2)g_t^2 \\ \hat m_t &= \frac{m_t}{1-\beta_1^t},\quad \hat v_t = \frac{v_t}{1-\beta_2^t} \\ \theta_t &= \theta_{t-1} - \eta\,\frac{\hat m_t}{\sqrt{\hat v_t} + \epsilon}\end{aligned}\]

القيم الافتراضية الشائعة: \(\beta_1 = 0.9\)، \(\beta_2 = 0.999\)، \(\epsilon = 10^{-8}\)، \(\eta = 10^{-3}\).

لماذا تصحيح التحيز؟

يبدأ \(m_0 = v_0 = 0\)، فتكون المتوسطات في الخطوات الأولى منحازة نحو الصفر. القسمة على \(1 - \beta^t\) تزيل هذا التحيز؛ وأثرها يتلاشى مع زيادة t.

حجم الخطوة

بما أن \(\hat m_t/\sqrt{\hat v_t}\) نسبة بلا وحدة تقريباً، فإن الخطوة الفعلية قريبة من \(\eta\) في المقدار عندما تكون التدرجات ثابتة الإشارة، وأصغر عندما تتذبذب.

AdamW

في Adam الأصلي يُضاف التنظيم L2 إلى التدرج فيتأثر بالتطبيع. أما AdamW فيفصل اضمحلال الأوزان: \(\theta \leftarrow \theta - \eta\lambda\theta\) مباشرة، وهذا ما تستخدمه كثير من وصفات تدريب المحولات.