Warm-up في التدريب هو تقنية تُستخدم لضبط معدل التعلّم(Learning Rate) في المراحل الأولى من التدريب، حيث يبدأ التدريب بمعدل تعلّم صغير جدًا ثم يُزاد تدريجيًا حتى يصل إلى القيمة المحددة. الهدف من هذه الإستراتيجية هو منع النموذج من حدوث تحديثات كبيرة وعشوائية في الأوزان عند البداية، خصوصًا مع النماذج العميقة جدًا مثل Transformers، حيث تكون الأوزان غير مستقرة. بهذه الطريقة يصبح التدريب أكثر استقرارًا وسرعة في الوصول إلى التقارب، ويُقلل من خطر الانفجار المبكر للتدرجات.
ا.م.د. علاء طعيمة عبد الكاظم
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق