يمكن ضبط معدل التعلّم (Learning Rate) أثناء التدريب بعدة استراتيجيات تهدف إلى تحقيق توازن بين السرعة في التقارب والاستقرار في الوصول إلى الحل الأمثل، ومن أبرزها:
1. Learning Rate Scheduling: تغيير معدل التعلّم تدريجيًا خلال التدريب، مثل:
o Step Decay: تخفيض المعدل كل عدد محدد من الفترات (Epochs).
o Exponential Decay: تقليل المعدل بشكل أسي مع الزمن.
o Cosine Annealing: تقليل المعدل على شكل منحنى جيبي (cosine) للحصول على انتقال سلس.
2. Cyclical Learning Rate: جعل معدل التعلّم يتأرجح بين حد أدنى وحد أعلى خلال التدريب، مما يساعد على الهروب من القيم المحلية وتحقيق تعميم أفضل.
3. Warm-up: البدء بمعدل تعلّم صغير جدًا وزيادته تدريجيًا في المراحل الأولى، ثم الانتقال إلى القيم الطبيعية، وهذا يُستخدم بكثرة مع النماذج الكبيرة مثل Transformers.
4. محسنات تكيفية: مثلAdam وRMSProp التي تضبط معدل التعلّم تلقائيًا لكل وزن بناءً على التدرجات السابقة.
ا.م.د. علاء طعيمة عبد الكاظم
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق