من أبرز خوارزميات التحسين (Optimizers) الشائعة في التعلم العميق:
1. Gradient Descent: الخوارزمية الأساسية التي تُحدث الأوزان بالاعتماد على المشتقات، لكن بطيئة مع البيانات الكبيرة.
2. Stochastic Gradient Descent (SGD): تحديث الأوزان باستخدام عينة أو دفعة صغيرة من البيانات بدل المجموعة كاملة، مما يسرّع التدريب.
3. SGD with Momentum: يضيف مفهوم العزم (Momentum) لتسريع التدرج وتقليل التذبذبات.
4. Adagrad: يضبط معدل التعلّم بشكل تكيفي لكل وزن حسب تاريخه في التحديثات.
5. RMSProp: يحل مشكلة Adagrad عبر موازنة معدل التعلّم باستخدام متوسط متناقص.
6. Adam: يجمع بين مزايا Momentum وRMSProp، وهو الأكثر شيوعًا وفعالية في كثير من التطبيقات.
7. AdamW: نسخة محسنة من Adam تضيف تنظيمًا أفضل للأوزان (Weight Decay).
ا.م.د. علاء طعيمة عبد الكاظم
أستاذ مساعد دكتور في الذكاء الاصطناعي والتعلم العميق