Scaling Laws
قوانين التحجيم
التعريف
علاقات تجريبية تبين أن خسارة النماذج تتناقص بصورة منتظمة (قانون أسّي) مع زيادة المعاملات والبيانات والحوسبة.
أظهرت دراسات Kaplan وHoffmann أن الأداء يتحسن بتوازن حجم النموذج وكمية البيانات. توجّه قرارات الاستثمار في التدريب وتبرز الحاجة إلى توازن بين الحجم والبيانات.
Definition
Scaling laws are empirical power-law relationships showing predictable decreases in loss as model size, data and compute increase.
شرح مبسّط للمبتدئين
كأن كل مضاعفة للموارد تعطي تحسناً متوقعاً يمكن حسابه مسبقاً.
شرح أكاديمي متخصص
\(L(N)\approx(N_c/N)^{\alpha}\) تقريباً؛ وChinchilla أظهر أهمية موازنة البيانات.
أمثلة عملية
- التنبؤ بخسارة نموذج أكبر.
التطبيقات والاستخدامات
- تخطيط التدريب.
المزايا
- تنبؤ بأداء النماذج الكبرى.
القيود والعيوب
- لا تضمن قدرات نوعية.
