Parameter-Efficient Fine-Tuning
الضبط الدقيق الفعال في المعاملات
التعريف
مجموعة طرق تضبط جزءاً صغيراً من معاملات النموذج أو تضيف وحدات صغيرة بدل تحديث كل الأوزان.
تشمل LoRA وAdapters وPrefix Tuning وPrompt Tuning. تقلل الذاكرة والتخزين وتخفف النسيان الكارثي، وتتيح نسخاً متعددة خفيفة لمهام مختلفة فوق نموذج أساسي واحد.
Definition
PEFT methods adapt large pre-trained models by training only a small number of added or selected parameters, such as LoRA adapters, instead of all weights.
شرح مبسّط للمبتدئين
كتعديل بسيط على بدلة جاهزة بدل خياطة بدلة جديدة كلياً.
شرح أكاديمي متخصص
تحقق LoRA تحديثاً منخفض الرتبة \(\Delta W=BA\) بجزء ضئيل من المعاملات.
أمثلة عملية
- LoRA برتبة 8 على نموذج لغوي.
التطبيقات والاستخدامات
- تخصيص النماذج بموارد محدودة.
المزايا
- ذاكرة أقل وتخزين صغير.
القيود والعيوب
- قد يقل الأداء عن الضبط الكامل.
