Pre-training
التدريب المسبق
التعريف
تدريب نموذج على بيانات واسعة وعامة قبل تكييفه لمهمة محددة.
يتعلم النموذج تمثيلات عامة من نصوص أو صور ضخمة، ثم يُضبط على مهام محددة ببيانات أقل. هو أساس النماذج الأساسية (Foundation Models).
Definition
Pre-training trains a model on broad, large-scale data before adapting it to specific downstream tasks, forming the basis of foundation models.
شرح مبسّط للمبتدئين
كدراسة المرحلة الجامعية العامة قبل التخصص.
شرح أكاديمي متخصص
يستهلك أغلب كلفة الحوسبة في حياة النموذج.
أمثلة عملية
- تدريب نموذج لغوي على تريليونات الرموز.
التطبيقات والاستخدامات
- النماذج الأساسية.
المزايا
- يقلل بيانات المهمة اللاحقة.
القيود والعيوب
- كلفة هائلة.
