Self-Supervised Learning
التعلم الذاتي الإشراف
التعريف
تعلم يولّد فيه النموذج التسميات من البيانات نفسها، كأن يتنبأ بجزء محجوب منها، لتعلم تمثيلات مفيدة دون تسميات بشرية.
بدل الاعتماد على تسميات بشرية، تُشتق مهمة تدريب من بنية البيانات: إخفاء كلمات من جملة والتنبؤ بها، أو التنبؤ بالكلمة التالية، أو مقارنة مقطعين من الصورة نفسها.
بهذا يُستفاد من كميات هائلة من بيانات غير موسومة، وهو أساس تدريب النماذج اللغوية الكبيرة والكثير من نماذج الرؤية.
Definition
Self-supervised learning is a paradigm in which supervisory signals are derived automatically from the data itself, such as predicting masked or next tokens, to learn general-purpose representations.
شرح مبسّط للمبتدئين
كأن تقرأ آلاف الكتب وتغطي بعض الكلمات وتحاول تخمينها. بمرور الوقت تتعلم اللغة دون معلم.
شرح أكاديمي متخصص
من أمثلته التنبؤ بالرمز التالي \(\max_\theta \sum_t \log p_\theta(x_t\mid x_{<t})\)، والنمذجة بالأقنعة (BERT)، والتعلم التبايني (SimCLR).
أمثلة عملية
- تدريب GPT على التنبؤ بالكلمة التالية.
- إخفاء كلمات في جملة وتدريب BERT على استعادتها.
التطبيقات والاستخدامات
- التدريب المسبق للنماذج اللغوية.
- تمثيلات الصور والصوت.
المزايا
- يستفيد من بيانات ضخمة غير موسومة.
- تمثيلات قابلة للنقل لمهام كثيرة.
القيود والعيوب
- كلفة حسابية عالية.
- جودة التمثيل تتوقف على تصميم المهمة المساعدة.
