GPT
جي بي تي
التعريف
عائلة نماذج لغوية توليدية مبنية على فك مشفِّر المحوّل ودُرِّبت للتنبؤ بالرمز التالي.
يُدرَّب النموذج مسبقاً على نصوص ضخمة ثم يُوجَّه بالتعليمات والتغذية الراجعة. تُسمى «توليدية» لأنها تنتج النص رمزاً رمزاً من اليسار إلى اليمين، ومنها بدأت موجة النماذج اللغوية الكبيرة.
Definition
GPT (Generative Pre-trained Transformer) models are autoregressive decoder-only transformers pre-trained to predict the next token and later aligned with instructions and feedback.
شرح مبسّط للمبتدئين
كاتب أكمل ملايين الجمل فصار يتوقع كيف يستمر أي نص.
شرح أكاديمي متخصص
اتجاه الانتباه سببي (قناع مثلثي)، وتتبع قوانين التحجيم زيادة الأداء مع الحجم والبيانات.
أمثلة عملية
- إكمال مقال من عنوان.
التطبيقات والاستخدامات
- المساعدات والتوليد.
المزايا
- توليد متماسك ومتنوع.
القيود والعيوب
- هلوسة وكلفة.
