نموذج لغوي (language model) يتنبأ باحتمالية أن تملأ الرموز المميزة (tokens) الفراغات في تسلسل. على سبيل المثال، يمكن لنموذج اللغة المقنعة حساب احتمالات الكلمة (الكلمات) المرشحة لتحل محل التسطير في الجملة التالية:
The ____ in the hat came back.
تستخدم الأدبيات عادةً السلسلة “MASK” بدلاً من التسطير. فمثلا:
The “MASK” in the hat came back.
معظم نماذج اللغة المقنعة الحديثة ثنائية الاتجاه (bidirectional).
Masked language model
نموذج اللغة المقنعة
