التعلم العميق بالعربي الدكتور علاء طعيمة
معالجة اللغة الطبيعية النماذج اللغوية الكبيرة متوسط

Language Model

النموذج اللغوي

الاختصار: LM

التعريف

نموذج يقدّر احتمال تسلسل كلمات أو يتنبأ بالكلمة التالية بدلالة ما سبقها.

تتراوح النماذج بين n-gram الإحصائية والشبكات العصبية والمحوّلات الضخمة. التنبؤ بالرمز التالي مهمة بسيطة تتيح التدريب على كميات هائلة من النص فيتعلم النموذج النحو والمعرفة.

Definition

A language model assigns probabilities to sequences of tokens, typically by predicting the next token given the preceding context.

شرح مبسّط للمبتدئين

كاللوحة التي تكمل جملتك على الهاتف: تتوقع الكلمة الأرجح.

شرح أكاديمي متخصص

\(p(x_1,\dots,x_T)=\prod_t p(x_t\mid x_{<t})\) (قاعدة السلسلة).

أمثلة عملية

  • إكمال جملة «السماء ...».

التطبيقات والاستخدامات

  • الإكمال التلقائي.
  • التوليد.

المزايا

  • تدريب ذاتي على نص خام.

القيود والعيوب

  • لا يضمن الصحة الواقعية.

المعادلات الرياضية

قاعدة السلسلة للغة

p(x_1,\dots,x_T)=\prod_{t=1}^{T}p(x_t\mid x_1,\dots,x_{t-1})

احتمال الجملة هو حاصل ضرب احتمال كل كلمة بدلالة ما قبلها.

شرح الرموز
الرمزالمعنى
\(x_t\)الرمز في الموضع t

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده