معالجة اللغات الطبيعية متقدم · Advanced 15 دقيقة

النماذج اللغوية الكبيرة

Large Language Models

من نماذج n-gram إلى المحوّلات الضخمة: كيف تعمل النماذج اللغوية الكبيرة، وكيف تُقيَّم، وما حدودها.

تقدّمك في المسار0%

من n-gram إلى المحوّلات

النموذج اللغوي يقدّر:

$$P(w_1, \dots, w_T) = \prod_{t=1}^{T} P(w_t \mid w_1, \dots, w_{t-1})$$

n-gram: يقرّب السياق بآخر $n-1$ كلمات ويقدّر الاحتمالات بالعدّ.
الشبكات التكرارية: سياق أطول نظرياً.
المحوّلات المفككة: انتباه سببي على سياق طويل، وتدريب متوازٍ على نصوص ضخمة.

الحيرة

$$\text{PPL} = \exp\left(-\frac{1}{T}\sum_{t=1}^{T}\log P(w_t \mid w_{<t})\right)$$

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
name = "gpt2"                                 # نموذج صغير إنجليزي للتجربة
tok, lm = AutoTokenizer.from_pretrained(name), AutoModelForCausalLM.from_pretrained(name)
ids = tok("Machine learning is a field of artificial intelligence.", return_tensors="pt").input_ids
with torch.no_grad():
    loss = lm(ids, labels=ids).loss
print(torch.exp(loss).item())

الحيرة لا تُقارن إلا بين نماذج تستخدم المقطِّع نفسه وعلى البيانات نفسها.

من نموذج لغوي إلى مساعد

التدريب المسبق: التنبؤ بالرمز التالي على نصوص ضخمة.
الضبط بالتعليمات: أمثلة (تعليمة، استجابة جيدة).
المواءمة بالتفضيلات البشرية: مثل RLHF وطرق مشابهة.

التفاصيل في مسار الذكاء الاصطناعي التوليدي والوكلاء.

القدرات الناشئة بالحجم

مع زيادة الحجم والبيانات ظهرت قدرة التعلم من أمثلة قليلة داخل الموجّه (in-context learning) كما في GPT-3، إلى جانب تحسن في مهام كثيرة دون ضبط خاص.

الحدود

الهلوسة: معلومات ومراجع مختلقة تبدو مقنعة.
التحيز: انعكاس تحيزات بيانات التدريب.
اللغات الأقل تمثيلاً: أداء أضعف غالباً في اللهجات العربية وبعض اللغات، وتقطيع أقل كفاءة.
المعرفة المتجمدة: لا تعرف ما بعد تاريخ بياناتها دون أدوات استرجاع.
التكلفة والبصمة البيئية.

النماذج العربية

ظهرت نماذج مدربة بتركيز على العربية، مثل عائلة Jais، إلى جانب نماذج متعددة اللغات تدعم العربية. اختر بحسب تقييم موثق على مهام قريبة من مهمتك، لا بحسب الحجم وحده.

الاستخدام المسؤول

تحقق من المعلومات من مصادر موثوقة، ولا تعتمد على الاستشهادات التي يولدها النموذج دون مراجعتها، واذكر استخدامه في العمل الأكاديمي وفق سياسات مؤسستك.

مصطلحات الدرس

الحيرة Perplexity: مقياس لجودة النموذج اللغوي يساوي الأس لمتوسط الخسارة اللوغاريتمية؛ القيم الأقل أفضل.
النموذج اللغوي Language Model: نموذج يقدّر احتمال تسلسل من الرموز، أو احتمال الرمز التالي بمعلومية ما قبله.
الهلوسة Hallucination: توليد النموذج لمحتوى يبدو مقنعاً لكنه خاطئ أو غير مدعوم بالمصادر.

الملخص

النموذج اللغوي يقدّر احتمال تسلسل الكلمات، والنماذج اللغوية الكبيرة (LLMs) محوّلات مفككة بمليارات المعاملات دُربت على التنبؤ بالرمز التالي في نصوص ضخمة، ثم ضُبطت بالتعليمات والتغذية الراجعة البشرية لتصبح مساعدات قادرة على مهام متنوعة. من منظور معالجة اللغة، تُقيَّم بمعايير متعددة وبالحيرة (perplexity)، ومن حدودها الهلوسة والتحيز وضعف التمثيل لبعض اللغات واللهجات وصعوبة التحقق من المصادر. يركز هذا الدرس على الأساس اللغوي، ويتوسع مسار الذكاء الاصطناعي التوليدي في البناء والتطبيق.

أسئلة مراجعة

ما العلاقة بين نموذج n-gram والنموذج اللغوي الكبير؟
كلاهما يقدّر احتمال الرمز التالي، لكن n-gram يعتمد على آخر n−1 كلمات وعدّها، بينما LLM يستخدم محوّلاً يرى سياقاً طويلاً ويتعلم تمثيلات.
لماذا لا تكفي الحيرة وحدها لتقييم مساعد حواري؟
لأنها تقيس جودة التنبؤ بالنص لا الفائدة أو الدقة الواقعية أو الأمان أو اتباع التعليمات.