النماذج اللغوية الكبيرة في التطبيقات التوليدية

مراحل البناء

1. التدريب المسبق: التنبؤ بالرمز التالي على نصوص ضخمة، فيتعلم اللغة والمعرفة العامة.
2. الضبط بالتعليمات (SFT): أمثلة تعليمة واستجابة نموذجية.
3. المواءمة: RLHF أو طرق تفضيلات مباشرة لتحسين الفائدة والصدق وتقليل الضرر.

الرموز ونافذة السياق

• كل استدعاء محدود بنافذة سياق تشمل التعليمات والمحادثة والوثائق والاستجابة.
• التكلفة والزمن يتناسبان مع عدد الرموز.
• أظهرت دراسات أن النماذج قد تستفيد من المعلومات في بداية السياق ونهايته أكثر من وسطه، فرتّب المحتوى المهم بعناية.

معاملات التوليد

$$p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$

المعامل	الأثر
Temperature	العشوائية؛ منخفضة للإجابات الدقيقة، أعلى للإبداع
Top-p	الاختيار من أصغر مجموعة رموز مجموع احتمالاتها p
Max tokens	الحد الأقصى لطول الاستجابة
Stop sequences	نصوص يتوقف عندها التوليد

import numpy as np
def sample(logits, T=0.7, top_p=0.9, rng=np.random.default_rng(0)):
    z = np.asarray(logits) / max(T, 1e-6)
    p = np.exp(z - z.max()); p /= p.sum()
    order = np.argsort(p)[::-1]
    keep = order[np.cumsum(p[order]) - p[order] < top_p]
    q = np.zeros_like(p); q[keep] = p[keep]; q /= q.sum()
    return int(rng.choice(len(p), p=q))

الحدود

• الهلوسة: وقائع ومراجع مختلقة.
• المعرفة المتوقفة: تحتاج إلى استرجاع أو أدوات للمعلومات الحديثة.
• الحساسية للصياغة: تغير صغير في الموجّه قد يغير النتيجة.
• عدم الحتمية: نتائج مختلفة للموجّه نفسه.

لذلك يُبنى التطبيق الجاد حول النموذج: استرجاع، وأدوات، وتحقق، وتقييم منهجي.