Perplexity
الحيرة
التعريف
مقياس لجودة نموذج لغوي: الأسّ لمتوسط الإنتروبيا التقاطعية، وكلما قلّ كان النموذج أقل «حيرة» بالنص.
تعني الحيرة 10 أن النموذج متردد تقريباً بين 10 رموز متساوية الاحتمال عند كل خطوة. تُقارن بين نماذج تستخدم المعجم نفسه فقط، ولا تعكس دائماً جودة الإجابات.
Definition
Perplexity is the exponentiated average negative log-likelihood per token of a language model; lower values indicate better predictive fit.
شرح مبسّط للمبتدئين
كعدد الخيارات التي يتردد بينها النموذج في كل كلمة: أقل خيارات يعني ثقة أكبر.
شرح أكاديمي متخصص
\(\mathrm{PPL}=\exp\!\big(-\frac1N\sum_i\log p(x_i\mid x_{<i})\big)\).
أمثلة عملية
- PPL = 20 على نص اختبار.
import math
p = [0.25, 0.25, 0.25, 0.25]
ppl = math.exp(-sum(math.log(x) for x in p) / len(p))
print(ppl)شرح الكود
نموذج متردد بالتساوي بين أربعة رموز تكون حيرته 4.
النتيجة المتوقعة
4.0
التطبيقات والاستخدامات
- تقييم النماذج اللغوية.
المزايا
- مقياس موحد وسريع.
القيود والعيوب
- غير قابل للمقارنة مع معاجم مختلفة.
المعادلات الرياضية
الحيرة
\mathrm{PPL}=\exp\!\left(-\frac{1}{N}\sum_{i=1}^{N}\log p(x_i\mid x_{أسّ متوسط سالب لوغاريتم احتمال الرموز.
| الرمز | المعنى |
|---|---|
| \(N\) | عدد الرموز |
| \(p\) | احتمال النموذج |
