مقياس BLEU

BLEU Score

مقياس آلي لجودة الترجمة يحسب دقة n-grams (1–4) في الترجمة مقارنة بترجمة مرجعية أو أكثر، مع عقوبة للترجمات القصيرة.

خوارزمية تقليدية

طريقة العمل

BLEU = BP · exp(Σ w_n log p_n)، حيث p_n دقة n-gram المقصوصة وBP = min(1, e^{1−r/c}).

الخطوات

  1. عدّ n-grams المطابقة
  2. قص العدّ بأقصى تكرار في المرجع
  3. المتوسط الهندسي
  4. عقوبة الإيجاز
المدخلاتترجمة + مرجع
المخرجاتدرجة بين 0 و1 (أو 0–100)
التعقيدO(n)

مثال

يُحسب على مستوى المدونة لا الجملة الواحدة عادة.

المزايا

  • سريع وقابل للمقارنة

العيوب

  • لا يرى المرادفات وإعادة الصياغة
  • أضعف مع العربية الغنية صرفياً (chrF بديل)

الاستخدامات

  • تقييم أنظمة الترجمة

مكتبات تطبّقها

sacreBLEU

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. ACL 2002.
  • Popović, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. WMT 2015.
  • Post, M. (2018). A Call for Clarity in Reporting BLEU Scores. WMT 2018.

هذه الخوارزمية مشروحة للمقارنة ولا تعمل داخل المتصفح. افتح الترجمة الآلية