ترميز أزواج البايت
Byte-Pair Encoding (BPE)
خوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة.
طريقة العمل
تبدأ كل كلمة سلسلة حروف مع علامة نهاية الكلمة. في كل دورة تُعد كل الأزواج المتجاورة في المدونة (مضروبة في تكرار الكلمة)، ويُدمج الزوج الأكثر تكراراً إلى رمز جديد. بعد عدد محدد من الدمجات تصبح قائمة الدمجات هي «المفردات». لترميز كلمة جديدة تُطبق الدمجات بالترتيب نفسه.
الخطوات
- تقسيم كل كلمة إلى حروف + علامة النهاية </w>
- عدّ الأزواج المتجاورة في المدونة
- دمج الزوج الأكثر تكراراً في كل الكلمات
- تكرار العملية حتى بلوغ عدد الدمجات المطلوب
- ترميز الكلمات الجديدة بتطبيق الدمجات بالترتيب
مثال
من «المعلم، المعلمون، المعلمة، التعلم» يتعلم وحدات مثل «علم» و«ال»، فتُرمَّز «المتعلم» بوحدات معروفة بدلاً من رمز مجهول.
المزايا
- تحل مشكلة الكلمات خارج المفردات (OOV)
- حجم مفردات قابل للتحكم
- مناسبة للغات الغنية صرفياً
العيوب
- الوحدات إحصائية وقد لا توافق الحدود الصرفية
- تعتمد على المدونة التي دُربت عليها
الاستخدامات
- مُجزِّئ نماذج GPT وRoBERTa
- الترجمة الآلية العصبية
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Sennrich, R., Haddow, B. & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016.
- Gage, P. (1994). A New Algorithm for Data Compression. C Users Journal, 12(2).
