كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعي

ترميز أزواج البايت

Byte-Pair Encoding (BPE)

خوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة.

خوارزمية تقليدية

طريقة العمل

تبدأ كل كلمة سلسلة حروف مع علامة نهاية الكلمة. في كل دورة تُعد كل الأزواج المتجاورة في المدونة (مضروبة في تكرار الكلمة)، ويُدمج الزوج الأكثر تكراراً إلى رمز جديد. بعد عدد محدد من الدمجات تصبح قائمة الدمجات هي «المفردات». لترميز كلمة جديدة تُطبق الدمجات بالترتيب نفسه.

الخطوات

  1. تقسيم كل كلمة إلى حروف + علامة النهاية </w>
  2. عدّ الأزواج المتجاورة في المدونة
  3. دمج الزوج الأكثر تكراراً في كل الكلمات
  4. تكرار العملية حتى بلوغ عدد الدمجات المطلوب
  5. ترميز الكلمات الجديدة بتطبيق الدمجات بالترتيب
المدخلاتمدونة نصية + عدد الدمجات
المخرجاتقائمة دمجات ومفردات فرعية، وترميز كل كلمة
التعقيدالتدريب البسيط O(N·M) حيث N حجم المدونة وM عدد الدمجات؛ توجد تطبيقات أسرع

مثال

من «المعلم، المعلمون، المعلمة، التعلم» يتعلم وحدات مثل «علم» و«ال»، فتُرمَّز «المتعلم» بوحدات معروفة بدلاً من رمز مجهول.

المزايا

  • تحل مشكلة الكلمات خارج المفردات (OOV)
  • حجم مفردات قابل للتحكم
  • مناسبة للغات الغنية صرفياً

العيوب

  • الوحدات إحصائية وقد لا توافق الحدود الصرفية
  • تعتمد على المدونة التي دُربت عليها

الاستخدامات

  • مُجزِّئ نماذج GPT وRoBERTa
  • الترجمة الآلية العصبية

مكتبات تطبّقها

Hugging Face TokenizersSentencePiecesubword-nmt

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Sennrich, R., Haddow, B. & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016.
  • Gage, P. (1994). A New Algorithm for Data Compression. C Users Journal, 12(2).