تجزئة WordPiece

WordPiece

طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار.

خوارزمية تقليدية

طريقة العمل

عند الترميز تبحث الخوارزمية عن أطول جزء من بداية الكلمة موجود في المفردات، ثم تكمل من حيث توقفت مع إضافة «##» لكل جزء غير ابتدائي. إن تعذر الترميز تُعطى الكلمة رمز [UNK]. يختلف تدريب WordPiece عن BPE في معيار اختيار الدمج (أثره على احتمال اللغة لا التكرار وحده).

الخطوات

  1. تحميل المفردات
  2. أخذ أطول بادئة موجودة في المفردات
  3. إضافة ## للأجزاء التالية
  4. التكرار حتى نهاية الكلمة أو [UNK]
المدخلاتكلمة + مفردات
المخرجاتقائمة أجزاء مثل «ال ##معلم ##ون»
التعقيدالترميز O(n²) في طول الكلمة بالتنفيذ البسيط

مثال

«playing» ← play ##ing في مفردات BERT الإنجليزية.

المزايا

  • ترميز سريع وحتمي
  • مستخدم في BERT ومشتقاته العربية

العيوب

  • يعتمد كلياً على المفردات المدربة
  • الترميز الجشع ليس أمثل دائماً

الاستخدامات

  • نماذج BERT وAraBERT وCAMeLBERT

مكتبات تطبّقها

Hugging Face TokenizersTensorFlow Text

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Schuster, M. & Nakajima, K. (2012). Japanese and Korean Voice Search. ICASSP 2012.
  • Wu, Y. et al. (2016). Google's Neural Machine Translation System. arXiv:1609.08144.
  • Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.