تجزئة WordPiece
WordPiece
طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار.
طريقة العمل
عند الترميز تبحث الخوارزمية عن أطول جزء من بداية الكلمة موجود في المفردات، ثم تكمل من حيث توقفت مع إضافة «##» لكل جزء غير ابتدائي. إن تعذر الترميز تُعطى الكلمة رمز [UNK]. يختلف تدريب WordPiece عن BPE في معيار اختيار الدمج (أثره على احتمال اللغة لا التكرار وحده).
الخطوات
- تحميل المفردات
- أخذ أطول بادئة موجودة في المفردات
- إضافة ## للأجزاء التالية
- التكرار حتى نهاية الكلمة أو [UNK]
مثال
«playing» ← play ##ing في مفردات BERT الإنجليزية.
المزايا
- ترميز سريع وحتمي
- مستخدم في BERT ومشتقاته العربية
العيوب
- يعتمد كلياً على المفردات المدربة
- الترميز الجشع ليس أمثل دائماً
الاستخدامات
- نماذج BERT وAraBERT وCAMeLBERT
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Schuster, M. & Nakajima, K. (2012). Japanese and Korean Voice Search. ICASSP 2012.
- Wu, Y. et al. (2016). Google's Neural Machine Translation System. arXiv:1609.08144.
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.
