التقطيع

مستويات التقطيع

المستوى	مثال على «والمكتبات»	المزايا	العيوب
الكلمة	والمكتبات	بسيط	معجم ضخم، كلمات خارج المعجم
الحرف	و ا ل م ك ت ب ا ت	لا توجد كلمات مجهولة	تسلسلات طويلة
الوحدة الجزئية	وال ##مكتب ##ات (توضيحي)	توازن	يعتمد على بيانات التدريب

تقطيع بسيط بالكلمات

import re
text = "تعلّم الآلة (Machine Learning) فرعٌ مهم!"
tokens = re.findall(r"\w+|[^\w\s]", text)
print(tokens)

BPE باختصار

1. ابدأ بمعجم من الحروف.
2. عُدّ كل الأزواج المتجاورة في بيانات التدريب.
3. ادمج الزوج الأكثر تكراراً وأضفه للمعجم.
4. كرر حتى تصل إلى الحجم المطلوب.

مقطِّعات النماذج الجاهزة

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("aubmindlab/bert-base-arabertv02")   # يُنزَّل عند أول استخدام
enc = tok("والمكتبات العامة مفتوحة للجميع")
print(tok.convert_ids_to_tokens(enc["input_ids"]))

يجب دائماً استخدام مقطِّع النموذج نفسه الذي دُرب معه.

ملاحظات عملية

• عدد الرموز يحدد طول السياق والتكلفة الحسابية في النماذج الكبيرة.
• مقطِّعات دُربت أساساً على نصوص إنجليزية قد تقسم العربية إلى رموز أكثر، فتصبح أكلف وأقل كفاءة.
• مع العربية قد يفيد التقطيع الصرفي المسبق (فصل حروف العطف وأل التعريف والضمائر) قبل التقطيع الجزئي، وهذا ما تفعله بعض إصدارات AraBERT.