Tokenization
الترميز إلى رموز
التعريف
عملية تقسيم النص إلى وحدات (رموز) مثل كلمات أو أجزاء كلمات أو حروف ليعالجها النموذج.
تحوّل النموذج اللغوي النص إلى أرقام عبر تقسيمه إلى رموز ثم ربط كل رمز برقم في معجم. أشهر الأساليب تقسم إلى أجزاء كلمات مثل BPE وWordPiece وSentencePiece.
تؤثر طريقة التقسيم في طول التسلسل والكلفة، وفي كفاءة اللغات؛ فقد تحتاج بعض اللغات رموزاً أكثر للجملة نفسها.
Definition
Tokenization splits text into discrete units such as words, subwords or characters and maps them to integer ids from a fixed vocabulary for model input.
شرح مبسّط للمبتدئين
كتقطيع جملة إلى قطع ليغو يمكن للنموذج التعامل معها، وبعض الكلمات الطويلة تُقسم إلى قطعتين أو أكثر.
شرح أكاديمي متخصص
يبدأ BPE من الحروف ويدمج أكثر الأزواج تكراراً بصورة متكررة حتى حجم معجم محدد، فيتوازن المعجم بين الكلمات الشائعة والنادرة.
أمثلة عملية
- «الكتابة» تنقسم إلى «الكتاب» و«ة».
text = 'learning is fun'
tokens = text.split()
vocab = {t: i for i, t in enumerate(sorted(set(tokens)))}
print([vocab[t] for t in tokens])شرح الكود
نقسم النص إلى كلمات ونعطي كل كلمة رقماً بحسب ترتيبها الأبجدي.
النتيجة المتوقعة
[2, 1, 0]
التطبيقات والاستخدامات
- تحضير النصوص للنماذج اللغوية.
المزايا
- يتعامل مع الكلمات النادرة بتقسيمها.
القيود والعيوب
- يختلف أداؤه باختلاف اللغات.
- قد يقسّم الكلمات بصورة غير طبيعية.
