التعلم العميق بالعربي الدكتور علاء طعيمة
معالجة اللغة الطبيعية النماذج اللغوية الكبيرة مبتدئ محتوى تجريبي

Token

الرمز (التوكن)

التعريف

أصغر وحدة نصية يعالجها النموذج اللغوي؛ قد تكون كلمة كاملة أو جزءاً من كلمة أو علامة ترقيم، بحسب أداة التقطيع.

قبل أن يعالج النموذج النص، تقسّمه أداة التقطيع (Tokenizer) إلى رموز، ويُحوَّل كل رمز إلى رقم ثم إلى متجه تضمين. تستخدم النماذج الحديثة تقطيعاً إلى وحدات فرعية مثل BPE، فتُقسَّم الكلمات النادرة إلى أجزاء متكررة.
يُقاس طول السياق وكلفة الاستخدام عادةً بعدد الرموز، والنص العربي قد يحتاج رموزاً أكثر من الإنجليزي بالمعنى نفسه في بعض أدوات التقطيع.

Definition

A token is the basic unit of text processed by a language model, such as a word, a sub-word piece or a punctuation mark, as produced by the model's tokenizer.

شرح مبسّط للمبتدئين

النموذج لا يقرأ الحروف كما نقرؤها، بل يقطع الجملة إلى قطع صغيرة تسمى رموزاً، مثل تقطيع كلمة «unhappiness» إلى «un» و«happi» و«ness».

شرح أكاديمي متخصص

تبني خوارزمية BPE مفرداتها بدمج أكثر أزواج الوحدات تكراراً في المدونة بشكل متكرر حتى تبلغ حجم المفردات المطلوب، مما يوازن بين حجم المفردات وطول التسلسلات.

أمثلة عملية

  • جملة إنجليزية من 10 كلمات قد تصبح نحو 12–15 رمزاً.
  • حد السياق «128 ألف رمز» يعني عدد الرموز لا عدد الكلمات.
تقطيع جملة إلى رموز Python 
from transformers import AutoTokenizer

tok = AutoTokenizer.from_pretrained("bert-base-uncased")
print(tok.tokenize("Tokenization is fundamental"))

شرح الكود

نحمّل أداة تقطيع BERT ونقطّع جملة؛ الكلمات غير الموجودة في المفردات تُقسّم إلى قطع، ويدل الرمز ## على قطعة تكمل كلمة سابقة.

النتيجة المتوقعة

['token', '##ization', 'is', 'fundamental']

التطبيقات والاستخدامات

  • حساب طول السياق وكلفة استخدام النماذج.
  • إعداد البيانات لتدريب النماذج اللغوية.

المزايا

  • التقطيع إلى وحدات فرعية يتعامل مع الكلمات الجديدة والنادرة.

القيود والعيوب

  • بعض أدوات التقطيع أقل كفاءة مع العربية، فتزيد الكلفة وطول التسلسل.

المصادر العلمية

مراجع ومصادر علمية

تعلّم وراجع

بطاقة مراجعة المصطلحراجعه مع المصطلحات المرتبطة به اختبار قصيرأسئلة عن هذا المصطلح وما يرتبط به

مصطلحات مقترحة للتعلّم بعده