تجزئة النصوص

Tokenization Lab

قسّم النص إلى كلمات وجمل وحروف ووحدات فرعية، وشاهد الإحصاءات والفرق بين التجزئة التقليدية وتجزيء النماذج الحديثة.

ما هذه الوحدة؟

التجزئة (Tokenization) هي الخطوة الأولى في أغلب أنظمة معالجة اللغة: تحويل سلسلة المحارف إلى وحدات يمكن عدّها ومعالجتها. التجزئة التقليدية تعتمد على الفراغات وعلامات الترقيم وقواعد بسيطة، أما النماذج الحديثة مثل BERT وGPT فتستخدم مُجزِّئات فرعية (Subword Tokenizers) تتعلم مفرداتها من مدونة نصية كبيرة، مثل BPE وWordPiece وUnigram. في العربية تزداد الصعوبة لأن الكلمة الواحدة قد تحمل حرف عطف وحرف جر وأداة تعريف وضميراً متصلاً، مثل «وبكتابهم».

الأداة: تجزئة النصوص

يعمل في متصفحك (JavaScript) — لا يُرسل نصك إلى أي جهة
الإعدادات

كيف تعمل الأداة؟

  • تجزئة الكلمات: تعبير نمطي يفصل الكلمات العربية واللاتينية والأرقام وعلامات الترقيم.
  • تجزئة الجمل: القطع بعد . ! ? ؟ ؛ … مع استثناء الاختصارات مثل «د.» والأعداد العشرية.
  • تجزئة الحروف: كل حرف مع حركاته كوحدة واحدة.
  • التجزئة الفرعية (محاكاة): تدريب BPE على النص المُدخل نفسه أو على مدونة المختبر، ثم الترميز بطريقة WordPiece (أطول تطابق أولاً).
  • تجزئة اللواصق: فصل حروف العطف والجر وأداة التعريف والضمائر المتصلة بقواعد.

كيف تقرأ النتائج؟

كل وحدة ملوّنة بحسب نوعها (عربية، إنجليزية، رقم، ترقيم). الإحصاءات تُحسب من الوحدات الناتجة: متوسط طول الكلمة بعدد الحروف دون الحركات، ونسبة الأنواع إلى الرموز (TTR) تقيس تنوع المفردات.

الخوارزميات والأساليب

نميّز دائماً بين الخوارزميات التقليدية والأساليب المعتمدة على مورد لغوي والنماذج المدرَّبة. الأدوات في هذه الصفحة تقليدية أو معجمية، أما النماذج المدرَّبة فمشروحة هنا ولا تعمل إلا عبر محرك خارجي يفعّله مدير الموقع.

خوارزمية تقليدية مطبّقة في المختبر تجزئة الكلمات بالتعابير النمطية Rule-based (Regex) Word Tokenization تقسيم النص إلى كلمات وأرقام وعلامات ترقيم باستخدام تعابير نمطية (Regular Expressions) تصف شكل كل نوع من الوحدات. خوارزمية تقليدية مطبّقة في المختبر تقسيم النص إلى جمل Sentence Boundary Detection تحديد حدود الجمل في النص اعتماداً على علامات الترقيم مع قواعد تمنع القطع الخاطئ عند الاختصارات والأعداد العشرية. خوارزمية تقليدية مطبّقة في المختبر ترميز أزواج البايت Byte-Pair Encoding (BPE) خوارزمية تجزئة فرعية تتعلم مفرداتها من مدونة بدمج أكثر زوج متجاور تكراراً من الرموز مرة بعد مرة، فتنتج وحدات بين الحرف والكلمة. خوارزمية تقليدية مطبّقة في المختبر تجزئة WordPiece WordPiece طريقة تجزئة فرعية تستخدمها نماذج BERT: تُبنى المفردات باختيار الدمجات التي ترفع احتمال بيانات التدريب، وتُرمز الكلمة بأطول تطابق من اليسار. خوارزمية تقليديةللشرح والمقارنة نموذج اللغة الأحادي للتجزئة Unigram Language Model Tokenization طريقة تجزئة فرعية تبدأ بمفردات كبيرة ثم تحذف الوحدات الأقل فائدة تدريجياً اعتماداً على نموذج احتمالي أحادي (Unigram)، وتختار أفضل تقطيع بخوارزمية فيتيربي. تعتمد على مورد لغوي مطبّقة في المختبر تقطيع اللواصق العربية Arabic Clitic Segmentation فصل الكلمة العربية إلى سوابق (حروف عطف وجر وأداة تعريف) وجذع ولواحق (ضمائر متصلة)، مثل «وبكتابهم» ← و + ب + كتاب + هم.

القيود وحدود الدقة

التجزئة الفرعية هنا محاكاة تعليمية بمفردات صغيرة تُدرَّب على نص قصير، فلا تطابق مفردات AraBERT أو GPT الحقيقية. تقسيم الجمل بالقواعد يخطئ مع الاختصارات غير المعروفة والنصوص بلا ترقيم.

نتائج هذه الأداة تعليمية: تُظهر كيف تعمل الخوارزمية خطوة خطوة، ولا تُعرض بوصفها نتائج علمية مؤكدة.

من قاعدة المعرفة

مفهوم

التجزئة في النماذج الحديثة

تستخدم النماذج الحديثة مفردات كلمات فرعية ثابتة تُتعلم مرة واحدة: BERT يستخدم WordPiece، وGPT-2 يستخدم BPE على مستوى البايت، وT5 وmT5 يستخدمان SentencePiece (Unigram). اختيار المجزئ يؤثر في طول التسلسل وفي تمثيل العربية.

Sennrich et al. (2016); Kudo (2018)

أسئلة شائعة

ما التجزئة (Tokenization)؟

تقسيم النص إلى وحدات أصغر تسمى رموزاً (Tokens)، قد تكون كلمات أو أجزاء كلمات أو حروفاً أو جملاً. هي أول خطوة تقريباً في أي نظام لمعالجة اللغة.

لماذا لا يكفي التقسيم على المسافات في العربية؟

لأن الكلمة العربية المكتوبة قد تحمل عدة وحدات: حرف عطف وحرف جر وأداة تعريف وضمير، مثل «وبكتابهم» = و + ب + كتاب + هم. التقسيم على المسافات يعدّها رمزاً واحداً، وهذا يكبّر المفردات ويضعف الإحصاءات.

ما تجزئة الكلمات الفرعية (Subword)؟

تقسيم الكلمات إلى أجزاء متكررة تتعلمها الخوارزمية من المدونة، مثل BPE وWordPiece وUnigram. تسمح بتمثيل كلمات لم تظهر في التدريب عبر أجزائها، وهي أساس النماذج الحديثة مثل BERT وGPT.

كيف تعمل خوارزمية BPE؟

تبدأ بتمثيل كل كلمة حروفاً منفصلة، ثم تعدّ أكثر زوج متجاور تكراراً في المدونة وتدمجه رمزاً جديداً، وتكرر ذلك عدداً محدداً من المرات. ناتجها قائمة دمج مرتبة تُطبق بالترتيب نفسه على النصوص الجديدة.

ما الفرق بين BPE وWordPiece؟

كلاهما يبني مفردات كلمات فرعية. BPE يدمج الزوج الأكثر تكراراً، أما WordPiece فيختار الدمج الذي يرفع احتمال المدونة أكثر وفق نموذج لغوي، ويستخدم البادئة ## للأجزاء الداخلية عند التطبيق بأطول تطابق.

لماذا تختلف نتيجة BPE في المختبر عن نماذج مثل AraBERT؟

لأن المختبر يتعلم قائمة الدمج من النص الذي تدخله أو من مدونة صغيرة تعليمية، بينما تتعلم النماذج الكبيرة مفرداتها من ملايين الجمل. الخوارزمية واحدة لكن البيانات مختلفة، فتختلف الأجزاء الناتجة.

كيف يقسم المختبر النص إلى جمل؟

يعتمد على علامات نهاية الجملة (. ! ؟ ? وفاصلة منقوطة اختيارياً) مع قائمة اختصارات معروفة حتى لا يقطع عند «د.» أو «Dr.»، ومع تجاهل النقطة العشرية في الأرقام. يبقى خطأ التقسيم ممكناً في النصوص غير المنقطة.

ما تجزئة السوابق واللواحق (Clitic Segmentation)؟

فصل الحروف والضمائر المتصلة عن جذع الكلمة، مثل «فسيكتبونها» = ف + س + يكتبون + ها. في المختبر تُعرض كل التقسيمات الممكنة مع تمييز ما يوافق قائمة كلمات معروفة، لأن القرار الصحيح يحتاج إلى سياق أو محلل صرفي كامل.

لماذا يعرض المختبر أكثر من تقسيم للكلمة الواحدة؟

لأن الكلمة العربية غير المشكولة قد تقبل أكثر من تقسيم صحيح. مثلاً «وجد» قد تكون فعلاً واحداً أو «و + جد». عرض البدائل يوضح الغموض بدلاً من ادعاء جواب واحد.

ما نوع الرمز (Token type) الذي يظهر في الجدول؟

يصنف المختبر كل رمز إلى: كلمة عربية، كلمة لاتينية، رقم، علامة ترقيم، رمز تعبيري، رابط، بريد، أو وسم (#). يساعد ذلك في قرارات التنظيف اللاحقة.

ما الفرق بين عدد الكلمات وعدد الكلمات الفريدة؟

عدد الكلمات (Tokens) كل الكلمات بتكرارها، وعدد الكلمات الفريدة (Types) الكلمات المختلفة. نسبتهما (Type-Token Ratio) مؤشر بسيط على تنوع المفردات، ويتأثر بطول النص.

هل تدعم الأداة التجزئة على مستوى الحروف؟

نعم، يمكن اختيار التجزئة إلى حروف أو مقاطع حرفية (Character n-grams). مفيدة للهجات والأخطاء الإملائية لأنها لا تعتمد على مفردات ثابتة.

تمارين وتحديات

مبتدئ تطبيق في المختبر

عدّ الرموز

أدخل الجملة «وبكتابهم وجدنا الحل» في أداة التجزئة. كم رمزاً تعطي التجزئة بالمسافات؟ وكم وحدة تقترحها تجزئة السوابق واللواحق لكلمة «وبكتابهم»؟

تلميح

انظر عمود «التقسيمات» في الجدول.

إظهار الحل

بالمسافات: 3 رموز. «وبكتابهم» = و + ب + كتاب + هم، أي 4 وحدات.

مبتدئ حساب يدوي

نسبة تنوع المفردات

احسب نسبة الكلمات الفريدة إلى عدد الكلمات (TTR) في: «في البيت وفي الحديقة في المساء» دون أي تطبيع.

تلميح

«وفي» تختلف شكلياً عن «في».

إظهار الحل

الرموز 6 (في، البيت، وفي، الحديقة، في، المساء) والفريدة 5، إذن TTR = 5/6 ≈ 0.83.

متوسط حساب يدوي

أول دمج في BPE

مدونة من ثلاث كلمات: «كتب كتاب كتابة». ما أول زوج حروف تدمجه خوارزمية BPE؟

تلميح

عدّ كل الأزواج المتجاورة داخل الكلمات.

إظهار الحل

الأزواج: ك-ت (3)، ت-ب (1)، ت-ا (2)، ا-ب (2)، ب-ة (1). الأكثر تكراراً ك-ت، فيكون أول دمج «كت».

متوسط تطبيق في المختبر

BPE على مدونة صغيرة

حمّل مثال «مدونة صغيرة لتجربة BPE» وشغّل 15 عملية دمج. ما أطول وحدة فرعية ظهرت؟ ولماذا ظهرت قبل غيرها؟

تلميح

راجع جدول عمليات الدمج بالترتيب.

إظهار الحل

تظهر وحدات مثل «كت» ثم «كتا» أو «كتب» لأن هذه السلاسل أكثر تكراراً في المدونة. الترتيب الدقيق يعتمد على عدّ الأزواج بعد كل دمج.

متوسط سؤال مفاهيمي

BPE مقابل WordPiece

اشرح في ثلاث جمل الفرق في معيار اختيار الدمج بين BPE وWordPiece.

تلميح

فكّر في «التكرار» مقابل «الاحتمال».

إظهار الحل

BPE يدمج الزوج الأكثر تكراراً. WordPiece يختار الدمج الذي يزيد احتمال المدونة تحت نموذج لغوي، وهو ما يعادل تقريباً تكرار الزوج مقسوماً على حاصل ضرب تكرار جزأيه. لذلك يفضل WordPiece دمج أجزاء نادرة تظهر معاً دائماً.

متقدم تطبيق في المختبر

تقسيم الجمل الصعب

اكتب نصاً يحتوي «د.» و«3.5» وعلامة استفهام عربية «؟»، وتحقق من عدد الجمل الذي تعطيه الأداة. ثم احذف المسافة بعد إحدى النقاط وأعد التجربة.

تلميح

تعتمد الأداة على قائمة اختصارات وعلى نمط الأرقام.

إظهار الحل

يجب ألا تُقطع الجملة عند «د.» ولا عند 3.5. حذف المسافة بعد نقطة نهاية جملة قد يدمج جملتين، وهذا قيد معروف للتقسيم القاعدي.

متقدم تحدٍّ بحثي

تأثير التجزئة على المفردات

لماذا يقلل فصل السوابق واللواحق حجم المفردات في العربية؟ قدّر الأثر على نص من 1000 كلمة باستخدام إحصاءات الأداة قبل التجزئة الصرفية وبعدها.

تلميح

قارن عدد الكلمات الفريدة.

إظهار الحل

لأن الصيغ مثل «كتابه، وكتابهم، بكتابها» تتحول إلى وحدة «كتاب» مع زوائد مشتركة، فتنخفض الكلمات الفريدة. الأثر الدقيق يختلف بحسب النص.

مبتدئ سؤال مفاهيمي

أنواع الرموز

صنّف الرموز التالية: «#ذكاء_اصطناعي»، «😊»، «https://a.com»، «٣٤»، «AI».

تلميح

استخدم أعمدة النوع في الأداة.

إظهار الحل

وسم (hashtag)، رمز تعبيري، رابط، رقم، كلمة لاتينية.

أقسام ذات صلة في الموقع