تجزئة الكلمات بالتعابير النمطية

Rule-based (Regex) Word Tokenization

تقسيم النص إلى كلمات وأرقام وعلامات ترقيم باستخدام تعابير نمطية (Regular Expressions) تصف شكل كل نوع من الوحدات.

خوارزمية تقليدية

طريقة العمل

يمر التعبير النمطي على النص من اليسار إلى اليمين ويطابق في كل موضع أطول وحدة ممكنة من الأنواع المعرفة: تسلسل حروف عربية مع حركاتها، أو كلمة لاتينية، أو عدد بفاصلة عشرية، أو علامة ترقيم مفردة.

الخطوات

  1. تعريف أنماط الوحدات (حروف عربية، حروف لاتينية، أرقام، رموز)
  2. مطابقة النمط على النص بالتتابع
  3. تسجيل كل وحدة مع موضع بدايتها ونهايتها ونوعها
  4. تجاهل الفراغات
المدخلاتنص خام
المخرجاتقائمة وحدات (Tokens) مع مواضعها وأنواعها
التعقيدO(n) في طول النص

مثال

«قال د. علي: الدقة 92.5%» ← قال | د | . | علي | : | الدقة | 92.5%

المزايا

  • سريعة جداً وخطية في طول النص
  • شفافة وقابلة للتعديل
  • لا تحتاج إلى بيانات تدريب

العيوب

  • لا تفصل اللواصق العربية (و، ب، ال، الضمائر)
  • تتعامل بقواعد ثابتة مع حالات خاصة كالاختصارات والروابط

الاستخدامات

  • المعالجة المسبقة لأي نظام
  • عدّ الكلمات والإحصاءات
  • بناء الفهارس

مكتبات تطبّقها

NLTK (RegexpTokenizer)spaCy (Tokenizer)PyArabic (tokenize)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Jurafsky, D. & Martin, J. H. Speech and Language Processing (3rd ed. draft), Chapter 2: Regular Expressions, Tokenization, Edit Distance.