تقسيم النص إلى جمل

Sentence Boundary Detection

تحديد حدود الجمل في النص اعتماداً على علامات الترقيم مع قواعد تمنع القطع الخاطئ عند الاختصارات والأعداد العشرية.

خوارزمية تقليدية

طريقة العمل

تُعد علامات . ! ? ؟ ؛ … مرشحة لنهاية الجملة، ثم تُستبعد الحالات التي لا تنهي جملة: نقطة بعد اختصار معروف (د.، Dr.)، أو بين رقمين (3.14)، أو بعد حرف لاتيني منفرد (J.). الطرق الإحصائية مثل Punkt تتعلم الاختصارات من النص دون إشراف.

الخطوات

  1. البحث عن علامات النهاية المرشحة
  2. استبعاد الاختصارات والأعداد العشرية
  3. ضم علامات الاقتباس والأقواس اللاحقة إلى الجملة
  4. القطع عند السطر الفارغ
المدخلاتنص
المخرجاتقائمة جمل مع مواضعها
التعقيدO(n)

مثال

«قال د. علي إن النسبة 3.5%. ما رأيك؟» ← جملتان، ولا يُقطع بعد «د.» ولا داخل 3.5

المزايا

  • بسيطة وسريعة
  • كافية للنصوص المحررة جيداً

العيوب

  • تخطئ مع النصوص غير المرقمة (وسائل التواصل)
  • الاختصارات غير المعروفة تسبب قطعاً خاطئاً

الاستخدامات

  • التلخيص الاستخراجي
  • تحليل المشاعر لكل جملة
  • الترجمة الآلية

مكتبات تطبّقها

NLTK (Punkt: sent_tokenize)spaCy (sentencizer)Stanza (tokenize)

راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.

المراجع

  • Kiss, T. & Strunk, J. (2006). Unsupervised Multilingual Sentence Boundary Detection. Computational Linguistics, 32(4), 485–525.