تقسيم النص إلى جمل
Sentence Boundary Detection
تحديد حدود الجمل في النص اعتماداً على علامات الترقيم مع قواعد تمنع القطع الخاطئ عند الاختصارات والأعداد العشرية.
طريقة العمل
تُعد علامات . ! ? ؟ ؛ … مرشحة لنهاية الجملة، ثم تُستبعد الحالات التي لا تنهي جملة: نقطة بعد اختصار معروف (د.، Dr.)، أو بين رقمين (3.14)، أو بعد حرف لاتيني منفرد (J.). الطرق الإحصائية مثل Punkt تتعلم الاختصارات من النص دون إشراف.
الخطوات
- البحث عن علامات النهاية المرشحة
- استبعاد الاختصارات والأعداد العشرية
- ضم علامات الاقتباس والأقواس اللاحقة إلى الجملة
- القطع عند السطر الفارغ
مثال
«قال د. علي إن النسبة 3.5%. ما رأيك؟» ← جملتان، ولا يُقطع بعد «د.» ولا داخل 3.5
المزايا
- بسيطة وسريعة
- كافية للنصوص المحررة جيداً
العيوب
- تخطئ مع النصوص غير المرقمة (وسائل التواصل)
- الاختصارات غير المعروفة تسبب قطعاً خاطئاً
الاستخدامات
- التلخيص الاستخراجي
- تحليل المشاعر لكل جملة
- الترجمة الآلية
مكتبات تطبّقها
راجع دليل المكتبات لمعرفة الرخص ومتطلبات التشغيل.
المراجع
- Kiss, T. & Strunk, J. (2006). Unsupervised Multilingual Sentence Boundary Detection. Computational Linguistics, 32(4), 485–525.
