المعالجة المسبقة للنصوص

خطوات عامة

• إزالة الروابط والوسوم والرموز التعبيرية أو تحويلها إلى رموز خاصة.
• توحيد المسافات.
• توحيد الحالة في الإنجليزية (lower).
• التعامل مع الأرقام (إبقاؤها أو استبدالها برمز).

خطوات خاصة بالعربية

import re

DIACRITICS = re.compile(r"[ؗ-ًؚ-ْٰ]")   # الحركات والتنوين والشدة والسكون

def normalize_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)          # إزالة التشكيل
    text = text.replace("ـ", "")        # إزالة التطويل
    text = re.sub("[إأآ]", "ا", text)        # توحيد الألف
    text = text.replace("ى", "ي")            # الألف المقصورة (اختياري)
    text = text.replace("ة", "ه")            # التاء المربوطة (اختياري)
    text = re.sub(r"https?://\S+", " ", text)
    return re.sub(r"\s+", " ", text).strip()

print(normalize_ar("الذَّكَاءُ الاصطــــناعيّ في أَبحاث https://example.org"))
# الذكاء الاصطناعي في ابحاث

بعض خطوات التطبيع تزيل فروقاً حقيقية (مثل ة/ه)؛ قرر بحسب المهمة وقِس أثرها.

كلمات التوقف

import nltk
nltk.download("stopwords")
from nltk.corpus import stopwords
ar_stop = set(stopwords.words("arabic"))
tokens = [w for w in "هذا البحث في معالجة اللغة".split() if w not in ar_stop]

راجع القائمة قبل استخدامها، واحذف منها أدوات النفي إذا كانت المهمة تتأثر بها.

قاعدة ذهبية

• مع النماذج الكلاسيكية (BoW وTF-IDF): التطبيع يقلل حجم المعجم ويحسن الأداء غالباً.
• مع النماذج المدربة مسبقاً: استخدم المعالجة التي يوصي بها مؤلفو النموذج فقط.
• وثّق خطوات المعالجة وطبقها بالطريقة نفسها على التدريب والاختبار والاستخدام الفعلي.