التجذير والتأصيل

الفكرة

الكلمات «يدرس، درس، دارس، المدرسة، دراسات» تشترك في أصل واحد. ردها إلى شكل مشترك يقلل تنوع المعجم ويجمع إحصاءاتها.

الإنجليزية

from nltk.stem import PorterStemmer, WordNetLemmatizer
import nltk
nltk.download("wordnet")
ps, wl = PorterStemmer(), WordNetLemmatizer()
for w in ["studies", "running", "better"]:
    print(w, ps.stem(w), wl.lemmatize(w, pos="v"))

العربية

from nltk.stem.isri import ISRIStemmer
st = ISRIStemmer()
for w in ["المكتبات", "يكتبون", "الدراسة"]:
    print(w, st.stem(w))

مجذِّر ISRI يعمل دون معجم جذور، فقد يخطئ في بعض الكلمات. للتحليل الصرفي الأدق (الأصل المعجمي، والجذر، والسمات الصرفية، مع مراعاة السياق) تُستخدم أدوات مثل CAMeL Tools.

الجذر أم الجذع؟

المستوى	«والمكتبات»	الأثر
الجذع (light stemming)	مكتب	يحذف الزوائد ويحافظ على المعنى غالباً
الجذر	كتب	دمج قوي قد يخلط معاني مختلفة

أظهرت أبحاث استرجاع المعلومات العربية أن التجذير الخفيف (حذف السوابق واللواحق الشائعة) كثيراً ما يكون أنسب من الرد إلى الجذر الكامل.

متى نستخدمها؟

• مفيدة مع BoW وTF-IDF ومحركات البحث.
• قليلة الفائدة غالباً مع النماذج العصبية المدربة مسبقاً، لأنها تتعامل مع الصرف بالوحدات الجزئية والسياق.