TF-IDF

الصيغة

$$\text{tfidf}(t, d) = \text{tf}(t, d) \times \text{idf}(t), \qquad \text{idf}(t) = \log\frac{N}{\text{df}(t)}$$

حيث \(N\) عدد المستندات و\(\text{df}(t)\) عدد المستندات التي تحتوي الكلمة.

في scikit-learn الصيغة الافتراضية منعَّمة:

$$\text{idf}(t) = \ln\frac{1 + N}{1 + \text{df}(t)} + 1$$

مثال: بحث بسيط

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

docs = ["مقدمة في تعلم الآلة والانحدار الخطي",
        "الشبكات العصبية الالتفافية لتصنيف الصور",
        "تحليل المشاعر في النصوص العربية",
        "تقييم نماذج تعلم الآلة والتحقق المتقاطع"]
vec = TfidfVectorizer()
D = vec.fit_transform(docs)
q = vec.transform(["تعلم الآلة"])
scores = cosine_similarity(q, D).ravel()
for i in scores.argsort()[::-1]:
    print(round(scores[i], 3), docs[i])

تصنيف النصوص

TF-IDF مع الانحدار اللوجستي أو SVM الخطي خط أساس قوي جداً لتصنيف النصوص، وغالباً يصعب التفوق عليه بفارق كبير في البيانات الصغيرة دون نماذج مدربة مسبقاً.

خيارات مفيدة

• ngram_range=(1, 2): إضافة الأزواج.
• analyzer="char_wb", ngram_range=(2, 5): n-grams حرفية، مفيدة للعربية واللهجات والأخطاء الإملائية.
• sublinear_tf=True: استخدام \(1 + \log(\text{tf})\) لتخفيف أثر التكرار الكبير.
• min_df وmax_df: حذف الكلمات النادرة جداً أو الشائعة جداً.

الحدود

مثل BoW، لا يلتقط الترادف ولا السياق: «سيارة» و«مركبة» لا تشابه بينهما في TF-IDF. هذا ما تعالجه التضمينات في المستوى التالي.