TF-IDF
تكرار المصطلح × معكوس تكرار الوثيقة
التعريف
وزن يقيس أهمية كلمة في وثيقة بالنسبة إلى مجموعة وثائق: تتكرر في الوثيقة ونادرة في غيرها.
تكرار الكلمة (TF) يرفع الوزن، ومعكوس تكرار الوثائق (IDF) يخفضه للكلمات الشائعة كحروف الجر. يُستعمل في البحث وتصنيف النصوص كتمثيل متفرق قوي.
Definition
TF-IDF weights a term by its frequency in a document, discounted by how common it is across a corpus, highlighting distinctive words.
شرح مبسّط للمبتدئين
كلمة «الكهرباء» في مقال عن الطاقة مهمة، أما «في» فتتكرر في كل مكان فلا تفيد.
شرح أكاديمي متخصص
\(\text{tf-idf}(t,d)=\text{tf}(t,d)\cdot\log\frac{N}{\text{df}(t)}\) مع صيغ تمليس متعددة.
أمثلة عملية
- ترتيب نتائج بحث.
from sklearn.feature_extraction.text import TfidfVectorizer
docs = ['the cat sat', 'the dog sat', 'the cat ran']
v = TfidfVectorizer()
v.fit_transform(docs)
print(sorted(v.vocabulary_))شرح الكود
يبني معجم الكلمات الذي تُحسب أوزانه لكل وثيقة.
النتيجة المتوقعة
['cat', 'dog', 'ran', 'sat', 'the']
التطبيقات والاستخدامات
- محركات البحث.
- تصنيف النصوص.
المزايا
- بسيط وفعّال.
القيود والعيوب
- لا يلتقط المعنى ولا الترتيب.
المعادلات الرياضية
TF-IDF
\mathrm{tfidf}(t,d)=\mathrm{tf}(t,d)\cdot\log\frac{N}{\mathrm{df}(t)}تكرار الكلمة في الوثيقة مضروباً في لوغاريتم معكوس نسبة الوثائق التي تحويها.
| الرمز | المعنى |
|---|---|
| \(N\) | عدد الوثائق |
| \(df(t)\) | عدد الوثائق التي تحوي الكلمة |
