معالجة اللغة الطبيعية · NLP
TF-IDF وتشابه المستندات
TF-IDF and Document Similarity
وزن TF-IDF ثم مصفوفة تشابه جيب التمام بين المستندات.
M = [1 1 1 0 0 0 0; 1 1 0 1 1 0 0; 0 0 0 0 1 1 1]; % تكرار الكلمات
N = size(M, 1);
idf = log(N ./ sum(M > 0, 1));
W = (M ./ sum(M, 2)) .* idf;
nrm = sqrt(sum(W.^2, 2));
S = (W * W') ./ (nrm * nrm');
fprintf('idf = %s\n', mat2str(idf, 4));
fprintf('similarity:\n'); fprintf(' %.4f %.4f %.4f\n', S');شرح الخطوات
- IDF يخفض وزن الكلمات الموجودة في مستندات كثيرة.
- تطبيع كل متجه بطوله ثم الضرب الداخلي = جيب التمام.
- قطر المصفوفة 1 دائماً.
المخرجات المتوقعة
idf = [0.4055 0.4055 1.099 1.099 0.4055 1.099 1.099] similarity: 1.0000 0.2035 0.0000 0.2035 1.0000 0.0785 0.0000 0.0785 1.0000
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
