كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

معالجة اللغة الطبيعية · NLP

TF-IDF وتشابه المستندات

TF-IDF and Document Similarity

متوسطمعالجة اللغة الطبيعية

وزن TF-IDF ثم مصفوفة تشابه جيب التمام بين المستندات.

M = [1 1 1 0 0 0 0; 1 1 0 1 1 0 0; 0 0 0 0 1 1 1];   % تكرار الكلمات
N = size(M, 1);
idf = log(N ./ sum(M > 0, 1));
W = (M ./ sum(M, 2)) .* idf;
nrm = sqrt(sum(W.^2, 2));
S = (W * W') ./ (nrm * nrm');
fprintf('idf = %s\n', mat2str(idf, 4));
fprintf('similarity:\n'); fprintf('  %.4f %.4f %.4f\n', S');

شرح الخطوات

  1. IDF يخفض وزن الكلمات الموجودة في مستندات كثيرة.
  2. تطبيع كل متجه بطوله ثم الضرب الداخلي = جيب التمام.
  3. قطر المصفوفة 1 دائماً.

المخرجات المتوقعة

مخرجات فعلية من GNU Octave
idf = [0.4055 0.4055 1.099 1.099 0.4055 1.099 1.099]
similarity:
  1.0000 0.2035 0.0000
  0.2035 1.0000 0.0785
  0.0000 0.0785 1.0000

شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.