معالجة اللغة الطبيعية · NLP
حقيبة الكلمات من الصفر
Bag of Words from Scratch
بناء مفردات ومصفوفة تكرار لمستندات قصيرة.
docs = {'ai helps doctors', 'doctors use ai tools', 'tools for students'};
tok = cellfun(@(d) strsplit(d, ' '), docs, 'UniformOutput', false);
vocab = unique([tok{:}]);
M = zeros(numel(docs), numel(vocab));
for i = 1:numel(docs)
for j = 1:numel(tok{i})
k = find(strcmp(vocab, tok{i}{j}));
M(i, k) = M(i, k) + 1;
end
end
fprintf('vocab: %s\n', strjoin(vocab, ' '));
for i = 1:size(M, 1), fprintf('doc %d: %s\n', i, mat2str(M(i, :))); end
fprintf('most frequent: %s\n', vocab{find(sum(M) == max(sum(M)), 1)});شرح الخطوات
- strsplit يقطع كل مستند.
- unique تبني المفردات مرتبة.
- كل صف متجه تكرار لمستند.
المخرجات المتوقعة
vocab: ai doctors for helps students tools use doc 1: [1 1 0 1 0 0 0] doc 2: [1 1 0 0 0 1 1] doc 3: [0 0 1 0 1 1 0] most frequent: ai
شُغّل هذا الكود في GNU Octave 8.4 أثناء إعداد المكتبة والمخرجات المعروضة ناتجه الفعلي. لم يُختبر في MATLAB نفسه، لكنه يستخدم دوال MATLAB الأساسية فقط والطباعة بـ fprintf/disp.
