معالجة اللغة الطبيعية
المعالجة المسبقة للنصوص: التقطيع والتطبيع والتجذيع
Text Preprocessing: Tokenization, Normalization, Stemming
تحويل النص الخام إلى وحدات نظيفة: التقطيع، وتوحيد الحروف، وإزالة التشكيل وعلامات الترقيم وكلمات التوقف، والتجذيع للعربية والإنجليزية.
ستتعلم في هذا الدرس
- تقطيع النص إلى كلمات
- تطبيع النص العربي (الهمزات والتاء المربوطة والتشكيل والتطويل)
- إزالة كلمات التوقف
- فهم الفرق بين التجذيع والتأصيل (Lemmatization)
التقطيع والتطبيع بالإنجليزية
txt = 'Deep Learning, in MATLAB, is FUN! Learning never stops...';
t = lower(txt);
t = regexprep(t, '[^a-z\s]', ' '); % حذف الترقيم والأرقام
tokens = strsplit(strtrim(t));
tokens = tokens(~cellfun(@isempty, tokens));
stop = {'in', 'is', 'the', 'a', 'an', 'never'};
kept = tokens(~ismember(tokens, stop));
fprintf('tokens (%d): %s\n', numel(tokens), strjoin(tokens, ' | '));
fprintf('after stop words (%d): %s\n', numel(kept), strjoin(kept, ' | '));tokens (9): deep | learning | in | matlab | is | fun | learning | never | stops after stop words (6): deep | learning | matlab | fun | learning | stops
تطبيع النص العربي
s = 'أَهْلاً بِكُمْ في مدرسةِ الذكاءِ الاصطناعيّ، إنّ التعلّـــم ممتعٌ!';
t = regexprep(s, '[\x{064B}-\x{0652}]', ''); % حذف التشكيل
t = regexprep(t, '\x{0640}', ''); % حذف التطويل
t = regexprep(t, '[أإآ]', 'ا');
t = regexprep(t, 'ة', 'ه');
t = regexprep(t, 'ى', 'ي');
t = regexprep(t, '[،؛؟!.,]', ' ');
words = strsplit(strtrim(regexprep(t, '\s+', ' ')), ' ');
fprintf('normalized: %s\n', strjoin(words, ' '));
fprintf('word count: %d\n', numel(words));
stopAr = {'في', 'ان', 'من', 'على', 'الى', 'عن'};
fprintf('without stop words: %s\n', strjoin(words(~ismember(words, stopAr)), ' '));normalized: اهلا بكم في مدرسه الذكاء الاصطناعي ان التعلم ممتع word count: 9 without stop words: اهلا بكم مدرسه الذكاء الاصطناعي التعلم ممتع
قائمة كلمات التوقف هنا قصيرة للتوضيح؛ في مشروع حقيقي استخدم قائمة أشمل وراجع أثر حذفها، فكلمات مثل «لا» و«غير» تقلب المعنى في تحليل المشاعر.
التجذيع العربي المبسّط
التجذيع الخفيف (Light stemming) يحذف السوابق واللواحق الشائعة دون استخراج الجذر الثلاثي، وهو كافٍ لكثير من مهام التصنيف:
words = {'والطلاب', 'بالمدرسه', 'المعلمون', 'كتابها', 'فالتعلم', 'مكتبات'};
prefixes = {'وال', 'بال', 'كال', 'فال', 'ال', 'و'};
alen = @(s) numel(unicode2native(s, 'UTF-8')) / 2; % عدد الحروف العربية (حرفان بايتيان في UTF-8)
suffixes = {'ون', 'ات', 'ها', 'ين', 'ه'};
out = words;
for k = 1:numel(words)
w = words{k};
for p = prefixes
if strncmp(w, p{1}, numel(p{1})) && alen(w) - alen(p{1}) >= 3 % يبقى 3 حروف على الأقل
w = w(numel(p{1})+1:end); break;
end
end
for sfx = suffixes
n = numel(sfx{1});
if numel(w) > n && strcmp(w(end-n+1:end), sfx{1}) && alen(w) - alen(sfx{1}) >= 3
w = w(1:end-n); break;
end
end
out{k} = w;
end
for k = 1:numel(words), fprintf('%s -> %s\n', words{k}, out{k}); endوالطلاب -> طلاب بالمدرسه -> مدرس المعلمون -> معلم كتابها -> كتاب فالتعلم -> تعلم مكتبات -> مكتب
لاحظ أن «بالمدرسه» صارت «مدرس» لأن الهاء (بعد تطبيع التاء المربوطة) حُذفت كلاحقة؛ هذا مثال على الإفراط في التجذيع (Over-stemming) الذي يغير المعنى. عددنا الحروف بـ unicode2native لأن MATLAB يعد الحرف العربي عنصراً واحداً بينما يعده Octave بايتين؛ بهذه الطريقة يعطي الكود النتيجة نفسها في البيئتين.
باستخدام Text Analytics Toolbox
str = ["Deep learning models need data."; "Learning MATLAB is fun!"];
documents = tokenizedDocument(str);
documents = lower(documents);
documents = erasePunctuation(documents);
documents = removeStopWords(documents);
documents = normalizeWords(documents, 'Style', 'stem'); % Porter stemmer
tokenDetails(documents)يتطلب هذا الكود: Text Analytics Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
ميزات Text Analytics Toolbox الخاصة باللغة (قوائم كلمات التوقف والتجذيع وتحليل أقسام الكلام) مدعومة للغات محددة مذكورة في صفحة «Language Considerations» من توثيقها، والعربية ليست منها وقت إعداد هذا الدرس. لذلك نكتب المعالجة العربية بأنفسنا، وتحقق من صفحة التوثيق في إصدارك.
خلاصة الدرس
- التطبيع العربي الشائع: أ إ آ → ا، ة → ه، ى → ي، وحذف التشكيل والتطويل (ـ).
- قرارات التطبيع تؤثر في المعنى أحياناً؛ اختبرها على بياناتك.
- tokenizedDocument وremoveStopWords وnormalizeWords من Text Analytics Toolbox.
- التجذيع بخوارزمية Porter في normalizeWords للإنجليزية.
- في MATLAB الحرف العربي عنصر واحد، أما في Octave فيُعد بايتين (UTF-8)؛ لعد الحروف بطريقة تعمل في البيئتين استخدم unicode2native.
شُغّلت english_clean.m وarabic_normalize.m وlight_stem.m في GNU Octave 8.4. مثال tokenizedDocument يحتاج Text Analytics Toolbox ولم يُشغّل.
المتطلبات البرمجية
- MATLAB
- Text Analytics Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
