كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبية

معالجة اللغة الطبيعية

المعالجة المسبقة للنصوص: التقطيع والتطبيع والتجذيع

Text Preprocessing: Tokenization, Normalization, Stemming

مبتدئ 35 دقيقة

تحويل النص الخام إلى وحدات نظيفة: التقطيع، وتوحيد الحروف، وإزالة التشكيل وعلامات الترقيم وكلمات التوقف، والتجذيع للعربية والإنجليزية.

ستتعلم في هذا الدرس

  • تقطيع النص إلى كلمات
  • تطبيع النص العربي (الهمزات والتاء المربوطة والتشكيل والتطويل)
  • إزالة كلمات التوقف
  • فهم الفرق بين التجذيع والتأصيل (Lemmatization)

التقطيع والتطبيع بالإنجليزية

txt = 'Deep Learning, in MATLAB, is FUN! Learning never stops...';
t = lower(txt);
t = regexprep(t, '[^a-z\s]', ' ');      % حذف الترقيم والأرقام
tokens = strsplit(strtrim(t));
tokens = tokens(~cellfun(@isempty, tokens));
stop = {'in', 'is', 'the', 'a', 'an', 'never'};
kept = tokens(~ismember(tokens, stop));
fprintf('tokens (%d): %s\n', numel(tokens), strjoin(tokens, ' | '));
fprintf('after stop words (%d): %s\n', numel(kept), strjoin(kept, ' | '));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
tokens (9): deep | learning | in | matlab | is | fun | learning | never | stops
after stop words (6): deep | learning | matlab | fun | learning | stops

تطبيع النص العربي

s = 'أَهْلاً بِكُمْ في مدرسةِ الذكاءِ الاصطناعيّ، إنّ التعلّـــم ممتعٌ!';
t = regexprep(s, '[\x{064B}-\x{0652}]', '');   % حذف التشكيل
t = regexprep(t, '\x{0640}', '');               % حذف التطويل
t = regexprep(t, '[أإآ]', 'ا');
t = regexprep(t, 'ة', 'ه');
t = regexprep(t, 'ى', 'ي');
t = regexprep(t, '[،؛؟!.,]', ' ');
words = strsplit(strtrim(regexprep(t, '\s+', ' ')), ' ');
fprintf('normalized: %s\n', strjoin(words, ' '));
fprintf('word count: %d\n', numel(words));
stopAr = {'في', 'ان', 'من', 'على', 'الى', 'عن'};
fprintf('without stop words: %s\n', strjoin(words(~ismember(words, stopAr)), ' '));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
normalized: اهلا بكم في مدرسه الذكاء الاصطناعي ان التعلم ممتع
word count: 9
without stop words: اهلا بكم مدرسه الذكاء الاصطناعي التعلم ممتع

قائمة كلمات التوقف هنا قصيرة للتوضيح؛ في مشروع حقيقي استخدم قائمة أشمل وراجع أثر حذفها، فكلمات مثل «لا» و«غير» تقلب المعنى في تحليل المشاعر.

التجذيع العربي المبسّط

التجذيع الخفيف (Light stemming) يحذف السوابق واللواحق الشائعة دون استخراج الجذر الثلاثي، وهو كافٍ لكثير من مهام التصنيف:

words = {'والطلاب', 'بالمدرسه', 'المعلمون', 'كتابها', 'فالتعلم', 'مكتبات'};
prefixes = {'وال', 'بال', 'كال', 'فال', 'ال', 'و'};
alen = @(s) numel(unicode2native(s, 'UTF-8')) / 2;   % عدد الحروف العربية (حرفان بايتيان في UTF-8)
suffixes = {'ون', 'ات', 'ها', 'ين', 'ه'};
out = words;
for k = 1:numel(words)
    w = words{k};
    for p = prefixes
        if strncmp(w, p{1}, numel(p{1})) && alen(w) - alen(p{1}) >= 3   % يبقى 3 حروف على الأقل
            w = w(numel(p{1})+1:end); break;
        end
    end
    for sfx = suffixes
        n = numel(sfx{1});
        if numel(w) > n && strcmp(w(end-n+1:end), sfx{1}) && alen(w) - alen(sfx{1}) >= 3
            w = w(1:end-n); break;
        end
    end
    out{k} = w;
end
for k = 1:numel(words), fprintf('%s -> %s\n', words{k}, out{k}); end
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
والطلاب -> طلاب
بالمدرسه -> مدرس
المعلمون -> معلم
كتابها -> كتاب
فالتعلم -> تعلم
مكتبات -> مكتب

لاحظ أن «بالمدرسه» صارت «مدرس» لأن الهاء (بعد تطبيع التاء المربوطة) حُذفت كلاحقة؛ هذا مثال على الإفراط في التجذيع (Over-stemming) الذي يغير المعنى. عددنا الحروف بـ unicode2native لأن MATLAB يعد الحرف العربي عنصراً واحداً بينما يعده Octave بايتين؛ بهذه الطريقة يعطي الكود النتيجة نفسها في البيئتين.

باستخدام Text Analytics Toolbox

str = ["Deep learning models need data."; "Learning MATLAB is fun!"];
documents = tokenizedDocument(str);
documents = lower(documents);
documents = erasePunctuation(documents);
documents = removeStopWords(documents);
documents = normalizeWords(documents, 'Style', 'stem');   % Porter stemmer
tokenDetails(documents)

يتطلب هذا الكود: Text Analytics Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

ميزات Text Analytics Toolbox الخاصة باللغة (قوائم كلمات التوقف والتجذيع وتحليل أقسام الكلام) مدعومة للغات محددة مذكورة في صفحة «Language Considerations» من توثيقها، والعربية ليست منها وقت إعداد هذا الدرس. لذلك نكتب المعالجة العربية بأنفسنا، وتحقق من صفحة التوثيق في إصدارك.

خلاصة الدرس

  • التطبيع العربي الشائع: أ إ آ → ا، ة → ه، ى → ي، وحذف التشكيل والتطويل (ـ).
  • قرارات التطبيع تؤثر في المعنى أحياناً؛ اختبرها على بياناتك.
  • tokenizedDocument وremoveStopWords وnormalizeWords من Text Analytics Toolbox.
  • التجذيع بخوارزمية Porter في normalizeWords للإنجليزية.
  • في MATLAB الحرف العربي عنصر واحد، أما في Octave فيُعد بايتين (UTF-8)؛ لعد الحروف بطريقة تعمل في البيئتين استخدم unicode2native.

شُغّلت english_clean.m وarabic_normalize.m وlight_stem.m في GNU Octave 8.4. مثال tokenizedDocument يحتاج Text Analytics Toolbox ولم يُشغّل.

المتطلبات البرمجية

  • MATLAB
  • Text Analytics Toolbox

بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.

أداة مرتبطةمستكشف الدوال

المراجع

تحقّق من فهمك