كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبية

معالجة اللغة الطبيعية

معالجة النصوص العربية

Arabic Text Processing Pipeline

متوسطنحو 4 ساعات عمل

خط معالجة عربي كامل بـ MATLAB الأساسي: تطبيع وإزالة تشكيل وتقطيع وكلمات توقف وتجذيع خفيف وحساب TF-IDF ومصنف Naive Bayes على جمل نموذجية.

وصف المشكلة

أدوات Text Analytics Toolbox الخاصة باللغة لا تغطي العربية، فنبني الخط بأنفسنا. المشروع مكتمل ويعمل على عينة جمل مدمجة، ثم نوضح كيف نطبقه على مجموعة ASTD لتغريدات عربية معلّمة بالمشاعر.

حالة المشروع: مكتمل وقابل للتشغيل بـ MATLAB الأساسي. شُغّل الكود كاملاً في GNU Octave 8.4 أثناء الإعداد، وهذا ناتجه الفعلي:

الناتج الفعلي
vocabulary size: 23
doc 1 tokens: خدم | ممتاز | توصيل | سريع
most distinctive word in doc 5: سيئ
"التوصيل سريع والجودة عالية" -> إيجابي
"الموظفون غير متعاونين" -> سلبي

الأهداف التعليمية

  • بناء دالة تطبيع عربية قابلة لإعادة الاستخدام
  • التجذيع الخفيف وأثره
  • تمثيل TF-IDF لنصوص عربية
  • تصنيف المشاعر بـ Naive Bayes

البيانات المطلوبة

عينة مدمجة من 8 جمل قصيرة معلّمة (إيجابي/سلبي) للتشغيل الفوري. للتطبيق الأوسع: مجموعة ASTD (نحو 10 آلاف تغريدة عربية بأربع فئات).

مصدر البيانات:

خطوات التنفيذ

  1. طبّع (همزات، تاء مربوطة، ألف مقصورة، تشكيل، تطويل، ترقيم).
  2. قطّع واحذف كلمات التوقف مع الإبقاء على النفي.
  3. جذّع تجذيعاً خفيفاً.
  4. ابنِ المفردات وTF-IDF.
  5. درّب Naive Bayes متعدد الحدود مع تنعيم لابلاس.
  6. صنّف جملاً جديدة.

المعالجة المسبقة

  • قائمة كلمات توقف قصيرة دون أدوات النفي.
  • حد أدنى ثلاثة حروف بعد التجذيع.

الخوارزمية

خط معالجة يدوي + Multinomial Naive Bayes. يعمل في MATLAB الأساسي (وOctave) دون Toolboxes.

كود MATLAB

docs = {'الخدمة ممتازة والتوصيل سريع', 'المنتج رائع وأنصح به', 'تجربة جميلة والموظفون متعاونون', ...
        'السعر مناسب والجودة عالية', 'الخدمة سيئة والتوصيل متأخر', 'المنتج رديء ولا أنصح به', ...
        'تجربة محبطة والموظفون غير متعاونين', 'الجودة ضعيفة والسعر مرتفع'};
y = [1 1 1 1 0 0 0 0];
alen = @(s) numel(unicode2native(s, 'UTF-8')) / 2;
stop = {'و', 'في', 'من', 'على', 'به'};
pre = {'وال', 'بال', 'فال', 'ال'};  suf = {'ون', 'ين', 'ات', 'ه'};
tok = cell(size(docs));
for d = 1:numel(docs)
    t = regexprep(docs{d}, '[\x{064B}-\x{0652}\x{0640}]', '');
    t = regexprep(t, '[أإآ]', 'ا');  t = regexprep(t, 'ة', 'ه');  t = regexprep(t, 'ى', 'ي');
    w = strsplit(strtrim(regexprep(t, '[^\x{0621}-\x{064A}\s]', ' ')));
    w = w(~ismember(w, stop));
    for k = 1:numel(w)
        for p = pre
            if strncmp(w{k}, p{1}, numel(p{1})) && alen(w{k}) - alen(p{1}) >= 3, w{k} = w{k}(numel(p{1})+1:end); break; end
        end
        if strncmp(w{k}, 'و', numel('و')) && alen(w{k}) >= 5, w{k} = w{k}(numel('و')+1:end); end
        for s = suf
            n = numel(s{1});
            if numel(w{k}) > n && strcmp(w{k}(end-n+1:end), s{1}) && alen(w{k}) - alen(s{1}) >= 3, w{k} = w{k}(1:end-n); break; end
        end
    end
    tok{d} = w;
end
vocab = unique([tok{:}]);
C = zeros(numel(docs), numel(vocab));
for d = 1:numel(docs)
    for k = 1:numel(tok{d})
        j = strcmp(vocab, tok{d}{k});  C(d, j) = C(d, j) + 1;
    end
end
fprintf('vocabulary size: %d\n', numel(vocab));
fprintf('doc 1 tokens: %s\n', strjoin(tok{1}, ' | '));
idf = log(numel(docs) ./ sum(C > 0, 1));
[~, top] = max(idf .* C(5, :));
fprintf('most distinctive word in doc 5: %s\n', vocab{top});
V = numel(vocab);
logLik = log((C' * [y' == 0, y' == 1] + 1) ./ (sum(C' * [y' == 0, y' == 1]) + V))';
test = {'التوصيل سريع والجودة عالية', 'الموظفون غير متعاونين'};
for t = 1:numel(test)
    w = strsplit(regexprep(regexprep(test{t}, 'ة', 'ه'), '^ال|\sال', ' '));
    sc = log([0.5 0.5]);
    for k = 1:numel(w)
        cand = find(cellfun(@(v) ~isempty(v) && (strcmp(v, w{k}) || (numel(w{k}) > numel(v) && strcmp(w{k}(1:numel(v)), v))), vocab));
        if ~isempty(cand), sc = sc + logLik(:, cand(1))'; end
    end
    lbl = {'سلبي', 'إيجابي'};
    fprintf('"%s" -> %s\n', test{t}, lbl{(sc(2) > sc(1)) + 1});
end

شُغّل كود المشروع كاملاً في GNU Octave 8.4 أثناء إعداد الأكاديمية والناتج معروض في وصف المشروع.

شرح الكود

  1. regexprep بنطاقات Unicode تحذف التشكيل والتطويل وكل ما ليس حرفاً عربياً.
  2. alen يعد الحروف بطريقة تعمل في MATLAB وOctave.
  3. الواو العاطفة تُحذف فقط من الكلمات الطويلة لتجنب حذف واو أصلية.
  4. C' * [y==0, y==1] يجمع تكرار كل كلمة في كل فئة.
  5. للجمل الجديدة نطابق الكلمة أو بادئتها مع المفردات (تجذيع مبسط).

النتائج المتوقعة

الناتج الفعلي معروض أعلاه. للتطبيق على ASTD: استبدل docs وy بالتغريدات وتسمياتها، وقسّم تدريب/اختبار، وقس Macro F1.

مقاييس التقييم

  • Accuracy وMacro F1 عند التطبيق على ASTD
  • حجم المفردات قبل وبعد التجذيع

القيود

  • عينة الجمل صغيرة جداً للتوضيح فقط.
  • التجذيع الخفيف يخطئ أحياناً (حذف حروف أصلية).
  • اللهجات العامية في التغريدات تحتاج قواعد إضافية.

المراجع وروابط الوثائق الرسمية