معالجة اللغة الطبيعية
معالجة النصوص العربية
Arabic Text Processing Pipeline
خط معالجة عربي كامل بـ MATLAB الأساسي: تطبيع وإزالة تشكيل وتقطيع وكلمات توقف وتجذيع خفيف وحساب TF-IDF ومصنف Naive Bayes على جمل نموذجية.
وصف المشكلة
أدوات Text Analytics Toolbox الخاصة باللغة لا تغطي العربية، فنبني الخط بأنفسنا. المشروع مكتمل ويعمل على عينة جمل مدمجة، ثم نوضح كيف نطبقه على مجموعة ASTD لتغريدات عربية معلّمة بالمشاعر.
حالة المشروع: مكتمل وقابل للتشغيل بـ MATLAB الأساسي. شُغّل الكود كاملاً في GNU Octave 8.4 أثناء الإعداد، وهذا ناتجه الفعلي:
vocabulary size: 23 doc 1 tokens: خدم | ممتاز | توصيل | سريع most distinctive word in doc 5: سيئ "التوصيل سريع والجودة عالية" -> إيجابي "الموظفون غير متعاونين" -> سلبي
الأهداف التعليمية
- بناء دالة تطبيع عربية قابلة لإعادة الاستخدام
- التجذيع الخفيف وأثره
- تمثيل TF-IDF لنصوص عربية
- تصنيف المشاعر بـ Naive Bayes
البيانات المطلوبة
عينة مدمجة من 8 جمل قصيرة معلّمة (إيجابي/سلبي) للتشغيل الفوري. للتطبيق الأوسع: مجموعة ASTD (نحو 10 آلاف تغريدة عربية بأربع فئات).
مصدر البيانات:
خطوات التنفيذ
- طبّع (همزات، تاء مربوطة، ألف مقصورة، تشكيل، تطويل، ترقيم).
- قطّع واحذف كلمات التوقف مع الإبقاء على النفي.
- جذّع تجذيعاً خفيفاً.
- ابنِ المفردات وTF-IDF.
- درّب Naive Bayes متعدد الحدود مع تنعيم لابلاس.
- صنّف جملاً جديدة.
المعالجة المسبقة
- قائمة كلمات توقف قصيرة دون أدوات النفي.
- حد أدنى ثلاثة حروف بعد التجذيع.
الخوارزمية
خط معالجة يدوي + Multinomial Naive Bayes. يعمل في MATLAB الأساسي (وOctave) دون Toolboxes.
كود MATLAB
docs = {'الخدمة ممتازة والتوصيل سريع', 'المنتج رائع وأنصح به', 'تجربة جميلة والموظفون متعاونون', ...
'السعر مناسب والجودة عالية', 'الخدمة سيئة والتوصيل متأخر', 'المنتج رديء ولا أنصح به', ...
'تجربة محبطة والموظفون غير متعاونين', 'الجودة ضعيفة والسعر مرتفع'};
y = [1 1 1 1 0 0 0 0];
alen = @(s) numel(unicode2native(s, 'UTF-8')) / 2;
stop = {'و', 'في', 'من', 'على', 'به'};
pre = {'وال', 'بال', 'فال', 'ال'}; suf = {'ون', 'ين', 'ات', 'ه'};
tok = cell(size(docs));
for d = 1:numel(docs)
t = regexprep(docs{d}, '[\x{064B}-\x{0652}\x{0640}]', '');
t = regexprep(t, '[أإآ]', 'ا'); t = regexprep(t, 'ة', 'ه'); t = regexprep(t, 'ى', 'ي');
w = strsplit(strtrim(regexprep(t, '[^\x{0621}-\x{064A}\s]', ' ')));
w = w(~ismember(w, stop));
for k = 1:numel(w)
for p = pre
if strncmp(w{k}, p{1}, numel(p{1})) && alen(w{k}) - alen(p{1}) >= 3, w{k} = w{k}(numel(p{1})+1:end); break; end
end
if strncmp(w{k}, 'و', numel('و')) && alen(w{k}) >= 5, w{k} = w{k}(numel('و')+1:end); end
for s = suf
n = numel(s{1});
if numel(w{k}) > n && strcmp(w{k}(end-n+1:end), s{1}) && alen(w{k}) - alen(s{1}) >= 3, w{k} = w{k}(1:end-n); break; end
end
end
tok{d} = w;
end
vocab = unique([tok{:}]);
C = zeros(numel(docs), numel(vocab));
for d = 1:numel(docs)
for k = 1:numel(tok{d})
j = strcmp(vocab, tok{d}{k}); C(d, j) = C(d, j) + 1;
end
end
fprintf('vocabulary size: %d\n', numel(vocab));
fprintf('doc 1 tokens: %s\n', strjoin(tok{1}, ' | '));
idf = log(numel(docs) ./ sum(C > 0, 1));
[~, top] = max(idf .* C(5, :));
fprintf('most distinctive word in doc 5: %s\n', vocab{top});
V = numel(vocab);
logLik = log((C' * [y' == 0, y' == 1] + 1) ./ (sum(C' * [y' == 0, y' == 1]) + V))';
test = {'التوصيل سريع والجودة عالية', 'الموظفون غير متعاونين'};
for t = 1:numel(test)
w = strsplit(regexprep(regexprep(test{t}, 'ة', 'ه'), '^ال|\sال', ' '));
sc = log([0.5 0.5]);
for k = 1:numel(w)
cand = find(cellfun(@(v) ~isempty(v) && (strcmp(v, w{k}) || (numel(w{k}) > numel(v) && strcmp(w{k}(1:numel(v)), v))), vocab));
if ~isempty(cand), sc = sc + logLik(:, cand(1))'; end
end
lbl = {'سلبي', 'إيجابي'};
fprintf('"%s" -> %s\n', test{t}, lbl{(sc(2) > sc(1)) + 1});
endشُغّل كود المشروع كاملاً في GNU Octave 8.4 أثناء إعداد الأكاديمية والناتج معروض في وصف المشروع.
شرح الكود
- regexprep بنطاقات Unicode تحذف التشكيل والتطويل وكل ما ليس حرفاً عربياً.
- alen يعد الحروف بطريقة تعمل في MATLAB وOctave.
- الواو العاطفة تُحذف فقط من الكلمات الطويلة لتجنب حذف واو أصلية.
- C' * [y==0, y==1] يجمع تكرار كل كلمة في كل فئة.
- للجمل الجديدة نطابق الكلمة أو بادئتها مع المفردات (تجذيع مبسط).
النتائج المتوقعة
الناتج الفعلي معروض أعلاه. للتطبيق على ASTD: استبدل docs وy بالتغريدات وتسمياتها، وقسّم تدريب/اختبار، وقس Macro F1.
مقاييس التقييم
- Accuracy وMacro F1 عند التطبيق على ASTD
- حجم المفردات قبل وبعد التجذيع
القيود
- عينة الجمل صغيرة جداً للتوضيح فقط.
- التجذيع الخفيف يخطئ أحياناً (حذف حروف أصلية).
- اللهجات العامية في التغريدات تحتاج قواعد إضافية.
