تعلم الآلة باستخدام MATLAB
خوارزميات التصنيف: KNN وNaive Bayes والأشجار والغابات وSVM
Classification: KNN, Naive Bayes, Trees, Random Forest, SVM
فكرة كل خوارزمية ومعاملاتها الأساسية ومتى نستخدمها، مع تنفيذ KNN وNaive Bayes من الصفر ثم الدوال الجاهزة.
ستتعلم في هذا الدرس
- فهم آلية KNN وNaive Bayes وأشجار القرار وRandom Forest وSVM
- تنفيذ KNN وGaussian Naive Bayes بـ MATLAB الأساسي
- استخدام fitcknn وfitcnb وfitctree وTreeBagger وfitcsvm
- اختيار الخوارزمية حسب حجم البيانات وطبيعتها
K أقرب الجيران (KNN)
لتصنيف نقطة جديدة نحسب مسافتها إلى كل نقاط التدريب، ونأخذ تصويت الأغلبية بين أقرب K نقاط.
Xtr = [1 1; 1.5 2; 2 1.5; 6 6; 6.5 7; 7 6; 3.5 4];
ytr = [1 1 1 2 2 2 1]';
Xq = [2 2; 6 6.5; 4 4.5];
K = 3;
for i = 1:size(Xq, 1)
d = sqrt(sum((Xtr - Xq(i, :)).^2, 2)); % المسافة الإقليدية
[~, order] = sort(d);
nn = ytr(order(1:K));
pred = mode(nn);
fprintf('query [%g %g] -> neighbours %s -> class %d\n', Xq(i,1), Xq(i,2), mat2str(nn'), pred);
endquery [2 2] -> neighbours [1 1 1] -> class 1 query [6 6.5] -> neighbours [2 2 2] -> class 2 query [4 4.5] -> neighbours [1 2 2] -> class 2
Gaussian Naive Bayes
نحسب لكل فئة احتمالها المسبق ومتوسط كل ميزة وتباينها، ثم نختار الفئة ذات أعلى log P(c) + Σ log N(xⱼ | μ, σ²).
X = [1.0 2.1; 1.2 1.9; 0.8 2.2; 3.0 0.9; 3.2 1.1; 2.9 1.0];
y = [1 1 1 2 2 2]';
xq = [1.1 2.0; 3.1 1.0; 2.0 1.5];
classes = unique(y);
for i = 1:size(xq, 1)
logp = zeros(1, numel(classes));
for k = 1:numel(classes)
Xk = X(y == classes(k), :);
mu = mean(Xk); v = var(Xk, 1); % تباين بالقسمة على n
ll = -0.5*log(2*pi*v) - (xq(i,:) - mu).^2 ./ (2*v);
logp(k) = log(mean(y == classes(k))) + sum(ll);
end
[~, best] = max(logp);
fprintf('x = [%g %g]: log-posteriors %s -> class %d\n', xq(i,1), xq(i,2), mat2str(logp, 4), classes(best));
endx = [1.1 2]: log-posteriors [1.032 -193.1] -> class 1 x = [3.1 1]: log-posteriors [-117.9 1.913] -> class 2 x = [2 1.5]: log-posteriors [-27.71 -51.02] -> class 1
fitcnb يحسب التباين بالقسمة على n−1 افتراضياً، لذلك قد تختلف قيم log الدقيقة عن هذا المثال مع بقاء القرار نفسه غالباً.
أشجار القرار والغابات العشوائية
تقسم الشجرة البيانات بأسئلة من نوع «هل xⱼ < t؟» تختارها لتقليل عدم النقاء (Gini). هذا حساب أفضل عتبة لميزة واحدة:
x = [2 3 4 5 7 8 9 10];
y = [1 1 1 2 1 2 2 2];
gini = @(lbl) 1 - sum((histc(lbl, [1 2]) / numel(lbl)).^2);
best = inf;
for t = (x(1:end-1) + x(2:end)) / 2
L = y(x < t); R = y(x >= t);
g = (numel(L)*gini(L) + numel(R)*gini(R)) / numel(y);
if g < best, best = g; bestT = t; end
end
fprintf('root gini = %.4f\n', gini(y));
fprintf('best split: x < %.1f with weighted gini %.4f\n', bestT, best);root gini = 0.5000 best split: x < 4.5 with weighted gini 0.2000
load fisheriris
tree = fitctree(meas, species, 'MaxNumSplits', 4);
view(tree, 'Mode', 'graph'); % رسم الشجرة
rf = TreeBagger(200, meas, species, 'OOBPrediction', 'on', ...
'OOBPredictorImportance', 'on');
plot(oobError(rf)); xlabel('trees'); ylabel('OOB error');
imp = rf.OOBPermutedPredictorDeltaError; % أهمية الميزاتيتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
آلة المتجهات الداعمة (SVM)
X = meas(51:end, 3:4); % versicolor vs virginica
y = species(51:end);
svm = fitcsvm(X, y, 'KernelFunction', 'rbf', 'Standardize', true, ...
'BoxConstraint', 1, 'KernelScale', 'auto');
cv = crossval(svm, 'KFold', 5);
fprintf('5-fold error = %.3f\n', kfoldLoss(cv));
% للأكثر من فئتين: fitcecoc يجمع عدة SVM ثنائية
ecoc = fitcecoc(meas, species);يتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
أيها أختار؟
| الخوارزمية | نقاط القوة | نقاط الضعف | دالة MATLAB |
|---|---|---|---|
| KNN | بسيط، حدود مرنة | بطيء مع البيانات الكبيرة، حساس للمقياس | fitcknn |
| Naive Bayes | سريع جداً، جيد للنصوص | افتراض الاستقلال | fitcnb |
| Decision Tree | قابل للتفسير، لا يحتاج تطبيعاً | إفراط في التخصيص | fitctree |
| Random Forest | دقيق ومستقر، أهمية الميزات | أقل قابلية للتفسير، أكبر حجماً | TreeBagger, fitcensemble |
| SVM | قوي في الأبعاد العالية | بطيء مع ملايين العينات، يحتاج ضبطاً | fitcsvm, fitcecoc |
خلاصة الدرس
- KNN بلا تدريب فعلي لكنه بطيء في التنبؤ وحساس للتطبيع وقيمة K.
- Naive Bayes يفترض استقلال الميزات بشرط الفئة؛ سريع ومناسب للنصوص.
- الشجرة قابلة للتفسير لكنها تفرط في التخصيص؛ الغابة العشوائية تجمع أشجاراً على عينات وميزات عشوائية فتقل التباين.
- SVM يبحث عن أكبر هامش، والنواة (Kernel) تسمح بحدود غير خطية.
- لا توجد خوارزمية أفضل دائماً؛ قارن بالتحقق المتقاطع.
شُغّلت knn_scratch.m وnaive_bayes_scratch.m وgini_split.m في GNU Octave 8.4. أمثلة الأشجار وSVM تحتاج Statistics Toolbox ولم تُشغّل.
المتطلبات البرمجية
- MATLAB
- Statistics and Machine Learning Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
