كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبية

تعلم الآلة باستخدام MATLAB

خوارزميات التصنيف: KNN وNaive Bayes والأشجار والغابات وSVM

Classification: KNN, Naive Bayes, Trees, Random Forest, SVM

متوسط 45 دقيقة

فكرة كل خوارزمية ومعاملاتها الأساسية ومتى نستخدمها، مع تنفيذ KNN وNaive Bayes من الصفر ثم الدوال الجاهزة.

ستتعلم في هذا الدرس

  • فهم آلية KNN وNaive Bayes وأشجار القرار وRandom Forest وSVM
  • تنفيذ KNN وGaussian Naive Bayes بـ MATLAB الأساسي
  • استخدام fitcknn وfitcnb وfitctree وTreeBagger وfitcsvm
  • اختيار الخوارزمية حسب حجم البيانات وطبيعتها

K أقرب الجيران (KNN)

لتصنيف نقطة جديدة نحسب مسافتها إلى كل نقاط التدريب، ونأخذ تصويت الأغلبية بين أقرب K نقاط.

Xtr = [1 1; 1.5 2; 2 1.5; 6 6; 6.5 7; 7 6; 3.5 4];
ytr = [1 1 1 2 2 2 1]';
Xq  = [2 2; 6 6.5; 4 4.5];
K = 3;
for i = 1:size(Xq, 1)
    d = sqrt(sum((Xtr - Xq(i, :)).^2, 2));   % المسافة الإقليدية
    [~, order] = sort(d);
    nn = ytr(order(1:K));
    pred = mode(nn);
    fprintf('query [%g %g] -> neighbours %s -> class %d\n', Xq(i,1), Xq(i,2), mat2str(nn'), pred);
end
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
query [2 2] -> neighbours [1 1 1] -> class 1
query [6 6.5] -> neighbours [2 2 2] -> class 2
query [4 4.5] -> neighbours [1 2 2] -> class 2

Gaussian Naive Bayes

نحسب لكل فئة احتمالها المسبق ومتوسط كل ميزة وتباينها، ثم نختار الفئة ذات أعلى log P(c) + Σ log N(xⱼ | μ, σ²).

X = [1.0 2.1; 1.2 1.9; 0.8 2.2; 3.0 0.9; 3.2 1.1; 2.9 1.0];
y = [1 1 1 2 2 2]';
xq = [1.1 2.0; 3.1 1.0; 2.0 1.5];
classes = unique(y);
for i = 1:size(xq, 1)
    logp = zeros(1, numel(classes));
    for k = 1:numel(classes)
        Xk = X(y == classes(k), :);
        mu = mean(Xk);  v = var(Xk, 1);           % تباين بالقسمة على n
        ll = -0.5*log(2*pi*v) - (xq(i,:) - mu).^2 ./ (2*v);
        logp(k) = log(mean(y == classes(k))) + sum(ll);
    end
    [~, best] = max(logp);
    fprintf('x = [%g %g]: log-posteriors %s -> class %d\n', xq(i,1), xq(i,2), mat2str(logp, 4), classes(best));
end
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
x = [1.1 2]: log-posteriors [1.032 -193.1] -> class 1
x = [3.1 1]: log-posteriors [-117.9 1.913] -> class 2
x = [2 1.5]: log-posteriors [-27.71 -51.02] -> class 1

fitcnb يحسب التباين بالقسمة على n−1 افتراضياً، لذلك قد تختلف قيم log الدقيقة عن هذا المثال مع بقاء القرار نفسه غالباً.

أشجار القرار والغابات العشوائية

تقسم الشجرة البيانات بأسئلة من نوع «هل xⱼ < t؟» تختارها لتقليل عدم النقاء (Gini). هذا حساب أفضل عتبة لميزة واحدة:

x = [2 3 4 5 7 8 9 10];
y = [1 1 1 2 1 2 2 2];
gini = @(lbl) 1 - sum((histc(lbl, [1 2]) / numel(lbl)).^2);
best = inf;
for t = (x(1:end-1) + x(2:end)) / 2
    L = y(x < t);  R = y(x >= t);
    g = (numel(L)*gini(L) + numel(R)*gini(R)) / numel(y);
    if g < best, best = g; bestT = t; end
end
fprintf('root gini = %.4f\n', gini(y));
fprintf('best split: x < %.1f with weighted gini %.4f\n', bestT, best);
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
root gini = 0.5000
best split: x < 4.5 with weighted gini 0.2000
load fisheriris
tree = fitctree(meas, species, 'MaxNumSplits', 4);
view(tree, 'Mode', 'graph');                 % رسم الشجرة
rf = TreeBagger(200, meas, species, 'OOBPrediction', 'on', ...
                'OOBPredictorImportance', 'on');
plot(oobError(rf)); xlabel('trees'); ylabel('OOB error');
imp = rf.OOBPermutedPredictorDeltaError;     % أهمية الميزات

يتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

آلة المتجهات الداعمة (SVM)

X = meas(51:end, 3:4);                 % versicolor vs virginica
y = species(51:end);
svm = fitcsvm(X, y, 'KernelFunction', 'rbf', 'Standardize', true, ...
              'BoxConstraint', 1, 'KernelScale', 'auto');
cv = crossval(svm, 'KFold', 5);
fprintf('5-fold error = %.3f\n', kfoldLoss(cv));
% للأكثر من فئتين: fitcecoc يجمع عدة SVM ثنائية
ecoc = fitcecoc(meas, species);

يتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

أيها أختار؟

الخوارزميةنقاط القوةنقاط الضعفدالة MATLAB
KNNبسيط، حدود مرنةبطيء مع البيانات الكبيرة، حساس للمقياسfitcknn
Naive Bayesسريع جداً، جيد للنصوصافتراض الاستقلالfitcnb
Decision Treeقابل للتفسير، لا يحتاج تطبيعاًإفراط في التخصيصfitctree
Random Forestدقيق ومستقر، أهمية الميزاتأقل قابلية للتفسير، أكبر حجماًTreeBagger, fitcensemble
SVMقوي في الأبعاد العاليةبطيء مع ملايين العينات، يحتاج ضبطاًfitcsvm, fitcecoc

خلاصة الدرس

  • KNN بلا تدريب فعلي لكنه بطيء في التنبؤ وحساس للتطبيع وقيمة K.
  • Naive Bayes يفترض استقلال الميزات بشرط الفئة؛ سريع ومناسب للنصوص.
  • الشجرة قابلة للتفسير لكنها تفرط في التخصيص؛ الغابة العشوائية تجمع أشجاراً على عينات وميزات عشوائية فتقل التباين.
  • SVM يبحث عن أكبر هامش، والنواة (Kernel) تسمح بحدود غير خطية.
  • لا توجد خوارزمية أفضل دائماً؛ قارن بالتحقق المتقاطع.

شُغّلت knn_scratch.m وnaive_bayes_scratch.m وgini_split.m في GNU Octave 8.4. أمثلة الأشجار وSVM تحتاج Statistics Toolbox ولم تُشغّل.

المتطلبات البرمجية

  • MATLAB
  • Statistics and Machine Learning Toolbox

بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.

جرّب بنفسك في المختبرملعب تعلم الآلة

المراجع

تحقّق من فهمك