كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبية

تعلم الآلة باستخدام MATLAB

المعالجة المسبقة وهندسة الميزات

Data Preprocessing and Feature Engineering

متوسط 35 دقيقة

معالجة القيم المفقودة والقيم الشاذة، والتطبيع والتقييس، وترميز المتغيرات الفئوية، واشتقاق ميزات جديدة واختيارها.

ستتعلم في هذا الدرس

  • تعويض القيم المفقودة بطرق مناسبة
  • تطبيع الميزات بالـ z-score وmin-max
  • ترميز المتغيرات الفئوية بـ One-hot
  • اشتقاق ميزات واختيار المهم منها

القيم المفقودة

X = [5.1 3.5; NaN 3.0; 4.7 NaN; 6.2 2.9; 5.8 2.7];
fprintf('missing per column: %s\n', mat2str(sum(isnan(X))));
colMedian = zeros(1, size(X, 2));
for j = 1:size(X, 2)
    col = X(:, j);
    colMedian(j) = median(col(~isnan(col)));
end
Xf = X;
for j = 1:size(X, 2)
    Xf(isnan(Xf(:, j)), j) = colMedian(j);
end
fprintf('medians used: %s\n', mat2str(colMedian, 4));
fprintf('filled X = %s\n', mat2str(Xf, 4));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
missing per column: [1 1]
medians used: [5.45 2.95]
filled X = [5.1 3.5;5.45 3;4.7 2.95;6.2 2.9;5.8 2.7]

في MATLAB تختصر الحلقتان إلى Xf = fillmissing(X, 'median') (R2016b+)، وrmmissing تحذف الصفوف الناقصة.

التطبيع والتقييس

X = [170 65; 180 80; 160 55; 175 72];   % height (cm), weight (kg)
Z = (X - mean(X)) ./ std(X);              % z-score
R = (X - min(X)) ./ (max(X) - min(X));    % min-max إلى [0,1]
fprintf('z-score:\n'); fprintf('  %7.4f %7.4f\n', Z');
fprintf('min-max:\n'); fprintf('  %7.4f %7.4f\n', R');
fprintf('std of z columns: %s\n', mat2str(std(Z), 4));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
z-score:
  -0.1464 -0.2826
   1.0247  1.1305
  -1.3175 -1.2247
   0.4392  0.3768
min-max:
   0.5000  0.4000
   1.0000  1.0000
   0.0000  0.0000
   0.7500  0.6800
std of z columns: [1 1]

الدالة normalize(X) في MATLAB تطبق z-score افتراضياً، وnormalize(X, 'range') تطبق min-max. جرّب الطرق كلها في أداة «التطبيع».

القيم الشاذة

x = [12 14 13 15 14 13 98 12 15];
q = sort(x);
Q1 = median(q(1:floor(end/2)));
Q3 = median(q(ceil(end/2)+1:end));
IQRv = Q3 - Q1;
outlier = x < Q1 - 1.5*IQRv | x > Q3 + 1.5*IQRv;
fprintf('Q1 = %g, Q3 = %g, IQR = %g\n', Q1, Q3, IQRv);
fprintf('outliers: %s\n', mat2str(x(outlier)));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
Q1 = 12.5, Q3 = 15, IQR = 2.5
outliers: 98

حسبنا الربيعيات هنا بطريقة «وسيط النصفين» للتوضيح. الدالة quantile في MATLAB تستخدم طريقة استيفاء مختلفة قليلاً، وisoutlier(x,'quartiles') تطبق القاعدة نفسها ببيانات MATLAB.

ترميز المتغيرات الفئوية

colors = {'red', 'green', 'blue', 'green', 'red'};
[cats, ~, idx] = unique(colors);
onehot = zeros(numel(colors), numel(cats));
onehot(sub2ind(size(onehot), (1:numel(colors))', idx(:))) = 1;
fprintf('categories: %s\n', strjoin(cats, ', '));
fprintf('%d %d %d\n', onehot');
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
categories: blue, green, red
0 0 1
0 1 0
1 0 0
0 1 0
0 0 1

في MATLAB: c = categorical(colors); onehot = onehotencode(c', 2); (onehotencode من Deep Learning Toolbox R2020b+) أو dummyvar(grp2idx(c)) من Statistics Toolbox.

هندسة الميزات واختيارها

  • اشتقاق: نسب (الوزن/مربع الطول = BMI)، فروق زمنية، لوغاريتم للمتغيرات الملتوية، تفاعلات بين ميزتين.
  • اختيار بالفلترة: الارتباط مع الهدف، أو fscmrmr وfscchi2 وrelieff.
  • اختيار بالتغليف: sequentialfs يضيف الميزات تدريجياً ويقيس الأداء بالتحقق المتقاطع.
  • مدمج: Lasso (lasso) وأهمية الميزات في الأشجار (predictorImportance).
load fisheriris
[idx, scores] = fscmrmr(meas, species);   % ترتيب الميزات بمعيار MRMR
names = {'SepalLength','SepalWidth','PetalLength','PetalWidth'};
bar(scores(idx)); xticklabels(names(idx));
ylabel('MRMR score'); title('Feature ranking');

يتطلب هذا الكود: Statistics and Machine Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

خلاصة الدرس

  • إحصاءات المعالجة تُحسب من التدريب فقط.
  • z-score مناسب لمعظم النماذج، وmin-max للمدخلات المحدودة مثل الصور.
  • الأشجار لا تحتاج تطبيعاً، أما KNN وSVM والشبكات فتتأثر به بشدة.
  • One-hot يمنع النموذج من افتراض ترتيب غير موجود بين الفئات.
  • normalize وfillmissing وrmoutliers دوال أساسية في MATLAB؛ وfscmrmr وrelieff لاختيار الميزات في Statistics Toolbox.

شُغّلت missing_values.m وscaling.m وoutliers.m وonehot.m في GNU Octave 8.4. مثال fscmrmr يحتاج Statistics Toolbox ولم يُشغّل.

المتطلبات البرمجية

  • MATLAB
  • Statistics and Machine Learning Toolbox

بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.

أداة مرتبطةأداة تطبيع البيانات

المراجع

تحقّق من فهمك