كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجة

الرؤية الحاسوبية

التقسيم الدلالي وعلى مستوى الكائن وتتبع الأجسام

Semantic and Instance Segmentation, Object Tracking

متقدم 45 دقيقة

تصنيف كل بكسل بشبكات U-Net وDeepLab، والتمييز بين التقسيم الدلالي والتقسيم على مستوى الكائن، ومقاييس Dice وIoU، وتتبع الأجسام بمرشح Kalman.

ستتعلم في هذا الدرس

  • التمييز بين التقسيم الدلالي والتقسيم على مستوى الكائن
  • حساب Dice وIoU لقناعين
  • بناء شبكة U-Net وتدريبها
  • تتبع جسم متحرك بمرشح Kalman

Dice وIoU

gt   = logical([0 0 1 1 1 0; 0 1 1 1 1 0; 0 1 1 1 0 0]);
pred = logical([0 0 1 1 0 0; 0 1 1 1 1 1; 0 0 1 1 0 0]);
inter = sum(gt(:) & pred(:));
uni = sum(gt(:) | pred(:));
dice = 2 * inter / (sum(gt(:)) + sum(pred(:)));
fprintf('intersection = %d, union = %d\n', inter, uni);
fprintf('Dice = %.4f, IoU (Jaccard) = %.4f\n', dice, inter / uni);
fprintf('check: Dice = 2*IoU/(1+IoU) -> %.4f\n', 2*(inter/uni)/(1 + inter/uni));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
intersection = 8, union = 11
Dice = 0.8421, IoU (Jaccard) = 0.7273
check: Dice = 2*IoU/(1+IoU) -> 0.8421

في Image Processing Toolbox: dice(pred, gt) وjaccard(pred, gt)، وevaluateSemanticSegmentation لمجموعة بيانات كاملة.

شبكة U-Net

imageSize = [256 256 1];  numClasses = 2;
net = unet(imageSize, numClasses, 'EncoderDepth', 3);     % R2024a+ (dlnetwork)
% الأقدم: lgraph = unetLayers(imageSize, numClasses);
dsTrain = combine(imageDatastore(imgDir), ...
                  pixelLabelDatastore(lblDir, ["background" "lesion"], [0 255]));
options = trainingOptions('adam', 'InitialLearnRate', 1e-3, 'MaxEpochs', 30, 'MiniBatchSize', 8);
net = trainnet(dsTrain, net, @(Y, T) generalizedDiceLoss(Y, T), options);

يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox، Image Processing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

imgDir وlblDir مجلدات صورك وأقنعتها. خسارة Dice تساعد عندما تكون المنطقة الهدف صغيرة مقارنة بالخلفية. تحقق من توفر generalizedDiceLoss في إصدارك (Computer Vision Toolbox)، أو اكتب خسارة Dice بنفسك.

التقسيم على مستوى الكائن

net = maskrcnn('resnet50-coco');                % R2021b+، حزمة دعم Mask R-CNN
I = imread('visionteam.jpg');
[masks, labels, scores, boxes] = segmentObjects(net, I, 'Threshold', 0.9);
overlay = insertObjectMask(I, masks);
imshow(overlay);

يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

التتبع بمرشح Kalman

نموذج سرعة ثابتة في بعد واحد: الحالة [الموقع؛ السرعة]. في كل خطوة نتنبأ ثم نصحح بالقياس المشوش:

A = [1 1; 0 1];  H = [1 0];          % انتقال الحالة والقياس
Q = 0.01 * eye(2);  R = 4;            % ضوضاء العملية والقياس
x = [0; 0];  P = 10 * eye(2);
z = [1.2 2.1 2.8 4.3 5.0 5.8 7.2 8.1];   % قياسات موقع جسم يتحرك بسرعة ~1
for k = 1:numel(z)
    x = A * x;  P = A * P * A' + Q;            % التنبؤ
    K = P * H' / (H * P * H' + R);             % مكسب Kalman
    x = x + K * (z(k) - H * x);                % التصحيح
    P = (eye(2) - K * H) * P;
    fprintf('k=%d z=%.1f -> position %.3f, velocity %.3f\n', k, z(k), x(1), x(2));
end
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
k=1 z=1.2 -> position 1.000, velocity 0.500
k=2 z=2.1 -> position 1.955, velocity 0.773
k=3 z=2.8 -> position 2.778, velocity 0.796
k=4 z=4.3 -> position 4.022, velocity 0.961
k=5 z=5.0 -> position 4.992, velocity 0.963
k=6 z=5.8 -> position 5.880, velocity 0.944
k=7 z=7.2 -> position 6.990, velocity 0.981
k=8 z=8.1 -> position 8.023, velocity 0.991

في Computer Vision Toolbox: configureKalmanFilter ثم predict وcorrect على الكائن vision.KalmanFilter، ومثال «Motion-Based Multiple Object Tracking» يربطها بكشف الأجسام في الفيديو.

خلاصة الدرس

  • التقسيم الدلالي يعطي فئة لكل بكسل، والتقسيم على مستوى الكائن يميّز بين نسخ الفئة نفسها.
  • Dice = 2|A∩B| / (|A|+|B|)، وهو المقياس الأشهر في التقسيم الطبي.
  • U-Net مشفر وفك تشفير مع وصلات تخطي تحفظ التفاصيل المكانية.
  • مرشح Kalman يتنبأ بالموقع ثم يصححه بالقياس، ويوازن بين ثقة النموذج وثقة القياس.
  • Computer Vision Toolbox: unet وdeeplabv3plus وmaskrcnn وvision.KalmanFilter وtrackerGNN (Sensor Fusion).

شُغّلت dice_iou.m وkalman.m في GNU Octave 8.4. أمثلة U-Net وMask R-CNN تحتاج Toolboxes ولم تُشغّل.

المتطلبات البرمجية

  • MATLAB
  • Computer Vision Toolbox
  • Deep Learning Toolbox
  • Image Processing Toolbox

بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.

المراجع

تحقّق من فهمك