الرؤية الحاسوبية
التقسيم الدلالي وعلى مستوى الكائن وتتبع الأجسام
Semantic and Instance Segmentation, Object Tracking
تصنيف كل بكسل بشبكات U-Net وDeepLab، والتمييز بين التقسيم الدلالي والتقسيم على مستوى الكائن، ومقاييس Dice وIoU، وتتبع الأجسام بمرشح Kalman.
ستتعلم في هذا الدرس
- التمييز بين التقسيم الدلالي والتقسيم على مستوى الكائن
- حساب Dice وIoU لقناعين
- بناء شبكة U-Net وتدريبها
- تتبع جسم متحرك بمرشح Kalman
Dice وIoU
gt = logical([0 0 1 1 1 0; 0 1 1 1 1 0; 0 1 1 1 0 0]);
pred = logical([0 0 1 1 0 0; 0 1 1 1 1 1; 0 0 1 1 0 0]);
inter = sum(gt(:) & pred(:));
uni = sum(gt(:) | pred(:));
dice = 2 * inter / (sum(gt(:)) + sum(pred(:)));
fprintf('intersection = %d, union = %d\n', inter, uni);
fprintf('Dice = %.4f, IoU (Jaccard) = %.4f\n', dice, inter / uni);
fprintf('check: Dice = 2*IoU/(1+IoU) -> %.4f\n', 2*(inter/uni)/(1 + inter/uni));intersection = 8, union = 11 Dice = 0.8421, IoU (Jaccard) = 0.7273 check: Dice = 2*IoU/(1+IoU) -> 0.8421
في Image Processing Toolbox: dice(pred, gt) وjaccard(pred, gt)، وevaluateSemanticSegmentation لمجموعة بيانات كاملة.
شبكة U-Net
imageSize = [256 256 1]; numClasses = 2;
net = unet(imageSize, numClasses, 'EncoderDepth', 3); % R2024a+ (dlnetwork)
% الأقدم: lgraph = unetLayers(imageSize, numClasses);
dsTrain = combine(imageDatastore(imgDir), ...
pixelLabelDatastore(lblDir, ["background" "lesion"], [0 255]));
options = trainingOptions('adam', 'InitialLearnRate', 1e-3, 'MaxEpochs', 30, 'MiniBatchSize', 8);
net = trainnet(dsTrain, net, @(Y, T) generalizedDiceLoss(Y, T), options);يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox، Image Processing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
imgDir وlblDir مجلدات صورك وأقنعتها. خسارة Dice تساعد عندما تكون المنطقة الهدف صغيرة مقارنة بالخلفية. تحقق من توفر generalizedDiceLoss في إصدارك (Computer Vision Toolbox)، أو اكتب خسارة Dice بنفسك.
التقسيم على مستوى الكائن
net = maskrcnn('resnet50-coco'); % R2021b+، حزمة دعم Mask R-CNN
I = imread('visionteam.jpg');
[masks, labels, scores, boxes] = segmentObjects(net, I, 'Threshold', 0.9);
overlay = insertObjectMask(I, masks);
imshow(overlay);يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
التتبع بمرشح Kalman
نموذج سرعة ثابتة في بعد واحد: الحالة [الموقع؛ السرعة]. في كل خطوة نتنبأ ثم نصحح بالقياس المشوش:
A = [1 1; 0 1]; H = [1 0]; % انتقال الحالة والقياس
Q = 0.01 * eye(2); R = 4; % ضوضاء العملية والقياس
x = [0; 0]; P = 10 * eye(2);
z = [1.2 2.1 2.8 4.3 5.0 5.8 7.2 8.1]; % قياسات موقع جسم يتحرك بسرعة ~1
for k = 1:numel(z)
x = A * x; P = A * P * A' + Q; % التنبؤ
K = P * H' / (H * P * H' + R); % مكسب Kalman
x = x + K * (z(k) - H * x); % التصحيح
P = (eye(2) - K * H) * P;
fprintf('k=%d z=%.1f -> position %.3f, velocity %.3f\n', k, z(k), x(1), x(2));
endk=1 z=1.2 -> position 1.000, velocity 0.500 k=2 z=2.1 -> position 1.955, velocity 0.773 k=3 z=2.8 -> position 2.778, velocity 0.796 k=4 z=4.3 -> position 4.022, velocity 0.961 k=5 z=5.0 -> position 4.992, velocity 0.963 k=6 z=5.8 -> position 5.880, velocity 0.944 k=7 z=7.2 -> position 6.990, velocity 0.981 k=8 z=8.1 -> position 8.023, velocity 0.991
في Computer Vision Toolbox: configureKalmanFilter ثم predict وcorrect على الكائن vision.KalmanFilter، ومثال «Motion-Based Multiple Object Tracking» يربطها بكشف الأجسام في الفيديو.
خلاصة الدرس
- التقسيم الدلالي يعطي فئة لكل بكسل، والتقسيم على مستوى الكائن يميّز بين نسخ الفئة نفسها.
- Dice = 2|A∩B| / (|A|+|B|)، وهو المقياس الأشهر في التقسيم الطبي.
- U-Net مشفر وفك تشفير مع وصلات تخطي تحفظ التفاصيل المكانية.
- مرشح Kalman يتنبأ بالموقع ثم يصححه بالقياس، ويوازن بين ثقة النموذج وثقة القياس.
- Computer Vision Toolbox: unet وdeeplabv3plus وmaskrcnn وvision.KalmanFilter وtrackerGNN (Sensor Fusion).
شُغّلت dice_iou.m وkalman.m في GNU Octave 8.4. أمثلة U-Net وMask R-CNN تحتاج Toolboxes ولم تُشغّل.
المتطلبات البرمجية
- MATLAB
- Computer Vision Toolbox
- Deep Learning Toolbox
- Image Processing Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
