الرؤية الحاسوبية
الميزات والكشف عن الكائنات وYOLO
Feature Extraction, Object Detection and YOLO
استخراج الميزات المحلية ومطابقتها، والتصنيف بالميزات أو بالـ CNN، والكشف عن الكائنات بـ YOLO، ومقاييس IoU وNon-Maximum Suppression.
ستتعلم في هذا الدرس
- استخراج الميزات المحلية ومطابقتها بين صورتين
- التمييز بين التصنيف والكشف والتقسيم
- حساب IoU وتطبيق NMS
- تدريب كاشف YOLO على بيانات معلّمة
الميزات المحلية ومطابقتها
I1 = rgb2gray(imread('box.png')); % صورة الجسم
I2 = rgb2gray(imread('clutteredDesk.jpg')); % مشهد مزدحم
p1 = detectSURFFeatures(I1); p2 = detectSURFFeatures(I2);
[f1, v1] = extractFeatures(I1, p1);
[f2, v2] = extractFeatures(I2, p2);
pairs = matchFeatures(f1, f2, 'Unique', true);
m1 = v1(pairs(:,1)); m2 = v2(pairs(:,2));
[tform, inl1, inl2] = estgeotform2d(m1, m2, 'similarity'); % R2022b+
showMatchedFeatures(I1, I2, inl1, inl2, 'montage');يتطلب هذا الكود: Computer Vision Toolbox، Image Processing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
الصورتان box.png وclutteredDesk.jpg من أمثلة Computer Vision Toolbox. في الإصدارات الأقدم استخدم estimateGeometricTransform2D.
تقاطع على اتحاد (IoU)
iou = @(a, b) max(0, min(a(1)+a(3), b(1)+b(3)) - max(a(1), b(1))) * ...
max(0, min(a(2)+a(4), b(2)+b(4)) - max(a(2), b(2))) / ...
(a(3)*a(4) + b(3)*b(4) - ...
max(0, min(a(1)+a(3), b(1)+b(3)) - max(a(1), b(1))) * ...
max(0, min(a(2)+a(4), b(2)+b(4)) - max(a(2), b(2))));
gt = [50 50 100 100]; % [x y width height]
pred = [70 60 100 100];
fprintf('IoU = %.4f\n', iou(gt, pred));
fprintf('IoU with far box = %.4f\n', iou(gt, [300 300 50 50]));IoU = 0.5625 IoU with far box = 0.0000
في Computer Vision Toolbox: bboxOverlapRatio(gt, pred) تعطي القيمة نفسها.
Non-Maximum Suppression
boxes = [10 10 50 50; 12 12 50 50; 100 100 40 40; 14 8 52 50];
scores = [0.9 0.75 0.8 0.6];
area = boxes(:,3) .* boxes(:,4);
[~, order] = sort(scores, 'descend');
keep = [];
while ~isempty(order)
i = order(1); keep(end+1) = i;
rest = order(2:end);
ix = max(0, min(boxes(i,1)+boxes(i,3), boxes(rest,1)+boxes(rest,3)) - max(boxes(i,1), boxes(rest,1)));
iy = max(0, min(boxes(i,2)+boxes(i,4), boxes(rest,2)+boxes(rest,4)) - max(boxes(i,2), boxes(rest,2)));
inter = ix .* iy;
o = inter ./ (area(i) + area(rest) - inter);
order = rest(o <= 0.5);
end
fprintf('kept boxes: %s\n', mat2str(keep));kept boxes: [1 3]
في MATLAB: [b, s] = selectStrongestBbox(boxes, scores, 'OverlapThreshold', 0.5).
الكشف بـ YOLO
% كاشف مدرب مسبقاً على COCO (حزمة دعم YOLO v4)
detector = yolov4ObjectDetector('csp-darknet53-coco');
I = imread('highway.png');
[bboxes, scores, labels] = detect(detector, I, 'Threshold', 0.5);
imshow(insertObjectAnnotation(I, 'rectangle', bboxes, string(labels) + ": " + string(round(scores, 2))));
% تدريب على بياناتك (جدول بأعمدة: مسار الصورة ثم صناديق كل فئة)
detector = yolov4ObjectDetector('tiny-yolov4-coco', classNames, anchorBoxes, 'InputSize', [416 416 3]);
detector = trainYOLOv4ObjectDetector(trainingData, detector, options);
metrics = evaluateObjectDetection(detect(detector, testData), testData); % R2023b+يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.
يتطلب Computer Vision Toolbox وDeep Learning Toolbox وحزمة Computer Vision Toolbox Model for YOLO v4 Object Detection. classNames وanchorBoxes وtrainingData ومتغيرات التدريب من مشروعك؛ احسب المراسي بـ estimateAnchorBoxes. هذا مخطط سير عمل، لا مشروع جاهز.
خلاصة الدرس
- التصنيف: ما في الصورة؟ الكشف: ما وأين (صناديق)؟ التقسيم: لكل بكسل.
- IoU = مساحة التقاطع / مساحة الاتحاد؛ 0.5 عتبة شائعة لاعتبار الكشف صحيحاً.
- NMS يزيل الصناديق المكررة لنفس الجسم ويحتفظ بالأعلى ثقة.
- Computer Vision Toolbox تقدم yolov4ObjectDetector وyoloxObjectDetector وتطبيق Image Labeler للتعليم.
- mAP متوسط الدقة عبر الفئات، وتحسبه evaluateObjectDetection (R2023b+).
شُغّلت iou.m وnms.m في GNU Octave 8.4. أمثلة SURF وYOLO تحتاج Computer Vision Toolbox ولم تُشغّل.
المتطلبات البرمجية
- MATLAB
- Computer Vision Toolbox
- Deep Learning Toolbox
- Image Processing Toolbox
بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.
