كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةمختبر الشبكات العصبية البيانيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبية

الرؤية الحاسوبية

الميزات والكشف عن الكائنات وYOLO

Feature Extraction, Object Detection and YOLO

متوسط 45 دقيقة

استخراج الميزات المحلية ومطابقتها، والتصنيف بالميزات أو بالـ CNN، والكشف عن الكائنات بـ YOLO، ومقاييس IoU وNon-Maximum Suppression.

ستتعلم في هذا الدرس

  • استخراج الميزات المحلية ومطابقتها بين صورتين
  • التمييز بين التصنيف والكشف والتقسيم
  • حساب IoU وتطبيق NMS
  • تدريب كاشف YOLO على بيانات معلّمة

الميزات المحلية ومطابقتها

I1 = rgb2gray(imread('box.png'));                    % صورة الجسم
I2 = rgb2gray(imread('clutteredDesk.jpg'));          % مشهد مزدحم
p1 = detectSURFFeatures(I1);  p2 = detectSURFFeatures(I2);
[f1, v1] = extractFeatures(I1, p1);
[f2, v2] = extractFeatures(I2, p2);
pairs = matchFeatures(f1, f2, 'Unique', true);
m1 = v1(pairs(:,1)); m2 = v2(pairs(:,2));
[tform, inl1, inl2] = estgeotform2d(m1, m2, 'similarity');   % R2022b+
showMatchedFeatures(I1, I2, inl1, inl2, 'montage');

يتطلب هذا الكود: Computer Vision Toolbox، Image Processing Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

الصورتان box.png وclutteredDesk.jpg من أمثلة Computer Vision Toolbox. في الإصدارات الأقدم استخدم estimateGeometricTransform2D.

تقاطع على اتحاد (IoU)

iou = @(a, b) max(0, min(a(1)+a(3), b(1)+b(3)) - max(a(1), b(1))) * ...
              max(0, min(a(2)+a(4), b(2)+b(4)) - max(a(2), b(2))) / ...
              (a(3)*a(4) + b(3)*b(4) - ...
               max(0, min(a(1)+a(3), b(1)+b(3)) - max(a(1), b(1))) * ...
               max(0, min(a(2)+a(4), b(2)+b(4)) - max(a(2), b(2))));
gt   = [50 50 100 100];          % [x y width height]
pred = [70 60 100 100];
fprintf('IoU = %.4f\n', iou(gt, pred));
fprintf('IoU with far box = %.4f\n', iou(gt, [300 300 50 50]));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
IoU = 0.5625
IoU with far box = 0.0000

في Computer Vision Toolbox: bboxOverlapRatio(gt, pred) تعطي القيمة نفسها.

Non-Maximum Suppression

boxes  = [10 10 50 50; 12 12 50 50; 100 100 40 40; 14 8 52 50];
scores = [0.9 0.75 0.8 0.6];
area = boxes(:,3) .* boxes(:,4);
[~, order] = sort(scores, 'descend');
keep = [];
while ~isempty(order)
    i = order(1);  keep(end+1) = i;
    rest = order(2:end);
    ix = max(0, min(boxes(i,1)+boxes(i,3), boxes(rest,1)+boxes(rest,3)) - max(boxes(i,1), boxes(rest,1)));
    iy = max(0, min(boxes(i,2)+boxes(i,4), boxes(rest,2)+boxes(rest,4)) - max(boxes(i,2), boxes(rest,2)));
    inter = ix .* iy;
    o = inter ./ (area(i) + area(rest) - inter);
    order = rest(o <= 0.5);
end
fprintf('kept boxes: %s\n', mat2str(keep));
الناتج الفعلي (شُغِّل في GNU Octave 8.4 أثناء إعداد الدرس، والطباعة بـ fprintf/disp فتطابق MATLAB)
kept boxes: [1 3]

في MATLAB: [b, s] = selectStrongestBbox(boxes, scores, 'OverlapThreshold', 0.5).

الكشف بـ YOLO

% كاشف مدرب مسبقاً على COCO (حزمة دعم YOLO v4)
detector = yolov4ObjectDetector('csp-darknet53-coco');
I = imread('highway.png');
[bboxes, scores, labels] = detect(detector, I, 'Threshold', 0.5);
imshow(insertObjectAnnotation(I, 'rectangle', bboxes, string(labels) + ": " + string(round(scores, 2))));

% تدريب على بياناتك (جدول بأعمدة: مسار الصورة ثم صناديق كل فئة)
detector = yolov4ObjectDetector('tiny-yolov4-coco', classNames, anchorBoxes, 'InputSize', [416 416 3]);
detector = trainYOLOv4ObjectDetector(trainingData, detector, options);
metrics = evaluateObjectDetection(detect(detector, testData), testData);   % R2023b+

يتطلب هذا الكود: Computer Vision Toolbox، Deep Learning Toolbox. لم يُشغَّل في بيئة إعداد الدرس لعدم توفر الـ Toolbox، لذلك لا نعرض أرقاماً من عندنا؛ شغّله في MATLAB لديك وقارن النتائج.

يتطلب Computer Vision Toolbox وDeep Learning Toolbox وحزمة Computer Vision Toolbox Model for YOLO v4 Object Detection. classNames وanchorBoxes وtrainingData ومتغيرات التدريب من مشروعك؛ احسب المراسي بـ estimateAnchorBoxes. هذا مخطط سير عمل، لا مشروع جاهز.

خلاصة الدرس

  • التصنيف: ما في الصورة؟ الكشف: ما وأين (صناديق)؟ التقسيم: لكل بكسل.
  • IoU = مساحة التقاطع / مساحة الاتحاد؛ 0.5 عتبة شائعة لاعتبار الكشف صحيحاً.
  • NMS يزيل الصناديق المكررة لنفس الجسم ويحتفظ بالأعلى ثقة.
  • Computer Vision Toolbox تقدم yolov4ObjectDetector وyoloxObjectDetector وتطبيق Image Labeler للتعليم.
  • mAP متوسط الدقة عبر الفئات، وتحسبه evaluateObjectDetection (R2023b+).

شُغّلت iou.m وnms.m في GNU Octave 8.4. أمثلة SURF وYOLO تحتاج Computer Vision Toolbox ولم تُشغّل.

المتطلبات البرمجية

  • MATLAB
  • Computer Vision Toolbox
  • Deep Learning Toolbox
  • Image Processing Toolbox

بعض هذه الأدوات (Toolboxes) تُرخَّص منفصلة عن MATLAB. تحقق من توفرها بالأمر ver في Command Window.

جرّب بنفسك في المختبرمصوّر الشبكات الالتفافية

المراجع

تحقّق من فهمك