تقسيم الصور

الأنواع الثلاثة

النوع	السؤال	مثال
دلالي	ما فئة كل بكسل؟	طريق، رصيف، سماء
النسخ	أي بكسلات لكل جسم؟	سيارة 1، سيارة 2
شامل (Panoptic)	الاثنان معاً	أجسام معدودة + خلفيات

بنية مشفر-مفكك

• المشفر: يقلص الأبعاد المكانية ويستخلص سمات دلالية (غالباً CNN مدربة مسبقاً).
• المفكك: يعيد الدقة المكانية بالتكبير (upsampling أو الالتفاف المنقول) لينتج خريطة بحجم الصورة.
• وصلات التخطي: تنقل التفاصيل الدقيقة من المشفر إلى المفكك، وهي جوهر U-Net.

المقاييس

$$\text{Dice} = \frac{2|P \cap G|}{|P| + |G|} \qquad \text{IoU} = \frac{|P \cap G|}{|P \cup G|}$$

import numpy as np
def dice(pred, gt, eps=1e-7):
    pred, gt = pred.astype(bool), gt.astype(bool)
    return (2 * (pred & gt).sum() + eps) / (pred.sum() + gt.sum() + eps)

للتقسيم الدلالي متعدد الفئات يُحسب IoU لكل فئة ثم المتوسط (mIoU).

تجربة نموذج مدرب مسبقاً

import torch
from torchvision.models.segmentation import deeplabv3_resnet50, DeepLabV3_ResNet50_Weights
from torchvision.io import read_image

weights = DeepLabV3_ResNet50_Weights.DEFAULT
model = deeplabv3_resnet50(weights=weights).eval()
img = read_image("street.jpg")
with torch.no_grad():
    out = model(weights.transforms()(img).unsqueeze(0))["out"]
mask = out.argmax(1)[0]           # فئة لكل بكسل

نماذج التقسيم العامة

نموذج Segment Anything (SAM) يقسم أي جسم انطلاقاً من نقطة أو مربع يحدده المستخدم، وقد دُرب على أكثر من مليار قناع. مفيد في التسمية السريعة، مع ضرورة التحقق من دقته في المجالات المتخصصة كالطب.