يو-نت مع المحوّلات (U-Net+Transformer)
U-Net + Transformer
عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).
نظرة عامة
| الاسم | يو-نت مع المحوّلات – U-Net + Transformer |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | عائلة تصاميم؛ أمثلة: Chen وزملاؤه (TransUNet 2021)، Hatamizadeh وزملاؤه (UNETR وSwin UNETR)، Cao وزملاؤه (Swin-Unet) |
| الورقة الأصلية | Swin-Unet: Unet-like pure transformer for medical image segmentation DOI arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | U-Net + انتباه على رموز عنق الزجاجة. |
| حجم البيانات | متوسطة؛ يفيد التدريب المسبق. |
المشكلة التي تحلها
U-Net الالتفافية قوية في التفاصيل لكن مجال استقبالها محدود، فتخطئ حين يحتاج القرار سياقاً تشريحياً واسعاً؛ والمحوّل وحده يفقد التفاصيل المكانية الدقيقة.
الخلفية والتطور
ما قبلها: يو-نت، المحوّل، محوّل الرؤية
الفكرة الأساسية
الخيارات الرئيسية: (1) محوّل في عنق الزجاجة فقط (الأرخص، والمعروض في الكود)، (2) مشفّر هجين CNN→ViT (TransUNet)، (3) مشفّر ViT خالص (UNETR)، (4) مشفّر هرمي بالنوافذ (Swin UNETR)، (5) محوّل في المشفّر والمفكك (Swin-Unet). وصلات التخطي تبقى لاستعادة التفاصيل.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| CNN encoder blocks | |
| Transformer (bottleneck or encoder) | |
| Skip connections | |
| CNN decoder | |
| Segmentation head |
المعادلات
1. معامل Dice وخسارة Dice الناعمة
| $P,G$ | التنبؤ والحقيقة |
| $p_i$ | احتمال المقدمة للبكسل i |
2. تكلفة الانتباه حسب موضع المحوّل
| $\ell$ | عدد مستويات التقليل قبل المحوّل |
آلية العمل خطوة بخطوة
- رمّز بالتفافات مع تقليل.
- طبّق المحوّل على أعمق تمثيل.
- فكك مع وصلات التخطي.
- درّب بـ CE + Dice.
المزايا والقيود
المزايا
- سياق عام مع تفاصيل محلية.
- تحسينات في مهام تحتاج علاقات بعيدة.
القيود
- معاملات وذاكرة أكثر.
- المكاسب على البيانات الصغيرة ليست مضمونة؛ U-Net مضبوطة جيداً (nnU-Net) قوية جداً.
متى تُستخدم؟ ومتى لا؟
تناسب
- أعضاء كبيرة متغيرة الشكل.
- حين تفشل U-Net بسبب السياق.
لا تناسب
- بيانات قليلة جداً دون تدريب مسبق.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تحليل الصور الطبية | تجزئة الأعضاء والأورام في CT وMRI. |
| الرؤية الحاسوبية | التجزئة الدلالية للصور الطبيعية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# U-Net مع محوّل في عنق الزجاجة — تجزئة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def block(ci, co):
return nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU(),
nn.Conv2d(co, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU())
class UNetTransformerBottleneck(nn.Module):
"""U-Net كلاسيكية مع محوّل في عنق الزجاجة: الالتفافات للتفاصيل المحلية والانتباه للسياق العام."""
def __init__(self, k=2, d=32):
super().__init__()
self.e1, self.e2, self.e3 = block(1, 8), block(8, 16), block(16, d) # 32 → 16 → 8
self.pos = nn.Parameter(torch.randn(1, 64, d) * 0.02) # 8×8 = 64 رمزاً
layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
self.tf = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)
self.up2, self.d2 = nn.ConvTranspose2d(d, 16, 2, 2), block(32, 16)
self.up1, self.d1 = nn.ConvTranspose2d(16, 8, 2, 2), block(16, 8)
self.out = nn.Conv2d(8, k, 1)
def forward(self, x):
e1 = self.e1(x); e2 = self.e2(F.max_pool2d(e1, 2)); e3 = self.e3(F.max_pool2d(e2, 2))
B, C, H, W = e3.shape
t = self.tf(e3.flatten(2).transpose(1, 2) + self.pos) # انتباه عام على عنق الزجاجة
m = t.transpose(1, 2).reshape(B, C, H, W) + e3
d2 = self.d2(torch.cat([self.up2(m), e2], 1)) # وصلات تخطٍّ
d1 = self.d1(torch.cat([self.up1(d2), e1], 1))
return self.out(d1)
# 3) إعداد البيانات
# صور 32×32 فيها دائرة واحدة بموضع ونصف قطر عشوائيين وضوضاء قوية؛ الهدف قناع الدائرة
def make(n, S=32):
yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
cx, cy, r = torch.randint(8, 24, (n,)), torch.randint(8, 24, (n,)), torch.randint(4, 8, (n,))
mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 < r[:, None, None] ** 2).long()
X = mask[:, None].float() + 0.4 * torch.randn(n, 1, S, S)
return X, mask
X_train, y_train = make(384)
X_test, y_test = make(96)
def dice(pred, target):
inter = ((pred == 1) & (target == 1)).sum().item()
return 2 * inter / max(1, (pred == 1).sum().item() + (target == 1).sum().item())
model = UNetTransformerBottleneck()
# 4) دالة الخسارة (Cross-Entropy + Dice ناعمة، شائعة في التجزئة الطبية) والمحسّن
def soft_dice_loss(logits, target):
p = logits.softmax(1)[:, 1]; t = target.float()
return 1 - (2 * (p * t).sum() + 1) / (p.sum() + t.sum() + 1)
opt = torch.optim.AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4)
# 5) حلقة التدريب
EPOCHS, BATCH = 15, 16
for epoch in range(EPOCHS):
model.train()
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
logits = model(X_train[idx]) # Forward Pass: B×2×H×W
loss = F.cross_entropy(logits, y_train[idx]) + soft_dice_loss(logits, y_train[idx])
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم بمعامل Dice على صور الاختبار
model.eval()
with torch.no_grad():
pred = model(X_test).argmax(1)
print(f"test Dice = {dice(pred, y_test):.3f}")
# 7) الاستدلال: قناع صورة جديدة
with torch.no_grad():
m = model(X_test[:1]).argmax(1)[0]
print("predicted foreground pixels:", int(m.sum()), " true:", int(y_test[0].sum()))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 11.0 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test Dice = 0.988
عدد المعاملات القابلة للتدريب في المثال: model = 48٬786.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…
يو-نيتر
UNETR
نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…
سوين يو-نيتر
Swin UNETR (Swin-UNETR)
نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في…
يو-نت بالانتباه
Attention U-Net
U-Net مع بوابات انتباه (attention gates) على وصلات التخطي تتعلم إبراز المناطق ذات الصلة وكتم الخلفية قبل دمج السمات.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة مواضع المحوّل في U-Net لتجزئة الأورام الكبدية مع nnU-Net كخط أساس.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يوضع المحوّل غالباً في عنق الزجاجة؟
لماذا؟ التكلفة تربيعية في عدد الرموز.
$|P|=50$، $|G|=50$، $|P\cap G|=40$: ما Dice؟
لماذا؟ $80/100$.
ما دور وصلات التخطي في هذه العائلة؟
لماذا؟ كما في U-Net الأصلية.
المراجع
Cao, H., Wang, Y., Chen, J., Jiang, D., Zhang, X., Tian, Q., & Wang, M. (2023). Swin-Unet: Unet-like pure transformer for medical image segmentation. Computer Vision – ECCV 2022 Workshops, LNCS 13803, 205–218. https://doi.org/10.1007/978-3-031-25066-8_9
Chen, J., Lu, Y., Yu, Q., Luo, X., Adeli, E., Wang, Y., Lu, L., Yuille, A. L., & Zhou, Y. (2021). TransUNet: Transformers make strong encoders for medical image segmentation. arXiv preprint. https://arxiv.org/abs/2102.04306
Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181
Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
Isensee, F., Jaeger, P. F., Kohl, S. A. A., Petersen, J., & Maier-Hein, K. H. (2021). nnU-Net: A self-configuring method for deep learning-based biomedical image segmentation. Nature Methods, 18(2), 203–211. https://doi.org/10.1038/s41592-020-01008-z
