ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وصلات تخطٍّ.
نظرة عامة
| الاسم | ترانس-يو-نت – TransUNet |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Jieneng Chen، Yongyi Lu، Qihang Yu، Xiangde Luo، Ehsan Adeli، Yan Wang، Le Lu، Alan L. Yuille، Yuyin Zhou |
| الجهة | Johns Hopkins University وآخرون |
| الورقة الأصلية | TransUNet: Transformers make strong encoders for medical image segmentation arXiv |
| نوع البيانات | صور |
| المجالات | تحليل الصور الطبية |
| الكلفة الحسابية | عالية نسبياً. |
| حجم البيانات | متوسطة مع تدريب مسبق على ImageNet. |
المشكلة التي تحلها
ViT وحده يعطي تمثيلاً منخفض الدقة يفقد التفاصيل، وU-Net وحدها محدودة السياق. أراد المؤلفون مشفّراً قوياً عالمياً دون فقد الموضعية.
الخلفية والتطور
ما قبلها: يو-نت، محوّل الرؤية، الشبكة المتبقية
- 2021
نُشر TransUNet على arXiv مع تقييم على Synapse (أعضاء البطن) وACDC (القلب). [مرجع]
الفكرة الأساسية
الرقع تؤخذ من خريطة سمات CNN بدقة 1/16 لا من الصورة الخام، فيستفيد ViT من سمات محلية جيدة. يعاد تشكيل الرموز إلى خريطة ثم تُرفع على مراحل، وفي كل مرحلة تُضم سمات CNN المقابلة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| CNN encoder (R50) | سمات بثلاث دقات |
| Patch embedding on feature map | |
| ViT (12 layers) | |
| Cascaded Upsampler (CUP) | رفع ×2 متكرر |
| Skip connections |
المعادلات
1. تضمين الرقع من خريطة السمات
| $x_p^i$ | رقعة من خريطة سمات CNN |
2. معامل Dice وخسارة Dice الناعمة
| $P,G$ | التنبؤ والحقيقة |
| $p_i$ | احتمال المقدمة للبكسل i |
آلية العمل خطوة بخطوة
- استخرج سمات CNN واحتفظ بالمستويات للتخطي.
- حوّل أعمق خريطة إلى رموز.
- طبّق ViT.
- أعد تشكيل الرموز وارفع تدريجياً مع الضم.
- صنّف كل بكسل.
المزايا والقيود
المزايا
- يجمع موضعية CNN وسياق المحوّل.
- يستفيد من أوزان مدربة مسبقاً.
القيود
- ثقيل (R50 + ViT-B).
- ثنائي الأبعاد في الأصل.
متى تُستخدم؟ ومتى لا؟
تناسب
- تجزئة أعضاء متعددة في شرائح ثنائية الأبعاد.
لا تناسب
- أجهزة محدودة.
- بيانات ثلاثية الأبعاد تحتاج سياقاً حجمياً.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تحليل الصور الطبية | تجزئة الأعضاء والأورام في CT وMRI. |
| الرؤية الحاسوبية | التجزئة الدلالية للصور الطبيعية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# TransUNet مصغّر: CNN → ViT → مفكك متتالٍ مع وصلات تخطٍّ
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def block(ci, co):
return nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU(),
nn.Conv2d(co, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU())
class TransUNet(nn.Module):
"""مشفّر هجين: CNN (بديل ResNet-50 في الأصل) → رقع 1×1 من خريطة السمات → ViT؛ ثم مفكك متتالٍ (CUP) مع وصلات تخطٍّ."""
def __init__(self, k=2, D=48, depth=3, heads=4):
super().__init__()
self.c1, self.c2, self.c3 = block(1, 16), block(16, 32), block(32, 48) # 32 → 16 → 8 (سمات CNN)
self.patch = nn.Conv2d(48, D, 1) # تضمين الرقع (حجم رقعة 1 على خريطة السمات)
self.pos = nn.Parameter(torch.randn(1, 64, D) * 0.02)
layer = nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True)
self.vit = nn.TransformerEncoder(layer, depth, enable_nested_tensor=False)
self.norm = nn.LayerNorm(D)
self.conv_more = nn.Sequential(nn.Conv2d(D, 48, 3, padding=1), nn.ReLU()) # إعادة تشكيل الرموز إلى خريطة
self.u2, self.u1 = block(48 + 32, 32), block(32 + 16, 16) # مفكك متتالٍ مع وصلات CNN
self.out = nn.Conv2d(16, k, 1)
def forward(self, x):
f1 = self.c1(x); f2 = self.c2(F.max_pool2d(f1, 2)); f3 = self.c3(F.max_pool2d(f2, 2))
B = x.shape[0]
z = self.norm(self.vit(self.patch(f3).flatten(2).transpose(1, 2) + self.pos)) # B×64×D
h = self.conv_more(z.transpose(1, 2).reshape(B, -1, 8, 8))
h = self.u2(torch.cat([F.interpolate(h, scale_factor=2, mode='bilinear', align_corners=False), f2], 1))
h = self.u1(torch.cat([F.interpolate(h, scale_factor=2, mode='bilinear', align_corners=False), f1], 1))
return self.out(h)
# 3) إعداد البيانات
# صور 32×32 فيها دائرة واحدة بموضع ونصف قطر عشوائيين وضوضاء قوية؛ الهدف قناع الدائرة
def make(n, S=32):
yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
cx, cy, r = torch.randint(8, 24, (n,)), torch.randint(8, 24, (n,)), torch.randint(4, 8, (n,))
mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 < r[:, None, None] ** 2).long()
X = mask[:, None].float() + 0.4 * torch.randn(n, 1, S, S)
return X, mask
X_train, y_train = make(384)
X_test, y_test = make(96)
def dice(pred, target):
inter = ((pred == 1) & (target == 1)).sum().item()
return 2 * inter / max(1, (pred == 1).sum().item() + (target == 1).sum().item())
model = TransUNet()
# 4) دالة الخسارة (Cross-Entropy + Dice ناعمة، شائعة في التجزئة الطبية) والمحسّن
def soft_dice_loss(logits, target):
p = logits.softmax(1)[:, 1]; t = target.float()
return 1 - (2 * (p * t).sum() + 1) / (p.sum() + t.sum() + 1)
opt = torch.optim.AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4)
# 5) حلقة التدريب
EPOCHS, BATCH = 15, 16
for epoch in range(EPOCHS):
model.train()
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
logits = model(X_train[idx]) # Forward Pass: B×2×H×W
loss = F.cross_entropy(logits, y_train[idx]) + soft_dice_loss(logits, y_train[idx])
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم بمعامل Dice على صور الاختبار
model.eval()
with torch.no_grad():
pred = model(X_test).argmax(1)
print(f"test Dice = {dice(pred, y_test):.3f}")
# 7) الاستدلال: قناع صورة جديدة
with torch.no_grad():
m = model(X_test[:1]).argmax(1)[0]
print("predicted foreground pixels:", int(m.sum()), " true:", int(y_test[0].sum()))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 19.1 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test Dice = 0.984
عدد المعاملات القابلة للتدريب في المثال: model = 176٬386.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
يو-نت مع المحوّلات
U-Net + Transformer (U-Net+Transformer)
عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).
يو-نيتر
UNETR
نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…
سوين يو-نيتر
Swin UNETR (Swin-UNETR)
نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في…
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- ضبط TransUNet لتجزئة أعضاء البطن في صور CT من مستشفيات محلية ومقارنة بـ nnU-Net.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
من أين يأخذ TransUNet رقع ViT؟
لماذا؟ المشفّر هجين.
ما وظيفة CUP في TransUNet؟
لماذا؟ Cascaded Upsampler.
كم رمزاً لصورة $224\times224$ مع تقليل 16؟
لماذا؟ $14\times14$.
المراجع
Chen, J., Lu, Y., Yu, Q., Luo, X., Adeli, E., Wang, Y., Lu, L., Yuille, A. L., & Zhou, Y. (2021). TransUNet: Transformers make strong encoders for medical image segmentation. arXiv preprint. https://arxiv.org/abs/2102.04306
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90
