يو-نيتر
UNETR
نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلات تخطٍّ.
نظرة عامة
| الاسم | يو-نيتر – UNETR |
|---|---|
| سنة الظهور | 2022 |
| الباحثون | Ali Hatamizadeh، Yucheng Tang، Vishwesh Nath، Dong Yang، Andriy Myronenko، Bennett Landman، Holger R. Roth، Daguang Xu |
| الجهة | NVIDIA / Vanderbilt University |
| الورقة الأصلية | UNETR: Transformers for 3D medical image segmentation DOI arXiv |
| نوع البيانات | صور |
| المجالات | تحليل الصور الطبية |
| الكلفة الحسابية | عالية (3D + ViT-B). |
| حجم البيانات | متوسطة (عشرات إلى مئات الأحجام). |
المشكلة التي تحلها
المشفّرات الالتفافية ثلاثية الأبعاد محدودة السياق، وأراد المؤلفون الاستفادة من نمذجة المحوّل للعلاقات البعيدة في الأحجام الطبية.
الخلفية والتطور
ما قبلها: محوّل الرؤية، يو-نت، ترانس-يو-نت
الفكرة الأساسية
الحجم $H\times W\times D$ يُقسم إلى رقع $P^3$ لتعطي $N$ رمزاً. لأن ViT أحادي المقياس، تُستخرج التمثيلات من أعماق مختلفة وتُرفع بعدد مختلف من الالتفافات المعكوسة لتطابق مقاييس المفكك، فتعمل كوصلات تخطٍّ متعددة المقاييس.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| 3D patch embedding (16³) | |
| ViT encoder (12 layers) | |
| Multi-depth features z3, z6, z9, z12 | |
| Deconvolution upsampling | |
| CNN decoder |
المعادلات
1. عدد الرموز الحجمية
| $P$ | حجم الرقعة (16) |
2. إعادة تشكيل تمثيل طبقة
| $K$ | بُعد التضمين (768) |
3. معامل Dice وخسارة Dice الناعمة
| $P,G$ | التنبؤ والحقيقة |
| $p_i$ | احتمال المقدمة للبكسل i |
آلية العمل خطوة بخطوة
- قسّم الحجم إلى رقع.
- طبّق ViT واحفظ تمثيلات طبقات مختارة.
- أعد تشكيلها وارفعها.
- فكك مع الضم.
- درّب بـ Dice + CE.
المزايا والقيود
المزايا
- سياق عام من الطبقة الأولى.
- تصميم بسيط لمشفّر خالص.
القيود
- رقع كبيرة تفقد تفاصيل دقيقة.
- ذاكرة عالية.
- يتفوق عليه Swin UNETR في دراسات لاحقة للمؤلفين أنفسهم.
متى تُستخدم؟ ومتى لا؟
تناسب
- تجزئة حجمية بأعضاء متعددة.
لا تناسب
- بنى صغيرة جداً تحتاج تفاصيل دقيقة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تحليل الصور الطبية | تجزئة الأعضاء والأورام في CT وMRI. |
| الرؤية الحاسوبية | التجزئة الدلالية للصور الطبيعية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
الأصل ثلاثي الأبعاد (رقع 16³، 12 طبقة، D=768)؛ هنا نسخة ثنائية الأبعاد بأربع طبقات للتوضيح وتعمل على المعالج خلال ثوانٍ.
# UNETR ثنائي الأبعاد مصغّر: مشفّر ViT خالص + مفكك التفافي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class UNETR2D(nn.Module):
"""نسخة ثنائية الأبعاد مصغّرة من UNETR: مشفّر ViT خالص، وتمثيلات طبقات مختلفة منه تُعاد تشكيلها وتُرفع
بالتفافات معكوسة لتغذي مفككاً التفافياً عبر وصلات تخطٍّ (الأصل ثلاثي الأبعاد برقع 16³ و12 طبقة)."""
def __init__(self, k=2, P=4, D=48, depth=4, heads=4):
super().__init__()
self.P, self.n = P, 32 // P # شبكة رموز 8×8
self.embed = nn.Conv2d(1, D, P, P)
self.pos = nn.Parameter(torch.randn(1, self.n ** 2, D) * 0.02)
self.layers = nn.ModuleList([nn.TransformerEncoderLayer(D, heads, 2 * D, dropout=0.0, activation='gelu', batch_first=True, norm_first=True) for _ in range(depth)])
up = lambda ci, co: nn.Sequential(nn.ConvTranspose2d(ci, co, 2, 2), nn.Conv2d(co, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU())
conv = lambda ci, co: nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.BatchNorm2d(co), nn.ReLU())
self.skip0 = conv(1, 16) # من الصورة الأصلية (32×32)
self.skip1 = up(D, 32) # z2 → 16×16
self.skip2 = nn.Sequential(up(D, 32), up(32, 16)) # z1 → 32×32 (ترقية مزدوجة)
self.dec3 = up(D, 32); self.fuse3 = conv(64, 32) # z4 → 16×16 مع z2
self.dec2 = up(32, 16); self.fuse2 = conv(32, 16) # → 32×32 مع z1
self.fuse1 = conv(32, 16); self.out = nn.Conv2d(16, k, 1)
def tokens_to_map(self, z):
return z.transpose(1, 2).reshape(z.shape[0], -1, self.n, self.n)
def forward(self, x):
z = self.embed(x).flatten(2).transpose(1, 2) + self.pos
feats = []
for layer in self.layers:
z = layer(z); feats.append(z) # تمثيلات وسيطة من المشفّر
z1, z2, z4 = (self.tokens_to_map(feats[i]) for i in (0, 1, 3))
h = self.fuse3(torch.cat([self.dec3(z4), self.skip1(z2)], 1))
h = self.fuse2(torch.cat([self.dec2(h), self.skip2(z1)], 1))
h = self.fuse1(torch.cat([h, self.skip0(x)], 1))
return self.out(h)
# 3) إعداد البيانات
# صور 32×32 فيها دائرة واحدة بموضع ونصف قطر عشوائيين وضوضاء قوية؛ الهدف قناع الدائرة
def make(n, S=32):
yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
cx, cy, r = torch.randint(8, 24, (n,)), torch.randint(8, 24, (n,)), torch.randint(4, 8, (n,))
mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 < r[:, None, None] ** 2).long()
X = mask[:, None].float() + 0.4 * torch.randn(n, 1, S, S)
return X, mask
X_train, y_train = make(384)
X_test, y_test = make(96)
def dice(pred, target):
inter = ((pred == 1) & (target == 1)).sum().item()
return 2 * inter / max(1, (pred == 1).sum().item() + (target == 1).sum().item())
model = UNETR2D()
# 4) دالة الخسارة (Cross-Entropy + Dice ناعمة، شائعة في التجزئة الطبية) والمحسّن
def soft_dice_loss(logits, target):
p = logits.softmax(1)[:, 1]; t = target.float()
return 1 - (2 * (p * t).sum() + 1) / (p.sum() + t.sum() + 1)
opt = torch.optim.AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4)
# 5) حلقة التدريب
EPOCHS, BATCH = 15, 16
for epoch in range(EPOCHS):
model.train()
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
logits = model(X_train[idx]) # Forward Pass: B×2×H×W
loss = F.cross_entropy(logits, y_train[idx]) + soft_dice_loss(logits, y_train[idx])
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم بمعامل Dice على صور الاختبار
model.eval()
with torch.no_grad():
pred = model(X_test).argmax(1)
print(f"test Dice = {dice(pred, y_test):.3f}")
# 7) الاستدلال: قناع صورة جديدة
with torch.no_grad():
m = model(X_test[:1]).argmax(1)[0]
print("predicted foreground pixels:", int(m.sum()), " true:", int(y_test[0].sum()))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 19.2 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test Dice = 0.981
عدد المعاملات القابلة للتدريب في المثال: model = 163٬090.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
سوين يو-نيتر
Swin UNETR (Swin-UNETR)
نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في…
ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…
يو-نت مع المحوّلات
U-Net + Transformer (U-Net+Transformer)
عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تقييم حساسية UNETR لحجم الرقعة في تجزئة الأوعية الدموية الدماغية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما نوع مشفّر UNETR؟
لماذا؟ دون مراحل التفافية في المشفّر.
كم رمزاً لحجم $128^3$ مع $P=16$؟
لماذا؟ $8^3=512$.
من أين تأتي وصلات التخطي في UNETR؟
لماذا؟ الطبقات 3 و6 و9 و12 في الأصل.
المراجع
Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181
Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
