سوين يو-نيتر (Swin-UNETR)
Swin UNETR
نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في تحدي BraTS 2021.
نظرة عامة
| الاسم | سوين يو-نيتر – Swin UNETR |
|---|---|
| سنة الظهور | 2022 |
| الباحثون | Ali Hatamizadeh، Vishwesh Nath، Yucheng Tang، Dong Yang، Holger R. Roth، Daguang Xu |
| الجهة | NVIDIA |
| الورقة الأصلية | Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images DOI arXiv |
| نوع البيانات | صور |
| المجالات | تحليل الصور الطبية |
| الكلفة الحسابية | عالية لكن خطية في عدد الرموز. |
| حجم البيانات | مئات الأحجام (BraTS: أكثر من 1000 حالة تدريب). |
المشكلة التي تحلها
UNETR أحادي المقياس ويفقد التفاصيل، والانتباه العام على الأحجام مكلف. المشفّر الهرمي بالنوافذ يجمع الكفاءة وتعدد المقاييس.
الخلفية والتطور
ما قبلها: محوّل سوين، يو-نيتر، يو-نت
الفكرة الأساسية
المشفّر يطبق كتل Swin ثلاثية الأبعاد (نوافذ مكعبة مُزاحة) مع دمج رقع بين المراحل، فينتج تمثيلات بدقات متناقصة. كل تمثيل يمر بكتلة التفافية متبقية ثم يُضم في المفكك عند المقياس نفسه، مثل U-Net تماماً.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| 3D patch partition | |
| Swin blocks (W-MSA / SW-MSA) | |
| Patch merging | |
| Residual conv blocks on skips | |
| CNN decoder |
المعادلات
1. تكلفة الانتباه بالنوافذ (ثلاثي الأبعاد)
| $M$ | حجم النافذة |
| $hwd$ | عدد الرموز |
2. معامل Dice وخسارة Dice الناعمة
| $P,G$ | التنبؤ والحقيقة |
| $p_i$ | احتمال المقدمة للبكسل i |
آلية العمل خطوة بخطوة
- قسّم الحجم إلى رقع صغيرة.
- طبّق مراحل Swin مع الدمج.
- مرّر كل مقياس عبر كتلة التفافية.
- فكك مع الضم.
- درّب بـ Dice + CE.
المزايا والقيود
المزايا
- تعدد مقاييس مع سياق واسع.
- كفاءة النوافذ.
- نتائج قوية في BraTS 2021 وفق المؤلفين.
القيود
- تعقيد التنفيذ.
- ذاكرة GPU كبيرة للأحجام.
متى تُستخدم؟ ومتى لا؟
تناسب
- تجزئة حجمية تحتاج سياقاً وتفاصيل.
لا تناسب
- بيانات ثنائية الأبعاد صغيرة تكفيها U-Net.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تحليل الصور الطبية | تجزئة الأعضاء والأورام في CT وMRI. |
| الرؤية الحاسوبية | التجزئة الدلالية للصور الطبيعية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
النسخة الأصلية ثلاثية الأبعاد بنوافذ 7³ وأربع مراحل؛ هنا نسخة ثنائية الأبعاد بثلاث مراحل ونافذة 4×4 تعيد استخدام كتل Swin من صفحة Swin.
# Swin UNETR ثنائي الأبعاد مصغّر: مشفّر Swin هرمي + مفكك التفافي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def window_partition(x, M): # B×H×W×C → (B·nW)×M²×C
B, H, W, C = x.shape
x = x.view(B, H // M, M, W // M, M, C).permute(0, 1, 3, 2, 4, 5)
return x.reshape(-1, M * M, C)
def window_reverse(w, M, H, W): # (B·nW)×M²×C → B×H×W×C
B = w.shape[0] // ((H // M) * (W // M))
x = w.view(B, H // M, W // M, M, M, -1).permute(0, 1, 3, 2, 4, 5)
return x.reshape(B, H, W, -1)
class WindowAttention(nn.Module):
"""انتباه داخل نافذة M×M مع انحياز موضعي نسبي متعلَّم (جدول (2M−1)² لكل رأس)."""
def __init__(self, C, M, heads):
super().__init__()
self.h, self.dk, self.M = heads, C // heads, M
self.qkv, self.proj = nn.Linear(C, 3 * C), nn.Linear(C, C)
self.bias_table = nn.Parameter(torch.zeros((2 * M - 1) ** 2, heads))
coords = torch.stack(torch.meshgrid(torch.arange(M), torch.arange(M), indexing='ij')).flatten(1) # 2×M²
rel = (coords[:, :, None] - coords[:, None, :]).permute(1, 2, 0) + (M - 1) # M²×M²×2
self.register_buffer('rel_index', rel[..., 0] * (2 * M - 1) + rel[..., 1])
def forward(self, x, mask=None): # x: (B·nW)×M²×C ؛ mask: nW×M²×M²
Bw, N, C = x.shape
q, k, v = self.qkv(x).view(Bw, N, 3, self.h, self.dk).permute(2, 0, 3, 1, 4)
a = q @ k.transpose(-2, -1) / self.dk ** 0.5
a = a + self.bias_table[self.rel_index].permute(2, 0, 1)[None]
if mask is not None:
nW = mask.shape[0]
a = a.view(Bw // nW, nW, self.h, N, N) + mask[None, :, None]
a = a.view(Bw, self.h, N, N)
return self.proj((a.softmax(-1) @ v).transpose(1, 2).reshape(Bw, N, C))
class SwinBlock(nn.Module):
def __init__(self, C, H, W, heads, M=4, shift=0):
super().__init__()
self.H, self.W, self.M, self.s = H, W, M, shift
self.n1, self.attn, self.n2 = nn.LayerNorm(C), WindowAttention(C, M, heads), nn.LayerNorm(C)
self.mlp = nn.Sequential(nn.Linear(C, 2 * C), nn.GELU(), nn.Linear(2 * C, C))
mask = None
if shift: # قناع يمنع الانتباه بين مناطق لم تكن متجاورة قبل الإزاحة الدورية
img = torch.zeros(1, H, W, 1); cnt = 0
for hs in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
for ws in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
img[:, hs, ws, :] = cnt; cnt += 1
win = window_partition(img, M).squeeze(-1) # nW×M²
mask = (win[:, None, :] != win[:, :, None]).float() * -100.0
self.register_buffer('mask', mask)
def forward(self, x): # x: B×H×W×C
y = self.n1(x)
if self.s: y = torch.roll(y, (-self.s, -self.s), (1, 2)) # SW-MSA: إزاحة دورية
y = window_reverse(self.attn(window_partition(y, self.M), self.mask), self.M, self.H, self.W)
if self.s: y = torch.roll(y, (self.s, self.s), (1, 2))
x = x + y
return x + self.mlp(self.n2(x))
class PatchMerging(nn.Module):
"""دمج كل 2×2 رقعة متجاورة: الدقة المكانية تنصف والقنوات تتضاعف."""
def __init__(self, C):
super().__init__()
self.norm, self.red = nn.LayerNorm(4 * C), nn.Linear(4 * C, 2 * C, bias=False)
def forward(self, x):
x = torch.cat([x[:, 0::2, 0::2], x[:, 1::2, 0::2], x[:, 0::2, 1::2], x[:, 1::2, 1::2]], -1)
return self.red(self.norm(x))
def conv(ci, co):
return nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.InstanceNorm2d(co, affine=True), nn.LeakyReLU(0.01))
class SwinUNETR2D(nn.Module):
"""مشفّر Swin هرمي (نوافذ عادية ثم مُزاحة + دمج رقع) يغذي مفككاً التفافياً بوصلات تخطٍّ عند كل مقياس."""
def __init__(self, k=2, C=16, M=4):
super().__init__()
self.embed = nn.Conv2d(1, C, 2, 2) # 32 → 16×16×C
self.s1 = nn.Sequential(SwinBlock(C, 16, 16, 2, M, 0), SwinBlock(C, 16, 16, 2, M, 2))
self.m1 = PatchMerging(C) # → 8×8×2C
self.s2 = nn.Sequential(SwinBlock(2 * C, 8, 8, 4, M, 0), SwinBlock(2 * C, 8, 8, 4, M, 2))
self.m2 = PatchMerging(2 * C) # → 4×4×4C
self.s3 = SwinBlock(4 * C, 4, 4, 4, M, 0)
self.enc0 = conv(1, C) # مقياس الصورة الأصلية
self.up3, self.dec3 = nn.ConvTranspose2d(4 * C, 2 * C, 2, 2), conv(4 * C, 2 * C)
self.up2, self.dec2 = nn.ConvTranspose2d(2 * C, C, 2, 2), conv(2 * C, C)
self.up1, self.dec1 = nn.ConvTranspose2d(C, C, 2, 2), conv(2 * C, C)
self.out = nn.Conv2d(C, k, 1)
def forward(self, x):
h1 = self.s1(self.embed(x).permute(0, 2, 3, 1)) # B×16×16×C
h2 = self.s2(self.m1(h1)); h3 = self.s3(self.m2(h2))
t = lambda h: h.permute(0, 3, 1, 2)
d = self.dec3(torch.cat([self.up3(t(h3)), t(h2)], 1))
d = self.dec2(torch.cat([self.up2(d), t(h1)], 1))
d = self.dec1(torch.cat([self.up1(d), self.enc0(x)], 1))
return self.out(d)
# 3) إعداد البيانات
# صور 32×32 فيها دائرة واحدة بموضع ونصف قطر عشوائيين وضوضاء قوية؛ الهدف قناع الدائرة
def make(n, S=32):
yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
cx, cy, r = torch.randint(8, 24, (n,)), torch.randint(8, 24, (n,)), torch.randint(4, 8, (n,))
mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 < r[:, None, None] ** 2).long()
X = mask[:, None].float() + 0.4 * torch.randn(n, 1, S, S)
return X, mask
X_train, y_train = make(384)
X_test, y_test = make(96)
def dice(pred, target):
inter = ((pred == 1) & (target == 1)).sum().item()
return 2 * inter / max(1, (pred == 1).sum().item() + (target == 1).sum().item())
model = SwinUNETR2D()
# 4) دالة الخسارة (Cross-Entropy + Dice ناعمة، شائعة في التجزئة الطبية) والمحسّن
def soft_dice_loss(logits, target):
p = logits.softmax(1)[:, 1]; t = target.float()
return 1 - (2 * (p * t).sum() + 1) / (p.sum() + t.sum() + 1)
opt = torch.optim.AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4)
# 5) حلقة التدريب
EPOCHS, BATCH = 15, 16
for epoch in range(EPOCHS):
model.train()
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
logits = model(X_train[idx]) # Forward Pass: B×2×H×W
loss = F.cross_entropy(logits, y_train[idx]) + soft_dice_loss(logits, y_train[idx])
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم بمعامل Dice على صور الاختبار
model.eval()
with torch.no_grad():
pred = model(X_test).argmax(1)
print(f"test Dice = {dice(pred, y_test):.3f}")
# 7) الاستدلال: قناع صورة جديدة
with torch.no_grad():
m = model(X_test[:1]).argmax(1)[0]
print("predicted foreground pixels:", int(m.sum()), " true:", int(y_test[0].sum()))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 15.8 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test Dice = 0.988
عدد المعاملات القابلة للتدريب في المثال: model = 105٬890.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
محوّل سوين
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…
يو-نيتر
UNETR
نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…
ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…
يو-نت مع المحوّلات
U-Net + Transformer (U-Net+Transformer)
عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- Swin UNETR مع تدريب مسبق ذاتي الإشراف لتجزئة آفات التصلب المتعدد ببيانات محلية محدودة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما ميزة مشفّر Swin على ViT في UNETR؟
لماذا؟ النوافذ والدمج.
لأي تحدٍّ طُوّر Swin UNETR؟
لماذا؟ وفق عنوان الورقة.
ماذا يحدث للدقة بعد دمج الرقع (Patch Merging)؟
لماذا؟ كما في Swin.
المراجع
Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986
Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28
