محوّل سوين (Swin)
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكلفة خطية في حجم الصورة.
نظرة عامة
| الاسم | محوّل سوين – Swin Transformer |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Ze Liu، Yutong Lin، Yue Cao، Han Hu، Yixuan Wei، Zheng Zhang، Stephen Lin، Baining Guo |
| الجهة | Microsoft Research Asia |
| الورقة الأصلية | Swin Transformer: Hierarchical vision transformer using shifted windows DOI arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | $O(hwM^2C)$ للانتباه في كل طبقة. |
| حجم البيانات | متوسطة إلى كبيرة؛ يتوفر تدريب مسبق على ImageNet. |
المشكلة التي تحلها
ViT ينتج تمثيلاً أحادي المقياس بتكلفة تربيعية في عدد الرقع، ما يصعّب استخدامه كعمود فقري للكشف والتجزئة على صور عالية الدقة.
الخلفية والتطور
ما قبلها: محوّل الرؤية، الشبكة المتبقية
الفكرة الأساسية
الصورة تُقسم إلى رقع صغيرة (4×4)، والانتباه يُحسب فقط داخل نوافذ M×M. في الطبقة التالية تُزاح النوافذ بمقدار ⌊M/2⌋ فتعبر الحدود السابقة. بين المراحل تُدمج كل 2×2 رقعة لتنصيف الدقة ومضاعفة القنوات، فتنتج هرمية تشبه CNN.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
الكتلتان W-MSA ثم SW-MSA تتعاقبان دائماً.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Patch Partition + Linear Embedding | رقع 4×4 وإسقاط إلى C |
| W-MSA | انتباه داخل نوافذ M×M |
| SW-MSA | نوافذ مُزاحة بإزاحة دورية وقناع |
| Relative Position Bias | انحياز موضعي نسبي متعلَّم |
| Patch Merging | تنصيف الدقة ومضاعفة القنوات |
| Hierarchical Stages | 4 مراحل: C، 2C، 4C، 8C |
المعادلات
1. التكلفة: انتباه عام مقابل نوافذ
| $h,w$ | أبعاد شبكة الرقع |
| $M$ | حجم النافذة |
| $C$ | القنوات |
2. الانتباه مع الانحياز الموضعي النسبي
| $B$ | انحياز يُقرأ من جدول $\hat B\in\mathbb{R}^{(2M-1)\times(2M-1)}$ |
3. دمج الرقع
| $concat$ | ضم 4 رقع متجاورة |
آلية العمل خطوة بخطوة
- قسّم الصورة إلى رقع 4×4 وأسقطها إلى C.
- طبّق كتلة W-MSA ثم كتلة SW-MSA.
- ادمج الرقع لتنصيف الدقة.
- كرر المراحل.
- استخدم خرائط السمات الهرمية للتصنيف أو كمشفّر للكشف والتجزئة.
المزايا والقيود
المزايا
- تكلفة خطية في حجم الصورة.
- سمات متعددة المقاييس تناسب الكشف والتجزئة.
- انحياز محلية يقلل الحاجة للبيانات مقارنة بـ ViT.
القيود
- تنفيذ أعقد (إزاحة دورية، أقنعة، انحياز نسبي).
- المجال العام يُبنى تدريجياً عبر الطبقات.
- حجم النافذة يقيّد الدقات المدعومة دون حشو.
متى تُستخدم؟ ومتى لا؟
تناسب
- عمود فقري للكشف والتجزئة.
- صور عالية الدقة.
- مشفّر لنماذج طبية هجينة.
لا تناسب
- مهام صغيرة جداً يكفي فيها CNN خفيفة.
- أجهزة طرفية محدودة بلا دعم للعمليات المطلوبة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | تصنيف وكشف وتجزئة. |
| تحليل الصور الطبية | Swin UNETR وSwin-Unet في التجزئة الطبية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Swin مصغّر: W-MSA وSW-MSA مع القناع والانحياز النسبي ودمج الرقع
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def window_partition(x, M): # B×H×W×C → (B·nW)×M²×C
B, H, W, C = x.shape
x = x.view(B, H // M, M, W // M, M, C).permute(0, 1, 3, 2, 4, 5)
return x.reshape(-1, M * M, C)
def window_reverse(w, M, H, W): # (B·nW)×M²×C → B×H×W×C
B = w.shape[0] // ((H // M) * (W // M))
x = w.view(B, H // M, W // M, M, M, -1).permute(0, 1, 3, 2, 4, 5)
return x.reshape(B, H, W, -1)
class WindowAttention(nn.Module):
"""انتباه داخل نافذة M×M مع انحياز موضعي نسبي متعلَّم (جدول (2M−1)² لكل رأس)."""
def __init__(self, C, M, heads):
super().__init__()
self.h, self.dk, self.M = heads, C // heads, M
self.qkv, self.proj = nn.Linear(C, 3 * C), nn.Linear(C, C)
self.bias_table = nn.Parameter(torch.zeros((2 * M - 1) ** 2, heads))
coords = torch.stack(torch.meshgrid(torch.arange(M), torch.arange(M), indexing='ij')).flatten(1) # 2×M²
rel = (coords[:, :, None] - coords[:, None, :]).permute(1, 2, 0) + (M - 1) # M²×M²×2
self.register_buffer('rel_index', rel[..., 0] * (2 * M - 1) + rel[..., 1])
def forward(self, x, mask=None): # x: (B·nW)×M²×C ؛ mask: nW×M²×M²
Bw, N, C = x.shape
q, k, v = self.qkv(x).view(Bw, N, 3, self.h, self.dk).permute(2, 0, 3, 1, 4)
a = q @ k.transpose(-2, -1) / self.dk ** 0.5
a = a + self.bias_table[self.rel_index].permute(2, 0, 1)[None]
if mask is not None:
nW = mask.shape[0]
a = a.view(Bw // nW, nW, self.h, N, N) + mask[None, :, None]
a = a.view(Bw, self.h, N, N)
return self.proj((a.softmax(-1) @ v).transpose(1, 2).reshape(Bw, N, C))
class SwinBlock(nn.Module):
def __init__(self, C, H, W, heads, M=4, shift=0):
super().__init__()
self.H, self.W, self.M, self.s = H, W, M, shift
self.n1, self.attn, self.n2 = nn.LayerNorm(C), WindowAttention(C, M, heads), nn.LayerNorm(C)
self.mlp = nn.Sequential(nn.Linear(C, 2 * C), nn.GELU(), nn.Linear(2 * C, C))
mask = None
if shift: # قناع يمنع الانتباه بين مناطق لم تكن متجاورة قبل الإزاحة الدورية
img = torch.zeros(1, H, W, 1); cnt = 0
for hs in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
for ws in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
img[:, hs, ws, :] = cnt; cnt += 1
win = window_partition(img, M).squeeze(-1) # nW×M²
mask = (win[:, None, :] != win[:, :, None]).float() * -100.0
self.register_buffer('mask', mask)
def forward(self, x): # x: B×H×W×C
y = self.n1(x)
if self.s: y = torch.roll(y, (-self.s, -self.s), (1, 2)) # SW-MSA: إزاحة دورية
y = window_reverse(self.attn(window_partition(y, self.M), self.mask), self.M, self.H, self.W)
if self.s: y = torch.roll(y, (self.s, self.s), (1, 2))
x = x + y
return x + self.mlp(self.n2(x))
class PatchMerging(nn.Module):
"""دمج كل 2×2 رقعة متجاورة: الدقة المكانية تنصف والقنوات تتضاعف."""
def __init__(self, C):
super().__init__()
self.norm, self.red = nn.LayerNorm(4 * C), nn.Linear(4 * C, 2 * C, bias=False)
def forward(self, x):
x = torch.cat([x[:, 0::2, 0::2], x[:, 1::2, 0::2], x[:, 0::2, 1::2], x[:, 1::2, 1::2]], -1)
return self.red(self.norm(x))
class TinySwin(nn.Module):
def __init__(self, C=16, n_classes=3):
super().__init__()
self.embed = nn.Conv2d(1, C, 2, 2) # رقع 2×2 ⇒ شبكة 8×8
self.stage1 = nn.Sequential(SwinBlock(C, 8, 8, 2, M=4, shift=0), SwinBlock(C, 8, 8, 2, M=4, shift=2))
self.merge = PatchMerging(C) # ⇒ 4×4×2C
self.stage2 = SwinBlock(2 * C, 4, 4, 4, M=4, shift=0)
self.norm, self.head = nn.LayerNorm(2 * C), nn.Linear(2 * C, n_classes)
def forward(self, x):
x = self.embed(x).permute(0, 2, 3, 1) # B×8×8×C
x = self.stage2(self.merge(self.stage1(x)))
return self.head(self.norm(x).mean((1, 2)))
# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
y = torch.randint(0, 3, (n,))
pos = torch.randint(2, 14, (n,))
r = torch.arange(2, 14)
for i in range(n):
if y[i] == 0: X[i, 0, pos[i], 2:14] += 1.5
elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
else: X[i, 0, r, (r + pos[i]) % 16] += 1.5
return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = TinySwin()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.9 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 15٬803.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مقارن المعماريات
- مختبر الرؤية الحاسوبية قسم آخر في الموقع
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
سوين يو-نيتر
Swin UNETR (Swin-UNETR)
نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في…
محوّلات الصور كفؤة البيانات
Data-efficient Image Transformers (DeiT)
طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.
الشبكات الهجينة CNN–Transformer
CNN-Transformer Hybrids
تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- دراسة أثر حجم النافذة على تجزئة آفات صغيرة في صور الرنين المغناطيسي.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما فائدة إزاحة النوافذ في Swin؟
لماذا؟ بدون الإزاحة تبقى النوافذ معزولة.
مع $hw=3136$ و$M=7$ كم مرة يصغر الحد التربيعي للانتباه بالنوافذ؟
لماذا؟ $hw/M^2=3136/49=64$.
ماذا يفعل Patch Merging لخريطة $56\times56\times96$؟
لماذا؟ ضم 4 رقع (384) ثم إسقاط إلى 2C.
المراجع
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986
Liu, Z., Hu, H., Lin, Y., Yao, Z., Xie, Z., Wei, Y., et al. (2022). Swin Transformer V2: Scaling up capacity and resolution. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11999–12009. https://doi.org/10.1109/CVPR52688.2022.01170
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22
Cao, H., Wang, Y., Chen, J., Jiang, D., Zhang, X., Tian, Q., & Wang, M. (2023). Swin-Unet: Unet-like pure transformer for medical image segmentation. Computer Vision – ECCV 2022 Workshops, LNCS 13803, 205–218. https://doi.org/10.1007/978-3-031-25066-8_9
