كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدممعماريات المحولات

محوّل سوين (Swin)

Swin Transformer

محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكلفة خطية في حجم الصورة.

نظرة عامة

الاسممحوّل سوين – Swin Transformer
سنة الظهور2021
الباحثونZe Liu، Yutong Lin، Yue Cao، Han Hu، Yixuan Wei، Zheng Zhang، Stephen Lin، Baining Guo
الجهةMicrosoft Research Asia
الورقة الأصليةSwin Transformer: Hierarchical vision transformer using shifted windows DOI arXiv
نوع البياناتصور
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية
الكلفة الحسابية$O(hwM^2C)$ للانتباه في كل طبقة.
حجم البياناتمتوسطة إلى كبيرة؛ يتوفر تدريب مسبق على ImageNet.

المشكلة التي تحلها

ViT ينتج تمثيلاً أحادي المقياس بتكلفة تربيعية في عدد الرقع، ما يصعّب استخدامه كعمود فقري للكشف والتجزئة على صور عالية الدقة.

الخلفية والتطور

ما قبلها: محوّل الرؤية، الشبكة المتبقية

  1. 2021

    قدم Liu وزملاؤه Swin (ICCV 2021) بانتباه النوافذ المُزاحة. [مرجع]

  2. 2022

    قدم Swin V2 تحسينات للتوسع إلى نماذج ودقات أكبر. [مرجع]

  3. 2022

    استُخدم Swin كمشفّر في التجزئة الطبية ثلاثية الأبعاد (Swin UNETR). [مرجع]

الفكرة الأساسية

الصورة تُقسم إلى رقع صغيرة (4×4)، والانتباه يُحسب فقط داخل نوافذ M×M. في الطبقة التالية تُزاح النوافذ بمقدار ⌊M/2⌋ فتعبر الحدود السابقة. بين المراحل تُدمج كل 2×2 رقعة لتنصيف الدقة ومضاعفة القنوات، فتنتج هرمية تشبه CNN.

مثال: في تجزئة أورام بصور CT، تلتقط المراحل الأولى الحواف الدقيقة، والمراحل العميقة السياق التشريحي الواسع، ويستخدم المفكك كل المقاييس.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

الكتلتان W-MSA ثم SW-MSA تتعاقبان دائماً.

المكونات

المكوّنالوظيفة
Patch Partition + Linear Embeddingرقع 4×4 وإسقاط إلى C
W-MSAانتباه داخل نوافذ M×M
SW-MSAنوافذ مُزاحة بإزاحة دورية وقناع
Relative Position Biasانحياز موضعي نسبي متعلَّم
Patch Mergingتنصيف الدقة ومضاعفة القنوات
Hierarchical Stages4 مراحل: C، 2C، 4C، 8C

المعادلات

1. التكلفة: انتباه عام مقابل نوافذ

$$\Omega(\mathrm{MSA})=4hwC^2+2(hw)^2C,\qquad \Omega(\mathrm{W\text{-}MSA})=4hwC^2+2M^2hwC$$

الرموز
$h,w$أبعاد شبكة الرقع
$M$حجم النافذة
$C$القنوات
الأبعاد
عدد عمليات تقريبي
مثال عددي
$h=w=56$، $C=96$، $M=7$: الحد التربيعي $2(3136)^2(96)\approx1.89\times10^9$ مقابل $2(49)(3136)(96)\approx2.95\times10^7$، أي أصغر بـ $hw/M^2=64$ مرة.
علاقتها بالمعمارية
التكلفة تصبح خطية في عدد الرقع.

2. الانتباه مع الانحياز الموضعي النسبي

$$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt d}+B\right)V$$

الرموز
$B$انحياز يُقرأ من جدول $\hat B\in\mathbb{R}^{(2M-1)\times(2M-1)}$
الأبعاد
$Q,K,V\in\mathbb{R}^{M^2\times d}$، $B\in\mathbb{R}^{M^2\times M^2}$
مثال عددي
$M=7$ ⇒ الجدول $13\times13=169$ قيمة لكل رأس.
علاقتها بالمعمارية
يعطي حساسية للمواقع النسبية داخل النافذة.

3. دمج الرقع

$$x\in\mathbb{R}^{H\times W\times C}\;\rightarrow\;\mathrm{concat}_{2\times2}\in\mathbb{R}^{\frac H2\times\frac W2\times4C}\;\xrightarrow{\text{Linear}}\;\mathbb{R}^{\frac H2\times\frac W2\times2C}$$

الرموز
$concat$ضم 4 رقع متجاورة
الأبعاد
تنصيف الدقة ومضاعفة القنوات
مثال عددي
$56\times56\times96\rightarrow28\times28\times192$.
علاقتها بالمعمارية
يبني الهرمية متعددة المقاييس.

آلية العمل خطوة بخطوة

  1. قسّم الصورة إلى رقع 4×4 وأسقطها إلى C.
  2. طبّق كتلة W-MSA ثم كتلة SW-MSA.
  3. ادمج الرقع لتنصيف الدقة.
  4. كرر المراحل.
  5. استخدم خرائط السمات الهرمية للتصنيف أو كمشفّر للكشف والتجزئة.

المزايا والقيود

المزايا

  • تكلفة خطية في حجم الصورة.
  • سمات متعددة المقاييس تناسب الكشف والتجزئة.
  • انحياز محلية يقلل الحاجة للبيانات مقارنة بـ ViT.

القيود

  • تنفيذ أعقد (إزاحة دورية، أقنعة، انحياز نسبي).
  • المجال العام يُبنى تدريجياً عبر الطبقات.
  • حجم النافذة يقيّد الدقات المدعومة دون حشو.

متى تُستخدم؟ ومتى لا؟

تناسب

  • عمود فقري للكشف والتجزئة.
  • صور عالية الدقة.
  • مشفّر لنماذج طبية هجينة.

لا تناسب

  • مهام صغيرة جداً يكفي فيها CNN خفيفة.
  • أجهزة طرفية محدودة بلا دعم للعمليات المطلوبة.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةتصنيف وكشف وتجزئة.
تحليل الصور الطبيةSwin UNETR وSwin-Unet في التجزئة الطبية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Swin مصغّر: W-MSA وSW-MSA مع القناع والانحياز النسبي ودمج الرقع
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
def window_partition(x, M):                     # B×H×W×C → (B·nW)×M²×C
    B, H, W, C = x.shape
    x = x.view(B, H // M, M, W // M, M, C).permute(0, 1, 3, 2, 4, 5)
    return x.reshape(-1, M * M, C)

def window_reverse(w, M, H, W):                 # (B·nW)×M²×C → B×H×W×C
    B = w.shape[0] // ((H // M) * (W // M))
    x = w.view(B, H // M, W // M, M, M, -1).permute(0, 1, 3, 2, 4, 5)
    return x.reshape(B, H, W, -1)

class WindowAttention(nn.Module):
    """انتباه داخل نافذة M×M مع انحياز موضعي نسبي متعلَّم (جدول (2M−1)² لكل رأس)."""
    def __init__(self, C, M, heads):
        super().__init__()
        self.h, self.dk, self.M = heads, C // heads, M
        self.qkv, self.proj = nn.Linear(C, 3 * C), nn.Linear(C, C)
        self.bias_table = nn.Parameter(torch.zeros((2 * M - 1) ** 2, heads))
        coords = torch.stack(torch.meshgrid(torch.arange(M), torch.arange(M), indexing='ij')).flatten(1)   # 2×M²
        rel = (coords[:, :, None] - coords[:, None, :]).permute(1, 2, 0) + (M - 1)                         # M²×M²×2
        self.register_buffer('rel_index', rel[..., 0] * (2 * M - 1) + rel[..., 1])
    def forward(self, x, mask=None):            # x: (B·nW)×M²×C ؛ mask: nW×M²×M²
        Bw, N, C = x.shape
        q, k, v = self.qkv(x).view(Bw, N, 3, self.h, self.dk).permute(2, 0, 3, 1, 4)
        a = q @ k.transpose(-2, -1) / self.dk ** 0.5
        a = a + self.bias_table[self.rel_index].permute(2, 0, 1)[None]
        if mask is not None:
            nW = mask.shape[0]
            a = a.view(Bw // nW, nW, self.h, N, N) + mask[None, :, None]
            a = a.view(Bw, self.h, N, N)
        return self.proj((a.softmax(-1) @ v).transpose(1, 2).reshape(Bw, N, C))

class SwinBlock(nn.Module):
    def __init__(self, C, H, W, heads, M=4, shift=0):
        super().__init__()
        self.H, self.W, self.M, self.s = H, W, M, shift
        self.n1, self.attn, self.n2 = nn.LayerNorm(C), WindowAttention(C, M, heads), nn.LayerNorm(C)
        self.mlp = nn.Sequential(nn.Linear(C, 2 * C), nn.GELU(), nn.Linear(2 * C, C))
        mask = None
        if shift:                               # قناع يمنع الانتباه بين مناطق لم تكن متجاورة قبل الإزاحة الدورية
            img = torch.zeros(1, H, W, 1); cnt = 0
            for hs in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
                for ws in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
                    img[:, hs, ws, :] = cnt; cnt += 1
            win = window_partition(img, M).squeeze(-1)                      # nW×M²
            mask = (win[:, None, :] != win[:, :, None]).float() * -100.0
        self.register_buffer('mask', mask)
    def forward(self, x):                       # x: B×H×W×C
        y = self.n1(x)
        if self.s: y = torch.roll(y, (-self.s, -self.s), (1, 2))            # SW-MSA: إزاحة دورية
        y = window_reverse(self.attn(window_partition(y, self.M), self.mask), self.M, self.H, self.W)
        if self.s: y = torch.roll(y, (self.s, self.s), (1, 2))
        x = x + y
        return x + self.mlp(self.n2(x))

class PatchMerging(nn.Module):
    """دمج كل 2×2 رقعة متجاورة: الدقة المكانية تنصف والقنوات تتضاعف."""
    def __init__(self, C):
        super().__init__()
        self.norm, self.red = nn.LayerNorm(4 * C), nn.Linear(4 * C, 2 * C, bias=False)
    def forward(self, x):
        x = torch.cat([x[:, 0::2, 0::2], x[:, 1::2, 0::2], x[:, 0::2, 1::2], x[:, 1::2, 1::2]], -1)
        return self.red(self.norm(x))

class TinySwin(nn.Module):
    def __init__(self, C=16, n_classes=3):
        super().__init__()
        self.embed = nn.Conv2d(1, C, 2, 2)                                  # رقع 2×2 ⇒ شبكة 8×8
        self.stage1 = nn.Sequential(SwinBlock(C, 8, 8, 2, M=4, shift=0), SwinBlock(C, 8, 8, 2, M=4, shift=2))
        self.merge = PatchMerging(C)                                        # ⇒ 4×4×2C
        self.stage2 = SwinBlock(2 * C, 4, 4, 4, M=4, shift=0)
        self.norm, self.head = nn.LayerNorm(2 * C), nn.Linear(2 * C, n_classes)
    def forward(self, x):
        x = self.embed(x).permute(0, 2, 3, 1)                               # B×8×8×C
        x = self.stage2(self.merge(self.stage1(x)))
        return self.head(self.norm(x).mean((1, 2)))

# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 3, (n,))
    pos = torch.randint(2, 14, (n,))
    r = torch.arange(2, 14)
    for i in range(n):
        if y[i] == 0:   X[i, 0, pos[i], 2:14] += 1.5
        elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
        else:           X[i, 0, r, (r + pos[i]) % 16] += 1.5
    return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = TinySwin()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.9 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 15٬803.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

متقدم2022

سوين يو-نيتر

Swin UNETR (Swin-UNETR)

نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في…

المعماريات الهجينةمعماريات المحولات

متوسط2021

محوّلات الصور كفؤة البيانات

Data-efficient Image Transformers (DeiT)

طريقة لتدريب ViT على ImageNet-1k وحدها بزيادات بيانات وتنظيم قويين، مع "رمز تقطير" إضافي يتعلم من تنبؤات نموذج معلّم (غالباً CNN)، دون حاجة لمجموعات تدريب مسبق ضخمة.

معماريات المحولات

متوسط2021

الشبكات الهجينة CNN–Transformer

CNN-Transformer Hybrids

تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.

المعماريات الهجينةمعماريات المحولات

أفكار بحثية

  • دراسة أثر حجم النافذة على تجزئة آفات صغيرة في صور الرنين المغناطيسي.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما فائدة إزاحة النوافذ في Swin؟

  2. رياضي

    مع $hw=3136$ و$M=7$ كم مرة يصغر الحد التربيعي للانتباه بالنوافذ؟

  3. رياضي

    ماذا يفعل Patch Merging لخريطة $56\times56\times96$؟

المراجع

  1. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  2. Liu, Z., Hu, H., Lin, Y., Yao, Z., Xie, Z., Wei, Y., et al. (2022). Swin Transformer V2: Scaling up capacity and resolution. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11999–12009. https://doi.org/10.1109/CVPR52688.2022.01170

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  5. Cao, H., Wang, Y., Chen, J., Jiang, D., Zhang, X., Tian, Q., & Wang, M. (2023). Swin-Unet: Unet-like pure transformer for medical image segmentation. Computer Vision – ECCV 2022 Workshops, LNCS 13803, 205–218. https://doi.org/10.1007/978-3-031-25066-8_9

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20