كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالمعماريات الهجينةمعماريات المحولات

سوين يو-نيتر (Swin-UNETR)

Swin UNETR

نموذج تجزئة حجمي مشفّره Swin Transformer هرمي (نوافذ محلية مُزاحة ودمج رقع) يعطي سمات بخمسة مقاييس، تتصل بمفكك التفافي عبر وصلات تخطٍّ، وقد طُوّر لتجزئة أورام الدماغ في تحدي BraTS 2021.

نظرة عامة

الاسمسوين يو-نيتر – Swin UNETR
سنة الظهور2022
الباحثونAli Hatamizadeh، Vishwesh Nath، Yucheng Tang، Dong Yang، Holger R. Roth، Daguang Xu
الجهةNVIDIA
الورقة الأصليةSwin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images DOI arXiv
نوع البياناتصور
المجالاتتحليل الصور الطبية
الكلفة الحسابيةعالية لكن خطية في عدد الرموز.
حجم البياناتمئات الأحجام (BraTS: أكثر من 1000 حالة تدريب).

المشكلة التي تحلها

UNETR أحادي المقياس ويفقد التفاصيل، والانتباه العام على الأحجام مكلف. المشفّر الهرمي بالنوافذ يجمع الكفاءة وتعدد المقاييس.

الخلفية والتطور

ما قبلها: محوّل سوين، يو-نيتر، يو-نت

  1. 2021

    Swin Transformer للصور الطبيعية. [مرجع]

  2. 2022

    Swin UNETR في ورشة BrainLes (MICCAI 2021) لتجزئة أورام الدماغ. [مرجع]

الفكرة الأساسية

المشفّر يطبق كتل Swin ثلاثية الأبعاد (نوافذ مكعبة مُزاحة) مع دمج رقع بين المراحل، فينتج تمثيلات بدقات متناقصة. كل تمثيل يمر بكتلة التفافية متبقية ثم يُضم في المفكك عند المقياس نفسه، مثل U-Net تماماً.

مثال: تجزئة مناطق الورم الثلاث (النواة النخرية، الورم المعزز، الوذمة) من أربع وسائط MRI.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
3D patch partition
Swin blocks (W-MSA / SW-MSA)
Patch merging
Residual conv blocks on skips
CNN decoder

المعادلات

1. تكلفة الانتباه بالنوافذ (ثلاثي الأبعاد)

$$\Omega=4\,hwd\,C^2+2\,M^3\,hwd\,C$$

الرموز
$M$حجم النافذة
$hwd$عدد الرموز
الأبعاد
تقديرية
مثال عددي
$hwd=32^3=32768$، $M=7$، $C=48$: الحد الثاني $\approx2\times343\times32768\times48\approx1.08\times10^9$ مقابل $2(32768)^2(48)\approx1.03\times10^{11}$ للانتباه العام.
علاقتها بالمعمارية
تكلفة خطية في عدد الرموز.

2. معامل Dice وخسارة Dice الناعمة

$$\mathrm{Dice}=\frac{2|P\cap G|}{|P|+|G|},\qquad \mathcal{L}_{Dice}=1-\frac{2\sum_i p_ig_i+\epsilon}{\sum_ip_i+\sum_ig_i+\epsilon}$$

الرموز
$P,G$التنبؤ والحقيقة
$p_i$احتمال المقدمة للبكسل i
الأبعاد
قيمة بين 0 و1
مثال عددي
$|P|=80$، $|G|=70$، $|P\cap G|=65$ ⇒ Dice $=130/150\approx0.867$.
علاقتها بالمعمارية
مقياس وخسارة شائعان في التجزئة الطبية لأنهما يتعاملان جيداً مع عدم توازن المقدمة والخلفية.

آلية العمل خطوة بخطوة

  1. قسّم الحجم إلى رقع صغيرة.
  2. طبّق مراحل Swin مع الدمج.
  3. مرّر كل مقياس عبر كتلة التفافية.
  4. فكك مع الضم.
  5. درّب بـ Dice + CE.

المزايا والقيود

المزايا

  • تعدد مقاييس مع سياق واسع.
  • كفاءة النوافذ.
  • نتائج قوية في BraTS 2021 وفق المؤلفين.

القيود

  • تعقيد التنفيذ.
  • ذاكرة GPU كبيرة للأحجام.

متى تُستخدم؟ ومتى لا؟

تناسب

  • تجزئة حجمية تحتاج سياقاً وتفاصيل.

لا تناسب

  • بيانات ثنائية الأبعاد صغيرة تكفيها U-Net.

التطبيقات

المجالالاستخدام
تحليل الصور الطبيةتجزئة الأعضاء والأورام في CT وMRI.
الرؤية الحاسوبيةالتجزئة الدلالية للصور الطبيعية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

النسخة الأصلية ثلاثية الأبعاد بنوافذ 7³ وأربع مراحل؛ هنا نسخة ثنائية الأبعاد بثلاث مراحل ونافذة 4×4 تعيد استخدام كتل Swin من صفحة Swin.

Python (PyTorch)
# Swin UNETR ثنائي الأبعاد مصغّر: مشفّر Swin هرمي + مفكك التفافي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
def window_partition(x, M):                     # B×H×W×C → (B·nW)×M²×C
    B, H, W, C = x.shape
    x = x.view(B, H // M, M, W // M, M, C).permute(0, 1, 3, 2, 4, 5)
    return x.reshape(-1, M * M, C)

def window_reverse(w, M, H, W):                 # (B·nW)×M²×C → B×H×W×C
    B = w.shape[0] // ((H // M) * (W // M))
    x = w.view(B, H // M, W // M, M, M, -1).permute(0, 1, 3, 2, 4, 5)
    return x.reshape(B, H, W, -1)

class WindowAttention(nn.Module):
    """انتباه داخل نافذة M×M مع انحياز موضعي نسبي متعلَّم (جدول (2M−1)² لكل رأس)."""
    def __init__(self, C, M, heads):
        super().__init__()
        self.h, self.dk, self.M = heads, C // heads, M
        self.qkv, self.proj = nn.Linear(C, 3 * C), nn.Linear(C, C)
        self.bias_table = nn.Parameter(torch.zeros((2 * M - 1) ** 2, heads))
        coords = torch.stack(torch.meshgrid(torch.arange(M), torch.arange(M), indexing='ij')).flatten(1)   # 2×M²
        rel = (coords[:, :, None] - coords[:, None, :]).permute(1, 2, 0) + (M - 1)                         # M²×M²×2
        self.register_buffer('rel_index', rel[..., 0] * (2 * M - 1) + rel[..., 1])
    def forward(self, x, mask=None):            # x: (B·nW)×M²×C ؛ mask: nW×M²×M²
        Bw, N, C = x.shape
        q, k, v = self.qkv(x).view(Bw, N, 3, self.h, self.dk).permute(2, 0, 3, 1, 4)
        a = q @ k.transpose(-2, -1) / self.dk ** 0.5
        a = a + self.bias_table[self.rel_index].permute(2, 0, 1)[None]
        if mask is not None:
            nW = mask.shape[0]
            a = a.view(Bw // nW, nW, self.h, N, N) + mask[None, :, None]
            a = a.view(Bw, self.h, N, N)
        return self.proj((a.softmax(-1) @ v).transpose(1, 2).reshape(Bw, N, C))

class SwinBlock(nn.Module):
    def __init__(self, C, H, W, heads, M=4, shift=0):
        super().__init__()
        self.H, self.W, self.M, self.s = H, W, M, shift
        self.n1, self.attn, self.n2 = nn.LayerNorm(C), WindowAttention(C, M, heads), nn.LayerNorm(C)
        self.mlp = nn.Sequential(nn.Linear(C, 2 * C), nn.GELU(), nn.Linear(2 * C, C))
        mask = None
        if shift:                               # قناع يمنع الانتباه بين مناطق لم تكن متجاورة قبل الإزاحة الدورية
            img = torch.zeros(1, H, W, 1); cnt = 0
            for hs in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
                for ws in (slice(0, -M), slice(-M, -shift), slice(-shift, None)):
                    img[:, hs, ws, :] = cnt; cnt += 1
            win = window_partition(img, M).squeeze(-1)                      # nW×M²
            mask = (win[:, None, :] != win[:, :, None]).float() * -100.0
        self.register_buffer('mask', mask)
    def forward(self, x):                       # x: B×H×W×C
        y = self.n1(x)
        if self.s: y = torch.roll(y, (-self.s, -self.s), (1, 2))            # SW-MSA: إزاحة دورية
        y = window_reverse(self.attn(window_partition(y, self.M), self.mask), self.M, self.H, self.W)
        if self.s: y = torch.roll(y, (self.s, self.s), (1, 2))
        x = x + y
        return x + self.mlp(self.n2(x))

class PatchMerging(nn.Module):
    """دمج كل 2×2 رقعة متجاورة: الدقة المكانية تنصف والقنوات تتضاعف."""
    def __init__(self, C):
        super().__init__()
        self.norm, self.red = nn.LayerNorm(4 * C), nn.Linear(4 * C, 2 * C, bias=False)
    def forward(self, x):
        x = torch.cat([x[:, 0::2, 0::2], x[:, 1::2, 0::2], x[:, 0::2, 1::2], x[:, 1::2, 1::2]], -1)
        return self.red(self.norm(x))

def conv(ci, co):
    return nn.Sequential(nn.Conv2d(ci, co, 3, padding=1), nn.InstanceNorm2d(co, affine=True), nn.LeakyReLU(0.01))

class SwinUNETR2D(nn.Module):
    """مشفّر Swin هرمي (نوافذ عادية ثم مُزاحة + دمج رقع) يغذي مفككاً التفافياً بوصلات تخطٍّ عند كل مقياس."""
    def __init__(self, k=2, C=16, M=4):
        super().__init__()
        self.embed = nn.Conv2d(1, C, 2, 2)                                               # 32 → 16×16×C
        self.s1 = nn.Sequential(SwinBlock(C, 16, 16, 2, M, 0), SwinBlock(C, 16, 16, 2, M, 2))
        self.m1 = PatchMerging(C)                                                        # → 8×8×2C
        self.s2 = nn.Sequential(SwinBlock(2 * C, 8, 8, 4, M, 0), SwinBlock(2 * C, 8, 8, 4, M, 2))
        self.m2 = PatchMerging(2 * C)                                                    # → 4×4×4C
        self.s3 = SwinBlock(4 * C, 4, 4, 4, M, 0)
        self.enc0 = conv(1, C)                                                           # مقياس الصورة الأصلية
        self.up3, self.dec3 = nn.ConvTranspose2d(4 * C, 2 * C, 2, 2), conv(4 * C, 2 * C)
        self.up2, self.dec2 = nn.ConvTranspose2d(2 * C, C, 2, 2), conv(2 * C, C)
        self.up1, self.dec1 = nn.ConvTranspose2d(C, C, 2, 2), conv(2 * C, C)
        self.out = nn.Conv2d(C, k, 1)
    def forward(self, x):
        h1 = self.s1(self.embed(x).permute(0, 2, 3, 1))                                  # B×16×16×C
        h2 = self.s2(self.m1(h1)); h3 = self.s3(self.m2(h2))
        t = lambda h: h.permute(0, 3, 1, 2)
        d = self.dec3(torch.cat([self.up3(t(h3)), t(h2)], 1))
        d = self.dec2(torch.cat([self.up2(d), t(h1)], 1))
        d = self.dec1(torch.cat([self.up1(d), self.enc0(x)], 1))
        return self.out(d)

# 3) إعداد البيانات
# صور 32×32 فيها دائرة واحدة بموضع ونصف قطر عشوائيين وضوضاء قوية؛ الهدف قناع الدائرة
def make(n, S=32):
    yy, xx = torch.meshgrid(torch.arange(S), torch.arange(S), indexing='ij')
    cx, cy, r = torch.randint(8, 24, (n,)), torch.randint(8, 24, (n,)), torch.randint(4, 8, (n,))
    mask = ((xx[None] - cx[:, None, None]) ** 2 + (yy[None] - cy[:, None, None]) ** 2 < r[:, None, None] ** 2).long()
    X = mask[:, None].float() + 0.4 * torch.randn(n, 1, S, S)
    return X, mask
X_train, y_train = make(384)
X_test, y_test = make(96)

def dice(pred, target):
    inter = ((pred == 1) & (target == 1)).sum().item()
    return 2 * inter / max(1, (pred == 1).sum().item() + (target == 1).sum().item())
model = SwinUNETR2D()

# 4) دالة الخسارة (Cross-Entropy + Dice ناعمة، شائعة في التجزئة الطبية) والمحسّن
def soft_dice_loss(logits, target):
    p = logits.softmax(1)[:, 1]; t = target.float()
    return 1 - (2 * (p * t).sum() + 1) / (p.sum() + t.sum() + 1)
opt = torch.optim.AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4)

# 5) حلقة التدريب
EPOCHS, BATCH = 15, 16
for epoch in range(EPOCHS):
    model.train()
    perm, tot = torch.randperm(len(X_train)), 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        logits = model(X_train[idx])                                       # Forward Pass: B×2×H×W
        loss = F.cross_entropy(logits, y_train[idx]) + soft_dice_loss(logits, y_train[idx])
        opt.zero_grad(); loss.backward(); opt.step()
        tot += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={tot / len(X_train):.4f}")

# 6) التقييم بمعامل Dice على صور الاختبار
model.eval()
with torch.no_grad():
    pred = model(X_test).argmax(1)
print(f"test Dice = {dice(pred, y_test):.3f}")

# 7) الاستدلال: قناع صورة جديدة
with torch.no_grad():
    m = model(X_test[:1]).argmax(1)[0]
print("predicted foreground pixels:", int(m.sum()), " true:", int(y_test[0].sum()))

نُفّذ هذا الكود بتاريخ 2026-11-20 في 15.8 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test Dice = 0.988

عدد المعاملات القابلة للتدريب في المثال: model = 105٬890.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2021

محوّل سوين

Swin Transformer

محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…

معماريات المحولات

متقدم2022

يو-نيتر

UNETR

نموذج تجزئة ثلاثي الأبعاد مشفّره ViT خالص على رقع حجمية 16³، تُؤخذ تمثيلات من طبقاته (3، 6، 9، 12) وتُعاد تشكيلها وترفع بالالتفاف المعكوس لتغذي مفككاً التفافياً عبر وصلا…

المعماريات الهجينةمعماريات المحولات

متوسط2021

ترانس-يو-نت

TransUNet

نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…

المعماريات الهجينةمعماريات المحولات

متوسط2021

يو-نت مع المحوّلات

U-Net + Transformer (U-Net+Transformer)

عائلة نماذج تجزئة تحتفظ بشكل U-Net (مشفّر–مفكك بوصلات تخطٍّ) وتُدخل المحوّل في موضع ما: عنق الزجاجة، أو المشفّر كاملاً، أو كل المعمارية (نموذج محوّل خالص على شكل U).

المعماريات الهجينةمعماريات المحولات

أساسي2015

يو-نت

U-Net

معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.

الأساسياتالمعماريات الهجينة

أفكار بحثية

  • Swin UNETR مع تدريب مسبق ذاتي الإشراف لتجزئة آفات التصلب المتعدد ببيانات محلية محدودة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما ميزة مشفّر Swin على ViT في UNETR؟

  2. مفهوم

    لأي تحدٍّ طُوّر Swin UNETR؟

  3. مفهوم

    ماذا يحدث للدقة بعد دمج الرقع (Patch Merging)؟

المراجع

  1. Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin transformers for semantic segmentation of brain tumors in MRI images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries (BrainLes 2021), LNCS 12962, 272–284. https://doi.org/10.1007/978-3-031-08999-2_22

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  2. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), 9992–10002. https://doi.org/10.1109/ICCV48922.2021.00986

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). UNETR: Transformers for 3D medical image segmentation. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 1748–1758. https://doi.org/10.1109/WACV51458.2022.00181

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  4. Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS 9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20