كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

أساسيالمعماريات الهجينة

الشبكات الالتفافية المعززة بالانتباه (Attention CNN)

Attention-based CNN

شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.

نظرة عامة

الاسمالشبكات الالتفافية المعززة بالانتباه – Attention-based CNN
سنة الظهور2018
الباحثونأمثلة مرجعية: Jie Hu، Li Shen، Gang Sun (SE-Net)؛ Sanghyun Woo وزملاؤه (CBAM)
الورقة الأصليةSqueeze-and-excitation networks DOI arXiv
نوع البياناتصور
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية
الكلفة الحسابيةإضافة صغيرة جداً على CNN.
حجم البياناتكما في CNN الأساسية.

المشكلة التي تحلها

الالتفاف يعامل كل القنوات والمواقع بالتساوي داخل الطبقة؛ بعض السمات أو المناطق أهم لقرار معين، ولا توجد آلية صريحة لإبرازها.

الخلفية والتطور

ما قبلها: الشبكة العصبية الالتفافية، الشبكة المتبقية، آلية الانتباه

  1. 2018

    SE-Net: انتباه القنوات (فاز بمسابقة ILSVRC 2017 للتصنيف). [مرجع]

  2. 2018

    CBAM: انتباه قنوات ثم انتباه مكاني متسلسل. [مرجع]

  3. 2018

    Attention U-Net: بوابات انتباه في وصلات التخطي. [مرجع]

الفكرة الأساسية

SE: اضغط كل قناة إلى رقم (متوسط عام)، مرره عبر MLP صغير، واستخدم Sigmoid لإنتاج وزن لكل قناة. الانتباه المكاني: لخص القنوات بمتوسط وأقصى في كل موقع، والتفاف 7×7، وSigmoid لخريطة أوزان. تضرب الأوزان في السمات.

مثال: في صورة شبكية، يبرز الانتباه المكاني مناطق النزيف الصغيرة، ويبرز انتباه القنوات سمات اللون الأحمر.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
SE blockSqueeze → Excitation → Scale
CBAM channel attentionمتوسط وأقصى
CBAM spatial attentionالتفاف 7×7
Backbone CNN

المعادلات

1. Squeeze-and-Excitation

$$z_c=\frac{1}{HW}\sum_{i,j}u_c(i,j),\qquad s=\sigma\big(W_2\,\delta(W_1z)\big),\qquad \tilde x_c=s_c\,u_c$$

الرموز
$W_1$$\frac Cr\times C$
$W_2$$C\times\frac Cr$
$\delta$ReLU
الأبعاد
$s\in(0,1)^{C}$
مثال عددي
$C=256$، $r=16$: معاملات $W_1,W_2$ $=2\times256^2/16=8192$ فقط.
علاقتها بالمعمارية
إعادة معايرة القنوات حسب السياق العام.

2. الانتباه المكاني (CBAM)

$$M_s(F)=\sigma\!\left(f^{7\times7}\big([\mathrm{AvgPool}_c(F);\,\mathrm{MaxPool}_c(F)]\big)\right)$$

الرموز
$f^{7\times7}$التفاف
$_c$عبر القنوات
الأبعاد
$M_s\in(0,1)^{1\times H\times W}$
مثال عددي
موقع بمتوسط قنوات 0.8 وأقصى 2.0 يحصل غالباً على وزن أعلى من خلفية بمتوسط 0.1.
علاقتها بالمعمارية
يحدد أين ينظر النموذج.

آلية العمل خطوة بخطوة

  1. احسب سمات الالتفاف.
  2. طبّق انتباه القنوات.
  3. طبّق الانتباه المكاني.
  4. تابع الطبقات.

المزايا والقيود

المزايا

  • تحسينات بتكلفة صغيرة.
  • سهل الإضافة لأي CNN.
  • خرائط مكانية قابلة للعرض.

القيود

  • الخرائط ليست تفسيراً سببياً مضموناً.
  • المكاسب تختلف حسب البيانات.

متى تُستخدم؟ ومتى لا؟

تناسب

  • تحسين CNN قائمة بتكلفة صغيرة.

لا تناسب

  • حين تكون الكلفة الإضافية أو التعقيد غير مقبولين على أجهزة دقيقة جداً.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةالتصنيف والكشف.
تحليل الصور الطبيةتصنيف صور الشبكية والجلد والأشعة.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# CNN مع SE وانتباه مكاني (CBAM) — مع فحص خريطة الانتباه
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class SEBlock(nn.Module):
    """Squeeze-and-Excitation: متوسط عام لكل قناة → MLP → أوزان بين 0 و1 تعيد معايرة القنوات."""
    def __init__(self, C, r=4):
        super().__init__()
        self.fc = nn.Sequential(nn.Linear(C, C // r), nn.ReLU(), nn.Linear(C // r, C), nn.Sigmoid())
    def forward(self, x):
        self.w = self.fc(x.mean((2, 3)))
        return x * self.w[:, :, None, None]

class SpatialAttention(nn.Module):
    """الانتباه المكاني في CBAM: متوسط وأقصى عبر القنوات → التفاف 7×7 → خريطة أوزان مكانية."""
    def __init__(self):
        super().__init__(); self.conv = nn.Conv2d(2, 1, 7, padding=3)
    def forward(self, x):
        self.map = torch.sigmoid(self.conv(torch.cat([x.mean(1, keepdim=True), x.amax(1, keepdim=True)], 1)))
        return x * self.map

class AttentionCNN(nn.Module):
    def __init__(self, n_classes=3):
        super().__init__()
        self.c1 = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.BatchNorm2d(16), nn.ReLU())
        self.se1, self.sa1 = SEBlock(16), SpatialAttention()
        self.c2 = nn.Sequential(nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.BatchNorm2d(32), nn.ReLU())
        self.se2 = SEBlock(32)
        self.head = nn.Linear(32, n_classes)
    def forward(self, x):
        h = self.sa1(self.se1(self.c1(x)))          # انتباه قنوات ثم انتباه مكاني (ترتيب CBAM)
        h = self.se2(self.c2(h))
        return self.head(h.mean((2, 3)))

# 3) إعداد البيانات
# صور 16×16 اصطناعية بثلاث فئات: خط أفقي (0)، خط رأسي (1)، خط قطري (2)، بموضع عشوائي وضوضاء
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 3, (n,))
    pos = torch.randint(2, 14, (n,))
    r = torch.arange(2, 14)
    for i in range(n):
        if y[i] == 0:   X[i, 0, pos[i], 2:14] += 1.5
        elif y[i] == 1: X[i, 0, 2:14, pos[i]] += 1.5
        else:           X[i, 0, r, (r + pos[i]) % 16] += 1.5
    return X, y
X_train, y_train = make(900)
X_test, y_test = make(300)
model = AttentionCNN()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 8, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

# 8) فحص الانتباه المكاني: هل تتركز الخريطة على الخط؟ (نسبة متوسط الوزن على بكسلات الخط إلى الخلفية)
with torch.no_grad():
    model(X_test[:200])
    m = model.sa1.map[:, 0]
    on = (X_test[:200, 0] > 0.9).float()
    ratio = ((m * on).sum() / on.sum()) / ((m * (1 - on)).sum() / (1 - on).sum())
print(f"spatial attention on line pixels / background = {ratio.item():.2f}")

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.3 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 5٬794.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

أساسي2018

يو-نت بالانتباه

Attention U-Net

U-Net مع بوابات انتباه (attention gates) على وصلات التخطي تتعلم إبراز المناطق ذات الصلة وكتم الخلفية قبل دمج السمات.

المعماريات الهجينة

متوسط2021

الشبكات الهجينة CNN–Transformer

CNN-Transformer Hybrids

تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.

المعماريات الهجينةمعماريات المحولات

أساسي2016

الشبكة المتبقية

Residual Network (ResNet)

تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.

الأساسيات

أفكار بحثية

  • أثر وحدات SE وCBAM على معايرة الاحتمالات في تصنيف صور الجلد.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ماذا تفعل خطوة Squeeze في SE؟

  2. رياضي

    كم معاملاً لـ SE مع $C=128$ و$r=8$ (دون انحيازات)؟

  3. مفهوم

    ما مدخلا الالتفاف في الانتباه المكاني لـ CBAM؟

المراجع

  1. Hu, J., Shen, L., & Sun, G. (2018). Squeeze-and-excitation networks. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 7132–7141. https://doi.org/10.1109/CVPR.2018.00745

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  2. Woo, S., Park, J., Lee, J.-Y., & Kweon, I. S. (2018). CBAM: Convolutional block attention module. European Conference on Computer Vision (ECCV), LNCS 11211, 3–19. https://doi.org/10.1007/978-3-030-01234-2_1

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Oktay, O., Schlemper, J., Le Folgoc, L., Lee, M., Heinrich, M., Misawa, K., et al. (2018). Attention U-Net: Learning where to look for the pancreas. Medical Imaging with Deep Learning (MIDL). https://arxiv.org/abs/1804.03999

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20