كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطالمعماريات الهجينةمعماريات المحولات

الشبكات الهجينة CNN–Transformer (CNN-Transformer)

CNN-Transformer Hybrids

تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.

نظرة عامة

الاسمالشبكات الهجينة CNN–Transformer – CNN-Transformer Hybrids
سنة الظهور2021
الباحثونعائلة تصاميم؛ أمثلة مرجعية: Dai وLiu وLe وTan (CoAtNet 2021)، Wu وزملاؤه (CvT 2021)، Carion وزملاؤه (DETR 2020)
الورقة الأصليةCoAtNet: Marrying convolution and attention for all data sizes arXiv
نوع البياناتصور
المجالاتالرؤية الحاسوبية، تحليل الصور الطبية
الكلفة الحسابيةالتفاف $O(HWk^2C^2)$ + انتباه $O(N^2d)$ على رموز مخفّضة.
حجم البياناتمتوسطة إلى كبيرة.

المشكلة التي تحلها

CNN ضعيفة في العلاقات بعيدة المدى، وViT يحتاج بيانات كثيرة ومكلف على الدقة العالية. الدمج يحاول الجمع بين المزايا.

الخلفية والتطور

ما قبلها: الشبكة العصبية الالتفافية، الشبكة المتبقية، محوّل الرؤية، المحوّل

  1. 2020

    DETR: عمود فقري ResNet ثم Transformer مشفّر–مفكك للكشف. [مرجع]

  2. 2021

    ViT الهجين في ورقة ViT نفسها: رقع من خريطة سمات ResNet. [مرجع]

  3. 2021

    CvT: إسقاطات التفافية داخل المحوّل. [مرجع]

  4. 2021

    CoAtNet: مراحل التفافية ثم انتباه نسبي، ودمج نواة الالتفاف في الانتباه. [مرجع]

الفكرة الأساسية

الطبقات الأولى تحتاج محلية (حواف، نسيج) فيناسبها الالتفاف، والطبقات العميقة تحتاج علاقات عامة فيناسبها الانتباه. كما أن تقليل الدقة بالالتفاف أولاً يقلل عدد الرموز فيصبح الانتباه أرخص.

مثال: في صورة أشعة صدر، يكشف الجزء الالتفافي العُقيدات الصغيرة، ويربط المحوّل بين علامات في الرئتين معاً لتقدير شدة المرض.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Convolutional stem/stagesسمات محلية وتقليل الدقة
Tokenization of feature mapكل موقع رمز
Positional encoding / relative bias
Transformer layersسياق عام
Task head

المعادلات

1. الانتباه النسبي الممزوج بالالتفاف (CoAtNet)

$$y_i=\sum_{j\in\mathcal{G}}\frac{\exp\!\left(x_i^{\top}x_j+w_{i-j}\right)}{\sum_{k\in\mathcal{G}}\exp\!\left(x_i^{\top}x_k+w_{i-k}\right)}\,x_j$$

الرموز
$w_{i-j}$نواة تعتمد على الإزاحة النسبية (مثل الالتفاف)
$\mathcal{G}$المجال العام
الأبعاد
$y_i\in\mathbb{R}^{d}$
مثال عددي
إذا تساوت $x_i^\top x_j$ لكل j، يحدد $w_{i-j}$ وحده الأوزان، أي سلوك يشبه الالتفاف.
علاقتها بالمعمارية
يجمع ثبات الإزاحة (التفاف) مع التكيف حسب المحتوى (انتباه).

2. عدد الرموز بعد الجذع الالتفافي

$$N=\frac{H}{s}\cdot\frac{W}{s}$$

الرموز
$s$معامل التقليل الكلي
الأبعاد
عدد صحيح
مثال عددي
$224\times224$ مع $s=16$: $N=196$، ومصفوفة الانتباه $196^2\approx3.8\times10^4$ بدل $(224^2)^2\approx2.5\times10^9$ على البكسلات.
علاقتها بالمعمارية
سبب كفاءة الدمج.

آلية العمل خطوة بخطوة

  1. طبّق مراحل التفافية لتقليل الدقة.
  2. حوّل خريطة السمات إلى رموز مع ترميز موضعي.
  3. طبّق طبقات محوّل.
  4. صنّف أو فكك حسب المهمة.

المزايا والقيود

المزايا

  • تعميم أفضل ببيانات متوسطة مقارنة بـ ViT الخالص.
  • سياق عام بتكلفة أقل.
  • مرونة لمهام كثيرة.

القيود

  • معاملات تصميم كثيرة (أين يبدأ الانتباه؟).
  • تعقيد تنفيذي أكبر من نموذج موحد.

متى تُستخدم؟ ومتى لا؟

تناسب

  • صور تحتاج سياقاً عاماً ببيانات متوسطة.
  • عمود فقري للكشف.

لا تناسب

  • مهام محلية بسيطة تكفيها CNN.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةالتصنيف والكشف (DETR).
تحليل الصور الطبيةتحليل صور الأشعة والشرائح النسيجية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# CNN + Transformer: مقارنة شكلين متباعدين في الصورة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class CNNTransformer(nn.Module):
    """جذع التفافي يستخرج سمات محلية ويقلل الدقة، ثم محوّل يربط المناطق البعيدة ببعضها."""
    def __init__(self, d=32, n_classes=2):
        super().__init__()
        self.stem = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(2),
                                  nn.Conv2d(16, d, 3, padding=1), nn.BatchNorm2d(d), nn.ReLU(), nn.MaxPool2d(2))   # 16×16 → 4×4
        self.pos = nn.Parameter(torch.randn(1, 16, d) * 0.02)
        self.cls = nn.Parameter(torch.zeros(1, 1, d))
        layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
        self.tf = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)
        self.head = nn.Linear(d, n_classes)
    def forward(self, x):
        t = self.stem(x).flatten(2).transpose(1, 2) + self.pos              # 16 رمزاً من خريطة السمات
        t = torch.cat([self.cls.expand(len(t), -1, -1), t], 1)
        return self.head(self.tf(t)[:, 0])

# 3) إعداد البيانات
# صورتان صغيرتان (مربع أو علامة +) في ركنين متباعدين؛ الفئة 1 إذا كان الشكلان متطابقين (تحتاج علاقة بعيدة المدى)
def shape(kind):
    s = torch.zeros(4, 4)
    if kind == 0: s[0, :] = s[-1, :] = s[:, 0] = s[:, -1] = 1      # مربع مفرغ
    else: s[1:3, :] = 0; s[:, 1:3] = 1; s[1:3, :] = 1              # علامة +
    return s
def make(n):
    X = torch.randn(n, 1, 16, 16) * 0.3
    a, b = torch.randint(0, 2, (n,)), torch.randint(0, 2, (n,))
    for i in range(n):
        r1, c1 = torch.randint(0, 4, (2,)); r2, c2 = torch.randint(8, 12, (2,))
        X[i, 0, r1:r1 + 4, c1:c1 + 4] += shape(a[i]) * 1.5
        X[i, 0, r2:r2 + 4, c2:c2 + 4] += shape(b[i]) * 1.5
    return X, (a == b).long()
X_train, y_train = make(1500)
X_test, y_test = make(400)
model = CNNTransformer()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 7.8 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 22٬594.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

مبتدئ1998

الشبكة العصبية الالتفافية

Convolutional Neural Network (CNN)

شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.

الأساسيات

متوسط2021

ترانس-يو-نت

TransUNet

نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…

المعماريات الهجينةمعماريات المحولات

متقدم2021

محوّل سوين

Swin Transformer

محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…

معماريات المحولات

أساسي2018

الشبكات الالتفافية المعززة بالانتباه

Attention-based CNN (Attention CNN)

شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.

المعماريات الهجينة

أفكار بحثية

  • مقارنة نقاط بدء الانتباه في نموذج هجين لتصنيف صور الشبكية ببيانات محدودة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    لماذا يوضع الالتفاف غالباً قبل المحوّل في التصاميم الهجينة؟

  2. رياضي

    صورة $64\times64$ مع تقليل كلي $s=8$: كم رمزاً؟

  3. رياضي

    ما الذي يضيفه الحد $w_{i-j}$ في CoAtNet؟

المراجع

  1. Dai, Z., Liu, H., Le, Q. V., & Tan, M. (2021). CoAtNet: Marrying convolution and attention for all data sizes. Advances in Neural Information Processing Systems (NeurIPS) 34. https://arxiv.org/abs/2106.04803

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Wu, H., Xiao, B., Codella, N., Liu, M., Dai, X., Yuan, L., & Zhang, L. (2021). CvT: Introducing convolutions to vision transformers. IEEE/CVF International Conference on Computer Vision (ICCV), 22–31. https://doi.org/10.1109/ICCV48922.2021.00009

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-end object detection with transformers. European Conference on Computer Vision (ECCV), LNCS 12346, 213–229. https://doi.org/10.1007/978-3-030-58452-8_13

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  4. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20