الشبكات الهجينة CNN–Transformer (CNN-Transformer)
CNN-Transformer Hybrids
تصاميم تجمع الالتفاف (انحياز محلي، كفاءة، تعميم ببيانات أقل) مع الانتباه (سياق عام، سعة كبيرة): غالباً جذع أو مراحل التفافية أولاً ثم طبقات محوّل على خريطة السمات.
نظرة عامة
| الاسم | الشبكات الهجينة CNN–Transformer – CNN-Transformer Hybrids |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | عائلة تصاميم؛ أمثلة مرجعية: Dai وLiu وLe وTan (CoAtNet 2021)، Wu وزملاؤه (CvT 2021)، Carion وزملاؤه (DETR 2020) |
| الورقة الأصلية | CoAtNet: Marrying convolution and attention for all data sizes arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | التفاف $O(HWk^2C^2)$ + انتباه $O(N^2d)$ على رموز مخفّضة. |
| حجم البيانات | متوسطة إلى كبيرة. |
المشكلة التي تحلها
CNN ضعيفة في العلاقات بعيدة المدى، وViT يحتاج بيانات كثيرة ومكلف على الدقة العالية. الدمج يحاول الجمع بين المزايا.
الخلفية والتطور
ما قبلها: الشبكة العصبية الالتفافية، الشبكة المتبقية، محوّل الرؤية، المحوّل
الفكرة الأساسية
الطبقات الأولى تحتاج محلية (حواف، نسيج) فيناسبها الالتفاف، والطبقات العميقة تحتاج علاقات عامة فيناسبها الانتباه. كما أن تقليل الدقة بالالتفاف أولاً يقلل عدد الرموز فيصبح الانتباه أرخص.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Convolutional stem/stages | سمات محلية وتقليل الدقة |
| Tokenization of feature map | كل موقع رمز |
| Positional encoding / relative bias | |
| Transformer layers | سياق عام |
| Task head |
المعادلات
1. الانتباه النسبي الممزوج بالالتفاف (CoAtNet)
| $w_{i-j}$ | نواة تعتمد على الإزاحة النسبية (مثل الالتفاف) |
| $\mathcal{G}$ | المجال العام |
2. عدد الرموز بعد الجذع الالتفافي
| $s$ | معامل التقليل الكلي |
آلية العمل خطوة بخطوة
- طبّق مراحل التفافية لتقليل الدقة.
- حوّل خريطة السمات إلى رموز مع ترميز موضعي.
- طبّق طبقات محوّل.
- صنّف أو فكك حسب المهمة.
المزايا والقيود
المزايا
- تعميم أفضل ببيانات متوسطة مقارنة بـ ViT الخالص.
- سياق عام بتكلفة أقل.
- مرونة لمهام كثيرة.
القيود
- معاملات تصميم كثيرة (أين يبدأ الانتباه؟).
- تعقيد تنفيذي أكبر من نموذج موحد.
متى تُستخدم؟ ومتى لا؟
تناسب
- صور تحتاج سياقاً عاماً ببيانات متوسطة.
- عمود فقري للكشف.
لا تناسب
- مهام محلية بسيطة تكفيها CNN.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | التصنيف والكشف (DETR). |
| تحليل الصور الطبية | تحليل صور الأشعة والشرائح النسيجية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# CNN + Transformer: مقارنة شكلين متباعدين في الصورة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class CNNTransformer(nn.Module):
"""جذع التفافي يستخرج سمات محلية ويقلل الدقة، ثم محوّل يربط المناطق البعيدة ببعضها."""
def __init__(self, d=32, n_classes=2):
super().__init__()
self.stem = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(2),
nn.Conv2d(16, d, 3, padding=1), nn.BatchNorm2d(d), nn.ReLU(), nn.MaxPool2d(2)) # 16×16 → 4×4
self.pos = nn.Parameter(torch.randn(1, 16, d) * 0.02)
self.cls = nn.Parameter(torch.zeros(1, 1, d))
layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
self.tf = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)
self.head = nn.Linear(d, n_classes)
def forward(self, x):
t = self.stem(x).flatten(2).transpose(1, 2) + self.pos # 16 رمزاً من خريطة السمات
t = torch.cat([self.cls.expand(len(t), -1, -1), t], 1)
return self.head(self.tf(t)[:, 0])
# 3) إعداد البيانات
# صورتان صغيرتان (مربع أو علامة +) في ركنين متباعدين؛ الفئة 1 إذا كان الشكلان متطابقين (تحتاج علاقة بعيدة المدى)
def shape(kind):
s = torch.zeros(4, 4)
if kind == 0: s[0, :] = s[-1, :] = s[:, 0] = s[:, -1] = 1 # مربع مفرغ
else: s[1:3, :] = 0; s[:, 1:3] = 1; s[1:3, :] = 1 # علامة +
return s
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
a, b = torch.randint(0, 2, (n,)), torch.randint(0, 2, (n,))
for i in range(n):
r1, c1 = torch.randint(0, 4, (2,)); r2, c2 = torch.randint(8, 12, (2,))
X[i, 0, r1:r1 + 4, c1:c1 + 4] += shape(a[i]) * 1.5
X[i, 0, r2:r2 + 4, c2:c2 + 4] += shape(b[i]) * 1.5
return X, (a == b).long()
X_train, y_train = make(1500)
X_test, y_test = make(400)
model = CNNTransformer()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 7.8 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 22٬594.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مصمم المعماريات العصبية
- مختبر الرؤية الحاسوبية قسم آخر في الموقع
معماريات مرتبطة
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
ترانس-يو-نت
TransUNet
نموذج تجزئة طبية يستخدم مشفّراً هجيناً: CNN (ResNet-50) تستخرج خريطة سمات، تُقسم إلى رقع وتُمرر عبر ViT، ثم مفكك متتالٍ لرفع الدقة (CUP) يدمج سمات CNN عالية الدقة عبر وص…
محوّل سوين
Swin Transformer
محوّل رؤية هرمي يحسب الانتباه داخل نوافذ محلية غير متداخلة، ويزيح النوافذ في الطبقات المتعاقبة لتبادل المعلومات بينها، مع دمج الرقع لبناء خرائط سمات متعددة المقاييس بتكل…
الشبكات الالتفافية المعززة بالانتباه
Attention-based CNN (Attention CNN)
شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة نقاط بدء الانتباه في نموذج هجين لتصنيف صور الشبكية ببيانات محدودة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يوضع الالتفاف غالباً قبل المحوّل في التصاميم الهجينة؟
لماذا؟ الانتباه تربيعي في عدد الرموز.
صورة $64\times64$ مع تقليل كلي $s=8$: كم رمزاً؟
لماذا؟ $(64/8)^2=64$.
ما الذي يضيفه الحد $w_{i-j}$ في CoAtNet؟
لماذا؟ يجمع الالتفاف والانتباه.
المراجع
Dai, Z., Liu, H., Le, Q. V., & Tan, M. (2021). CoAtNet: Marrying convolution and attention for all data sizes. Advances in Neural Information Processing Systems (NeurIPS) 34. https://arxiv.org/abs/2106.04803
Wu, H., Xiao, B., Codella, N., Liu, M., Dai, X., Yuan, L., & Zhang, L. (2021). CvT: Introducing convolutions to vision transformers. IEEE/CVF International Conference on Computer Vision (ICCV), 22–31. https://doi.org/10.1109/ICCV48922.2021.00009
Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-end object detection with transformers. European Conference on Computer Vision (ECCV), LNCS 12346, 213–229. https://doi.org/10.1007/978-3-030-58452-8_13
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
