الشبكة المتبقية (ResNet)
Residual Network
تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي $F(x)$ بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.
نظرة عامة
| الاسم | الشبكة المتبقية – Residual Network |
|---|---|
| سنة الظهور | 2016 |
| الباحثون | Kaiming He، Xiangyu Zhang، Shaoqing Ren، Jian Sun |
| الجهة | Microsoft Research |
| الورقة الأصلية | Deep residual learning for image recognition DOI arXiv |
| نوع البيانات | صور |
| المجالات | الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | تعتمد على العمق؛ ResNet-50 أثقل من ResNet-18 بعدة مرات في العمليات. |
| حجم البيانات | مع التعلم الانتقالي من ImageNet تكفي مجموعات صغيرة. |
المشكلة التي تحلها
لاحظ الباحثون أن زيادة عمق الشبكات العادية تؤدي إلى خطأ تدريب أعلى (مشكلة التدهور degradation)، وليس فقط إلى إفراط في التكيّف.
الخلفية والتطور
ما قبلها: الشبكة العصبية الالتفافية، VGG
الفكرة الأساسية
إذا كان التحويل المطلوب قريباً من الهوية، فمن الأسهل أن تتعلم الكتلة $F(x)\approx0$ من أن تتعلم الهوية بطبقات غير خطية. لذلك يكون خرج الكتلة $y=F(x)+x$. الوصلة تمرّر التدرّج مباشرة إلى الطبقات الأولى.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input | صورة |
| Stem | التفاف 7×7 وتجميع أولي |
| Residual Block | التفافان (أو ثلاثة في Bottleneck) مع BatchNorm وReLU |
| Skip Connection | جمع الدخل مع الخرج؛ إسقاط 1×1 عند تغير الأبعاد |
| Normalization | BatchNorm |
| Output | Global Average Pooling ثم Linear |
المعادلات
1. الكتلة المتبقية
| $x$ | دخل الكتلة |
| $\mathcal{F}$ | الفرع المتبقي (التفافات) |
| $y$ | الخرج |
2. الإسقاط عند اختلاف الأبعاد
| $W_s$ | التفاف 1×1 لمطابقة القنوات أو الدقة |
3. مرور التدرّج
| $\partial\mathcal{L}/\partial y$ | التدرّج القادم من الطبقة التالية |
آلية العمل خطوة بخطوة
- تمر الصورة بطبقة الجذع (stem).
- تعالج كل مرحلة عدة كتل متبقية.
- في كل كتلة يُحسب $F(x)$ ثم يضاف إليه $x$.
- عند الانتقال بين المراحل تُضاعف القنوات وتُنصّف الدقة.
- يُطبق Global Average Pooling.
- يُصنّف الخرج بطبقة خطية.
المزايا والقيود
المزايا
- تسمح بتدريب شبكات عميقة جداً بثبات.
- عمود فقري (backbone) قياسي لكثير من مهام الرؤية.
- أوزان مدرّبة مسبقاً متاحة على نطاق واسع.
القيود
- الشبكات العميقة منها ثقيلة حسابياً.
- تحيّز محلي كما في CNN؛ العلاقات العالمية تحتاج عمقاً.
متى تُستخدم؟ ومتى لا؟
تناسب
- عمود فقري للتصنيف والكشف والتجزئة.
- أساس قوي (baseline) لأي دراسة رؤية حاسوبية.
لا تناسب
- الأجهزة محدودة الموارد جداً، حيث تفضل MobileNet أو EfficientNet.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | تصنيف الصور وأعمدة فقرية لكاشفات الأجسام. |
| تحليل الصور الطبية | تصنيف صور الأشعة والتعلم الانتقالي على بيانات طبية صغيرة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Residual Network (ResNet) — كتلة متبقية مبسطة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class BasicBlock(nn.Module):
def __init__(self, c_in, c_out, stride=1):
super().__init__()
self.conv1 = nn.Conv2d(c_in, c_out, 3, stride, 1, bias=False); self.bn1 = nn.BatchNorm2d(c_out)
self.conv2 = nn.Conv2d(c_out, c_out, 3, 1, 1, bias=False); self.bn2 = nn.BatchNorm2d(c_out)
self.short = nn.Identity() if (stride == 1 and c_in == c_out) else nn.Sequential(
nn.Conv2d(c_in, c_out, 1, stride, bias=False), nn.BatchNorm2d(c_out)) # إسقاط W_s
def forward(self, x):
out = F.relu(self.bn1(self.conv1(x)))
out = self.bn2(self.conv2(out))
return F.relu(out + self.short(x)) # y = F(x) + x
class TinyResNet(nn.Module):
def __init__(self, n_classes=2):
super().__init__()
self.stem = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1, bias=False), nn.BatchNorm2d(16), nn.ReLU())
self.layers = nn.Sequential(BasicBlock(16, 16), BasicBlock(16, 32, stride=2), BasicBlock(32, 32))
self.head = nn.Linear(32, n_classes)
def forward(self, x):
x = self.layers(self.stem(x))
return self.head(x.mean(dim=(2, 3))) # Global Average Pooling
# 3) إعداد البيانات
def make(n):
X = torch.randn(n, 1, 16, 16) * 0.3
y = torch.randint(0, 2, (n,))
pos = torch.randint(2, 14, (n,))
for i in range(n):
if y[i] == 0: X[i, 0, pos[i], 2:14] += 1.5
else: X[i, 0, 2:14, pos[i]] += 1.5
return X, y
X_train, y_train = make(512)
X_test, y_test = make(128)
model = TinyResNet()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 5, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.3 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 38٬002.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصمم المعماريات العصبية
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
معماريات مرتبطة
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
الشبكات العصبية متعددة الفروع
Multi-Branch Neural Networks
معماريات تعالج الدخل نفسه أو مدخلات مختلفة عبر فروع متوازية (أحجام نوى مختلفة، أو وسائط مختلفة، أو مقاييس مختلفة) ثم تدمج النتائج بالضم أو الجمع.
نماذج التوازن العميق
Deep Equilibrium Models (DEQ)
بدلاً من تكديس L طبقة، يبحث النموذج عن نقطة ثابتة لطبقة واحدة z^*=f_θ(z^*,x) كأنها شبكة بعمق لانهائي بأوزان مشتركة، ويحسب التدرّج ضمنياً دون تخزين الخطوات.
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- دراسة أثر وصلات التخطي على قابلية التفسير بخرائط Grad-CAM في الصور الطبية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي تتعلمه الكتلة المتبقية في ResNet؟
لماذا؟ الخرج $y=F(x)+x$، فالكتلة تتعلم ما يجب إضافته إلى الدخل.
ما المشكلة التي عالجتها ResNet أساساً؟
لماذا؟ لاحظ المؤلفون أن الشبكات الأعمق دون وصلات تعطي خطأ تدريب أعلى، وهذا ليس إفراطاً في التكيّف.
متى نحتاج التفاف 1×1 في وصلة التخطي؟
لماذا؟ الجمع يتطلب أبعاداً متطابقة.
المراجع
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90
Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. International Conference on Machine Learning (ICML), PMLR 37, 448–456. https://arxiv.org/abs/1502.03167
Xie, S., Girshick, R., Dollár, P., Tu, Z., & He, K. (2017). Aggregated residual transformations for deep neural networks. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 5987–5995. https://doi.org/10.1109/CVPR.2017.634
