- سنة الظهور
- 2012
- الباحثون
- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
- الجهة
- University of Toronto
- نوع المعمارية
- Deep convolutional neural network
- آلية التعلم
- supervised
- المهام
- تصنيف الصور
شبكة التفافية عميقة فازت بمسابقة ImageNet ILSVRC-2012 بفارق كبير، وأطلقت موجة التعلم العميق في الرؤية الحاسوبية.
مخطط المعمارية
التكوين المعروض: AlexNet الأصلية بمجموعتين (227×227) — خمس طبقات التفاف وثلاث كاملة الاتصال، والتفافات conv2 و conv4 و conv5 مقسومة على مجموعتين كما في التنفيذ على بطاقتي GPU.
جدول الطبقات (14 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| المدخل | input | 3 × 227 × 227 | 1 | 0 | — | ||
| conv1: 96@11×11 خطوة 4 + ReLU + LRN | conv | 3 × 227 × 227 | 96 × 55 × 55 | 1 | 34,944 | من تنفيذ PyTorch المرجعي | 105,415,200 |
| maxpool 3×3 خطوة 2 (متداخل) | pool | 96 × 55 × 55 | 96 × 27 × 27 | 1 | 0 | من تنفيذ PyTorch المرجعي | 0 |
| conv2: 256@5×5 (مجموعتان) | conv | 96 × 27 × 27 | 256 × 27 × 27 | 1 | 307,456 | من تنفيذ PyTorch المرجعي | 223,948,800 |
| maxpool 3×3 خطوة 2 | pool | 256 × 27 × 27 | 256 × 13 × 13 | 1 | 0 | من تنفيذ PyTorch المرجعي | 0 |
| conv3: 384@3×3 | conv | 256 × 13 × 13 | 384 × 13 × 13 | 1 | 885,120 | من تنفيذ PyTorch المرجعي | 149,520,384 |
| conv4: 384@3×3 (مجموعتان) | conv | 384 × 13 × 13 | 384 × 13 × 13 | 1 | 663,936 | من تنفيذ PyTorch المرجعي | 112,140,288 |
| conv5: 256@3×3 (مجموعتان) | conv | 384 × 13 × 13 | 256 × 13 × 13 | 1 | 442,624 | من تنفيذ PyTorch المرجعي | 74,760,192 |
| maxpool 3×3 خطوة 2 | pool | 256 × 13 × 13 | 256 × 6 × 6 | 1 | 0 | من تنفيذ PyTorch المرجعي | 0 |
| fc6: 4096 + ReLU + Dropout | fc | 9216 | 4096 | 1 | 37,752,832 | من تنفيذ PyTorch المرجعي | 37,748,736 |
| fc7: 4096 + ReLU + Dropout | fc | 4096 | 4096 | 1 | 16,781,312 | من تنفيذ PyTorch المرجعي | 16,777,216 |
| fc8: 1000 | fc | 4096 | 1000 | 1 | 4,097,000 | من تنفيذ PyTorch المرجعي | 4,096,000 |
| Softmax (1000 فئة) | softmax | 1000 | 1000 | 1 | 0 | — | |
| احتمالات الفئات | output | 1000 | 1000 | 1 | 0 | — |
أرقام التكوين: AlexNet الأصلية بمجموعتين (227×227)
- شكل المدخل
- 3×227×227
- شكل المخرج
- 1000
- العمق
- 8 طبقات قابلة للتعلم
- التعقيد
- يهيمن fc6 على المعاملات (نحو 62%)، والالتفافات على الحساب.
- ملاحظة Parameters
- الورقة تذكر 60 مليون معامل تقريباً.
- ملاحظة MACs
- محسوبة بـ torch.utils.flop_counter لتمرير أمامي واحد.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
دُرّبت على بطاقتي GTX 580 لمدة خمسة إلى ستة أيام، وحققت خطأ top-5 قدره 15.3% في المسابقة مقابل 26.2% لأقرب منافس.
المشكلة التي يعالجها
تصنيف 1.2 مليون صورة طبيعية عالية الدقة إلى 1000 فئة.
الفكرة الأساسية
شبكة أعمق وأكبر مدرَّبة على GPU مع ReLU للتسريع و Dropout وزيادة البيانات للحد من فرط التخصيص.
وصف المعمارية
خمس طبقات التفاف (11×11، 5×5، ثم ثلاث 3×3) مع تجميع أقصى متداخل وتطبيع استجابة محلي (LRN)، تليها ثلاث طبقات كاملة الاتصال (4096، 4096، 1000).
تدفق البيانات
227×227×3 ← 55×55×96 ← 27×27 ← 27×27×256 ← 13×13 ← 13×13×384 ← 13×13×384 ← 13×13×256 ← 6×6×256 ← 4096 ← 4096 ← 1000.
المدخلات
صورة RGB مقصوصة عشوائياً بحجم 224×224 (227 فعلياً).
المخرجات
توزيع احتمالي على 1000 فئة.
آلية التدريب
SGD بزخم 0.9 ودفعة 128 وتضاؤل أوزان 0.0005، ومعدل تعلم 0.01 يُقسم على 10 عند توقف التحسن، مع Dropout 0.5 في fc6 و fc7.
دوال الخسارة
الإنتروبيا المتقاطعة متعددة الفئات.
التعقيد الحسابي
نحو 0.72 مليار عملية ضرب-جمع لكل صورة 227×227 (محسوبة هنا).
المتطلبات الحسابية
تدريب أصلي على بطاقتي GPU بذاكرة 3GB لكل منهما.
المزايا
- أثبتت تفوق التعلم العميق على ImageNet
- ReLU سرّعت التدريب كثيراً
- أدخلت Dropout وزيادة البيانات بشكل منهجي
القيود
- معاملات كثيرة جداً في الطبقات الكاملة
- LRN لم تثبت فائدتها لاحقاً
- نوى كبيرة في الطبقة الأولى
المعادلات
عملية الالتفاف 2D convolution
Y_{o}(i,j) = b_o + \sum_{c=1}^{C_{in}} \sum_{u=0}^{k-1} \sum_{v=0}^{k-1} W_{o,c}(u,v)\, X_c(s\,i + u - p,\; s\,j + v - p)كل خريطة مخرج تجمع نوافذ المدخل عبر كل القنوات بأوزان مشتركة في جميع المواقع.
الرموز: k: حجم النواة، s: الخطوة، p: الحشو، C_in: قنوات الدخل
حجم مخرج الالتفاف Convolution output size
H_{out} = \left\lfloor \frac{H_{in} + 2p - k}{s} \right\rfloor + 1يحدد الأبعاد المكانية لخريطة المخرج.
الرموز: H_in: الارتفاع، k: النواة، s: الخطوة، p: الحشو
ReLU Rectified linear unit
f(x) = \max(0, x)تنشيط غير مشبع يسرّع التدريب مقارنة بـ tanh.
تطبيع الاستجابة المحلي Local response normalization
b^{i}_{x,y} = a^{i}_{x,y} \Big/ \left(k + \alpha \sum_{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)} \left(a^{j}_{x,y}\right)^2\right)^{\beta}تطبيع بين القنوات المتجاورة؛ في الورقة k=2، n=5، α=10⁻⁴، β=0.75.
الرموز: N: عدد القنوات
التطبيقات
النماذج المرتبطة
المراجع
- الورقة الأصلية Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. (2012). ImageNet classification with deep convolutional neural networks. NeurIPS 2012؛ أعيد نشرها في Communications of the ACM, 60(6), 84–90 (2017). doi:10.1145/3065386 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
