معماريات الشبكات الالتفافية يحتاج مراجعة

AlexNet

أليكس نت — AlexNet

سنة الظهور
2012
الباحثون
Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
الجهة
University of Toronto
نوع المعمارية
Deep convolutional neural network
آلية التعلم
supervised
المهام
تصنيف الصور

شبكة التفافية عميقة فازت بمسابقة ImageNet ILSVRC-2012 بفارق كبير، وأطلقت موجة التعلم العميق في الرؤية الحاسوبية.

مخطط المعمارية

التكوين المعروض: AlexNet الأصلية بمجموعتين (227×227) — خمس طبقات التفاف وثلاث كاملة الاتصال، والتفافات conv2 و conv4 و conv5 مقسومة على مجموعتين كما في التنفيذ على بطاقتي GPU.

جدول الطبقات (14 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
المدخلinput3 × 227 × 22710—
conv1: 96@11×11 خطوة 4 + ReLU + LRNconv3 × 227 × 22796 × 55 × 55134,944من تنفيذ PyTorch المرجعي105,415,200
maxpool 3×3 خطوة 2 (متداخل)pool96 × 55 × 5596 × 27 × 2710من تنفيذ PyTorch المرجعي0
conv2: 256@5×5 (مجموعتان)conv96 × 27 × 27256 × 27 × 271307,456من تنفيذ PyTorch المرجعي223,948,800
maxpool 3×3 خطوة 2pool256 × 27 × 27256 × 13 × 1310من تنفيذ PyTorch المرجعي0
conv3: 384@3×3conv256 × 13 × 13384 × 13 × 131885,120من تنفيذ PyTorch المرجعي149,520,384
conv4: 384@3×3 (مجموعتان)conv384 × 13 × 13384 × 13 × 131663,936من تنفيذ PyTorch المرجعي112,140,288
conv5: 256@3×3 (مجموعتان)conv384 × 13 × 13256 × 13 × 131442,624من تنفيذ PyTorch المرجعي74,760,192
maxpool 3×3 خطوة 2pool256 × 13 × 13256 × 6 × 610من تنفيذ PyTorch المرجعي0
fc6: 4096 + ReLU + Dropoutfc92164096137,752,832من تنفيذ PyTorch المرجعي37,748,736
fc7: 4096 + ReLU + Dropoutfc40964096116,781,312من تنفيذ PyTorch المرجعي16,777,216
fc8: 1000fc4096100014,097,000من تنفيذ PyTorch المرجعي4,096,000
Softmax (1000 فئة)softmax1000100010—
احتمالات الفئاتoutput1000100010—

أرقام التكوين: AlexNet الأصلية بمجموعتين (227×227)

Parameters (محسوبة من الطبقات)60,965,224 (≈60.97M)
Parameters (منشورة في المصدر)60,000,000 (≈60M)
MACs724,406,816 (≈724.41M)
FLOPs ≈ 2 × MACs1,448,813,632 (≈1.45B)
شكل المدخل
3×227×227
شكل المخرج
1000
العمق
8 طبقات قابلة للتعلم
التعقيد
يهيمن fc6 على المعاملات (نحو 62%)، والالتفافات على الحساب.
ملاحظة Parameters
الورقة تذكر 60 مليون معامل تقريباً.
ملاحظة MACs
محسوبة بـ torch.utils.flop_counter لتمرير أمامي واحد.
افتراضات الحساب: التهيئة الأصلية ذات المجموعتين؛ نسخة torchvision ذات البطاقة الواحدة تختلف (61,100,840 معاملاً).

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

دُرّبت على بطاقتي GTX 580 لمدة خمسة إلى ستة أيام، وحققت خطأ top-5 قدره 15.3% في المسابقة مقابل 26.2% لأقرب منافس.

المشكلة التي يعالجها

تصنيف 1.2 مليون صورة طبيعية عالية الدقة إلى 1000 فئة.

الفكرة الأساسية

شبكة أعمق وأكبر مدرَّبة على GPU مع ReLU للتسريع و Dropout وزيادة البيانات للحد من فرط التخصيص.

وصف المعمارية

خمس طبقات التفاف (11×11، 5×5، ثم ثلاث 3×3) مع تجميع أقصى متداخل وتطبيع استجابة محلي (LRN)، تليها ثلاث طبقات كاملة الاتصال (4096، 4096، 1000).

تدفق البيانات

227×227×3 ← 55×55×96 ← 27×27 ← 27×27×256 ← 13×13 ← 13×13×384 ← 13×13×384 ← 13×13×256 ← 6×6×256 ← 4096 ← 4096 ← 1000.

المدخلات

صورة RGB مقصوصة عشوائياً بحجم 224×224 (227 فعلياً).

المخرجات

توزيع احتمالي على 1000 فئة.

آلية التدريب

SGD بزخم 0.9 ودفعة 128 وتضاؤل أوزان 0.0005، ومعدل تعلم 0.01 يُقسم على 10 عند توقف التحسن، مع Dropout 0.5 في fc6 و fc7.

دوال الخسارة

الإنتروبيا المتقاطعة متعددة الفئات.

التعقيد الحسابي

نحو 0.72 مليار عملية ضرب-جمع لكل صورة 227×227 (محسوبة هنا).

المتطلبات الحسابية

تدريب أصلي على بطاقتي GPU بذاكرة 3GB لكل منهما.

المزايا

  • أثبتت تفوق التعلم العميق على ImageNet
  • ReLU سرّعت التدريب كثيراً
  • أدخلت Dropout وزيادة البيانات بشكل منهجي

القيود

  • معاملات كثيرة جداً في الطبقات الكاملة
  • LRN لم تثبت فائدتها لاحقاً
  • نوى كبيرة في الطبقة الأولى

المعادلات

عملية الالتفاف 2D convolution

Y_{o}(i,j) = b_o + \sum_{c=1}^{C_{in}} \sum_{u=0}^{k-1} \sum_{v=0}^{k-1} W_{o,c}(u,v)\, X_c(s\,i + u - p,\; s\,j + v - p)

كل خريطة مخرج تجمع نوافذ المدخل عبر كل القنوات بأوزان مشتركة في جميع المواقع.

الرموز: k: حجم النواة، s: الخطوة، p: الحشو، C_in: قنوات الدخل

حجم مخرج الالتفاف Convolution output size

H_{out} = \left\lfloor \frac{H_{in} + 2p - k}{s} \right\rfloor + 1

يحدد الأبعاد المكانية لخريطة المخرج.

الرموز: H_in: الارتفاع، k: النواة، s: الخطوة، p: الحشو

ReLU Rectified linear unit

f(x) = \max(0, x)

تنشيط غير مشبع يسرّع التدريب مقارنة بـ tanh.

تطبيع الاستجابة المحلي Local response normalization

b^{i}_{x,y} = a^{i}_{x,y} \Big/ \left(k + \alpha \sum_{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)} \left(a^{j}_{x,y}\right)^2\right)^{\beta}

تطبيع بين القنوات المتجاورة؛ في الورقة k=2، n=5، α=10⁻⁴، β=0.75.

الرموز: N: عدد القنوات

التطبيقات

النماذج المرتبطة

  • سابق له LeNet-5 — امتداد مباشر لفكرة LeNet على نطاق أوسع. قارن
  • لاحق له VGG-16 — VGG عمّقت الشبكة بنوى 3×3 موحدة. قارن

المراجع

  1. الورقة الأصلية Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. (2012). ImageNet classification with deep convolutional neural networks. NeurIPS 2012؛ أعيد نشرها في Communications of the ACM, 60(6), 84–90 (2017). doi:10.1145/3065386 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.