معماريات الشبكات الالتفافية يحتاج مراجعة

MobileNet

موبايل نت — MobileNet

سنة الظهور
2017
الباحثون
Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam
الجهة
Google
نوع المعمارية
Efficient convolutional network (depthwise separable)
آلية التعلم
supervised
المهام
تصنيف الصور، الرؤية على الأجهزة المحمولة

شبكة التفافية خفيفة للأجهزة المحمولة تستبدل الالتفاف العادي بالتفاف منفصل عمقياً (عمقي ثم نقطي) يقلل الحساب بنحو 8–9 مرات.

مخطط المعمارية

التكوين المعروض: MobileNet v1 ‏(α = 1.0، دقة 224) — التفاف عادي ثم 13 كتلة التفاف منفصل عمقياً ثم تجميع شامل وطبقة خطية.

جدول الطبقات (11 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
المدخلinput3 × 224 × 22410—
conv 3×3/2 (32) + BN + ReLUconv3 × 224 × 22432 × 112 × 1121928من تنفيذ PyTorch المرجعي10,838,016
dw 3×3 (32) + BN + ReLUdwconv32 × 112 × 11232 × 112 × 1121352من تنفيذ PyTorch المرجعي3,612,672
pw 1×1 (64) + BN + ReLUpwconv32 × 112 × 11264 × 112 × 11212,176من تنفيذ PyTorch المرجعي25,690,112
كتلتان dw/pw ← 128 (الأولى بخطوة 2)block64 × 112 × 112128 × 56 × 56127,200من تنفيذ PyTorch المرجعي82,489,344
كتلتان dw/pw ← 256 (الأولى بخطوة 2)block128 × 56 × 56256 × 28 × 281103,552من تنفيذ PyTorch المرجعي79,779,840
كتلة بخطوة 2 ← 512 ثم 5 كتل 512block256 × 28 × 28512 × 14 × 1411,478,912من تنفيذ PyTorch المرجعي287,558,656
كتلتان dw/pw ← 1024block512 × 14 × 141024 × 7 × 711,593,856من تنفيذ PyTorch المرجعي77,747,712
تجميع متوسط 7×7gap1024 × 7 × 71024 × 1 × 110من تنفيذ PyTorch المرجعي0
FC-1000fc1024100011,025,000من تنفيذ PyTorch المرجعي1,024,000
Softmax ← 1000 فئةoutput1000100010—

أرقام التكوين: MobileNet v1 ‏(α = 1.0، دقة 224)

Parameters (محسوبة من الطبقات)4,231,976 (≈4.23M)
Parameters (منشورة في المصدر)4,200,000 (≈4.2M)
MACs568,740,352 (≈568.74M)
FLOPs ≈ 2 × MACs1,137,480,704 (≈1.14B)
شكل المدخل
3×224×224
شكل المخرج
1000
العمق
28 طبقة (عدّ الالتفاف العمقي والنقطي طبقتين)
التعقيد
نحو 0.57 مليار عملية ضرب-جمع.
ملاحظة Parameters
الجدول 8 في الورقة: 4.2 مليون معامل و 569 مليون Mult-Adds.
ملاحظة MACs
محسوبة بـ torch.utils.flop_counter (تطابق 569M المذكورة في الورقة تقريباً).
افتراضات الحساب: تنفيذ بُني من الجدول 1 في الورقة؛ الكتلة الأخيرة بخطوة 1 لأن الجدول يبقي الأبعاد 7×7. BN دون انحياز في الالتفافات.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نشرتها Google عام 2017 على arXiv، وتبعتها MobileNetV2 (2018) و V3 (2019).

المشكلة التي يعالجها

تشغيل نماذج رؤية دقيقة على الهواتف والأجهزة المدمجة بميزانية حساب وذاكرة محدودة.

الفكرة الأساسية

فصل الترشيح المكاني (التفاف عمقي 3×3 لكل قناة) عن مزج القنوات (التفاف 1×1)، مع مضاعفين للعرض α والدقة ρ للتحكم في الحجم.

وصف المعمارية

التفاف 3×3/2 عادي ثم 13 كتلة منفصلة عمقياً (dw 3×3 + BN + ReLU ثم pw 1×1 + BN + ReLU) مع تقليل الأبعاد بالخطوة 2، ثم تجميع متوسط وطبقة خطية.

تدفق البيانات

224×224×3 ← 112×112×32 ← 112×112×64 ← 56×56×128 ← 28×28×256 ← 14×14×512 ← 7×7×1024 ← 1024 ← 1000.

المدخلات

صورة RGB بحجم 224×224 (أو 192، 160، 128).

المخرجات

توزيع احتمالي على 1000 فئة.

آلية التدريب

RMSprop مع تدريب غير متزامن، وتضاؤل أوزان قليل أو معدوم على المرشحات العمقية، وزيادة بيانات أخف من الشبكات الكبيرة.

دوال الخسارة

الإنتروبيا المتقاطعة متعددة الفئات.

التعقيد الحسابي

نحو 0.57 مليار عملية ضرب-جمع لـ 1.0-224.

المتطلبات الحسابية

مصممة للهواتف؛ استدلال في أجزاء من الثانية على المعالج.

المزايا

  • حساب أقل بنحو 8–9 مرات من الالتفاف العادي
  • معاملات قليلة (4.2 مليون)
  • قابلة للتحجيم بـ α و ρ

القيود

  • دقة أقل قليلاً من الشبكات الكبيرة
  • الالتفاف العمقي لا يستغل GPU بكفاءة
  • حساسية للتكميم في النسخة الأولى

المعادلات

كلفة الالتفاف العمقي Depthwise convolution cost

\text{MACs}_{dw} = D_K \cdot D_K \cdot M \cdot D_F \cdot D_F

مرشح واحد لكل قناة دخل.

الرموز: D_K: النواة، M: القنوات، D_F: أبعاد خريطة المخرج

كلفة الالتفاف النقطي Pointwise convolution cost

\text{MACs}_{pw} = M \cdot N \cdot D_F \cdot D_F

التفاف 1×1 يمزج M قناة إلى N.

الرموز: N: قنوات المخرج

نسبة التوفير Reduction ratio

\frac{D_K^2 M D_F^2 + M N D_F^2}{D_K^2 M N D_F^2} = \frac{1}{N} + \frac{1}{D_K^2}

مع نواة 3×3 يكون التوفير بين 8 و 9 مرات.

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam. (2017). MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint. arXiv:1704.04861 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.