مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerResidual Network (ResNet)
العائلةالمحوّلاتمعماريات الشبكات الالتفافية
سنة الظهور20172015
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
نوع المعماريةEncoder–decoder TransformerResidual convolutional network
آلية التعلمsupervisedsupervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048ResNet-50 (كتل اختناق 3-4-6-3)
شكل المدخلn رمزاً للمصدر و n للهدف3×224×224
شكل المخرجn × 370001000
العمق6 طبقات مشفّر + 6 طبقات فك تشفير50 طبقة بمعاملات (49 التفافاً + طبقة خطية)
Parameters (محسوبة)63,084,544
≈63.08M
25,557,032
≈25.56M
Parameters (منشورة)65,000,000
≈65M
غير محدد
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
4,089,184,256
≈4.09B
محسوبة بـ torch.utils.flop_counter؛ الورقة (الجدول 1) تذكر 3.8×10⁹ FLOPs بمعنى عمليات ضرب-جمع.
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).نحو 4.1 مليار عملية ضرب-جمع لكل صورة 224×224 في تنفيذ torchvision.
المهامالترجمة الآلية، تحويل التسلسلاتتصنيف الصور، الكشف عن الأجسام، التجزئة
أبرز ميزةتدريب متوازٍ بالكاملتدريب شبكات عميقة جداً بثبات
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلزيادة العمق تعطي عوائد متناقصة
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.تنفيذ torchvision.models.resnet50 (الخطوة 2 في الالتفاف 3×3 داخل الكتلة، وهو تعديل «v1.5» عن الورقة التي وضعتها في 1×1 الأولى).

العلاقات المسجلة بين النماذج المقارنة

  • Transformer مرتبط Residual Network (ResNet) — المحوّل يستخدم الاتصال المتبقي في كل طبقة.