مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | Transformer | Residual Network (ResNet) |
|---|---|---|
| العائلة | المحوّلات | معماريات الشبكات الالتفافية |
| سنة الظهور | 2017 | 2015 |
| الباحثون | Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,… | Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun |
| نوع المعمارية | Encoder–decoder Transformer | Residual convolutional network |
| آلية التعلم | supervised | supervised |
| التكوين المقارن | Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048 | ResNet-50 (كتل اختناق 3-4-6-3) |
| شكل المدخل | n رمزاً للمصدر و n للهدف | 3×224×224 |
| شكل المخرج | n × 37000 | 1000 |
| العمق | 6 طبقات مشفّر + 6 طبقات فك تشفير | 50 طبقة بمعاملات (49 التفافاً + طبقة خطية) |
| Parameters (محسوبة) | 63,084,544 ≈63.08M | 25,557,032 ≈25.56M |
| Parameters (منشورة) | 65,000,000 ≈65M | غير محدد |
| MACs | 8,363,966,464 ≈8.36B لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات). | 4,089,184,256 ≈4.09B محسوبة بـ torch.utils.flop_counter؛ الورقة (الجدول 1) تذكر 3.8×10⁹ FLOPs بمعنى عمليات ضرب-جمع. |
| التعقيد | الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²). | نحو 4.1 مليار عملية ضرب-جمع لكل صورة 224×224 في تنفيذ torchvision. |
| المهام | الترجمة الآلية، تحويل التسلسلات | تصنيف الصور، الكشف عن الأجسام، التجزئة |
| أبرز ميزة | تدريب متوازٍ بالكامل | تدريب شبكات عميقة جداً بثبات |
| أبرز قيد | كلفة الانتباه تربيعية في طول التسلسل | زيادة العمق تعطي عوائد متناقصة |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة. | تنفيذ torchvision.models.resnet50 (الخطوة 2 في الالتفاف 3×3 داخل الكتلة، وهو تعديل «v1.5» عن الورقة التي وضعتها في 1×1 الأولى). |
العلاقات المسجلة بين النماذج المقارنة
- Transformer مرتبط Residual Network (ResNet) — المحوّل يستخدم الاتصال المتبقي في كل طبقة.
