مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | Transformer | DETR (DEtection TRansformer) |
|---|---|---|
| العائلة | المحوّلات | نماذج الرؤية الحاسوبية |
| سنة الظهور | 2017 | 2020 |
| الباحثون | Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,… | Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov,… |
| نوع المعمارية | Encoder–decoder Transformer | CNN backbone + Transformer encoder–decoder detector |
| آلية التعلم | supervised | supervised |
| التكوين المقارن | Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048 | DETR-R50: ResNet-50 + 6/6 طبقات، d = 256، 100 استعلام |
| شكل المدخل | n رمزاً للمصدر و n للهدف | 3×800×1066 |
| شكل المخرج | n × 37000 | 100 × (92 + 4) |
| العمق | 6 طبقات مشفّر + 6 طبقات فك تشفير | ResNet-50 + 12 طبقة محوّل |
| Parameters (محسوبة) | 63,084,544 ≈63.08M | 41,524,768 ≈41.52M |
| Parameters (منشورة) | 65,000,000 ≈65M | 41,000,000 ≈41M |
| MACs | 8,363,966,464 ≈8.36B لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات). | 81,167,232,000 ≈81.17B محسوبة بـ torch.utils.flop_counter لصورة 800×1066 (850 موقعاً في C5). |
| التعقيد | الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²). | انتباه المشفّر O((HW/32²)²·d). |
| المهام | الترجمة الآلية، تحويل التسلسلات | الكشف عن الأجسام، التجزئة الشاملة |
| أبرز ميزة | تدريب متوازٍ بالكامل | من طرف إلى طرف دون NMS أو مراسٍ |
| أبرز قيد | كلفة الانتباه تربيعية في طول التسلسل | تقارب بطيء جداً (500 دورة) |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة. | نسخة PyTorch مبسطة مطابقة للأبعاد: FrozenBatchNorm (دون معاملات قابلة للتعلم)، طبقات TransformerEncoder/Decoder القياسية، ترميز موضعي يضاف إلى المدخل بدل كل طبقة (لا يغير المعاملات). يختلف المجموع قليلاً عن 41M المذكورة. |
العلاقات المسجلة بين النماذج المقارنة
- Transformer مبني على DETR (DEtection TRansformer) — مشفّر-فك تشفير محوّل.
