مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerDETR (DEtection TRansformer)
العائلةالمحوّلاتنماذج الرؤية الحاسوبية
سنة الظهور20172020
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov,…
نوع المعماريةEncoder–decoder TransformerCNN backbone + Transformer encoder–decoder detector
آلية التعلمsupervisedsupervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048DETR-R50: ‏ResNet-50 + 6/6 طبقات، d = 256، 100 استعلام
شكل المدخلn رمزاً للمصدر و n للهدف3×800×1066
شكل المخرجn × 37000100 × (92 + 4)
العمق6 طبقات مشفّر + 6 طبقات فك تشفيرResNet-50 + 12 طبقة محوّل
Parameters (محسوبة)63,084,544
≈63.08M
41,524,768
≈41.52M
Parameters (منشورة)65,000,000
≈65M
41,000,000
≈41M
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
81,167,232,000
≈81.17B
محسوبة بـ torch.utils.flop_counter لصورة 800×1066 (850 موقعاً في C5).
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).انتباه المشفّر O((HW/32²)²·d).
المهامالترجمة الآلية، تحويل التسلسلاتالكشف عن الأجسام، التجزئة الشاملة
أبرز ميزةتدريب متوازٍ بالكاملمن طرف إلى طرف دون NMS أو مراسٍ
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلتقارب بطيء جداً (500 دورة)
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.نسخة PyTorch مبسطة مطابقة للأبعاد: FrozenBatchNorm (دون معاملات قابلة للتعلم)، طبقات TransformerEncoder/Decoder القياسية، ترميز موضعي يضاف إلى المدخل بدل كل طبقة (لا يغير المعاملات). يختلف المجموع قليلاً عن 41M المذكورة.

العلاقات المسجلة بين النماذج المقارنة

  • Transformer مبني على DETR (DEtection TRansformer) — مشفّر-فك تشفير محوّل.