مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerLLaVA (Large Language and Vision Assistant)
العائلةالمحوّلاتالنماذج متعددة الوسائط
سنة الظهور20172023
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee
نوع المعماريةEncoder–decoder TransformerVision encoder + projection + LLM (visual instruction tuning)
آلية التعلمsupervisedsupervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048LLaVA ‏(v1): ‏CLIP ViT-L/14 ‏(224) + إسقاط خطي + Vicuna-13B
شكل المدخلn رمزاً للمصدر و n للهدفصورة 3×224×224 + نص
شكل المخرجn × 37000نص
العمق6 طبقات مشفّر + 6 طبقات فك تشفير24 طبقة ViT + 40 كتلة LLaMA
Parameters (محسوبة)63,084,544
≈63.08M
13,324,292,096
≈13.32B
Parameters (منشورة)65,000,000
≈65M
غير محدد
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
غير محدد
تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه.
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).الرموز البصرية (256) تُضاف إلى طول السياق في كل طلب.
المهامالترجمة الآلية، تحويل التسلسلاتالإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياً
أبرز ميزةتدريب متوازٍ بالكاملمعمارية بسيطة وفعالة
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلهلوسة في التفاصيل
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.أعداد محسوبة على جهاز meta من تهيئات CLIP ViT-L/14 و LLaMA-13B المنشورة (Vicuna-13B مضبوط من LLaMA-13B بالمعمارية نفسها). مشفّر الرؤية يُحسب كاملاً رغم عدم استخدام طبقته الأخيرة.

العلاقات المسجلة بين النماذج المقارنة

  • Transformer مبني على LLaVA (Large Language and Vision Assistant) — كلا المكونين محوّلات.