مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | Transformer | LLaVA (Large Language and Vision Assistant) |
|---|---|---|
| العائلة | المحوّلات | النماذج متعددة الوسائط |
| سنة الظهور | 2017 | 2023 |
| الباحثون | Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,… | Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee |
| نوع المعمارية | Encoder–decoder Transformer | Vision encoder + projection + LLM (visual instruction tuning) |
| آلية التعلم | supervised | supervised |
| التكوين المقارن | Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048 | LLaVA (v1): CLIP ViT-L/14 (224) + إسقاط خطي + Vicuna-13B |
| شكل المدخل | n رمزاً للمصدر و n للهدف | صورة 3×224×224 + نص |
| شكل المخرج | n × 37000 | نص |
| العمق | 6 طبقات مشفّر + 6 طبقات فك تشفير | 24 طبقة ViT + 40 كتلة LLaMA |
| Parameters (محسوبة) | 63,084,544 ≈63.08M | 13,324,292,096 ≈13.32B |
| Parameters (منشورة) | 65,000,000 ≈65M | غير محدد |
| MACs | 8,363,966,464 ≈8.36B لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات). | غير محدد تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه. |
| التعقيد | الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²). | الرموز البصرية (256) تُضاف إلى طول السياق في كل طلب. |
| المهام | الترجمة الآلية، تحويل التسلسلات | الإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياً |
| أبرز ميزة | تدريب متوازٍ بالكامل | معمارية بسيطة وفعالة |
| أبرز قيد | كلفة الانتباه تربيعية في طول التسلسل | هلوسة في التفاصيل |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة. | أعداد محسوبة على جهاز meta من تهيئات CLIP ViT-L/14 و LLaMA-13B المنشورة (Vicuna-13B مضبوط من LLaMA-13B بالمعمارية نفسها). مشفّر الرؤية يُحسب كاملاً رغم عدم استخدام طبقته الأخيرة. |
العلاقات المسجلة بين النماذج المقارنة
- Transformer مبني على LLaVA (Large Language and Vision Assistant) — كلا المكونين محوّلات.
