مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةLLaVA (Large Language and Vision Assistant)GPT (Generative Pre-trained Transformer)
العائلةالنماذج متعددة الوسائطالمحوّلات
سنة الظهور20232018
الباحثونHaotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae LeeAlec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
نوع المعماريةVision encoder + projection + LLM (visual instruction tuning)Decoder-only Transformer
آلية التعلمsupervisedself-supervised
التكوين المقارنLLaVA ‏(v1): ‏CLIP ViT-L/14 ‏(224) + إسقاط خطي + Vicuna-13BGPT-1: ‏12 طبقة، d = 768، 12 رأساً، سياق 512
شكل المدخلصورة 3×224×224 + نصn ≤ 512 رمزاً
شكل المخرجنصn × 40478
العمق24 طبقة ViT + 40 كتلة LLaMA12 كتلة
Parameters (محسوبة)13,324,292,096
≈13.32B
116,534,784
≈116.53M
Parameters (منشورة)غير محدد117,000,000
≈117M
MACsغير محدد
تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه.
15,152,775,168
≈15.15B
لتسلسل n = 128، مع إسقاط المفردات.
التعقيدالرموز البصرية (256) تُضاف إلى طول السياق في كل طلب.O(L·(n²d + nd²)).
المهامالإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياًنمذجة اللغة، توليد النصوص، تصنيف النصوص
أبرز ميزةمعمارية بسيطة وفعالةيولّد النص بطبيعته
أبرز قيدهلوسة في التفاصيلسياق أحادي الاتجاه
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابأعداد محسوبة على جهاز meta من تهيئات CLIP ViT-L/14 و LLaMA-13B المنشورة (Vicuna-13B مضبوط من LLaMA-13B بالمعمارية نفسها). مشفّر الرؤية يُحسب كاملاً رغم عدم استخدام طبقته الأخيرة.OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين.

العلاقات المسجلة بين النماذج المقارنة

  • LLaVA (Large Language and Vision Assistant) مرتبط GPT (Generative Pre-trained Transformer) — LLaVA يستخدم نموذجاً لغوياً من نوع فك التشفير.