مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | LLaVA (Large Language and Vision Assistant) | GPT (Generative Pre-trained Transformer) |
|---|---|---|
| العائلة | النماذج متعددة الوسائط | المحوّلات |
| سنة الظهور | 2023 | 2018 |
| الباحثون | Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee | Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever |
| نوع المعمارية | Vision encoder + projection + LLM (visual instruction tuning) | Decoder-only Transformer |
| آلية التعلم | supervised | self-supervised |
| التكوين المقارن | LLaVA (v1): CLIP ViT-L/14 (224) + إسقاط خطي + Vicuna-13B | GPT-1: 12 طبقة، d = 768، 12 رأساً، سياق 512 |
| شكل المدخل | صورة 3×224×224 + نص | n ≤ 512 رمزاً |
| شكل المخرج | نص | n × 40478 |
| العمق | 24 طبقة ViT + 40 كتلة LLaMA | 12 كتلة |
| Parameters (محسوبة) | 13,324,292,096 ≈13.32B | 116,534,784 ≈116.53M |
| Parameters (منشورة) | غير محدد | 117,000,000 ≈117M |
| MACs | غير محدد تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه. | 15,152,775,168 ≈15.15B لتسلسل n = 128، مع إسقاط المفردات. |
| التعقيد | الرموز البصرية (256) تُضاف إلى طول السياق في كل طلب. | O(L·(n²d + nd²)). |
| المهام | الإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياً | نمذجة اللغة، توليد النصوص، تصنيف النصوص |
| أبرز ميزة | معمارية بسيطة وفعالة | يولّد النص بطبيعته |
| أبرز قيد | هلوسة في التفاصيل | سياق أحادي الاتجاه |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | أعداد محسوبة على جهاز meta من تهيئات CLIP ViT-L/14 و LLaMA-13B المنشورة (Vicuna-13B مضبوط من LLaMA-13B بالمعمارية نفسها). مشفّر الرؤية يُحسب كاملاً رغم عدم استخدام طبقته الأخيرة. | OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين. |
العلاقات المسجلة بين النماذج المقارنة
- LLaVA (Large Language and Vision Assistant) مرتبط GPT (Generative Pre-trained Transformer) — LLaVA يستخدم نموذجاً لغوياً من نوع فك التشفير.
