- سنة الظهور
- 2023
- الباحثون
- Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee
- الجهة
- University of Wisconsin–Madison, Microsoft Research, Columbia University
- نوع المعمارية
- Vision encoder + projection + LLM (visual instruction tuning)
- آلية التعلم
- supervised
- المهام
- الإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياً
مساعد متعدد الوسائط يربط مشفّر رؤية CLIP بنموذج لغوي كبير عبر إسقاط بسيط، ويُضبط بتعليمات بصرية مولَّدة آلياً.
مخطط المعمارية
التكوين المعروض: LLaVA (v1): CLIP ViT-L/14 (224) + إسقاط خطي + Vicuna-13B — مشفّر الرؤية 303,179,776، الإسقاط 5,248,000، النموذج اللغوي 13,015,864,320.
جدول الطبقات (13 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| صورة 224×224 | input | 3 × 224 × 224 | 1 | 0 | — | ||
| رقع 14×14 + [CLS] + موضع | patch | 3 × 224 × 224 | 257 × 1024 | 1 | 868,352 | تضمين CLIP ViT-L/14 + LayerNorm أولي | — |
| مشفّر ViT × 24 (1024، 16 رأساً) | encoder | 257 × 1024 | 256 × 1024 (سمات الشبكة) | 24 | 12,596,224 | لكل طبقة | — |
| LayerNorm النهائي (غير مستخدم) | ln | 1024 | 1024 | 1 | 2,048 | — | |
| الإسقاط W: خطي 1024 ← 5120 | projection | 256 × 1024 | 256 × 5120 | 1 | 5,248,000 | 1024·5120 + 5120 | 1,342,177,280 |
| تعليمات المستخدم (نص) | input | L_q | 1 | 0 | — | ||
| تضمين الرموز (32,000 × 5120) | embed | L_q | L_q × 5120 | 1 | 163,840,000 | 32,000 · 5120 | — |
| دمج: [H_v ; H_q] | concat | 256 + L_q | (256 + L_q) × 5120 | 1 | 0 | — | |
| كتلة LLaMA × 40 (انتباه سببي + SwiGLU + RMSNorm) | decoder | n × 5120 | n × 5120 | 40 | 317,204,480 | لكل كتلة | — |
| RMSNorm نهائي | ln | n × 5120 | n × 5120 | 1 | 5,120 | — | |
| رأس اللغة 5120 ← 32,000 | head | n × 5120 | n × 32000 | 1 | 163,840,000 | 5120 · 32,000 (غير مقيَّد) | — |
| الإجابة X_a (توليد ذاتي الانحدار) | output | n × 32000 | نص | 1 | 0 | — | |
| خسارة ذاتية الانحدار على رموز الإجابة فقط | loss | X_a | L | 1 | 0 | — |
أرقام التكوين: LLaVA (v1): CLIP ViT-L/14 (224) + إسقاط خطي + Vicuna-13B
- شكل المدخل
- صورة 3×224×224 + نص
- شكل المخرج
- نص
- العمق
- 24 طبقة ViT + 40 كتلة LLaMA
- التعقيد
- الرموز البصرية (256) تُضاف إلى طول السياق في كل طلب.
- ملاحظة MACs
- تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
نُشر في NeurIPS 2023 (Oral)، وتبعته LLaVA-1.5 بإسقاط MLP ودقة 336، فأصبح من أشهر النماذج المفتوحة متعددة الوسائط.
المشكلة التي يعالجها
النماذج اللغوية الكبيرة لا ترى الصور، وبيانات التعليمات متعددة الوسائط نادرة.
الفكرة الأساسية
توليد 158 ألف عينة تعليمات بصرية بنموذج لغوي نصي من أوصاف الصور وصناديقها، ثم إسقاط سمات CLIP إلى فضاء تضمين النموذج اللغوي.
وصف المعمارية
CLIP ViT-L/14 (مجمَّد) ← سمات الشبكة من الطبقة قبل الأخيرة ← مصفوفة إسقاط W ← رموز بصرية تُدمج مع النص ← Vicuna.
تدفق البيانات
X_v ← g(X_v) = Z_v ← H_v = W·Z_v؛ [H_v ; H_q] ← LLM ← X_a.
المدخلات
صورة وتعليمة نصية.
المخرجات
إجابة نصية.
آلية التدريب
مرحلتان: (1) محاذاة السمات بتدريب W فقط على 595 ألف زوج من CC3M. (2) ضبط دقيق كامل (W والنموذج اللغوي) على 158 ألف تعليمة؛ مشفّر الرؤية مجمد دائماً.
دوال الخسارة
اللوغاريتم الاحتمالي السالب لرموز الإجابة فقط بشرط الصورة والتعليمات السابقة.
التعقيد الحسابي
كلفة النموذج اللغوي تهيمن (نحو 13 مليار ضرب-جمع لكل رمز).
المتطلبات الحسابية
الضبط الدقيق: نحو 10 ساعات على 8 بطاقات A100 وفق الورقة.
المزايا
- معمارية بسيطة وفعالة
- قدرات حوار وتفكير بصري جيدة
- كود وبيانات مفتوحة
القيود
- هلوسة في التفاصيل
- دقة صورة منخفضة (224) في v1
- كلفة استدلال عالية لنموذج 13B
المعادلات
الإسقاط إلى فضاء اللغة Visual projection
\mathbf{H}_v = W \cdot \mathbf{Z}_v,\quad \mathbf{Z}_v = g(\mathbf{X}_v)W مصفوفة قابلة للتعلم تحول سمات CLIP إلى تضمينات الكلمات.
الرموز: g: مشفّر CLIP، X_v: الصورة
هدف التدريب Training objective
p(\mathbf{X}_a \mid \mathbf{X}_v, \mathbf{X}_{instruct}) = \prod_{i=1}^{L} p_\theta\left(x_i \mid \mathbf{X}_v, \mathbf{X}_{instruct, \lt i}, \mathbf{X}_{a, \lt i}\right)الخسارة على رموز الإجابة فقط.
الرموز: L: طول التسلسل
التطبيقات
النماذج المرتبطة
- يستخدم مكوناً من CLIP (Contrastive Language–Image Pre-training) — مشفّر الرؤية من CLIP. قارن
- CLIP (Contrastive Language–Image Pre-training) — LLaVA يستخدم مشفّر صور CLIP. قارن
- بديل BLIP (Bootstrapping Language-Image Pre-training) — نموذج رؤية-لغة بديل. قارن
- GPT (Generative Pre-trained Transformer) — النموذج اللغوي من نوع فك تشفير المحوّل. قارن
- مبني على Transformer — كلا المكونين محوّلات. قارن
المراجع
- الورقة الأصلية Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee. (2023). Visual instruction tuning. NeurIPS 2023. arXiv:2304.08485 موثّق
- مرجع مرتبط Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. (2021). Learning transferable visual models from natural language supervision. ICML 2021 (PMLR 139). arXiv:2103.00020 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
