النماذج متعددة الوسائط يحتاج مراجعة

LLaVA (Large Language and Vision Assistant)

لافا — LLaVA

سنة الظهور
2023
الباحثون
Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee
الجهة
University of Wisconsin–Madison, Microsoft Research, Columbia University
نوع المعمارية
Vision encoder + projection + LLM (visual instruction tuning)
آلية التعلم
supervised
المهام
الإجابة عن أسئلة الصور، المحادثة متعددة الوسائط، وصف الصور نصياً

مساعد متعدد الوسائط يربط مشفّر رؤية CLIP بنموذج لغوي كبير عبر إسقاط بسيط، ويُضبط بتعليمات بصرية مولَّدة آلياً.

مخطط المعمارية

التكوين المعروض: LLaVA ‏(v1): ‏CLIP ViT-L/14 ‏(224) + إسقاط خطي + Vicuna-13B — مشفّر الرؤية 303,179,776، الإسقاط 5,248,000، النموذج اللغوي 13,015,864,320.

جدول الطبقات (13 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
صورة 224×224input3 × 224 × 22410—
رقع 14×14 + [CLS] + موضعpatch3 × 224 × 224257 × 10241868,352تضمين CLIP ViT-L/14 + LayerNorm أولي—
مشفّر ViT × 24 (1024، 16 رأساً)encoder257 × 1024256 × 1024 (سمات الشبكة)2412,596,224لكل طبقة—
LayerNorm النهائي (غير مستخدم)ln1024102412,048—
الإسقاط W: خطي 1024 ← 5120projection256 × 1024256 × 512015,248,0001024·5120 + 51201,342,177,280
تعليمات المستخدم (نص)inputL_q10—
تضمين الرموز (32,000 × 5120)embedL_qL_q × 51201163,840,00032,000 · 5120—
دمج: [H_v ; H_q]concat256 + L_q(256 + L_q) × 512010—
كتلة LLaMA × 40 (انتباه سببي + SwiGLU + RMSNorm)decodern × 5120n × 512040317,204,480لكل كتلة—
RMSNorm نهائيlnn × 5120n × 512015,120—
رأس اللغة 5120 ← 32,000headn × 5120n × 320001163,840,0005120 · 32,000 (غير مقيَّد)—
الإجابة X_a (توليد ذاتي الانحدار)outputn × 32000نص10—
خسارة ذاتية الانحدار على رموز الإجابة فقطlossX_aL10—

أرقام التكوين: LLaVA ‏(v1): ‏CLIP ViT-L/14 ‏(224) + إسقاط خطي + Vicuna-13B

Parameters (محسوبة من الطبقات)13,324,292,096 (≈13.32B)
Parameters (منشورة في المصدر)غير محدد
MACsغير محدد
FLOPs ≈ 2 × MACsغير محدد
شكل المدخل
صورة 3×224×224 + نص
شكل المخرج
نص
العمق
24 طبقة ViT + 40 كتلة LLaMA
التعقيد
الرموز البصرية (256) تُضاف إلى طول السياق في كل طلب.
ملاحظة MACs
تعتمد على طول السياق؛ تقريباً 2 × عدد معاملات النموذج اللغوي لكل رمز (≈ 13 مليار ضرب-جمع لكل رمز) إضافة إلى الانتباه.
افتراضات الحساب: أعداد محسوبة على جهاز meta من تهيئات CLIP ViT-L/14 و LLaMA-13B المنشورة (Vicuna-13B مضبوط من LLaMA-13B بالمعمارية نفسها). مشفّر الرؤية يُحسب كاملاً رغم عدم استخدام طبقته الأخيرة.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نُشر في NeurIPS 2023 (Oral)، وتبعته LLaVA-1.5 بإسقاط MLP ودقة 336، فأصبح من أشهر النماذج المفتوحة متعددة الوسائط.

المشكلة التي يعالجها

النماذج اللغوية الكبيرة لا ترى الصور، وبيانات التعليمات متعددة الوسائط نادرة.

الفكرة الأساسية

توليد 158 ألف عينة تعليمات بصرية بنموذج لغوي نصي من أوصاف الصور وصناديقها، ثم إسقاط سمات CLIP إلى فضاء تضمين النموذج اللغوي.

وصف المعمارية

CLIP ViT-L/14 (مجمَّد) ← سمات الشبكة من الطبقة قبل الأخيرة ← مصفوفة إسقاط W ← رموز بصرية تُدمج مع النص ← Vicuna.

تدفق البيانات

X_v ← g(X_v) = Z_v ← H_v = W·Z_v؛ [H_v ; H_q] ← LLM ← X_a.

المدخلات

صورة وتعليمة نصية.

المخرجات

إجابة نصية.

آلية التدريب

مرحلتان: (1) محاذاة السمات بتدريب W فقط على 595 ألف زوج من CC3M. (2) ضبط دقيق كامل (W والنموذج اللغوي) على 158 ألف تعليمة؛ مشفّر الرؤية مجمد دائماً.

دوال الخسارة

اللوغاريتم الاحتمالي السالب لرموز الإجابة فقط بشرط الصورة والتعليمات السابقة.

التعقيد الحسابي

كلفة النموذج اللغوي تهيمن (نحو 13 مليار ضرب-جمع لكل رمز).

المتطلبات الحسابية

الضبط الدقيق: نحو 10 ساعات على 8 بطاقات A100 وفق الورقة.

المزايا

  • معمارية بسيطة وفعالة
  • قدرات حوار وتفكير بصري جيدة
  • كود وبيانات مفتوحة

القيود

  • هلوسة في التفاصيل
  • دقة صورة منخفضة (224) في v1
  • كلفة استدلال عالية لنموذج 13B

المعادلات

الإسقاط إلى فضاء اللغة Visual projection

\mathbf{H}_v = W \cdot \mathbf{Z}_v,\quad \mathbf{Z}_v = g(\mathbf{X}_v)

W مصفوفة قابلة للتعلم تحول سمات CLIP إلى تضمينات الكلمات.

الرموز: g: مشفّر CLIP، X_v: الصورة

هدف التدريب Training objective

p(\mathbf{X}_a \mid \mathbf{X}_v, \mathbf{X}_{instruct}) = \prod_{i=1}^{L} p_\theta\left(x_i \mid \mathbf{X}_v, \mathbf{X}_{instruct, \lt i}, \mathbf{X}_{a, \lt i}\right)

الخسارة على رموز الإجابة فقط.

الرموز: L: طول التسلسل

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee. (2023). Visual instruction tuning. NeurIPS 2023. arXiv:2304.08485 موثّق
  2. مرجع مرتبط Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. (2021). Learning transferable visual models from natural language supervision. ICML 2021 (PMLR 139). arXiv:2103.00020 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.