كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدممعماريات المحولات

نماذج الرؤية واللغة (VLM)

Vision-Language Models

نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo، BLIP-2، LLaVA).

نظرة عامة

الاسمنماذج الرؤية واللغة – Vision-Language Models
سنة الظهور2021
الباحثونعائلة نماذج؛ المحطات المرجعية هنا: Radford وآخرون (CLIP 2021)، Alayrac وآخرون (Flamingo 2022)، Li وآخرون (BLIP-2 2023)، Liu وآخرون (LLaVA 2023)
الورقة الأصليةLearning transferable visual models from natural language supervision arXiv
نوع البياناتصور، نصوص
المجالاتالذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، الروبوتات، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابيةتتحدد غالباً بحجم النموذج اللغوي؛ الرموز البصرية تطيل السياق.
حجم البياناتملايين إلى مئات الملايين من الأزواج للمحاذاة، ومئات الآلاف للتعليمات.

المشكلة التي تحلها

النماذج البصرية التقليدية تتعلم فئات ثابتة، والنماذج اللغوية لا ترى. المطلوب نموذج يفهم الصورة ويجيب بلغة طبيعية مفتوحة ويعمم إلى مفاهيم لم يُدرّب عليها صراحة.

الخلفية والتطور

ما قبلها: محوّل الرؤية، المحوّل، المحوّلات متعددة الوسائط، الانتباه المتقاطع

  1. 2021

    CLIP: مشفّران للصورة والنص بخسارة تباينية على 400 مليون زوج، مع تصنيف صفري. [مرجع]

  2. 2022

    Flamingo: Perceiver Resampler وطبقات انتباه متقاطع ببوابات داخل نموذج لغة مجمّد. [مرجع]

  3. 2023

    BLIP-2: Q-Former خفيف يربط مشفّر صور مجمّداً بنموذج لغة مجمّد. [مرجع]

  4. 2023

    LLaVA: إسقاط خطي من مشفّر CLIP إلى نموذج لغة مع ضبط بالتعليمات البصرية. [مرجع]

الفكرة الأساسية

ثلاثة أنماط: (1) تبايني: مشفّران يُدربان كي تقترب تمثيلات الأزواج المتطابقة. (2) ربط بموصل: مشفّر صور (غالباً مجمّد) → موصل (إسقاط خطي أو MLP أو Q-Former أو Resampler) → رموز بصرية تُضاف قبل النص في نموذج لغة. (3) انتباه متقاطع: النموذج اللغوي يقرأ الرموز البصرية عبر طبقات انتباه متقاطع مضافة. التدريب عادة على مرحلتين: محاذاة الموصل ثم ضبط بالتعليمات.

مثال: طبيب يرفع صورة أشعة صدر ويسأل: "هل يوجد انصباب جنبي؟" فيولد النموذج إجابة وصفية. تحذير: هذه النماذج قد تهلوس، ولا تصلح للتشخيص دون تحقق سريري.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

النمط المعروض هو نمط LLaVA؛ Flamingo يستخدم انتباهاً متقاطعاً بدل ضم الرموز.

المكونات

المكوّنالوظيفة
Vision encoderغالباً ViT مدرب بطريقة CLIP
Connector / Projectorخطي، MLP، Q-Former، Perceiver Resampler
LLMمفكك سببي
Contrastive objectiveفي CLIP
Visual instruction tuningبيانات سؤال–جواب عن صور

المعادلات

1. الخسارة التباينية المتناظرة (CLIP)

$$\mathcal{L}=-\frac{1}{2N}\sum_{i=1}^{N}\left[\log\frac{e^{s_{ii}/\tau}}{\sum_j e^{s_{ij}/\tau}}+\log\frac{e^{s_{ii}/\tau}}{\sum_j e^{s_{ji}/\tau}}\right],\quad s_{ij}=\cos(u_i,v_j)$$

الرموز
$u_i,v_j$تمثيلا الصورة والنص
$\tau$حرارة متعلَّمة
الأبعاد
قيمة قياسية على دفعة N
مثال عددي
إذا كان صف الصورة الأولى بعد القسمة على $\tau$ هو $(5,1)$ فإن احتمال النص الصحيح $e^5/(e^5+e^1)\approx0.982$ وحدّه في الخسارة $\approx0.018$.
علاقتها بالمعمارية
تقرب الأزواج المتطابقة وتبعد غيرها.

2. الإسقاط والتوليد المشروط (LLaVA)

$$H_v=W\,Z_v,\qquad p(X_a\mid X_v,X_q)=\prod_{i=1}^{L}p_\theta\big(x_i\mid H_v,X_q,x_{<i}\big)$$

الرموز
$Z_v$سمات المشفّر البصري
$W$مصفوفة الإسقاط
$X_q,X_a$السؤال والإجابة
الأبعاد
$Z_v\in\mathbb{R}^{N_v\times d_v}$، $W\in\mathbb{R}^{d\times d_v}$
مثال عددي
$N_v=256$ رمزاً (ViT-L/14 على 224px)، $d_v=1024$، $d=4096$: $W$ فيها $1024\times4096=4{,}194{,}304$ معاملاً.
علاقتها بالمعمارية
تعيد استخدام نموذج لغة جاهز مع موصل خفيف.

آلية العمل خطوة بخطوة

  1. اختر مشفّراً بصرياً ونموذج لغة.
  2. صمم الموصل.
  3. المرحلة 1: درّب الموصل على أزواج صورة–وصف مع تجميد البقية.
  4. المرحلة 2: اضبط بالتعليمات البصرية.
  5. قيّم على معايير مثل الإجابة عن أسئلة الصور مع فحص الهلوسة.

المزايا والقيود

المزايا

  • فهم مفتوح المفردات وتعميم صفري.
  • واجهة لغوية طبيعية.
  • إعادة استخدام نماذج كبيرة مدربة مسبقاً.

القيود

  • هلوسة أوصاف غير موجودة في الصورة.
  • كلفة حسابية عالية.
  • انحيازات من بيانات الويب.
  • تقييم صعب ومعايير متغيرة.

متى تُستخدم؟ ومتى لا؟

تناسب

  • أسئلة مفتوحة عن الصور.
  • تصنيف صفري واسترجاع.
  • وكلاء يتعاملون مع واجهات بصرية.

لا تناسب

  • قرارات حرجة دون تحقق بشري.
  • مهام ضيقة يكفيها مصنف صغير دقيق.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةوصف الصور والإجابة عن الأسئلة والاسترجاع.
تحليل الصور الطبيةمساعدات بحثية لتقارير الأشعة (تحتاج تحققاً).
الذكاء الاصطناعي التوليديCLIP كمشفّر نص في توليد الصور.
الروبوتاتربط التعليمات اللغوية بالإدراك البصري.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

مثال تعليمي من الصفر بمفردات من 10 كلمات؛ نماذج VLM الحقيقية تستخدم مشفّرات ونماذج لغة مدربة مسبقاً بمليارات المعاملات.

Python (PyTorch)
# VLM مصغّر بأسلوب LLaVA: مشفّر بصري → مُسقِط → مفكك سببي يولّد الوصف
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
VOCAB = ['<pad>', '<bos>', '<eos>', 'horizontal', 'vertical', 'line', 'top', 'bottom', 'left', 'right']
class VisionEncoder(nn.Module):                       # بديل مصغّر لمشفّر الصور المجمَّد (مثل CLIP ViT في LLaVA)
    def __init__(self, d_v=24):
        super().__init__()
        self.net = nn.Sequential(nn.Conv2d(1, 16, 3, padding=1), nn.ReLU(), nn.Conv2d(16, d_v, 4, stride=4))
    def forward(self, img):                           # B×1×8×8 → B×4×d_v (أربعة رموز بصرية)
        return self.net(img).flatten(2).transpose(1, 2)

class TinyVLM(nn.Module):
    """مشفّر بصري → مُسقِط (Projector) إلى فضاء تضمين النموذج اللغوي → محوّل سببي يولّد الوصف."""
    def __init__(self, d_v=24, d=32, T=5):
        super().__init__()
        self.vision = VisionEncoder(d_v)
        self.projector = nn.Linear(d_v, d)            # كما في LLaVA: إسقاط خطي للسمات البصرية
        self.tok = nn.Embedding(len(VOCAB), d)
        self.pos = nn.Parameter(torch.randn(1, 4 + T, d) * 0.02)
        layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
        self.lm = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)     # يُستخدم كمفكك سببي عبر قناع مثلثي
        self.lm_head = nn.Linear(d, len(VOCAB))
    def forward(self, img, tokens):                   # tokens: B×t (تبدأ بـ <bos>)
        v = self.projector(self.vision(img))          # B×4×d رموز بصرية في فضاء اللغة
        z = torch.cat([v, self.tok(tokens)], 1)
        z = z + self.pos[:, :z.shape[1]]
        L = z.shape[1]
        mask = torch.triu(torch.ones(L, L, dtype=torch.bool), 1)   # كل موضع يرى ما قبله فقط
        h = self.lm(z, mask=mask)
        return self.lm_head(h[:, 4:])                 # توقع الرمز التالي لكل موضع نصي
    @torch.no_grad()
    def generate(self, img, max_len=4):
        tokens = torch.ones(len(img), 1, dtype=torch.long)          # <bos>
        for _ in range(max_len):
            nxt = self(img, tokens)[:, -1].argmax(-1, keepdim=True)  # فك ترميز جشع (greedy)
            tokens = torch.cat([tokens, nxt], 1)
        return tokens[:, 1:]

# 3) إعداد البيانات
# صور 8×8 بخط أفقي (في الأعلى/الأسفل) أو رأسي (يسار/يمين)؛ الوصف الهدف: "<اتجاه> line <موضع> <eos>"
def make(n):
    img = torch.randn(n, 1, 8, 8) * 0.3
    orient = torch.randint(0, 2, (n,)); half = torch.randint(0, 2, (n,)); off = torch.randint(0, 4, (n,))
    for i in range(n):
        r = off[i] + 4 * half[i]
        if orient[i] == 0: img[i, 0, r, 1:7] += 1.5
        else:              img[i, 0, 1:7, r] += 1.5
    where = torch.where(orient == 0, 6 + half, 8 + half)
    cap = torch.stack([3 + orient, torch.full_like(orient, 5), where, torch.full_like(orient, 2)], 1)   # 4 رموز
    return img, cap
X_train, C_train = make(2000)
X_test, C_test = make(400)
model = TinyVLM()

# 4) دالة الخسارة (توقع الرمز التالي) والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
bos = torch.ones(1, 1, dtype=torch.long)

# 5) حلقة التدريب: Teacher Forcing — الدخل <bos>+الوصف بدون آخر رمز، والهدف الوصف نفسه
EPOCHS, BATCH = 12, 64
for epoch in range(EPOCHS):
    perm, total = torch.randperm(len(X_train)), 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        img, cap = X_train[idx], C_train[idx]
        inp = torch.cat([bos.expand(len(idx), 1), cap[:, :-1]], 1)
        logits = model(img, inp)                                      # Forward Pass: B×4×|V|
        loss = loss_fn(logits.reshape(-1, logits.shape[-1]), cap.reshape(-1))
        opt.zero_grad(); loss.backward(); opt.step()
        total += loss.item() * len(idx)
    if epoch % 3 == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم: التوليد الذاتي (دون Teacher Forcing) ومطابقة الوصف كاملاً
model.eval()
gen = model.generate(X_test)
print(f"exact caption match = {(gen == C_test).all(1).float().mean().item():.3f}")
print(f"token accuracy      = {(gen == C_test).float().mean().item():.3f}")

# 7) الاستدلال: وصف صورة جديدة
words = [VOCAB[t] for t in model.generate(X_test[:1])[0].tolist()]
print("caption:", " ".join(w for w in words if w != '<eos>'), "| true:", " ".join(VOCAB[t] for t in C_test[0].tolist() if t != 2))

نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.5 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

exact caption match = 1.000
token accuracy      = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 25٬154.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط2019

المحوّلات متعددة الوسائط

Multimodal Transformers (MM-Transformer)

محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).

معماريات المحولات

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

متقدم2021

بيرسيفر

Perceiver

معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.

معماريات المحولات

متقدم2020

المعماريات العصبية المعززة بالاسترجاع

Retrieval-Augmented Neural Architectures (RAG)

نماذج تجمع ذاكرة غير معلمية (فهرس مستندات) مع نموذج معلمي: مسترجع يجد مقاطع ذات صلة بالسؤال، ومولّد يستخدمها لإنتاج الجواب، فيمكن تحديث المعرفة بتحديث الفهرس دون إعادة ا…

المعماريات المتخصصةمعماريات المحولات

أفكار بحثية

  • تقييم هلوسة نماذج VLM في وصف صور الأشعة باللغة العربية وتصميم مقياس للاتساق مع التقرير المرجعي.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما دور الموصل (Projector) في LLaVA؟

  2. مفهوم

    ما الذي تحسّنه خسارة CLIP التباينية؟

  3. مفهوم

    كيف يدخل Flamingo المعلومات البصرية إلى النموذج اللغوي؟

المراجع

  1. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., et al. (2021). Learning transferable visual models from natural language supervision. International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. https://arxiv.org/abs/2103.00020

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., et al. (2022). Flamingo: A visual language model for few-shot learning. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2204.14198

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Li, J., Li, D., Savarese, S., & Hoi, S. (2023). BLIP-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. International Conference on Machine Learning (ICML), PMLR 202, 19730–19742. https://arxiv.org/abs/2301.12597

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Liu, H., Li, C., Wu, Q., & Lee, Y. J. (2023). Visual instruction tuning. Advances in Neural Information Processing Systems (NeurIPS) 36. https://arxiv.org/abs/2304.08485

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  5. Xu, P., Zhu, X., & Clifton, D. A. (2023). Multimodal learning with transformers: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10), 12113–12132. https://doi.org/10.1109/TPAMI.2023.3275156

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  6. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20