كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطمعماريات المحولات

المحوّلات متعددة الوسائط (MM-Transformer)

Multimodal Transformers

محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).

نظرة عامة

الاسمالمحوّلات متعددة الوسائط – Multimodal Transformers
سنة الظهور2019
الباحثونعائلة نماذج؛ مثال مؤسس: Jiasen Lu، Dhruv Batra، Devi Parikh، Stefan Lee (ViLBERT)
الورقة الأصليةViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks arXiv
نوع البياناتصور، نصوص، أنواع متعددة
المجالاتالرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابية$O((N_v+N_t)^2d)$ لأحادي التدفق.
حجم البياناتكبيرة عادة (ملايين الأزواج).

المشكلة التي تحلها

المهام الواقعية تجمع وسائط مختلفة، والجمع البسيط للسمات (concatenation) لا يلتقط العلاقات الدقيقة بين أجزاء الصورة وكلمات النص.

الخلفية والتطور

ما قبلها: المحوّل، محوّل الرؤية، الانتباه المتقاطع

  1. 2019

    قدم ViLBERT تدفقين للصورة والنص مع طبقات انتباه مشترك (co-attention). [مرجع]

  2. 2021

    درّب CLIP مشفّرين منفصلين بخسارة تباينية على أزواج صورة–نص. [مرجع]

  3. 2023

    لخص Xu وزملاؤه أنماط المحوّلات متعددة الوسائط في مسح بمجلة TPAMI. [مرجع]

الفكرة الأساسية

كل وسيط يُحول إلى رموز: الصور إلى رقع أو مناطق، والنص إلى كلمات. في أحادي التدفق تُضم الرموز في تسلسل واحد مع تضمين يبين نوع كل رمز، فيتيح الانتباه الذاتي تفاعلاً كاملاً. في ثنائي التدفق لكل وسيط مشفّره، وتتبادل التدفقات المعلومات عبر انتباه متقاطع. وفي "المشفّر المزدوج" (مثل CLIP) لا يوجد تفاعل داخلي، بل مقارنة نهائية بين التمثيلين.

مثال: في الإجابة عن سؤال "ما لون السيارة اليسرى؟"، تنتبه كلمة "اليسرى" إلى رقع الجزء الأيسر، وكلمة "لون" إلى سمات اللون في تلك الرقع.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

البديل ثنائي التدفق: مشفّر لكل وسيط + انتباه مشترك متبادل.

المكونات

المكوّنالوظيفة
Modality tokenizersرقع/مناطق للصور، رموز للنص
Modality-type embeddingsتمييز نوع كل رمز
Fusionأحادي التدفق أو ثنائي التدفق أو مزدوج
Pretraining objectivesMLM ومطابقة الصورة–النص والتباين
Task headsإجابة، استرجاع، تصنيف

المعادلات

1. دخل أحادي التدفق

$$h_0=\big[x_{cls};\;v_1W_v+e_{img};\dots;\;t_1W_t+e_{txt};\dots\big]+E_{pos}$$

الرموز
$e_{img},e_{txt}$تضمين نوع الوسيط
$W_v,W_t$إسقاطات الوسائط
الأبعاد
$h_0\in\mathbb{R}^{(1+N_v+N_t)\times d}$
مثال عددي
4 رقع + 4 كلمات + [CLS] = تسلسل طوله 9.
علاقتها بالمعمارية
الانتباه الذاتي يعمل حينئذٍ عبر الوسائط.

2. الانتباه المشترك (ViLBERT)

$$\tilde H_T=\mathrm{Attn}(Q_T,K_V,V_V),\qquad \tilde H_V=\mathrm{Attn}(Q_V,K_T,V_T)$$

الرموز
$T,V$النص والصورة
الأبعاد
كل تدفق يحتفظ بطوله
مثال عددي
كلمة واحدة مع 3 مناطق صورية: أوزان مثل $(0.1,0.8,0.1)$ تعني أن الكلمة تشير للمنطقة الثانية.
علاقتها بالمعمارية
تبادل متناظر للمعلومات بين الوسيطين.

3. مطابقة الصورة–النص (ITM)

$$\mathcal{L}_{ITM}=-\big[y\log p+(1-y)\log(1-p)\big],\quad p=\sigma(w^{\top}h_{cls})$$

الرموز
$y$1 إن تطابقا
الأبعاد
قيمة قياسية
مثال عددي
$p=0.9$ وزوج مطابق ⇒ $\mathcal{L}=-\ln0.9\approx0.105$.
علاقتها بالمعمارية
هدف تدريب مسبق شائع.

آلية العمل خطوة بخطوة

  1. رمّز كل وسيط.
  2. أضف تضمينات النوع والموقع.
  3. ادمج بالأسلوب المختار.
  4. درّب مسبقاً بأهداف مثل ITM وMLM أو التباين.
  5. اضبط على المهمة النهائية.

المزايا والقيود

المزايا

  • تفاعل دقيق بين أجزاء الوسائط.
  • إطار واحد لمهام كثيرة.
  • يستفيد من نماذج أحادية الوسيط مدربة مسبقاً.

القيود

  • تكلفة تربيعية في مجموع أطوال الوسائط (أحادي التدفق).
  • يحتاج أزواج بيانات متوافقة كبيرة.
  • خطر الاعتماد على وسيط واحد وتجاهل الآخر.

متى تُستخدم؟ ومتى لا؟

تناسب

  • مهام تتطلب فهماً مشتركاً للصورة والنص.
  • السجلات الطبية التي تجمع صوراً وتقارير.

لا تناسب

  • حين يكفي وسيط واحد.
  • غياب بيانات مقترنة.

التطبيقات

المجالالاستخدام
الرؤية الحاسوبيةالإجابة عن أسئلة الصور.
معالجة اللغة الطبيعيةالتأريض البصري للغة.
تحليل الصور الطبيةدمج صور الأشعة مع التقارير والبيانات السريرية.
الصوت والكلامدمج الصوت والفيديو.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Multimodal Transformer أحادي التدفق — مطابقة الصورة والنص
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class MultimodalEncoder(nn.Module):
    """محوّل أحادي التدفق (single-stream): رموز الصورة ورموز النص في تسلسل واحد مع تضمين نوع الوسيط."""
    def __init__(self, vocab=8, d=32, P=4, n_patches=4, T=4):
        super().__init__()
        self.img_proj = nn.Linear(P * P, d)                 # إسقاط رقع الصورة
        self.tok = nn.Embedding(vocab, d)                   # تضمين كلمات النص
        self.modality = nn.Embedding(2, d)                     # 0 = صورة، 1 = نص
        self.pos = nn.Parameter(torch.randn(1, 1 + n_patches + T, d) * 0.02)
        self.cls = nn.Parameter(torch.zeros(1, 1, d))
        layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
        self.enc = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)
        self.out = nn.Linear(d, 2)                          # هل يطابق النص الصورة؟ (Image–Text Matching)
    def forward(self, x):                              # x = [64 قيمة بكسل للرقع | 4 رموز نصية]
        img_patches, text = x[:, :64].view(-1, 4, 16), x[:, 64:].long()
        v = self.img_proj(img_patches) + self.modality.weight[0]
        t = self.tok(text) + self.modality.weight[1]
        z = torch.cat([self.cls.expand(len(v), -1, -1), v, t], 1) + self.pos
        return self.out(self.enc(z)[:, 0])

# 3) إعداد البيانات
# صورة 8×8 فيها خط أفقي أو رأسي في نصف علوي/سفلي أو أيسر/أيمن، ونص من 4 كلمات يصفها أو يصف غيرها.
# المفردات: 0=pad 1=horizontal 2=vertical 3=top 4=bottom 5=left 6=right 7=line
def make(n):
    img = torch.randn(n, 8, 8) * 0.3
    orient = torch.randint(0, 2, (n,)); half = torch.randint(0, 2, (n,)); off = torch.randint(0, 4, (n,))
    for i in range(n):
        r = off[i] + 4 * half[i]
        if orient[i] == 0: img[i, r, 1:7] += 1.5
        else:              img[i, 1:7, r] += 1.5
    def caption(o, h):
        return torch.stack([1 + o, torch.where(o == 0, 3 + h, 5 + h), torch.full_like(o, 7), torch.zeros_like(o)], 1)
    y = torch.randint(0, 2, (n,))                                   # 1 = وصف صحيح، 0 = وصف خاطئ
    wrong = torch.randint(1, 4, (n,))                               # غيّر الاتجاه أو الموضع أو كليهما
    o2 = torch.where((wrong & 1).bool(), 1 - orient, orient); h2 = torch.where((wrong & 2).bool(), 1 - half, half)
    text = torch.where(y[:, None] == 1, caption(orient, half), caption(o2, h2))
    patches = img.unfold(1, 4, 4).unfold(2, 4, 4).reshape(n, 4, 16)  # 4 رقع 4×4
    return torch.cat([patches.reshape(n, 64), text.float()], 1), y   # نجمع الوسيطين في موتر واحد للتبسيط
X_train, y_train = make(3000)
X_test, y_test = make(600)
model = MultimodalEncoder()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 20, 64
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 8.2 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.915

عدد المعاملات القابلة للتدريب في المثال: model = 18٬338.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2021

نماذج الرؤية واللغة

Vision-Language Models (VLM)

نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…

معماريات المحولات

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

متقدم2021

بيرسيفر

Perceiver

معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.

معماريات المحولات

أفكار بحثية

  • نموذج متعدد الوسائط يدمج صور الأشعة السينية مع التقارير العربية والإنجليزية للكشف عن عدم الاتساق.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مقارنة

    ما الفرق بين المحوّل أحادي التدفق وثنائي التدفق؟

  2. مفهوم

    ما فائدة تضمين نوع الوسيط؟

  3. رياضي

    مع $p=0.9$ لزوج متطابق، ما خسارة ITM تقريباً؟

المراجع

  1. Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1908.02265

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Xu, P., Zhu, X., & Clifton, D. A. (2023). Multimodal learning with transformers: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10), 12113–12132. https://doi.org/10.1109/TPAMI.2023.3275156

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., et al. (2021). Learning transferable visual models from natural language supervision. International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. https://arxiv.org/abs/2103.00020

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20