المحوّلات متعددة الوسائط (MM-Transformer)
Multimodal Transformers
محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).
نظرة عامة
| الاسم | المحوّلات متعددة الوسائط – Multimodal Transformers |
|---|---|
| سنة الظهور | 2019 |
| الباحثون | عائلة نماذج؛ مثال مؤسس: Jiasen Lu، Dhruv Batra، Devi Parikh، Stefan Lee (ViLBERT) |
| الورقة الأصلية | ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks arXiv |
| نوع البيانات | صور، نصوص، أنواع متعددة |
| المجالات | الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O((N_v+N_t)^2d)$ لأحادي التدفق. |
| حجم البيانات | كبيرة عادة (ملايين الأزواج). |
المشكلة التي تحلها
المهام الواقعية تجمع وسائط مختلفة، والجمع البسيط للسمات (concatenation) لا يلتقط العلاقات الدقيقة بين أجزاء الصورة وكلمات النص.
الخلفية والتطور
ما قبلها: المحوّل، محوّل الرؤية، الانتباه المتقاطع
الفكرة الأساسية
كل وسيط يُحول إلى رموز: الصور إلى رقع أو مناطق، والنص إلى كلمات. في أحادي التدفق تُضم الرموز في تسلسل واحد مع تضمين يبين نوع كل رمز، فيتيح الانتباه الذاتي تفاعلاً كاملاً. في ثنائي التدفق لكل وسيط مشفّره، وتتبادل التدفقات المعلومات عبر انتباه متقاطع. وفي "المشفّر المزدوج" (مثل CLIP) لا يوجد تفاعل داخلي، بل مقارنة نهائية بين التمثيلين.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
البديل ثنائي التدفق: مشفّر لكل وسيط + انتباه مشترك متبادل.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Modality tokenizers | رقع/مناطق للصور، رموز للنص |
| Modality-type embeddings | تمييز نوع كل رمز |
| Fusion | أحادي التدفق أو ثنائي التدفق أو مزدوج |
| Pretraining objectives | MLM ومطابقة الصورة–النص والتباين |
| Task heads | إجابة، استرجاع، تصنيف |
المعادلات
1. دخل أحادي التدفق
| $e_{img},e_{txt}$ | تضمين نوع الوسيط |
| $W_v,W_t$ | إسقاطات الوسائط |
2. الانتباه المشترك (ViLBERT)
| $T,V$ | النص والصورة |
3. مطابقة الصورة–النص (ITM)
| $y$ | 1 إن تطابقا |
آلية العمل خطوة بخطوة
- رمّز كل وسيط.
- أضف تضمينات النوع والموقع.
- ادمج بالأسلوب المختار.
- درّب مسبقاً بأهداف مثل ITM وMLM أو التباين.
- اضبط على المهمة النهائية.
المزايا والقيود
المزايا
- تفاعل دقيق بين أجزاء الوسائط.
- إطار واحد لمهام كثيرة.
- يستفيد من نماذج أحادية الوسيط مدربة مسبقاً.
القيود
- تكلفة تربيعية في مجموع أطوال الوسائط (أحادي التدفق).
- يحتاج أزواج بيانات متوافقة كبيرة.
- خطر الاعتماد على وسيط واحد وتجاهل الآخر.
متى تُستخدم؟ ومتى لا؟
تناسب
- مهام تتطلب فهماً مشتركاً للصورة والنص.
- السجلات الطبية التي تجمع صوراً وتقارير.
لا تناسب
- حين يكفي وسيط واحد.
- غياب بيانات مقترنة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | الإجابة عن أسئلة الصور. |
| معالجة اللغة الطبيعية | التأريض البصري للغة. |
| تحليل الصور الطبية | دمج صور الأشعة مع التقارير والبيانات السريرية. |
| الصوت والكلام | دمج الصوت والفيديو. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Multimodal Transformer أحادي التدفق — مطابقة الصورة والنص
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class MultimodalEncoder(nn.Module):
"""محوّل أحادي التدفق (single-stream): رموز الصورة ورموز النص في تسلسل واحد مع تضمين نوع الوسيط."""
def __init__(self, vocab=8, d=32, P=4, n_patches=4, T=4):
super().__init__()
self.img_proj = nn.Linear(P * P, d) # إسقاط رقع الصورة
self.tok = nn.Embedding(vocab, d) # تضمين كلمات النص
self.modality = nn.Embedding(2, d) # 0 = صورة، 1 = نص
self.pos = nn.Parameter(torch.randn(1, 1 + n_patches + T, d) * 0.02)
self.cls = nn.Parameter(torch.zeros(1, 1, d))
layer = nn.TransformerEncoderLayer(d, 4, 2 * d, dropout=0.0, batch_first=True, norm_first=True)
self.enc = nn.TransformerEncoder(layer, 2, enable_nested_tensor=False)
self.out = nn.Linear(d, 2) # هل يطابق النص الصورة؟ (Image–Text Matching)
def forward(self, x): # x = [64 قيمة بكسل للرقع | 4 رموز نصية]
img_patches, text = x[:, :64].view(-1, 4, 16), x[:, 64:].long()
v = self.img_proj(img_patches) + self.modality.weight[0]
t = self.tok(text) + self.modality.weight[1]
z = torch.cat([self.cls.expand(len(v), -1, -1), v, t], 1) + self.pos
return self.out(self.enc(z)[:, 0])
# 3) إعداد البيانات
# صورة 8×8 فيها خط أفقي أو رأسي في نصف علوي/سفلي أو أيسر/أيمن، ونص من 4 كلمات يصفها أو يصف غيرها.
# المفردات: 0=pad 1=horizontal 2=vertical 3=top 4=bottom 5=left 6=right 7=line
def make(n):
img = torch.randn(n, 8, 8) * 0.3
orient = torch.randint(0, 2, (n,)); half = torch.randint(0, 2, (n,)); off = torch.randint(0, 4, (n,))
for i in range(n):
r = off[i] + 4 * half[i]
if orient[i] == 0: img[i, r, 1:7] += 1.5
else: img[i, 1:7, r] += 1.5
def caption(o, h):
return torch.stack([1 + o, torch.where(o == 0, 3 + h, 5 + h), torch.full_like(o, 7), torch.zeros_like(o)], 1)
y = torch.randint(0, 2, (n,)) # 1 = وصف صحيح، 0 = وصف خاطئ
wrong = torch.randint(1, 4, (n,)) # غيّر الاتجاه أو الموضع أو كليهما
o2 = torch.where((wrong & 1).bool(), 1 - orient, orient); h2 = torch.where((wrong & 2).bool(), 1 - half, half)
text = torch.where(y[:, None] == 1, caption(orient, half), caption(o2, h2))
patches = img.unfold(1, 4, 4).unfold(2, 4, 4).reshape(n, 4, 16) # 4 رقع 4×4
return torch.cat([patches.reshape(n, 64), text.float()], 1), y # نجمع الوسيطين في موتر واحد للتبسيط
X_train, y_train = make(3000)
X_test, y_test = make(600)
model = MultimodalEncoder()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 20, 64
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 8.2 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.915
عدد المعاملات القابلة للتدريب في المثال: model = 18٬338.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
نماذج الرؤية واللغة
Vision-Language Models (VLM)
نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
بيرسيفر
Perceiver
معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- نموذج متعدد الوسائط يدمج صور الأشعة السينية مع التقارير العربية والإنجليزية للكشف عن عدم الاتساق.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الفرق بين المحوّل أحادي التدفق وثنائي التدفق؟
لماذا؟ اختيار يؤثر على التكلفة ونوع التفاعل.
ما فائدة تضمين نوع الوسيط؟
لماذا؟ دونه يصعب على النموذج معرفة مصدر الرمز.
مع $p=0.9$ لزوج متطابق، ما خسارة ITM تقريباً؟
لماذا؟ $-\ln0.9\approx0.105$.
المراجع
Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1908.02265
Xu, P., Zhu, X., & Clifton, D. A. (2023). Multimodal learning with transformers: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10), 12113–12132. https://doi.org/10.1109/TPAMI.2023.3275156
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., et al. (2021). Learning transferable visual models from natural language supervision. International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. https://arxiv.org/abs/2103.00020
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
