الانتباه المتقاطع (Cross-Attn)
Cross-Attention
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
نظرة عامة
| الاسم | الانتباه المتقاطع – Cross-Attention |
|---|---|
| سنة الظهور | 2017 |
| الباحثون | يرد كمكوّن في Vaswani وآخرين (2017)، وجذوره في انتباه Bahdanau وآخرين (2015) |
| الورقة الأصلية | Attention is all you need arXiv |
| نوع البيانات | نصوص، صور، أنواع متعددة |
| المجالات | الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O(n\,m\,d_k)$. |
| حجم البيانات | تعتمد على المهمة. |
المشكلة التي تحلها
كثير من المهام تربط مصدرين: ترجمة (مصدر وهدف)، أو توليد صور من نص، أو أسئلة عن صور. الانتباه الذاتي وحده يعمل داخل تسلسل واحد.
الخلفية والتطور
ما قبلها: آلية الانتباه، المحوّل
الفكرة الأساسية
$Q$ تُحسب من X (مثلاً حالات المفكك أو بكسلات الصورة الكامنة)، و$K,V$ من Y (مخرجات المشفّر أو تضمينات النص). كل استعلام يحسب توزيعاً على عناصر Y ويأخذ متوسطاً موزوناً لقيمها. الخرج له طول X نفسه.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Queries from X | $XW_Q$ |
| Keys/Values from Y | $YW_K$ و$YW_V$ |
| Scaled dot-product + Softmax | أوزان على عناصر Y |
| Residual | إضافة إلى X |
| Optional tanh gate | كما في Flamingo |
المعادلات
1. الانتباه المتقاطع
| $X$ | مصدر الاستعلامات |
| $Y$ | مصدر المفاتيح والقيم |
2. الانتباه المتقاطع ذو البوابة (Flamingo)
| $\alpha$ | معامل متعلَّم |
| $V_{img}$ | رموز بصرية |
آلية العمل خطوة بخطوة
- احسب Q من X.
- احسب K وV من Y.
- احسب درجات الصلة وطبّعها.
- اجمع القيم موزونة.
- أضف إلى X عبر وصلة متبقية.
المزايا والقيود
المزايا
- ربط مرن بين وسيطين أو تسلسلين بأطوال مختلفة.
- تكلفة $O(nm)$ قد تكون أقل بكثير من الانتباه الذاتي على المجموع.
- أوزان قابلة للعرض.
القيود
- جودة الربط تعتمد على جودة تمثيل Y.
- قد تكون مكلفة إن كان n وm كبيرين معاً.
متى تُستخدم؟ ومتى لا؟
تناسب
- الترجمة والتلخيص.
- التوليد المشروط بنص.
- دمج الوسائط.
لا تناسب
- مهام أحادية التسلسل يكفيها الانتباه الذاتي.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | المفكك في الترجمة. |
| الذكاء الاصطناعي التوليدي | توجيه نماذج الانتشار بالنص. |
| الرؤية الحاسوبية | استعلامات الكائنات في DETR. |
| تحليل الصور الطبية | دمج صور وتقارير طبية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Cross-Attention — استرجاع مفتاح–قيمة من سياق
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class CrossAttention(nn.Module):
"""الاستعلامات من تسلسل X، والمفاتيح والقيم من تسلسل آخر Y: softmax(Q_X K_Yᵀ/√d) V_Y."""
def __init__(self, d, dk=32):
super().__init__()
self.Wq, self.Wk, self.Wv = nn.Linear(d, dk), nn.Linear(d, dk), nn.Linear(d, dk)
self.dk = dk
def forward(self, X, Y): # X: B×n×d ، Y: B×m×d
scores = self.Wq(X) @ self.Wk(Y).transpose(1, 2) / self.dk ** 0.5 # B×n×m
self.alpha = scores.softmax(-1)
return self.alpha @ self.Wv(Y) # B×n×dk
class KeyValueRetriever(nn.Module):
def __init__(self, n_keys=16, d=32):
super().__init__()
self.key_emb = nn.Embedding(n_keys, d)
self.val_in = nn.Linear(1, d)
self.xattn = CrossAttention(d)
self.out = nn.Linear(32, 1)
def forward(self, ctx_keys, ctx_vals, query_keys):
Y = self.key_emb(ctx_keys) + self.val_in(ctx_vals[..., None]) # ذاكرة السياق: (مفتاح، قيمة)
X = self.key_emb(query_keys) # الاستعلامات
return self.out(self.xattn(X, Y)).squeeze(-1)
# 3) إعداد البيانات
# استرجاع مفتاح–قيمة: سياق من 8 أزواج (مفتاح مميز، قيمة عشوائية) و3 استعلامات؛ الهدف قيمة المفتاح المطابق
def make(n, m=8, q=3, n_keys=16):
keys = torch.stack([torch.randperm(n_keys)[:m] for _ in range(n)])
vals = torch.rand(n, m) * 2 - 1
pick = torch.stack([torch.randperm(m)[:q] for _ in range(n)])
return keys, vals, keys.gather(1, pick), vals.gather(1, pick), pick
K_train, V_train, Q_train, T_train, _ = make(3000)
K_test, V_test, Q_test, T_test, match_test = make(500)
model = KeyValueRetriever()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب
EPOCHS, BATCH = 30, 64
for epoch in range(EPOCHS):
perm, total = torch.randperm(len(K_train)), 0.0
for i in range(0, len(K_train), BATCH):
idx = perm[i:i + BATCH]
pred = model(K_train[idx], V_train[idx], Q_train[idx]) # Forward Pass
loss = loss_fn(pred, T_train[idx])
opt.zero_grad(); loss.backward(); opt.step()
total += loss.item() * len(idx)
if epoch % 6 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(K_train):.4f}")
# 6) التقييم: هل يسترجع النموذج القيمة الصحيحة؟ وأين يتركز الانتباه؟
with torch.no_grad():
pred = model(K_test, V_test, Q_test)
print(f"test MSE = {F.mse_loss(pred, T_test).item():.4f} (variance of targets = {T_test.var().item():.4f})")
hit = (model.xattn.alpha.argmax(-1) == match_test).float().mean().item()
print(f"attention peaks on the matching key: {hit:.3f}")
# 7) الاستدلال على عيّنة واحدة
with torch.no_grad():
p = model(K_test[:1], V_test[:1], Q_test[:1])
print("query keys:", Q_test[0].tolist())
print("predicted:", [round(v, 2) for v in p[0].tolist()], " true:", [round(v, 2) for v in T_test[0].tolist()])
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.9 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.0000 (variance of targets = 0.3347) attention peaks on the matching key: 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 3٬777.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
آلية الانتباه
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
بيرسيفر
Perceiver
معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.
نماذج الانتشار الكامنة
Latent Diffusion Models (LDM)
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…
نماذج الرؤية واللغة
Vision-Language Models (VLM)
نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…
المحوّلات متعددة الوسائط
Multimodal Transformers (MM-Transformer)
محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تحليل خرائط الانتباه المتقاطع بين صور الأشعة والتقارير لتحديد مناطق الأعراض.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
في الانتباه المتقاطع، من أين تأتي المفاتيح والقيم؟
لماذا؟ هذا ما يميزه عن الانتباه الذاتي.
إذا كان طول X هو 5 وطول Y هو 20، فما شكل مصفوفة الانتباه؟
لماذا؟ صف لكل استعلام وعمود لكل عنصر سياق.
لماذا تُهيأ بوابة Flamingo بـ $\alpha=0$؟
لماذا؟ $\tanh(0)=0$.
المراجع
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–10685. https://doi.org/10.1109/CVPR52688.2022.01042
Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., et al. (2022). Flamingo: A visual language model for few-shot learning. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2204.14198
Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-end object detection with transformers. European Conference on Computer Vision (ECCV), LNCS 12346, 213–229. https://doi.org/10.1007/978-3-030-58452-8_13
Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: General perception with iterative attention. International Conference on Machine Learning (ICML), PMLR 139, 4651–4664. https://arxiv.org/abs/2103.03206
