كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

أساسيمعماريات المحولات

الانتباه المتقاطع (Cross-Attn)

Cross-Attention

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

نظرة عامة

الاسمالانتباه المتقاطع – Cross-Attention
سنة الظهور2017
الباحثونيرد كمكوّن في Vaswani وآخرين (2017)، وجذوره في انتباه Bahdanau وآخرين (2015)
الورقة الأصليةAttention is all you need arXiv
نوع البياناتنصوص، صور، أنواع متعددة
المجالاتالذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابية$O(n\,m\,d_k)$.
حجم البياناتتعتمد على المهمة.

المشكلة التي تحلها

كثير من المهام تربط مصدرين: ترجمة (مصدر وهدف)، أو توليد صور من نص، أو أسئلة عن صور. الانتباه الذاتي وحده يعمل داخل تسلسل واحد.

الخلفية والتطور

ما قبلها: آلية الانتباه، المحوّل

  1. 2015

    انتباه Bahdanau بين المفكك والمشفّر في الترجمة. [مرجع]

  2. 2017

    طبقة Encoder–Decoder Attention في Transformer. [مرجع]

  3. 2022

    استخدمته نماذج الانتشار الكامنة لإدخال النص إلى U-Net. [مرجع]

  4. 2022

    أدخل Flamingo طبقات انتباه متقاطع ببوابة tanh في نموذج لغة مجمّد. [مرجع]

الفكرة الأساسية

$Q$ تُحسب من X (مثلاً حالات المفكك أو بكسلات الصورة الكامنة)، و$K,V$ من Y (مخرجات المشفّر أو تضمينات النص). كل استعلام يحسب توزيعاً على عناصر Y ويأخذ متوسطاً موزوناً لقيمها. الخرج له طول X نفسه.

مثال: في نموذج يولد صورة من الوصف "قطة على كرسي أحمر"، تنتبه مناطق الصورة الكامنة عبر الانتباه المتقاطع إلى الكلمات المناسبة، فتأخذ منطقة الكرسي معلومة "أحمر".

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Queries from X$XW_Q$
Keys/Values from Y$YW_K$ و$YW_V$
Scaled dot-product + Softmaxأوزان على عناصر Y
Residualإضافة إلى X
Optional tanh gateكما في Flamingo

المعادلات

1. الانتباه المتقاطع

$$\mathrm{CrossAttn}(X,Y)=\mathrm{softmax}\!\left(\frac{(XW_Q)(YW_K)^{\top}}{\sqrt{d_k}}\right)YW_V$$

الرموز
$X$مصدر الاستعلامات
$Y$مصدر المفاتيح والقيم
الأبعاد
الأوزان $n\times m$ والخرج $n\times d_v$
مثال عددي
$n=2$، $m=3$: لكل استعلام توزيع على 3 عناصر، مثلاً $(0.7,0.2,0.1)$، فيكون الخرج $0.7v_1+0.2v_2+0.1v_3$.
علاقتها بالمعمارية
هو الجسر بين وسيطين أو تسلسلين.

2. الانتباه المتقاطع ذو البوابة (Flamingo)

$$y=x+\tanh(\alpha)\cdot\mathrm{CrossAttn}(x,V_{img}),\qquad \alpha_{init}=0$$

الرموز
$\alpha$معامل متعلَّم
$V_{img}$رموز بصرية
الأبعاد
نفس بُعد x
مثال عددي
عند البداية $\tanh(0)=0$ ⇒ $y=x$، فيبقى النموذج اللغوي المجمّد سليماً ثم تُفتح البوابة تدريجياً.
علاقتها بالمعمارية
يدمج وسيطاً جديداً دون إفساد نموذج مدرب.

آلية العمل خطوة بخطوة

  1. احسب Q من X.
  2. احسب K وV من Y.
  3. احسب درجات الصلة وطبّعها.
  4. اجمع القيم موزونة.
  5. أضف إلى X عبر وصلة متبقية.

المزايا والقيود

المزايا

  • ربط مرن بين وسيطين أو تسلسلين بأطوال مختلفة.
  • تكلفة $O(nm)$ قد تكون أقل بكثير من الانتباه الذاتي على المجموع.
  • أوزان قابلة للعرض.

القيود

  • جودة الربط تعتمد على جودة تمثيل Y.
  • قد تكون مكلفة إن كان n وm كبيرين معاً.

متى تُستخدم؟ ومتى لا؟

تناسب

  • الترجمة والتلخيص.
  • التوليد المشروط بنص.
  • دمج الوسائط.

لا تناسب

  • مهام أحادية التسلسل يكفيها الانتباه الذاتي.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةالمفكك في الترجمة.
الذكاء الاصطناعي التوليديتوجيه نماذج الانتشار بالنص.
الرؤية الحاسوبيةاستعلامات الكائنات في DETR.
تحليل الصور الطبيةدمج صور وتقارير طبية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Cross-Attention — استرجاع مفتاح–قيمة من سياق
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class CrossAttention(nn.Module):
    """الاستعلامات من تسلسل X، والمفاتيح والقيم من تسلسل آخر Y: softmax(Q_X K_Yᵀ/√d) V_Y."""
    def __init__(self, d, dk=32):
        super().__init__()
        self.Wq, self.Wk, self.Wv = nn.Linear(d, dk), nn.Linear(d, dk), nn.Linear(d, dk)
        self.dk = dk
    def forward(self, X, Y):                       # X: B×n×d ، Y: B×m×d
        scores = self.Wq(X) @ self.Wk(Y).transpose(1, 2) / self.dk ** 0.5   # B×n×m
        self.alpha = scores.softmax(-1)
        return self.alpha @ self.Wv(Y)             # B×n×dk

class KeyValueRetriever(nn.Module):
    def __init__(self, n_keys=16, d=32):
        super().__init__()
        self.key_emb = nn.Embedding(n_keys, d)
        self.val_in = nn.Linear(1, d)
        self.xattn = CrossAttention(d)
        self.out = nn.Linear(32, 1)
    def forward(self, ctx_keys, ctx_vals, query_keys):
        Y = self.key_emb(ctx_keys) + self.val_in(ctx_vals[..., None])   # ذاكرة السياق: (مفتاح، قيمة)
        X = self.key_emb(query_keys)                                     # الاستعلامات
        return self.out(self.xattn(X, Y)).squeeze(-1)

# 3) إعداد البيانات
# استرجاع مفتاح–قيمة: سياق من 8 أزواج (مفتاح مميز، قيمة عشوائية) و3 استعلامات؛ الهدف قيمة المفتاح المطابق
def make(n, m=8, q=3, n_keys=16):
    keys = torch.stack([torch.randperm(n_keys)[:m] for _ in range(n)])
    vals = torch.rand(n, m) * 2 - 1
    pick = torch.stack([torch.randperm(m)[:q] for _ in range(n)])
    return keys, vals, keys.gather(1, pick), vals.gather(1, pick), pick
K_train, V_train, Q_train, T_train, _ = make(3000)
K_test, V_test, Q_test, T_test, match_test = make(500)
model = KeyValueRetriever()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب
EPOCHS, BATCH = 30, 64
for epoch in range(EPOCHS):
    perm, total = torch.randperm(len(K_train)), 0.0
    for i in range(0, len(K_train), BATCH):
        idx = perm[i:i + BATCH]
        pred = model(K_train[idx], V_train[idx], Q_train[idx])         # Forward Pass
        loss = loss_fn(pred, T_train[idx])
        opt.zero_grad(); loss.backward(); opt.step()
        total += loss.item() * len(idx)
    if epoch % 6 == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(K_train):.4f}")

# 6) التقييم: هل يسترجع النموذج القيمة الصحيحة؟ وأين يتركز الانتباه؟
with torch.no_grad():
    pred = model(K_test, V_test, Q_test)
    print(f"test MSE = {F.mse_loss(pred, T_test).item():.4f}  (variance of targets = {T_test.var().item():.4f})")
    hit = (model.xattn.alpha.argmax(-1) == match_test).float().mean().item()
    print(f"attention peaks on the matching key: {hit:.3f}")

# 7) الاستدلال على عيّنة واحدة
with torch.no_grad():
    p = model(K_test[:1], V_test[:1], Q_test[:1])
    print("query keys:", Q_test[0].tolist())
    print("predicted:", [round(v, 2) for v in p[0].tolist()], " true:", [round(v, 2) for v in T_test[0].tolist()])

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.9 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test MSE = 0.0000  (variance of targets = 0.3347)
attention peaks on the matching key: 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 3٬777.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2015

آلية الانتباه

Attention Mechanism

آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.

الأساسياتالشبكات الزمنية والمتسلسلة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

متقدم2021

بيرسيفر

Perceiver

معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.

معماريات المحولات

متقدم2022

نماذج الانتشار الكامنة

Latent Diffusion Models (LDM)

تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…

الشبكات التوليديةالمعماريات الهجينة

متقدم2021

نماذج الرؤية واللغة

Vision-Language Models (VLM)

نماذج تربط مشفّراً بصرياً بنموذج لغوي: إما بمحاذاة تباينية في فضاء مشترك (CLIP) أو بتحويل السمات البصرية إلى رموز يقرأها نموذج لغوي كبير فيولد نصاً عن الصورة (Flamingo،…

معماريات المحولات

متوسط2019

المحوّلات متعددة الوسائط

Multimodal Transformers (MM-Transformer)

محوّلات تعالج أكثر من وسيط (صورة، نص، صوت...) إما في تسلسل واحد مع تضمين نوع الوسيط (أحادي التدفق)، أو في تدفقين يتبادلان المعلومات بانتباه مشترك (ثنائي التدفق).

معماريات المحولات

أفكار بحثية

  • تحليل خرائط الانتباه المتقاطع بين صور الأشعة والتقارير لتحديد مناطق الأعراض.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    في الانتباه المتقاطع، من أين تأتي المفاتيح والقيم؟

  2. مفهوم

    إذا كان طول X هو 5 وطول Y هو 20، فما شكل مصفوفة الانتباه؟

  3. رياضي

    لماذا تُهيأ بوابة Flamingo بـ $\alpha=0$؟

المراجع

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–10685. https://doi.org/10.1109/CVPR52688.2022.01042

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  4. Alayrac, J.-B., Donahue, J., Luc, P., Miech, A., Barr, I., Hasson, Y., et al. (2022). Flamingo: A visual language model for few-shot learning. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2204.14198

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  5. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-end object detection with transformers. European Conference on Computer Vision (ECCV), LNCS 12346, 213–229. https://doi.org/10.1007/978-3-030-58452-8_13

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  6. Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: General perception with iterative attention. International Conference on Machine Learning (ICML), PMLR 139, 4651–4664. https://arxiv.org/abs/2103.03206

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20