كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

أساسيالأساسياتالشبكات الزمنية والمتسلسلة

آلية الانتباه (Attention)

Attention Mechanism

آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.

نظرة عامة

الاسمآلية الانتباه – Attention Mechanism
سنة الظهور2015
الباحثونDzmitry Bahdanau، Kyunghyun Cho، Yoshua Bengio
الورقة الأصليةNeural machine translation by jointly learning to align and translate arXiv
نوع البياناتنصوص، تسلسلات وسلاسل زمنية
المجالاتالتنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، معالجة اللغة الطبيعية

المشكلة التي تحلها

في نماذج encoder–decoder المبنية على RNN، يُضغط المصدر كله في متجه سياق ثابت الطول، فيتراجع الأداء مع الجمل الطويلة.

الخلفية والتطور

ما قبلها: الشبكة العصبية المتكررة، الذاكرة الطويلة قصيرة المدى، الوحدة المتكررة ذات البوابات

  1. 2014

    قدّم Cho وزملاؤه نموذج RNN Encoder–Decoder. [مرجع]

  2. 2015

    أضاف Bahdanau وزملاؤه الانتباه الجمعي (additive) للمحاذاة أثناء الترجمة. [مرجع]

  3. 2017

    بنت Transformer نموذجاً كاملاً على الانتباه الذاتي. [مرجع]

الفكرة الأساسية

عند توليد كل كلمة هدف، يقارن النموذج حالته الحالية بكل حالات المشفّر ويحسب درجة صلة لكل منها. تُحوّل الدرجات إلى أوزان بـ Softmax، ويُحسب متجه سياق كمتوسط موزون. هكذا "ينظر" النموذج إلى الأجزاء الأهم في كل خطوة.

مثال: عند ترجمة "القطة جلست على الحصيرة" إلى الإنجليزية، تحصل كلمة "القطة" على أعلى وزن عند توليد "cat".

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Queryحالة فك التشفير الحالية
Keys / Valuesحالات المشفّر
Scoring Functionجمعية (MLP) أو ضرب نقطي
Softmaxتحويل الدرجات إلى أوزان مجموعها 1
Context Vectorالمتوسط الموزون للقيم

المعادلات

1. الدرجة الجمعية (Additive Score)

$$e_{tj}=v_a^{\top}\tanh\!\left(W_a s_{t-1}+U_a h_j\right)$$

الرموز
$s_{t-1}$حالة فك التشفير
$h_j$حالة المشفّر عند الموضع j
$W_a,U_a,v_a$معاملات متعلَّمة
الأبعاد
عدد قياسي لكل زوج $(t,j)$
مثال عددي
إذا أعطى موضعان درجتين $2$ و$0$ فسيحصل الأول على وزن أعلى بعد Softmax.
علاقتها بالمعمارية
تقيس توافق الاستعلام مع كل موضع.

2. أوزان الانتباه ومتجه السياق

$$\alpha_{tj}=\frac{\exp(e_{tj})}{\sum_{k}\exp(e_{tk})},\qquad c_t=\sum_{j}\alpha_{tj}h_j$$

الرموز
$\alpha_{tj}$وزن الموضع j
$c_t$متجه السياق
الأبعاد
$c_t\in\mathbb{R}^{d}$
مثال عددي
$e=(2,0)$ ⇒ $\alpha\approx(0.881,0.119)$؛ مع $h_1=(1,0)$ و$h_2=(0,1)$ يكون $c=(0.881,0.119)$.
علاقتها بالمعمارية
تجمع المعلومات من المصدر حسب الأهمية.

آلية العمل خطوة بخطوة

  1. يحسب المشفّر حالة لكل كلمة مصدر.
  2. في كل خطوة توليد تُحسب درجة صلة لكل حالة.
  3. تُطبّع الدرجات بـ Softmax.
  4. يُحسب متجه السياق كمتوسط موزون.
  5. يستخدم فك التشفير السياق مع حالته لتوقع الكلمة التالية.

المزايا والقيود

المزايا

  • يعالج اختناق المتجه الثابت.
  • يعطي أوزاناً يمكن عرضها كخريطة محاذاة.

القيود

  • التكلفة تتناسب مع طول المصدر × طول الهدف.
  • أوزان الانتباه ليست دائماً تفسيراً سببياً موثوقاً.

متى تُستخدم؟ ومتى لا؟

تناسب

  • أي مهمة تسلسل إلى تسلسل.
  • تجميع موزون لسمات متعددة.

لا تناسب

  • حين يكون الدخل قصيراً جداً وثابتاً، فقد لا تضيف شيئاً يُذكر.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةالترجمة الآلية والتلخيص.
الرؤية الحاسوبيةتوليد وصف للصور (image captioning).
التنبؤ بالسلاسل الزمنيةالتركيز على خطوات زمنية مهمة في التنبؤ.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Additive Attention (Bahdanau) — تصنيف تسلسل
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class AdditiveAttention(nn.Module):
    def __init__(self, d):
        super().__init__()
        self.W = nn.Linear(d, d, bias=False); self.U = nn.Linear(d, d, bias=False); self.v = nn.Linear(d, 1, bias=False)
    def forward(self, query, H):                 # query: B×d, H: B×T×d
        e = self.v(torch.tanh(self.W(query).unsqueeze(1) + self.U(H))).squeeze(-1)   # B×T
        alpha = torch.softmax(e, dim=-1)
        return (alpha.unsqueeze(-1) * H).sum(1), alpha

class AttnClassifier(nn.Module):
    def __init__(self, d_in=1, d=32, n_classes=2):
        super().__init__()
        self.rnn = nn.GRU(d_in, d, batch_first=True)
        self.att = AdditiveAttention(d)
        self.out = nn.Linear(d, n_classes)
    def forward(self, x):
        H, h_last = self.rnn(x)
        c, self.alpha = self.att(h_last[-1], H)
        return self.out(c)

# 3) إعداد البيانات
# المهمة: هل تحتوي السلسلة على نبضة كبيرة في أي موضع؟ (الانتباه يجب أن يتركز عليها)
def make(n, T=30):
    X = torch.randn(n, T, 1) * 0.3
    y = torch.randint(0, 2, (n,))
    pos = torch.randint(0, T, (n,))
    X[y == 1, pos[y == 1], 0] += 3.0
    return X, y
X_train, y_train = make(600)
X_test, y_test = make(150)
model = AttnClassifier()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-2)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.1 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 5٬506.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

أساسي2018

الشبكات الالتفافية المعززة بالانتباه

Attention-based CNN (Attention CNN)

شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.

المعماريات الهجينة

متوسط2018

شبكة الانتباه البيانية

Graph Attention Network (GAT)

تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.

الشبكات العصبية البيانية

أفكار بحثية

  • تحليل مدى صلاحية أوزان الانتباه كتفسير في نماذج تصنيف النصوص العربية مقارنة بطرق الإسناد (attribution).

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما المشكلة التي عالجها الانتباه في نماذج Encoder–Decoder المبنية على RNN؟

  2. رياضي

    إذا كانت الدرجات $e=(0,0,0)$ فما أوزان الانتباه؟

  3. رياضي

    ما الذي يمثله متجه السياق $c_t$؟

المراجع

  1. Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. Proceedings of EMNLP 2014, 1724–1734. https://doi.org/10.3115/v1/D14-1179

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  3. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20