آلية الانتباه (Attention)
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
نظرة عامة
| الاسم | آلية الانتباه – Attention Mechanism |
|---|---|
| سنة الظهور | 2015 |
| الباحثون | Dzmitry Bahdanau، Kyunghyun Cho، Yoshua Bengio |
| الورقة الأصلية | Neural machine translation by jointly learning to align and translate arXiv |
| نوع البيانات | نصوص، تسلسلات وسلاسل زمنية |
| المجالات | التنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، معالجة اللغة الطبيعية |
المشكلة التي تحلها
في نماذج encoder–decoder المبنية على RNN، يُضغط المصدر كله في متجه سياق ثابت الطول، فيتراجع الأداء مع الجمل الطويلة.
الخلفية والتطور
ما قبلها: الشبكة العصبية المتكررة، الذاكرة الطويلة قصيرة المدى، الوحدة المتكررة ذات البوابات
الفكرة الأساسية
عند توليد كل كلمة هدف، يقارن النموذج حالته الحالية بكل حالات المشفّر ويحسب درجة صلة لكل منها. تُحوّل الدرجات إلى أوزان بـ Softmax، ويُحسب متجه سياق كمتوسط موزون. هكذا "ينظر" النموذج إلى الأجزاء الأهم في كل خطوة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Query | حالة فك التشفير الحالية |
| Keys / Values | حالات المشفّر |
| Scoring Function | جمعية (MLP) أو ضرب نقطي |
| Softmax | تحويل الدرجات إلى أوزان مجموعها 1 |
| Context Vector | المتوسط الموزون للقيم |
المعادلات
1. الدرجة الجمعية (Additive Score)
| $s_{t-1}$ | حالة فك التشفير |
| $h_j$ | حالة المشفّر عند الموضع j |
| $W_a,U_a,v_a$ | معاملات متعلَّمة |
2. أوزان الانتباه ومتجه السياق
| $\alpha_{tj}$ | وزن الموضع j |
| $c_t$ | متجه السياق |
آلية العمل خطوة بخطوة
- يحسب المشفّر حالة لكل كلمة مصدر.
- في كل خطوة توليد تُحسب درجة صلة لكل حالة.
- تُطبّع الدرجات بـ Softmax.
- يُحسب متجه السياق كمتوسط موزون.
- يستخدم فك التشفير السياق مع حالته لتوقع الكلمة التالية.
المزايا والقيود
المزايا
- يعالج اختناق المتجه الثابت.
- يعطي أوزاناً يمكن عرضها كخريطة محاذاة.
القيود
- التكلفة تتناسب مع طول المصدر × طول الهدف.
- أوزان الانتباه ليست دائماً تفسيراً سببياً موثوقاً.
متى تُستخدم؟ ومتى لا؟
تناسب
- أي مهمة تسلسل إلى تسلسل.
- تجميع موزون لسمات متعددة.
لا تناسب
- حين يكون الدخل قصيراً جداً وثابتاً، فقد لا تضيف شيئاً يُذكر.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | الترجمة الآلية والتلخيص. |
| الرؤية الحاسوبية | توليد وصف للصور (image captioning). |
| التنبؤ بالسلاسل الزمنية | التركيز على خطوات زمنية مهمة في التنبؤ. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Additive Attention (Bahdanau) — تصنيف تسلسل
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class AdditiveAttention(nn.Module):
def __init__(self, d):
super().__init__()
self.W = nn.Linear(d, d, bias=False); self.U = nn.Linear(d, d, bias=False); self.v = nn.Linear(d, 1, bias=False)
def forward(self, query, H): # query: B×d, H: B×T×d
e = self.v(torch.tanh(self.W(query).unsqueeze(1) + self.U(H))).squeeze(-1) # B×T
alpha = torch.softmax(e, dim=-1)
return (alpha.unsqueeze(-1) * H).sum(1), alpha
class AttnClassifier(nn.Module):
def __init__(self, d_in=1, d=32, n_classes=2):
super().__init__()
self.rnn = nn.GRU(d_in, d, batch_first=True)
self.att = AdditiveAttention(d)
self.out = nn.Linear(d, n_classes)
def forward(self, x):
H, h_last = self.rnn(x)
c, self.alpha = self.att(h_last[-1], H)
return self.out(c)
# 3) إعداد البيانات
# المهمة: هل تحتوي السلسلة على نبضة كبيرة في أي موضع؟ (الانتباه يجب أن يتركز عليها)
def make(n, T=30):
X = torch.randn(n, T, 1) * 0.3
y = torch.randint(0, 2, (n,))
pos = torch.randint(0, T, (n,))
X[y == 1, pos[y == 1], 0] += 3.0
return X, y
X_train, y_train = make(600)
X_test, y_test = make(150)
model = AttnClassifier()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.1 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 5٬506.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
الشبكات الالتفافية المعززة بالانتباه
Attention-based CNN (Attention CNN)
شبكات التفافية تضيف وحدات انتباه خفيفة تعيد وزن القنوات (أي السمات أهم) أو المواقع (أين ينظر النموذج)، بتكلفة حسابية صغيرة جداً.
شبكة الانتباه البيانية
Graph Attention Network (GAT)
تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تحليل مدى صلاحية أوزان الانتباه كتفسير في نماذج تصنيف النصوص العربية مقارنة بطرق الإسناد (attribution).
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما المشكلة التي عالجها الانتباه في نماذج Encoder–Decoder المبنية على RNN؟
لماذا؟ المتجه الثابت يصبح اختناقاً مع الجمل الطويلة.
إذا كانت الدرجات $e=(0,0,0)$ فما أوزان الانتباه؟
لماذا؟ Softmax لقيم متساوية يعطي توزيعاً منتظماً.
ما الذي يمثله متجه السياق $c_t$؟
لماذا؟ يُحسب $c_t=\sum_j \alpha_{tj}h_j$.
المراجع
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473
Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. Proceedings of EMNLP 2014, 1724–1734. https://doi.org/10.3115/v1/D14-1179
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
