المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
نظرة عامة
| الاسم | المحوّل – Transformer |
|---|---|
| سنة الظهور | 2017 |
| الباحثون | Ashish Vaswani، Noam Shazeer، Niki Parmar، Jakob Uszkoreit، Llion Jones، Aidan N. Gomez، Łukasz Kaiser، Illia Polosukhin |
| الجهة | Google Brain / Google Research |
| الورقة الأصلية | Attention is all you need arXiv |
| نوع البيانات | نصوص، تسلسلات وسلاسل زمنية |
| المجالات | التنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O(T^2 d)$ للانتباه و$O(T d^2)$ للطبقات الخطية في كل طبقة. |
| حجم البيانات | كبيرة عادة؛ مع البيانات الصغيرة يُفضل الضبط الدقيق لنموذج مدرب مسبقاً. |
المشكلة التي تحلها
الشبكات المتكررة تعالج التسلسل خطوة بخطوة فلا يمكن تدريبها بالتوازي عبر الزمن، والمسافة بين موضعين بعيدين تمر بخطوات كثيرة يضعف عبرها التدرّج.
الخلفية والتطور
ما قبلها: آلية الانتباه، الذاكرة الطويلة قصيرة المدى، الشبكة العصبية المتكررة
الفكرة الأساسية
كل رمز يُحوّل إلى ثلاثة متجهات: استعلام (Query) ومفتاح (Key) وقيمة (Value). يقارن استعلام الرمز مع مفاتيح كل الرموز، وتتحول الدرجات إلى أوزان، ويصبح التمثيل الجديد متوسطاً موزوناً للقيم. تكرار ذلك بعدة "رؤوس" يسمح بالتقاط أنواع مختلفة من العلاقات. ولأن الانتباه لا يعرف الترتيب، يُضاف ترميز موضعي.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
يتكرر الكتلة N مرة (6 في النموذج الأساسي). المفكك يضيف انتباهاً مقنّعاً وانتباهاً متقاطعاً.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Token Embedding | تحويل الرموز إلى متجهات |
| Positional Encoding | جيبية في الورقة الأصلية |
| Multi-Head Self-Attention | h رؤوس متوازية |
| Feed-Forward Network | طبقتان خطيتان لكل موضع |
| Residual + LayerNorm | بعد كل طبقة فرعية (Post-LN في الأصل) |
| Masked Self-Attention | في المفكك لمنع رؤية المستقبل |
| Encoder–Decoder (Cross) Attention | المفكك يستعلم من مخرجات المشفّر |
| Linear + Softmax | توزيع الرمز التالي |
المعادلات
1. الانتباه بالضرب النقطي المُقيَّس
| $Q,K,V$ | مصفوفات الاستعلام والمفتاح والقيمة |
| $d_k$ | بُعد المفتاح لكل رأس |
2. الانتباه متعدد الرؤوس
| $h$ | عدد الرؤوس |
| $W^O$ | مصفوفة الدمج |
3. الترميز الموضعي الجيبي
| $pos$ | الموضع |
| $i$ | فهرس زوج الأبعاد |
4. الشبكة الأمامية لكل موضع
| $W_1$ | $d\times d_{ff}$ |
| $W_2$ | $d_{ff}\times d$ |
آلية العمل خطوة بخطوة
- تُقطَّع النصوص إلى رموز وتُحوّل إلى تضمينات.
- يُضاف الترميز الموضعي.
- تُحسب Q وK وV لكل رأس، ثم الانتباه.
- تُدمج الرؤوس وتُضاف الوصلة المتبقية ثم LayerNorm.
- تُطبق FFN مع وصلة متبقية وLayerNorm.
- تتكرر الكتلة N مرة.
- في الترجمة: يولّد المفكك رمزاً تلو الآخر مستعلماً من مخرجات المشفّر.
المزايا والقيود
المزايا
- توازٍ كامل في التدريب عبر مواضع التسلسل.
- مسار بطول 1 بين أي موضعين.
- قابلية توسع كبيرة مع البيانات والحوسبة.
- معمارية موحدة لنصوص وصور وصوت.
القيود
- تكلفة الانتباه تربيعية في طول التسلسل.
- تحتاج بيانات كثيرة أو تدريباً مسبقاً.
- لا تحمل انحيازاً استقرائياً للترتيب إلا عبر الترميز الموضعي.
متى تُستخدم؟ ومتى لا؟
تناسب
- النصوص والتسلسلات حين تتوفر بيانات كافية أو نموذج مدرب مسبقاً.
- الحاجة إلى ربط عناصر بعيدة.
لا تناسب
- تسلسلات طويلة جداً مع ذاكرة محدودة (فكر في SSM أو انتباه خطي).
- بيانات قليلة جداً دون تدريب مسبق.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | الترجمة والتلخيص ونماذج اللغة. |
| الرؤية الحاسوبية | ViT وSwin وDETR. |
| الصوت والكلام | التعرف على الكلام. |
| تحليل الصور الطبية | تحليل التقارير الطبية والصور. |
| التنبؤ بالسلاسل الزمنية | التنبؤ بالسلاسل الزمنية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Transformer Encoder مكتوب من الصفر — مهمة تعتمد على الترتيب
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class MultiHeadSelfAttention(nn.Module):
"""الانتباه متعدد الرؤوس مكتوباً صراحة: softmax(QKᵀ/√d_k)V لكل رأس ثم الدمج."""
def __init__(self, d, h):
super().__init__()
assert d % h == 0
self.h, self.dk = h, d // h
self.qkv, self.o = nn.Linear(d, 3 * d), nn.Linear(d, d)
def forward(self, x, mask=None): # x: B×T×d
B, T, d = x.shape
q, k, v = self.qkv(x).view(B, T, 3, self.h, self.dk).permute(2, 0, 3, 1, 4) # كل منها B×h×T×dk
scores = q @ k.transpose(-2, -1) / self.dk ** 0.5 # B×h×T×T
if mask is not None:
scores = scores.masked_fill(mask, float('-inf'))
self.attn = scores.softmax(-1)
return self.o((self.attn @ v).transpose(1, 2).reshape(B, T, d))
class EncoderBlock(nn.Module):
def __init__(self, d, h, d_ff, p=0.1):
super().__init__()
self.mha, self.ln1, self.ln2 = MultiHeadSelfAttention(d, h), nn.LayerNorm(d), nn.LayerNorm(d)
self.ffn = nn.Sequential(nn.Linear(d, d_ff), nn.ReLU(), nn.Linear(d_ff, d))
self.drop = nn.Dropout(p)
def forward(self, x): # Post-LN كما في الورقة الأصلية
x = self.ln1(x + self.drop(self.mha(x)))
return self.ln2(x + self.drop(self.ffn(x)))
def sinusoidal_pe(T, d):
pos = torch.arange(T).float()[:, None]
i = torch.arange(0, d, 2).float()
ang = pos / 10000 ** (i / d)
pe = torch.zeros(T, d)
pe[:, 0::2], pe[:, 1::2] = torch.sin(ang), torch.cos(ang)
return pe
class TinyTransformerClassifier(nn.Module):
def __init__(self, vocab=10, T=12, d=32, h=4, d_ff=64, L=2, n_classes=2):
super().__init__()
self.emb = nn.Embedding(vocab, d)
self.register_buffer('pe', sinusoidal_pe(T, d))
self.blocks = nn.ModuleList([EncoderBlock(d, h, d_ff) for _ in range(L)])
self.out = nn.Linear(d, n_classes)
self.d = d
def forward(self, tokens): # tokens: B×T (أعداد صحيحة)
x = self.emb(tokens) * self.d ** 0.5 + self.pe # تضمين + ترميز موضعي
for blk in self.blocks:
x = blk(x)
return self.out(x.mean(1))
# 3) إعداد البيانات
# المهمة تعتمد على الترتيب: هل يظهر الرمز 1 قبل الرمز 2؟ (دون ترميز موضعي يستحيل الحل)
def make(n, T=12):
X = torch.randint(3, 10, (n, T))
for i in range(n):
a, b = torch.randperm(T)[:2]
X[i, a], X[i, b] = 1, 2
y = ((X == 1).float().argmax(1) < (X == 2).float().argmax(1)).long()
return X, y
X_train, y_train = make(2000)
X_test, y_test = make(500)
model = TinyTransformerClassifier()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 25, 64
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 8.1 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.948
عدد المعاملات القابلة للتدريب في المثال: model = 17٬474.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مصوّر المحولات
- مصمم المعماريات العصبية
- مقارن المعماريات
- مختبر معالجة اللغة الطبيعية قسم آخر في الموقع
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
معماريات مرتبطة
آلية الانتباه
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
محوّل الرؤية
Vision Transformer (ViT)
يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
بيرسيفر
Perceiver
معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.
مامبا: نماذج فضاء الحالة الانتقائية
Mamba (Selective State Space Models)
SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية ف…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- دراسة أثر أنواع الترميز الموضعي (جيبي، متعلَّم، نسبي، RoPE) على نماذج اللغة العربية ذات الصرف الغني.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يُقسم الضرب النقطي على $\sqrt{d_k}$ في الانتباه؟
لماذا؟ تباين الضرب النقطي يكبر مع البُعد.
مع $d_{model}=512$ و8 رؤوس، ما بُعد المفتاح لكل رأس؟
لماذا؟ $512/8=64$.
لماذا يحتاج Transformer إلى ترميز موضعي؟
لماذا؟ تبديل ترتيب الرموز دون ترميز موضعي يبدل المخرجات بالترتيب نفسه فقط.
المراجع
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473
Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). Layer normalization. arXiv preprint. https://arxiv.org/abs/1607.06450
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. https://doi.org/10.18653/v1/N19-1423
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929
