كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

أساسيمعماريات المحولات

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

نظرة عامة

الاسمالمحوّل – Transformer
سنة الظهور2017
الباحثونAshish Vaswani، Noam Shazeer، Niki Parmar، Jakob Uszkoreit، Llion Jones، Aidan N. Gomez، Łukasz Kaiser، Illia Polosukhin
الجهةGoogle Brain / Google Research
الورقة الأصليةAttention is all you need arXiv
نوع البياناتنصوص، تسلسلات وسلاسل زمنية
المجالاتالتنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابية$O(T^2 d)$ للانتباه و$O(T d^2)$ للطبقات الخطية في كل طبقة.
حجم البياناتكبيرة عادة؛ مع البيانات الصغيرة يُفضل الضبط الدقيق لنموذج مدرب مسبقاً.

المشكلة التي تحلها

الشبكات المتكررة تعالج التسلسل خطوة بخطوة فلا يمكن تدريبها بالتوازي عبر الزمن، والمسافة بين موضعين بعيدين تمر بخطوات كثيرة يضعف عبرها التدرّج.

الخلفية والتطور

ما قبلها: آلية الانتباه، الذاكرة الطويلة قصيرة المدى، الشبكة العصبية المتكررة

  1. 2015

    أدخل Bahdanau وزملاؤه الانتباه في الترجمة الآلية بجانب RNN. [مرجع]

  2. 2017

    اقترح Vaswani وزملاؤه Transformer كمشفّر–مفكك مبني على الانتباه فقط. [مرجع]

  3. 2019

    استخدم BERT مشفّر Transformer ثنائي الاتجاه مع تدريب مسبق بإخفاء الكلمات. [مرجع]

  4. 2021

    نقل ViT المعمارية إلى الصور بمعاملة الرقع كرموز. [مرجع]

الفكرة الأساسية

كل رمز يُحوّل إلى ثلاثة متجهات: استعلام (Query) ومفتاح (Key) وقيمة (Value). يقارن استعلام الرمز مع مفاتيح كل الرموز، وتتحول الدرجات إلى أوزان، ويصبح التمثيل الجديد متوسطاً موزوناً للقيم. تكرار ذلك بعدة "رؤوس" يسمح بالتقاط أنواع مختلفة من العلاقات. ولأن الانتباه لا يعرف الترتيب، يُضاف ترميز موضعي.

مثال: في جملة "وضع الطالب الكتاب على الطاولة لأنه ثقيل"، يمكن لرأس انتباه أن يربط الضمير "لأنه" مباشرة بكلمة "الكتاب" مهما بعدت المسافة.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

يتكرر الكتلة N مرة (6 في النموذج الأساسي). المفكك يضيف انتباهاً مقنّعاً وانتباهاً متقاطعاً.

المكونات

المكوّنالوظيفة
Token Embeddingتحويل الرموز إلى متجهات
Positional Encodingجيبية في الورقة الأصلية
Multi-Head Self-Attentionh رؤوس متوازية
Feed-Forward Networkطبقتان خطيتان لكل موضع
Residual + LayerNormبعد كل طبقة فرعية (Post-LN في الأصل)
Masked Self-Attentionفي المفكك لمنع رؤية المستقبل
Encoder–Decoder (Cross) Attentionالمفكك يستعلم من مخرجات المشفّر
Linear + Softmaxتوزيع الرمز التالي

المعادلات

1. الانتباه بالضرب النقطي المُقيَّس

$$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$

الرموز
$Q,K,V$مصفوفات الاستعلام والمفتاح والقيمة
$d_k$بُعد المفتاح لكل رأس
الأبعاد
$Q,K\in\mathbb{R}^{T\times d_k}$، $V\in\mathbb{R}^{T\times d_v}$، والخرج $T\times d_v$
مثال عددي
$d_k=4$، $q=(1,0,1,0)$، $k_1=(1,0,1,0)$، $k_2=(0,1,0,1)$: الضرب النقطي $2$ و$0$، والقسمة على $\sqrt4=2$ تعطي $1$ و$0$، وSoftmax تعطي $(0.731,0.269)$.
علاقتها بالمعمارية
القسمة على $\sqrt{d_k}$ تمنع تشبع Softmax حين يكبر البُعد.

2. الانتباه متعدد الرؤوس

$$\mathrm{MultiHead}(X)=\mathrm{Concat}(\mathrm{head}_1,\dots,\mathrm{head}_h)W^{O},\quad \mathrm{head}_i=\mathrm{Attention}(XW_i^{Q},XW_i^{K},XW_i^{V})$$

الرموز
$h$عدد الرؤوس
$W^O$مصفوفة الدمج
الأبعاد
$d_k=d_v=d_{model}/h$؛ في النموذج الأساسي $512/8=64$
مثال عددي
عدد معاملات الطبقة (مع الانحيازات) $=4d^2+4d$؛ عند $d=512$: $4\times262144+2048=1{,}050{,}624$.
علاقتها بالمعمارية
كل رأس يتعلم نمط علاقة مختلفاً.

3. الترميز الموضعي الجيبي

$$PE_{(pos,2i)}=\sin\!\left(\frac{pos}{10000^{2i/d}}\right),\qquad PE_{(pos,2i+1)}=\cos\!\left(\frac{pos}{10000^{2i/d}}\right)$$

الرموز
$pos$الموضع
$i$فهرس زوج الأبعاد
الأبعاد
$PE\in\mathbb{R}^{T\times d}$
مثال عددي
$pos=1$، $i=0$: $\sin(1)\approx0.841$ و$\cos(1)\approx0.540$.
علاقتها بالمعمارية
يضيف معلومة الترتيب التي يفتقدها الانتباه.

4. الشبكة الأمامية لكل موضع

$$\mathrm{FFN}(x)=\max(0,\,xW_1+b_1)\,W_2+b_2$$

الرموز
$W_1$$d\times d_{ff}$
$W_2$$d_{ff}\times d$
الأبعاد
$d_{ff}=2048$ عند $d=512$
مثال عددي
المعاملات $=2\times512\times2048+2048+512=2{,}099{,}712$، أي ضعف معاملات الانتباه تقريباً.
علاقتها بالمعمارية
تعالج كل موضع بشكل مستقل بعد خلط المعلومات بالانتباه.

آلية العمل خطوة بخطوة

  1. تُقطَّع النصوص إلى رموز وتُحوّل إلى تضمينات.
  2. يُضاف الترميز الموضعي.
  3. تُحسب Q وK وV لكل رأس، ثم الانتباه.
  4. تُدمج الرؤوس وتُضاف الوصلة المتبقية ثم LayerNorm.
  5. تُطبق FFN مع وصلة متبقية وLayerNorm.
  6. تتكرر الكتلة N مرة.
  7. في الترجمة: يولّد المفكك رمزاً تلو الآخر مستعلماً من مخرجات المشفّر.

المزايا والقيود

المزايا

  • توازٍ كامل في التدريب عبر مواضع التسلسل.
  • مسار بطول 1 بين أي موضعين.
  • قابلية توسع كبيرة مع البيانات والحوسبة.
  • معمارية موحدة لنصوص وصور وصوت.

القيود

  • تكلفة الانتباه تربيعية في طول التسلسل.
  • تحتاج بيانات كثيرة أو تدريباً مسبقاً.
  • لا تحمل انحيازاً استقرائياً للترتيب إلا عبر الترميز الموضعي.

متى تُستخدم؟ ومتى لا؟

تناسب

  • النصوص والتسلسلات حين تتوفر بيانات كافية أو نموذج مدرب مسبقاً.
  • الحاجة إلى ربط عناصر بعيدة.

لا تناسب

  • تسلسلات طويلة جداً مع ذاكرة محدودة (فكر في SSM أو انتباه خطي).
  • بيانات قليلة جداً دون تدريب مسبق.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةالترجمة والتلخيص ونماذج اللغة.
الرؤية الحاسوبيةViT وSwin وDETR.
الصوت والكلامالتعرف على الكلام.
تحليل الصور الطبيةتحليل التقارير الطبية والصور.
التنبؤ بالسلاسل الزمنيةالتنبؤ بالسلاسل الزمنية.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Transformer Encoder مكتوب من الصفر — مهمة تعتمد على الترتيب
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class MultiHeadSelfAttention(nn.Module):
    """الانتباه متعدد الرؤوس مكتوباً صراحة: softmax(QKᵀ/√d_k)V لكل رأس ثم الدمج."""
    def __init__(self, d, h):
        super().__init__()
        assert d % h == 0
        self.h, self.dk = h, d // h
        self.qkv, self.o = nn.Linear(d, 3 * d), nn.Linear(d, d)
    def forward(self, x, mask=None):                     # x: B×T×d
        B, T, d = x.shape
        q, k, v = self.qkv(x).view(B, T, 3, self.h, self.dk).permute(2, 0, 3, 1, 4)   # كل منها B×h×T×dk
        scores = q @ k.transpose(-2, -1) / self.dk ** 0.5                            # B×h×T×T
        if mask is not None:
            scores = scores.masked_fill(mask, float('-inf'))
        self.attn = scores.softmax(-1)
        return self.o((self.attn @ v).transpose(1, 2).reshape(B, T, d))

class EncoderBlock(nn.Module):
    def __init__(self, d, h, d_ff, p=0.1):
        super().__init__()
        self.mha, self.ln1, self.ln2 = MultiHeadSelfAttention(d, h), nn.LayerNorm(d), nn.LayerNorm(d)
        self.ffn = nn.Sequential(nn.Linear(d, d_ff), nn.ReLU(), nn.Linear(d_ff, d))
        self.drop = nn.Dropout(p)
    def forward(self, x):                                # Post-LN كما في الورقة الأصلية
        x = self.ln1(x + self.drop(self.mha(x)))
        return self.ln2(x + self.drop(self.ffn(x)))

def sinusoidal_pe(T, d):
    pos = torch.arange(T).float()[:, None]
    i = torch.arange(0, d, 2).float()
    ang = pos / 10000 ** (i / d)
    pe = torch.zeros(T, d)
    pe[:, 0::2], pe[:, 1::2] = torch.sin(ang), torch.cos(ang)
    return pe

class TinyTransformerClassifier(nn.Module):
    def __init__(self, vocab=10, T=12, d=32, h=4, d_ff=64, L=2, n_classes=2):
        super().__init__()
        self.emb = nn.Embedding(vocab, d)
        self.register_buffer('pe', sinusoidal_pe(T, d))
        self.blocks = nn.ModuleList([EncoderBlock(d, h, d_ff) for _ in range(L)])
        self.out = nn.Linear(d, n_classes)
        self.d = d
    def forward(self, tokens):                           # tokens: B×T (أعداد صحيحة)
        x = self.emb(tokens) * self.d ** 0.5 + self.pe   # تضمين + ترميز موضعي
        for blk in self.blocks:
            x = blk(x)
        return self.out(x.mean(1))

# 3) إعداد البيانات
# المهمة تعتمد على الترتيب: هل يظهر الرمز 1 قبل الرمز 2؟ (دون ترميز موضعي يستحيل الحل)
def make(n, T=12):
    X = torch.randint(3, 10, (n, T))
    for i in range(n):
        a, b = torch.randperm(T)[:2]
        X[i, a], X[i, b] = 1, 2
    y = ((X == 1).float().argmax(1) < (X == 2).float().argmax(1)).long()
    return X, y
X_train, y_train = make(2000)
X_test, y_test = make(500)
model = TinyTransformerClassifier()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 25, 64
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 8.1 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.948

عدد المعاملات القابلة للتدريب في المثال: model = 17٬474.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2015

آلية الانتباه

Attention Mechanism

آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.

الأساسياتالشبكات الزمنية والمتسلسلة

متوسط2021

محوّل الرؤية

Vision Transformer (ViT)

يطبق مشفّر Transformer القياسي مباشرة على الصور بعد تقسيمها إلى رقع ثابتة الحجم تُعامل كرموز، مع رمز تصنيف خاص وترميز موضعي متعلَّم.

معماريات المحولات

أساسي2017

الانتباه المتقاطع

Cross-Attention (Cross-Attn)

انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.

معماريات المحولات

متقدم2021

بيرسيفر

Perceiver

معمارية عامة تقرأ دخلاً ضخماً من أي نوع عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة ثابتة الحجم، ثم تعالج الكوامن بانتباه ذاتي، فتفصل عمق الشبكة عن حجم الدخل.

معماريات المحولات

متقدم2023

مامبا: نماذج فضاء الحالة الانتقائية

Mamba (Selective State Space Models)

SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية ف…

الشبكات الزمنية والمتسلسلة

أفكار بحثية

  • دراسة أثر أنواع الترميز الموضعي (جيبي، متعلَّم، نسبي، RoPE) على نماذج اللغة العربية ذات الصرف الغني.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. رياضي

    لماذا يُقسم الضرب النقطي على $\sqrt{d_k}$ في الانتباه؟

  2. رياضي

    مع $d_{model}=512$ و8 رؤوس، ما بُعد المفتاح لكل رأس؟

  3. مفهوم

    لماذا يحتاج Transformer إلى ترميز موضعي؟

المراجع

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1409.0473

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). Layer normalization. arXiv preprint. https://arxiv.org/abs/1607.06450

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. https://doi.org/10.18653/v1/N19-1423

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20

  5. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.11929

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20