- سنة الظهور
- 2017
- الباحثون
- Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
- الجهة
- Google Brain, Google Research
- نوع المعمارية
- Encoder–decoder Transformer
- آلية التعلم
- supervised
- المهام
- الترجمة الآلية، تحويل التسلسلات
أول نموذج مشفّر-فك تشفير يعتمد كلياً على الانتباه دون تكرار أو التفاف، فيعالج كل مواضع التسلسل بالتوازي.
مخطط المعمارية
التكوين المعروض: Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048 — التهيئة base من الجدول 3 مع مفردات BPE مشتركة بحجم 37 ألفاً (WMT’14 إنجليزي-ألماني).
جدول الطبقات (21 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| رموز المصدر | input | 128 | 1 | 0 | — | ||
| تضمين الرموز (مشترك) × √d | embed | 128 | 128 × 512 | 1 | 18,944,000 | 37,000 · 512 | — |
| ترميز موضعي جيبي | posenc | 128 × 512 | 128 × 512 | 1 | 0 | — | |
| انتباه ذاتي متعدد الرؤوس (8 رؤوس) | mha | 128 × 512 | 128 × 512 | 6 | 1,050,624 | من تنفيذ PyTorch المرجعي | 150,994,944 |
| Add & Norm | addnorm | 128 × 512 | 128 × 512 | 6 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| FFN 512←2048←512 | ffn | 128 × 512 | 128 × 512 | 6 | 2,099,712 | من تنفيذ PyTorch المرجعي | 268,435,456 |
| Add & Norm | addnorm | 128 × 512 | 128 × 512 | 6 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| LayerNorm نهائي للمشفّر | ln | 128 × 512 | 128 × 512 | 1 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| رموز الهدف (مزاحة يميناً) | input | 128 | 1 | 0 | — | ||
| تضمين الهدف (الجدول نفسه) | embed | 128 | 128 × 512 | 1 | 0 | مشترك مع تضمين المصدر | — |
| ترميز موضعي جيبي | posenc | 128 × 512 | 128 × 512 | 1 | 0 | — | |
| انتباه ذاتي مقنَّع | masked_mha | 128 × 512 | 128 × 512 | 6 | 1,050,624 | من تنفيذ PyTorch المرجعي | 150,994,944 |
| Add & Norm | addnorm | 128 × 512 | 128 × 512 | 6 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| انتباه متقاطع (مشفّر ← فك تشفير) | cross_attention | 128 × 512 | 128 × 512 | 6 | 1,050,624 | من تنفيذ PyTorch المرجعي | 150,994,944 |
| Add & Norm | addnorm | 128 × 512 | 128 × 512 | 6 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| FFN 512←2048←512 | ffn | 128 × 512 | 128 × 512 | 6 | 2,099,712 | من تنفيذ PyTorch المرجعي | 268,435,456 |
| Add & Norm | addnorm | 128 × 512 | 128 × 512 | 6 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| LayerNorm نهائي لفك التشفير | ln | 128 × 512 | 128 × 512 | 1 | 1,024 | من تنفيذ PyTorch المرجعي | 0 |
| إسقاط خطي إلى المفردات (أوزان التضمين) | fc | 128 × 512 | 128 × 37000 | 1 | 0 | مقيَّد بمصفوفة التضمين (Weight Tying) | 2,424,832,000 |
| Softmax | softmax | 128 × 37000 | 128 × 37000 | 1 | 0 | — | |
| احتمالات الرمز التالي | output | 128 × 37000 | 128 × 37000 | 1 | 0 | — |
أرقام التكوين: Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048
- شكل المدخل
- n رمزاً للمصدر و n للهدف
- شكل المخرج
- n × 37000
- العمق
- 6 طبقات مشفّر + 6 طبقات فك تشفير
- التعقيد
- الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).
- ملاحظة Parameters
- الجدول 3 في الورقة: 65 مليون معامل للنموذج base.
- ملاحظة MACs
- لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
نُشر في NeurIPS 2017 بعنوان «Attention Is All You Need»، وحقق 28.4 BLEU على WMT’14 إنجليزي-ألماني و 41.8 على إنجليزي-فرنسي بكلفة تدريب أقل بكثير من سابقيه، وأصبح أساس BERT و GPT و T5 و ViT.
المشكلة التي يعالجها
بطء الشبكات التكرارية لأنها تسلسلية، وصعوبة تعلم الاعتماديات البعيدة.
الفكرة الأساسية
الانتباه الذاتي يربط كل موضعين مباشرة بمسار طوله 1، والانتباه متعدد الرؤوس يتيح تمثيل علاقات مختلفة بالتوازي، مع ترميز موضعي للترتيب.
وصف المعمارية
مشفّر من 6 طبقات (انتباه ذاتي + FFN) وفك تشفير من 6 طبقات (انتباه ذاتي مقنَّع + انتباه متقاطع + FFN)، مع اتصالات متبقية وتطبيع طبقة بعد كل طبقة فرعية.
تدفق البيانات
رموز ← تضمين + ترميز موضعي ← 6 طبقات مشفّر ← تمثيلات المصدر ← (مع رموز الهدف المزاحة) 6 طبقات فك تشفير ← إسقاط خطي ← Softmax.
المدخلات
تسلسل رموز المصدر وتسلسل رموز الهدف المزاح يميناً أثناء التدريب.
المخرجات
توزيع احتمالي على المفردات لكل موضع هدف.
آلية التدريب
Adam (β₁ = 0.9، β₂ = 0.98، ε = 10⁻⁹) مع جدولة إحماء 4000 خطوة، و Dropout 0.1، وتنعيم الوسوم 0.1، على 8 بطاقات P100 (12 ساعة للنموذج base).
دوال الخسارة
الإنتروبيا المتقاطعة مع تنعيم الوسوم (Label Smoothing).
التعقيد الحسابي
O(n²·d) للانتباه و O(n·d·d_ff) للشبكة الأمامية لكل طبقة.
المتطلبات الحسابية
النموذج base: 12 ساعة على 8 بطاقات P100.
المزايا
- تدريب متوازٍ بالكامل
- مسار قصير بين أي موضعين
- قابلية توسع كبيرة أدت إلى النماذج اللغوية الكبيرة
القيود
- كلفة الانتباه تربيعية في طول التسلسل
- يحتاج بيانات كثيرة
- لا يعرف الترتيب دون ترميز موضعي
المعادلات
الانتباه بالضرب النقطي المقيَّس Scaled dot-product attention
\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) Vكل استعلام يأخذ متوسطاً موزوناً للقيم بحسب تشابهه مع المفاتيح.
الرموز: Q, K, V: الاستعلامات والمفاتيح والقيم، d_k: بُعد المفتاح
الانتباه متعدد الرؤوس Multi-head attention
\operatorname{MultiHead}(Q,K,V) = [\text{head}_1; \ldots; \text{head}_h]\, W^O,\quad \text{head}_i = \operatorname{Attention}(QW_i^Q, KW_i^K, VW_i^V)h رأساً متوازياً بأبعاد d_model/h ثم إسقاط خطي.
الرموز: h: عدد الرؤوس، W^O: إسقاط المخرج
الشبكة الأمامية الموضعية Position-wise feed-forward network
\operatorname{FFN}(\mathbf{x}) = \max(0, \mathbf{x}W_1 + \mathbf{b}_1)W_2 + \mathbf{b}_2طبقتان خطيتان تطبقان على كل موضع بشكل مستقل (GELU بدل ReLU في BERT و GPT).
الرموز: W₁: d_model×d_ff، W₂: d_ff×d_model
الجمع المتبقي وتطبيع الطبقة Add & LayerNorm
\mathbf{y} = \operatorname{LayerNorm}\big(\mathbf{x} + \operatorname{Sublayer}(\mathbf{x})\big),\quad \operatorname{LN}(\mathbf{x}) = \gamma \odot \frac{\mathbf{x} - \mu}{\sqrt{\sigma^2 + \epsilon}} + \betaترتيب Post-LN كما في المحوّل الأصلي.
الرموز: μ، σ²: متوسط وتباين المتجه
الترميز الموضعي الجيبي Sinusoidal positional encoding
PE_{(pos,2i)} = \sin\!\left(\frac{pos}{10000^{2i/d_{model}}}\right),\quad PE_{(pos,2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d_{model}}}\right)يضيف معلومات الترتيب لأن الانتباه لا يميز الترتيب بذاته.
الرموز: pos: الموضع، i: البُعد
القناع السببي Causal mask
\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j \gt i \end{cases}يمنع الموضع i من رؤية المواضع اللاحقة أثناء التوليد.
جدولة معدل التعلم Learning-rate schedule
lr = d_{model}^{-0.5} \cdot \min\!\left(step^{-0.5},\; step \cdot warmup^{-1.5}\right)زيادة خطية خلال 4000 خطوة إحماء ثم تناقص بالجذر.
الرموز: warmup = 4000
التطبيقات
النماذج المرتبطة
- سابق له Sequence to Sequence (Seq2Seq) — يحافظ على فكرة المشفّر-فك التشفير ويستبدل LSTM بالانتباه. قارن
- لاحق له BERT (Bidirectional Encoder Representations from Transformers) — BERT مشفّر فقط. قارن
- لاحق له GPT (Generative Pre-trained Transformer) — GPT فك تشفير فقط. قارن
- متغير منه BERT (Bidirectional Encoder Representations from Transformers) — يستخدم مشفّر المحوّل فقط. قارن
- متغير منه GPT (Generative Pre-trained Transformer) — يستخدم فك تشفير المحوّل فقط. قارن
- متغير منه Vision Transformer (ViT) — يستخدم مشفّر المحوّل كما هو. قارن
- متغير منه T5 (Text-to-Text Transfer Transformer) — T5 مشفّر-فك تشفير بصيغة نص إلى نص. قارن
- لاحق له Vision Transformer (ViT) — ViT طبّق المشفّر على رقع الصور. قارن
- متغير منه DETR (DEtection TRansformer) — مشفّر-فك تشفير محوّل. قارن
- سابق له Long Short-Term Memory — المحوّل استبدل التكرار بالانتباه. قارن
- متغير منه XLNet — مبني على Transformer-XL. قارن
- بديل Long Short-Term Memory — يحل محل الشبكات التكرارية. قارن
- Graph Attention Network — تطبق فكرة الانتباه على الجيران. قارن
- CLIP (Contrastive Language–Image Pre-training) — مشفّر النص محوّل. قارن
- Residual Network (ResNet) — المحوّل يستخدم الاتصال المتبقي في كل طبقة. قارن
- متغير منه LLaVA (Large Language and Vision Assistant) — كلا المكونين محوّلات. قارن
المراجع
- الورقة الأصلية Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. (2017). Attention is all you need. NeurIPS 2017. arXiv:1706.03762 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
