المحوّلات يحتاج مراجعة

Transformer

المحوّل — Transformer

سنة الظهور
2017
الباحثون
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
الجهة
Google Brain, Google Research
نوع المعمارية
Encoder–decoder Transformer
آلية التعلم
supervised
المهام
الترجمة الآلية، تحويل التسلسلات

أول نموذج مشفّر-فك تشفير يعتمد كلياً على الانتباه دون تكرار أو التفاف، فيعالج كل مواضع التسلسل بالتوازي.

مخطط المعمارية

التكوين المعروض: Transformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048 — التهيئة base من الجدول 3 مع مفردات BPE مشتركة بحجم 37 ألفاً (WMT’14 إنجليزي-ألماني).

جدول الطبقات (21 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
رموز المصدرinput12810—
تضمين الرموز (مشترك) × √dembed128128 × 512118,944,00037,000 · 512—
ترميز موضعي جيبيposenc128 × 512128 × 51210—
انتباه ذاتي متعدد الرؤوس (8 رؤوس)mha128 × 512128 × 51261,050,624من تنفيذ PyTorch المرجعي150,994,944
Add & Normaddnorm128 × 512128 × 51261,024من تنفيذ PyTorch المرجعي0
FFN ‏512←2048←512ffn128 × 512128 × 51262,099,712من تنفيذ PyTorch المرجعي268,435,456
Add & Normaddnorm128 × 512128 × 51261,024من تنفيذ PyTorch المرجعي0
LayerNorm نهائي للمشفّرln128 × 512128 × 51211,024من تنفيذ PyTorch المرجعي0
رموز الهدف (مزاحة يميناً)input12810—
تضمين الهدف (الجدول نفسه)embed128128 × 51210مشترك مع تضمين المصدر—
ترميز موضعي جيبيposenc128 × 512128 × 51210—
انتباه ذاتي مقنَّعmasked_mha128 × 512128 × 51261,050,624من تنفيذ PyTorch المرجعي150,994,944
Add & Normaddnorm128 × 512128 × 51261,024من تنفيذ PyTorch المرجعي0
انتباه متقاطع (مشفّر ← فك تشفير)cross_attention128 × 512128 × 51261,050,624من تنفيذ PyTorch المرجعي150,994,944
Add & Normaddnorm128 × 512128 × 51261,024من تنفيذ PyTorch المرجعي0
FFN ‏512←2048←512ffn128 × 512128 × 51262,099,712من تنفيذ PyTorch المرجعي268,435,456
Add & Normaddnorm128 × 512128 × 51261,024من تنفيذ PyTorch المرجعي0
LayerNorm نهائي لفك التشفيرln128 × 512128 × 51211,024من تنفيذ PyTorch المرجعي0
إسقاط خطي إلى المفردات (أوزان التضمين)fc128 × 512128 × 3700010مقيَّد بمصفوفة التضمين (Weight Tying)2,424,832,000
Softmaxsoftmax128 × 37000128 × 3700010—
احتمالات الرمز التاليoutput128 × 37000128 × 3700010—

أرقام التكوين: Transformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048

Parameters (محسوبة من الطبقات)63,084,544 (≈63.08M)
Parameters (منشورة في المصدر)65,000,000 (≈65M)
MACs8,363,966,464 (≈8.36B)
FLOPs ≈ 2 × MACs16,727,932,928 (≈16.73B)
شكل المدخل
n رمزاً للمصدر و n للهدف
شكل المخرج
n × 37000
العمق
6 طبقات مشفّر + 6 طبقات فك تشفير
التعقيد
الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).
ملاحظة Parameters
الجدول 3 في الورقة: 65 مليون معامل للنموذج base.
ملاحظة MACs
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
افتراضات الحساب: nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نُشر في NeurIPS 2017 بعنوان «Attention Is All You Need»، وحقق 28.4 BLEU على WMT’14 إنجليزي-ألماني و 41.8 على إنجليزي-فرنسي بكلفة تدريب أقل بكثير من سابقيه، وأصبح أساس BERT و GPT و T5 و ViT.

المشكلة التي يعالجها

بطء الشبكات التكرارية لأنها تسلسلية، وصعوبة تعلم الاعتماديات البعيدة.

الفكرة الأساسية

الانتباه الذاتي يربط كل موضعين مباشرة بمسار طوله 1، والانتباه متعدد الرؤوس يتيح تمثيل علاقات مختلفة بالتوازي، مع ترميز موضعي للترتيب.

وصف المعمارية

مشفّر من 6 طبقات (انتباه ذاتي + FFN) وفك تشفير من 6 طبقات (انتباه ذاتي مقنَّع + انتباه متقاطع + FFN)، مع اتصالات متبقية وتطبيع طبقة بعد كل طبقة فرعية.

تدفق البيانات

رموز ← تضمين + ترميز موضعي ← 6 طبقات مشفّر ← تمثيلات المصدر ← (مع رموز الهدف المزاحة) 6 طبقات فك تشفير ← إسقاط خطي ← Softmax.

المدخلات

تسلسل رموز المصدر وتسلسل رموز الهدف المزاح يميناً أثناء التدريب.

المخرجات

توزيع احتمالي على المفردات لكل موضع هدف.

آلية التدريب

Adam ‏(β₁ = 0.9، β₂ = 0.98، ε = 10⁻⁹) مع جدولة إحماء 4000 خطوة، و Dropout 0.1، وتنعيم الوسوم 0.1، على 8 بطاقات P100 (12 ساعة للنموذج base).

دوال الخسارة

الإنتروبيا المتقاطعة مع تنعيم الوسوم (Label Smoothing).

التعقيد الحسابي

O(n²·d) للانتباه و O(n·d·d_ff) للشبكة الأمامية لكل طبقة.

المتطلبات الحسابية

النموذج base: 12 ساعة على 8 بطاقات P100.

المزايا

  • تدريب متوازٍ بالكامل
  • مسار قصير بين أي موضعين
  • قابلية توسع كبيرة أدت إلى النماذج اللغوية الكبيرة

القيود

  • كلفة الانتباه تربيعية في طول التسلسل
  • يحتاج بيانات كثيرة
  • لا يعرف الترتيب دون ترميز موضعي

المعادلات

الانتباه بالضرب النقطي المقيَّس Scaled dot-product attention

\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) V

كل استعلام يأخذ متوسطاً موزوناً للقيم بحسب تشابهه مع المفاتيح.

الرموز: Q, K, V: الاستعلامات والمفاتيح والقيم، d_k: بُعد المفتاح

الانتباه متعدد الرؤوس Multi-head attention

\operatorname{MultiHead}(Q,K,V) = [\text{head}_1; \ldots; \text{head}_h]\, W^O,\quad \text{head}_i = \operatorname{Attention}(QW_i^Q, KW_i^K, VW_i^V)

h رأساً متوازياً بأبعاد d_model/h ثم إسقاط خطي.

الرموز: h: عدد الرؤوس، W^O: إسقاط المخرج

الشبكة الأمامية الموضعية Position-wise feed-forward network

\operatorname{FFN}(\mathbf{x}) = \max(0, \mathbf{x}W_1 + \mathbf{b}_1)W_2 + \mathbf{b}_2

طبقتان خطيتان تطبقان على كل موضع بشكل مستقل (GELU بدل ReLU في BERT و GPT).

الرموز: W₁: d_model×d_ff، W₂: d_ff×d_model

الجمع المتبقي وتطبيع الطبقة Add & LayerNorm

\mathbf{y} = \operatorname{LayerNorm}\big(\mathbf{x} + \operatorname{Sublayer}(\mathbf{x})\big),\quad \operatorname{LN}(\mathbf{x}) = \gamma \odot \frac{\mathbf{x} - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta

ترتيب Post-LN كما في المحوّل الأصلي.

الرموز: μ، σ²: متوسط وتباين المتجه

الترميز الموضعي الجيبي Sinusoidal positional encoding

PE_{(pos,2i)} = \sin\!\left(\frac{pos}{10000^{2i/d_{model}}}\right),\quad PE_{(pos,2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d_{model}}}\right)

يضيف معلومات الترتيب لأن الانتباه لا يميز الترتيب بذاته.

الرموز: pos: الموضع، i: البُعد

القناع السببي Causal mask

\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j \gt i \end{cases}

يمنع الموضع i من رؤية المواضع اللاحقة أثناء التوليد.

جدولة معدل التعلم Learning-rate schedule

lr = d_{model}^{-0.5} \cdot \min\!\left(step^{-0.5},\; step \cdot warmup^{-1.5}\right)

زيادة خطية خلال 4000 خطوة إحماء ثم تناقص بالجذر.

الرموز: warmup = 4000

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. (2017). Attention is all you need. NeurIPS 2017. arXiv:1706.03762 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.