- سنة الظهور
- 2019
- الباحثون
- Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le
- الجهة
- Carnegie Mellon University, Google Brain
- نوع المعمارية
- Autoregressive Transformer-XL encoder
- آلية التعلم
- self-supervised
- المهام
- تصنيف النصوص، الإجابة عن الأسئلة
نموذج تدريب مسبق ذاتي الانحدار يعظّم الاحتمال المتوقع على كل ترتيبات التبديل للتسلسل، فيحصل على سياق ثنائي الاتجاه دون رمز [MASK].
مخطط المعمارية
التكوين المعروض: XLNet-base: L = 12، d = 768، 12 رأساً — مشفّر Transformer-XL بانتباه ثنائي التيار.
جدول الطبقات (7 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| الرموز | input | 128 | 1 | 0 | — | ||
| تضمين الرموز 32,000 × 768 | embed | 1 | 1 × 768 | 1 | 24,576,000 | من تنفيذ PyTorch المرجعي | 0 |
| ذاكرة المقطع السابق (Transformer-XL) | state | m × 768 | 1 | 0 | — | ||
| انتباه نسبي ثنائي التيار | mha | 1 × 768 | 1 × 768 | 12 | 2,954,496 | من تنفيذ PyTorch المرجعي | 503,316,480 |
| FFN مع GELU + Add & Norm | ffn | 1 × 768 | 1 × 768 | 12 | 4,723,968 | من تنفيذ PyTorch المرجعي | 603,979,776 |
| تمثيلات / احتمال الرمز في ترتيب التبديل | output | 128 × 768 | 128 × 768 | 1 | 0 | — | |
| متجه الإخفاء (mask_emb) | token | 768 | 1 | 768 | 1 × 1 × 768 | — |
أرقام التكوين: XLNet-base: L = 12، d = 768، 12 رأساً
- شكل المدخل
- n رمزاً (+ ذاكرة)
- شكل المخرج
- n × 768
- العمق
- 12 طبقة
- التعقيد
- O(L·(n·(n+m)·d + nd²)).
- ملاحظة MACs
- لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
نُشر في NeurIPS 2019 وتفوق على BERT في 20 مهمة آنذاك، واعتمد على Transformer-XL لمعالجة السياقات الطويلة.
المشكلة التي يعالجها
BERT يفترض استقلال الرموز المخفية ويستخدم [MASK] غير الموجود عند الضبط الدقيق، بينما النماذج ذاتية الانحدار ترى اتجاهاً واحداً.
الفكرة الأساسية
نمذجة لغة بالتباديل: لكل ترتيب عشوائي يُتنبأ بالرمز من الرموز التي تسبقه في الترتيب، مع انتباه ثنائي التيار ليعرف النموذج موضع الهدف دون محتواه.
وصف المعمارية
Transformer-XL (انتباه نسبي وذاكرة مقاطع) مع تيار محتوى وتيار استعلام يتشاركان الأوزان.
تدفق البيانات
رموز ← تضمين ← 12 طبقة انتباه نسبي ثنائي التيار ← توقع الرموز الأخيرة في ترتيب التبديل.
المدخلات
تسلسل رموز SentencePiece مع ذاكرة اختيارية.
المخرجات
تمثيلات سياقية.
آلية التدريب
تدريب مسبق على 33 مليار رمز تقريباً، مع التنبؤ بآخر 1/K من الرموز في كل ترتيب لتقليل الكلفة.
دوال الخسارة
اللوغاريتم الاحتمالي المتوقع على التباديل.
التعقيد الحسابي
O(L·(n(n+m)d + nd²)) مع ذاكرة m.
المتطلبات الحسابية
النسخة large دُربت على 512 شريحة TPU v3 لنحو 5.5 يوم.
المزايا
- سياق ثنائي الاتجاه دون [MASK]
- سياقات طويلة بالذاكرة
- نتائج قوية في 2019
القيود
- تعقيد تنفيذي كبير
- تدريب مكلف
- تفوقت عليه RoBERTa بإجراءات أبسط
المعادلات
هدف نمذجة اللغة بالتباديل Permutation language modeling
\max_\theta \; \mathbb{E}_{\mathbf{z} \sim \mathcal{Z}_T}\left[\sum_{t=1}^{T} \log p_\theta\left(x_{z_t} \mid \mathbf{x}_{\mathbf{z}_{\lt t}}\right)\right]z ترتيب تبديل عشوائي لمواضع التسلسل.
الرموز: Z_T: كل تباديل الطول T
الانتباه ثنائي التيار Two-stream attention
\begin{aligned} g_{z_t}^{(m)} &\leftarrow \operatorname{Attention}\big(Q = g_{z_t}^{(m-1)},\, KV = \mathbf{h}_{\mathbf{z}_{\lt t}}^{(m-1)}\big) \\ h_{z_t}^{(m)} &\leftarrow \operatorname{Attention}\big(Q = h_{z_t}^{(m-1)},\, KV = \mathbf{h}_{\mathbf{z}_{\le t}}^{(m-1)}\big) \end{aligned}تيار الاستعلام لا يرى محتوى الرمز الذي يتنبأ به.
الرموز: g: تيار الاستعلام، h: تيار المحتوى
التطبيقات
النماذج المرتبطة
- مبني على Transformer — مبني على Transformer-XL. قارن
- بديل BERT (Bidirectional Encoder Representations from Transformers) — بديل لـ MLM. قارن
- GPT (Generative Pre-trained Transformer) — ذاتي الانحدار مثل GPT. قارن
- بديل RoBERTa (Robustly Optimized BERT Pretraining Approach) — تنافسا عام 2019. قارن
المراجع
- الورقة الأصلية Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le. (2019). XLNet: Generalized autoregressive pretraining for language understanding. NeurIPS 2019. arXiv:1906.08237 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
