المحوّلات يحتاج مراجعة

XLNet

إكس إل نت — XLNet

سنة الظهور
2019
الباحثون
Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le
الجهة
Carnegie Mellon University, Google Brain
نوع المعمارية
Autoregressive Transformer-XL encoder
آلية التعلم
self-supervised
المهام
تصنيف النصوص، الإجابة عن الأسئلة

نموذج تدريب مسبق ذاتي الانحدار يعظّم الاحتمال المتوقع على كل ترتيبات التبديل للتسلسل، فيحصل على سياق ثنائي الاتجاه دون رمز [MASK].

مخطط المعمارية

التكوين المعروض: XLNet-base: ‏L = 12، d = 768، 12 رأساً — مشفّر Transformer-XL بانتباه ثنائي التيار.

جدول الطبقات (7 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
الرموزinput12810—
تضمين الرموز 32,000 × 768embed11 × 768124,576,000من تنفيذ PyTorch المرجعي0
ذاكرة المقطع السابق (Transformer-XL)statem × 76810—
انتباه نسبي ثنائي التيارmha1 × 7681 × 768122,954,496من تنفيذ PyTorch المرجعي503,316,480
FFN مع GELU + Add & Normffn1 × 7681 × 768124,723,968من تنفيذ PyTorch المرجعي603,979,776
تمثيلات / احتمال الرمز في ترتيب التبديلoutput128 × 768128 × 76810—
متجه الإخفاء (mask_emb)token76817681 × 1 × 768—

أرقام التكوين: XLNet-base: ‏L = 12، d = 768، 12 رأساً

Parameters (محسوبة من الطبقات)116,718,336 (≈116.72M)
Parameters (منشورة في المصدر)غير محدد
MACs13,287,555,072 (≈13.29B)
FLOPs ≈ 2 × MACs26,575,110,144 (≈26.58B)
شكل المدخل
n رمزاً (+ ذاكرة)
شكل المخرج
n × 768
العمق
12 طبقة
التعقيد
O(L·(n·(n+m)·d + nd²)).
ملاحظة MACs
لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
افتراضات الحساب: XLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نُشر في NeurIPS 2019 وتفوق على BERT في 20 مهمة آنذاك، واعتمد على Transformer-XL لمعالجة السياقات الطويلة.

المشكلة التي يعالجها

BERT يفترض استقلال الرموز المخفية ويستخدم [MASK] غير الموجود عند الضبط الدقيق، بينما النماذج ذاتية الانحدار ترى اتجاهاً واحداً.

الفكرة الأساسية

نمذجة لغة بالتباديل: لكل ترتيب عشوائي يُتنبأ بالرمز من الرموز التي تسبقه في الترتيب، مع انتباه ثنائي التيار ليعرف النموذج موضع الهدف دون محتواه.

وصف المعمارية

Transformer-XL (انتباه نسبي وذاكرة مقاطع) مع تيار محتوى وتيار استعلام يتشاركان الأوزان.

تدفق البيانات

رموز ← تضمين ← 12 طبقة انتباه نسبي ثنائي التيار ← توقع الرموز الأخيرة في ترتيب التبديل.

المدخلات

تسلسل رموز SentencePiece مع ذاكرة اختيارية.

المخرجات

تمثيلات سياقية.

آلية التدريب

تدريب مسبق على 33 مليار رمز تقريباً، مع التنبؤ بآخر 1/K من الرموز في كل ترتيب لتقليل الكلفة.

دوال الخسارة

اللوغاريتم الاحتمالي المتوقع على التباديل.

التعقيد الحسابي

O(L·(n(n+m)d + nd²)) مع ذاكرة m.

المتطلبات الحسابية

النسخة large دُربت على 512 شريحة TPU v3 لنحو 5.5 يوم.

المزايا

  • سياق ثنائي الاتجاه دون [MASK]
  • سياقات طويلة بالذاكرة
  • نتائج قوية في 2019

القيود

  • تعقيد تنفيذي كبير
  • تدريب مكلف
  • تفوقت عليه RoBERTa بإجراءات أبسط

المعادلات

هدف نمذجة اللغة بالتباديل Permutation language modeling

\max_\theta \; \mathbb{E}_{\mathbf{z} \sim \mathcal{Z}_T}\left[\sum_{t=1}^{T} \log p_\theta\left(x_{z_t} \mid \mathbf{x}_{\mathbf{z}_{\lt t}}\right)\right]

z ترتيب تبديل عشوائي لمواضع التسلسل.

الرموز: Z_T: كل تباديل الطول T

الانتباه ثنائي التيار Two-stream attention

\begin{aligned} g_{z_t}^{(m)} &\leftarrow \operatorname{Attention}\big(Q = g_{z_t}^{(m-1)},\, KV = \mathbf{h}_{\mathbf{z}_{\lt t}}^{(m-1)}\big) \\ h_{z_t}^{(m)} &\leftarrow \operatorname{Attention}\big(Q = h_{z_t}^{(m-1)},\, KV = \mathbf{h}_{\mathbf{z}_{\le t}}^{(m-1)}\big) \end{aligned}

تيار الاستعلام لا يرى محتوى الرمز الذي يتنبأ به.

الرموز: g: تيار الاستعلام، h: تيار المحتوى

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le. (2019). XLNet: Generalized autoregressive pretraining for language understanding. NeurIPS 2019. arXiv:1906.08237 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.