مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | XLNet | Transformer |
|---|---|---|
| العائلة | المحوّلات | المحوّلات |
| سنة الظهور | 2019 | 2017 |
| الباحثون | Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,… | Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,… |
| نوع المعمارية | Autoregressive Transformer-XL encoder | Encoder–decoder Transformer |
| آلية التعلم | self-supervised | supervised |
| التكوين المقارن | XLNet-base: L = 12، d = 768، 12 رأساً | Transformer (base): N = 6، d_model = 512، h = 8، d_ff = 2048 |
| شكل المدخل | n رمزاً (+ ذاكرة) | n رمزاً للمصدر و n للهدف |
| شكل المخرج | n × 768 | n × 37000 |
| العمق | 12 طبقة | 6 طبقات مشفّر + 6 طبقات فك تشفير |
| Parameters (محسوبة) | 116,718,336 ≈116.72M | 63,084,544 ≈63.08M |
| Parameters (منشورة) | غير محدد | 65,000,000 ≈65M |
| MACs | 13,287,555,072 ≈13.29B لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال). | 8,363,966,464 ≈8.36B لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات). |
| التعقيد | O(L·(n·(n+m)·d + nd²)). | الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²). |
| المهام | تصنيف النصوص، الإجابة عن الأسئلة | الترجمة الآلية، تحويل التسلسلات |
| أبرز ميزة | سياق ثنائي الاتجاه دون [MASK] | تدريب متوازٍ بالكامل |
| أبرز قيد | تعقيد تنفيذي كبير | كلفة الانتباه تربيعية في طول التسلسل |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | XLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة. | nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة. |
العلاقات المسجلة بين النماذج المقارنة
- XLNet متغير منه Transformer — مبني على Transformer-XL.
