مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerXLNet
العائلةالمحوّلاتالمحوّلات
سنة الظهور20172019
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,…
نوع المعماريةEncoder–decoder TransformerAutoregressive Transformer-XL encoder
آلية التعلمsupervisedself-supervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048XLNet-base: ‏L = 12، d = 768، 12 رأساً
شكل المدخلn رمزاً للمصدر و n للهدفn رمزاً (+ ذاكرة)
شكل المخرجn × 37000n × 768
العمق6 طبقات مشفّر + 6 طبقات فك تشفير12 طبقة
Parameters (محسوبة)63,084,544
≈63.08M
116,718,336
≈116.72M
Parameters (منشورة)65,000,000
≈65M
غير محدد
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
13,287,555,072
≈13.29B
لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).O(L·(n·(n+m)·d + nd²)).
المهامالترجمة الآلية، تحويل التسلسلاتتصنيف النصوص، الإجابة عن الأسئلة
أبرز ميزةتدريب متوازٍ بالكاملسياق ثنائي الاتجاه دون [MASK]
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلتعقيد تنفيذي كبير
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.XLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة.

العلاقات المسجلة بين النماذج المقارنة

  • Transformer مبني على XLNet — مبني على Transformer-XL.