مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةXLNetTransformer
العائلةالمحوّلاتالمحوّلات
سنة الظهور20192017
الباحثونZhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,…Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…
نوع المعماريةAutoregressive Transformer-XL encoderEncoder–decoder Transformer
آلية التعلمself-supervisedsupervised
التكوين المقارنXLNet-base: ‏L = 12، d = 768، 12 رأساًTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048
شكل المدخلn رمزاً (+ ذاكرة)n رمزاً للمصدر و n للهدف
شكل المخرجn × 768n × 37000
العمق12 طبقة6 طبقات مشفّر + 6 طبقات فك تشفير
Parameters (محسوبة)116,718,336
≈116.72M
63,084,544
≈63.08M
Parameters (منشورة)غير محدد65,000,000
≈65M
MACs13,287,555,072
≈13.29B
لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
التعقيدO(L·(n·(n+m)·d + nd²)).الانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).
المهامتصنيف النصوص، الإجابة عن الأسئلةالترجمة الآلية، تحويل التسلسلات
أبرز ميزةسياق ثنائي الاتجاه دون [MASK]تدريب متوازٍ بالكامل
أبرز قيدتعقيد تنفيذي كبيركلفة الانتباه تربيعية في طول التسلسل
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابXLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة.nn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.

العلاقات المسجلة بين النماذج المقارنة

  • XLNet متغير منه Transformer — مبني على Transformer-XL.