مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةXLNetRoBERTa (Robustly Optimized BERT Pretraining Approach)
العائلةالمحوّلاتالمحوّلات
سنة الظهور20192019
الباحثونZhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,…Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi,…
نوع المعماريةAutoregressive Transformer-XL encoderEncoder-only Transformer
آلية التعلمself-supervisedself-supervised
التكوين المقارنXLNet-base: ‏L = 12، d = 768، 12 رأساًRoBERTa-base: ‏L = 12، H = 768، A = 12
شكل المدخلn رمزاً (+ ذاكرة)n ≤ 512 رمزاً
شكل المخرجn × 768n × 768
العمق12 طبقة12 طبقة مشفّر
Parameters (محسوبة)116,718,336
≈116.72M
124,645,632
≈124.65M
Parameters (منشورة)غير محددغير محدد
MACs13,287,555,072
≈13.29B
لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
11,174,215,680
≈11.17B
لتسلسل n = 128.
التعقيدO(L·(n·(n+m)·d + nd²)).O(L·(n²H + nH²)).
المهامتصنيف النصوص، الإجابة عن الأسئلةتصنيف النصوص، الإجابة عن الأسئلة
أبرز ميزةسياق ثنائي الاتجاه دون [MASK]أداء أعلى من BERT بالمعمارية نفسها
أبرز قيدتعقيد تنفيذي كبيرتدريب مسبق مكلف جداً
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابXLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة.RobertaModel من Hugging Face بتهيئة roberta-base (مع Pooler)؛ الورقة لا تذكر عدد معاملات base صراحة.

العلاقات المسجلة بين النماذج المقارنة

  • XLNet بديل RoBERTa (Robustly Optimized BERT Pretraining Approach) — تنافسا على GLUE عام 2019.