مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةBERT (Bidirectional Encoder Representations from Transformers)RoBERTa (Robustly Optimized BERT Pretraining Approach)
العائلةالمحوّلاتالمحوّلات
سنة الظهور20182019
الباحثونJacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina ToutanovaYinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi,…
نوع المعماريةEncoder-only TransformerEncoder-only Transformer
آلية التعلمself-supervisedself-supervised
التكوين المقارنBERT-base: ‏L = 12، H = 768، A = 12RoBERTa-base: ‏L = 12، H = 768، A = 12
شكل المدخلn ≤ 512 رمزاًn ≤ 512 رمزاً
شكل المخرجn × 768n × 768
العمق12 طبقة مشفّر12 طبقة مشفّر
Parameters (محسوبة)109,482,240
≈109.48M
124,645,632
≈124.65M
Parameters (منشورة)110,000,000
≈110M
غير محدد
MACs11,174,215,680
≈11.17B
لتسلسل n = 128 من torch.utils.flop_counter.
11,174,215,680
≈11.17B
لتسلسل n = 128.
التعقيدO(L·(n²·H + n·H²)).O(L·(n²H + nH²)).
المهامتصنيف النصوص، الإجابة عن الأسئلة، التعرف على الكياناتتصنيف النصوص، الإجابة عن الأسئلة
أبرز ميزةسياق ثنائي الاتجاه عميقأداء أعلى من BERT بالمعمارية نفسها
أبرز قيدغير مناسب لتوليد النصتدريب مسبق مكلف جداً
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابBertModel من Hugging Face Transformers بالتهيئة الافتراضية (bert-base-uncased)؛ رؤوس MLM و NSP غير محسوبة (رأس MLM مقيَّد جزئياً بأوزان التضمين).RobertaModel من Hugging Face بتهيئة roberta-base (مع Pooler)؛ الورقة لا تذكر عدد معاملات base صراحة.

العلاقات المسجلة بين النماذج المقارنة

  • BERT (Bidirectional Encoder Representations from Transformers) سابق له RoBERTa (Robustly Optimized BERT Pretraining Approach) — RoBERTa تحسين لإجراءات تدريب BERT.