مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | BERT (Bidirectional Encoder Representations from Transformers) | RoBERTa (Robustly Optimized BERT Pretraining Approach) |
|---|---|---|
| العائلة | المحوّلات | المحوّلات |
| سنة الظهور | 2018 | 2019 |
| الباحثون | Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova | Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi,… |
| نوع المعمارية | Encoder-only Transformer | Encoder-only Transformer |
| آلية التعلم | self-supervised | self-supervised |
| التكوين المقارن | BERT-base: L = 12، H = 768، A = 12 | RoBERTa-base: L = 12، H = 768، A = 12 |
| شكل المدخل | n ≤ 512 رمزاً | n ≤ 512 رمزاً |
| شكل المخرج | n × 768 | n × 768 |
| العمق | 12 طبقة مشفّر | 12 طبقة مشفّر |
| Parameters (محسوبة) | 109,482,240 ≈109.48M | 124,645,632 ≈124.65M |
| Parameters (منشورة) | 110,000,000 ≈110M | غير محدد |
| MACs | 11,174,215,680 ≈11.17B لتسلسل n = 128 من torch.utils.flop_counter. | 11,174,215,680 ≈11.17B لتسلسل n = 128. |
| التعقيد | O(L·(n²·H + n·H²)). | O(L·(n²H + nH²)). |
| المهام | تصنيف النصوص، الإجابة عن الأسئلة، التعرف على الكيانات | تصنيف النصوص، الإجابة عن الأسئلة |
| أبرز ميزة | سياق ثنائي الاتجاه عميق | أداء أعلى من BERT بالمعمارية نفسها |
| أبرز قيد | غير مناسب لتوليد النص | تدريب مسبق مكلف جداً |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | BertModel من Hugging Face Transformers بالتهيئة الافتراضية (bert-base-uncased)؛ رؤوس MLM و NSP غير محسوبة (رأس MLM مقيَّد جزئياً بأوزان التضمين). | RobertaModel من Hugging Face بتهيئة roberta-base (مع Pooler)؛ الورقة لا تذكر عدد معاملات base صراحة. |
العلاقات المسجلة بين النماذج المقارنة
- BERT (Bidirectional Encoder Representations from Transformers) سابق له RoBERTa (Robustly Optimized BERT Pretraining Approach) — RoBERTa تحسين لإجراءات تدريب BERT.
