بيرت
BERT
مرمّز Transformer مدرب مسبقاً على التنبؤ بالكلمات المحجوبة وبتتالي الجمل، ثم يُضبط لكل مهمة.
المعمارية
مرمّز Transformer فقط؛ حجمان: Base وLarge.
المقاييس والنتائج المنشورة
رفع درجة GLUE إلى 80.5%.
عناصر مرتبطة
طوّره
يستند إلى
- المحوّل معمارية · 2017المصدر: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
سبق
- روبرتا نموذج · 2019المصدر: RoBERTa: A Robustly Optimized BERT Pretraining Approach
قُدّم في
خريطة المعرفة لهذا العنصر
افتح بالحجم الكاملالمصادر والمراجع العلمية
- Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, 4171-4186. DOI: 10.18653/v1/N19-1423
يدعم: الورقة الأصلية
