BERT: التدريب المسبق لمحولات ثنائية الاتجاه لفهم اللغة
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
تدريب مسبق بإخفاء الكلمات وتوقع الجملة التالية، ثم ضبط دقيق لكل مهمة.
النتائج
درجة GLUE بلغت 80.5 بحسب الورقة.
ملاحظة النشر
نُشرت أولاً على arXiv في أكتوبر 2018.
عناصر مرتبطة
قدّم
- بيرت نموذج · 2018المصدر: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
خريطة المعرفة لهذا العنصر
افتح بالحجم الكاملالمصادر والمراجع العلمية
- Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, 4171-4186. DOI: 10.18653/v1/N19-1423
يدعم: بيانات النشر
