نموذج

بيرت

BERT

2018 موثّق جزئياً Partially Verified

مرمّز Transformer مدرب مسبقاً على التنبؤ بالكلمات المحجوبة وبتتالي الجمل، ثم يُضبط لكل مهمة.

رسم توضيحي، وليس صورة أصلية

المعمارية

مرمّز Transformer فقط؛ حجمان: Base وLarge.

المقاييس والنتائج المنشورة

رفع درجة GLUE إلى 80.5%.

عناصر مرتبطة

خريطة المعرفة لهذا العنصر

افتح بالحجم الكامل

المصادر والمراجع العلمية

  1. Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, 4171-4186. DOI: 10.18653/v1/N19-1423

    يدعم: الورقة الأصلية

    ورقة مؤتمر · جرى التحقق من بياناته الببليوغرافية عبر Crossref · صفحة المرجع