BERT
بيرت
التعريف
نموذج لغوي مشفِّر ثنائي الاتجاه مبني على المحوّل، دُرِّب مسبقاً بإخفاء كلمات والتنبؤ بها.
يقرأ BERT السياق من الاتجاهين، فيعطي تمثيلات سياقية غنية. يُضبط بعد ذلك على مهام مثل التصنيف والإجابة عن الأسئلة. ظهر عام 2018 (Devlin وآخرون).
Definition
BERT is a bidirectional transformer encoder pre-trained with masked language modelling and next-sentence prediction, then fine-tuned for downstream tasks.
شرح مبسّط للمبتدئين
قارئ يرى الجملة كاملة قبل أن يفهم كل كلمة، لا يقرأ من اليسار فقط.
شرح أكاديمي متخصص
هدف التدريب: إخفاء نحو 15% من الرموز وتعظيم احتمال استعادتها.
أمثلة عملية
- ضبط BERT لتصنيف أخبار عربية.
التطبيقات والاستخدامات
- التصنيف والاستخراج.
المزايا
- تمثيلات سياقية قوية.
القيود والعيوب
- لا يولّد نصاً طويلاً.
