BERT (Bidirectional Encoder Representations from Transformers)

معمارية نموذج لتمثيل (representation) النص. يمكن أن يعمل نموذج BERT المدرب كجزء من نموذج أكبر لتصنيف النص أو مهام التعلم الآلي الأخرى.
يتميز BERT بالخصائص التالية:
• يستخدم معمارية المحول (Transformer)، وبالتالي يعتمد على الانتباه الذاتي (self-attention).
• يستخدم جزء المشفر (encoder) من المحول. وظيفة المشفر هي إنتاج تمثيلات نصية جيدة، بدلاً من أداء مهمة محددة مثل التصنيف.
• ثنائي الاتجاه (bidirectional).
• يستخدم إخفاء (masking) للتدريب غير الخاضع للأشراف (unsupervised training).
تشمل متغيرات BERT ما يلي:
• ALBERT ، وهو اختصار لـ A Light BERT.
• LaBSE.