- سنة الظهور
- 2018
- الباحثون
- Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
- الجهة
- Google AI Language
- نوع المعمارية
- Encoder-only Transformer
- آلية التعلم
- self-supervised
- المهام
- تصنيف النصوص، الإجابة عن الأسئلة، التعرف على الكيانات
مشفّر محوّل مدرَّب مسبقاً بإخفاء الكلمات على نصوص ضخمة، ينتج تمثيلات سياقية ثنائية الاتجاه تُضبط بدقة لمهام الفهم.
التكوين المعروض: BERT-base: L = 12، H = 768، A = 12 — المشفّر مع طبقة Pooler (دون رؤوس ما قبل التدريب).
جدول الطبقات (8 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| الرموز ([CLS] … [SEP]) | input | 128 | 1 | 0 | — | ||
| تضمين الرموز + الموضع + المقطع + LayerNorm | embed | 128 | 128 × 768 | 1 | 23,837,184 | من تنفيذ PyTorch المرجعي | 0 |
| انتباه ذاتي ثنائي الاتجاه (12 رأساً) | mha | 128 × 768 | 128 × 768 | 12 | 2,362,368 | من تنفيذ PyTorch المرجعي | 327,155,712 |
| Add & Norm | addnorm | 128 × 768 | 128 × 768 | 12 | 1,536 | من تنفيذ PyTorch المرجعي | 0 |
| FFN مع GELU | ffn | 128 × 768 | 128 × 768 | 12 | 4,722,432 | من تنفيذ PyTorch المرجعي | 603,979,776 |
| Add & Norm | addnorm | 128 × 768 | 128 × 768 | 12 | 1,536 | من تنفيذ PyTorch المرجعي | 0 |
| Pooler: Dense + tanh على [CLS] | head | 128 × 768 | 768 | 1 | 590,592 | من تنفيذ PyTorch المرجعي | 589,824 |
| تمثيلات سياقية لكل رمز + متجه [CLS] | output | 128 × 768 | 128 × 768 | 1 | 0 | — |
أرقام التكوين: BERT-base: L = 12، H = 768، A = 12
- شكل المدخل
- n ≤ 512 رمزاً
- شكل المخرج
- n × 768
- العمق
- 12 طبقة مشفّر
- التعقيد
- O(L·(n²·H + n·H²)).
- ملاحظة Parameters
- الورقة: 110 ملايين معامل لـ BERT-base.
- ملاحظة MACs
- لتسلسل n = 128 من torch.utils.flop_counter.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
نُشر على arXiv في أكتوبر 2018 ثم في NAACL 2019، وحقق أفضل النتائج في 11 مهمة منها GLUE و SQuAD، وغيّر ممارسة معالجة اللغة نحو التدريب المسبق ثم الضبط الدقيق.
المشكلة التي يعالجها
النماذج اللغوية أحادية الاتجاه (GPT) لا ترى السياق اللاحق، وهو مهم لمهام الفهم.
الفكرة الأساسية
نمذجة اللغة المقنَّعة (MLM): إخفاء 15% من الرموز والتنبؤ بها من السياق في الاتجاهين، مع مهمة توقع الجملة التالية (NSP).
وصف المعمارية
مشفّر محوّل فقط (12 أو 24 طبقة) مع تضمين للرموز والمواضع والمقاطع، ورمز [CLS] لتمثيل التسلسل و [SEP] للفصل.
تدفق البيانات
[CLS] جملة A [SEP] جملة B [SEP] ← تضمينات ← طبقات انتباه ذاتي ثنائي الاتجاه ← تمثيلات لكل رمز ← رأس المهمة.
المدخلات
حتى 512 رمز WordPiece (مفردات 30 ألفاً).
المخرجات
متجه سياقي لكل رمز ومتجه [CLS].
آلية التدريب
تدريب مسبق على BooksCorpus و Wikipedia الإنجليزية (3.3 مليار كلمة) لمليون خطوة بدفعة 256 تسلسلاً، ثم ضبط دقيق قصير لكل مهمة.
دوال الخسارة
مجموع خسارة MLM (إنتروبيا متقاطعة على الرموز المخفية) وخسارة NSP (تصنيف ثنائي).
التعقيد الحسابي
O(L·(n²H + nH²)).
المتطلبات الحسابية
التدريب المسبق لـ BERT-large استغرق 4 أيام على 64 شريحة TPU.
المزايا
- سياق ثنائي الاتجاه عميق
- ضبط دقيق بسيط لمهام كثيرة
- نماذج مدرَّبة متاحة بلغات عديدة منها العربية
القيود
- غير مناسب لتوليد النص
- رمز [MASK] لا يظهر أثناء الضبط الدقيق
- طول سياق محدود بـ 512
المعادلات
الانتباه بالضرب النقطي المقيَّس Scaled dot-product attention
\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) Vكل استعلام يأخذ متوسطاً موزوناً للقيم بحسب تشابهه مع المفاتيح.
الرموز: Q, K, V: الاستعلامات والمفاتيح والقيم، d_k: بُعد المفتاح
الشبكة الأمامية الموضعية Position-wise feed-forward network
\operatorname{FFN}(\mathbf{x}) = \max(0, \mathbf{x}W_1 + \mathbf{b}_1)W_2 + \mathbf{b}_2طبقتان خطيتان تطبقان على كل موضع بشكل مستقل (GELU بدل ReLU في BERT و GPT).
الرموز: W₁: d_model×d_ff، W₂: d_ff×d_model
خسارة نمذجة اللغة المقنَّعة Masked language modeling loss
\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log p\left(x_i \mid \tilde{\mathbf{x}}\right)التنبؤ بالرموز المخفية فقط من التسلسل المشوَّه.
الرموز: M: مواضع الإخفاء (15%)، x̃: التسلسل بعد الإخفاء
خسارة توقع الجملة التالية Next sentence prediction
\mathcal{L} = \mathcal{L}_{MLM} + \mathcal{L}_{NSP},\quad \mathcal{L}_{NSP} = -\log p(\text{IsNext} \mid \mathbf{h}_{[CLS]})تصنيف ثنائي لكون الجملة B تلي A فعلاً.
GELU Gaussian error linear unit
\operatorname{GELU}(x) = x\,\Phi(x)التنشيط المستخدم في FFN.
الرموز: Φ: دالة التوزيع التراكمي الطبيعي
التطبيقات
النماذج المرتبطة
- مبني على Transformer — يستخدم مشفّر المحوّل فقط. قارن
- سابق له Transformer — BERT مشفّر فقط. قارن
- لاحق له RoBERTa (Robustly Optimized BERT Pretraining Approach) — RoBERTa تحسين لإجراءات تدريب BERT. قارن
- متغير منه RoBERTa (Robustly Optimized BERT Pretraining Approach) — المعمارية نفسها بتدريب محسَّن. قارن
- متغير منه ALBERT (A Lite BERT) — ALBERT نسخة خفيفة بمشاركة المعاملات. قارن
- بديل GPT (Generative Pre-trained Transformer) — GPT أحادي الاتجاه للتوليد. قارن
- بديل XLNet — XLNet بديل ذاتي الانحدار بالتباديل. قارن
- T5 (Text-to-Text Transfer Transformer) — تدريب مسبق بإفساد شبيه بـ MLM. قارن
- BLIP (Bootstrapping Language-Image Pre-training) — المحوّل النصي من نوع BERT. قارن
- يستخدم مكوناً من BLIP (Bootstrapping Language-Image Pre-training) — BLIP يستخدم مشفّر نص من نوع BERT. قارن
- Bidirectional Recurrent Neural Network — BERT تحقق السياق ثنائي الاتجاه بالانتباه. قارن
- سابق له Bidirectional LSTM — حل محل نماذج BiLSTM في الوسم. قارن
المراجع
- الورقة الأصلية Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT 2019, 4171–4186. doi:10.18653/v1/N19-1423 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
