المحوّلات يحتاج مراجعة

BERT (Bidirectional Encoder Representations from Transformers)

بيرت — BERT

سنة الظهور
2018
الباحثون
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
الجهة
Google AI Language
نوع المعمارية
Encoder-only Transformer
آلية التعلم
self-supervised
المهام
تصنيف النصوص، الإجابة عن الأسئلة، التعرف على الكيانات

مشفّر محوّل مدرَّب مسبقاً بإخفاء الكلمات على نصوص ضخمة، ينتج تمثيلات سياقية ثنائية الاتجاه تُضبط بدقة لمهام الفهم.

التكوين المعروض: BERT-large: ‏L = 24، H = 1024، A = 16 — المشفّر الكبير مع Pooler.

جدول الطبقات (8 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
الرموز ([CLS] … [SEP])input12810—
تضمين الرموز + الموضع + المقطع + LayerNormembed128128 × 1024131,782,912من تنفيذ PyTorch المرجعي0
انتباه ذاتي ثنائي الاتجاهmha128 × 1024128 × 1024244,198,400من تنفيذ PyTorch المرجعي570,425,344
Add & Normaddnorm128 × 1024128 × 1024242,048من تنفيذ PyTorch المرجعي0
FFN مع GELUffn128 × 1024128 × 1024248,393,728من تنفيذ PyTorch المرجعي1,073,741,824
Add & Normaddnorm128 × 1024128 × 1024242,048من تنفيذ PyTorch المرجعي0
Pooler: Dense + tanh على [CLS]head128 × 1024102411,049,600من تنفيذ PyTorch المرجعي1,048,576
تمثيلات سياقية لكل رمز + متجه [CLS]output128 × 1024128 × 102410—

أرقام التكوين: BERT-large: ‏L = 24، H = 1024، A = 16

Parameters (محسوبة من الطبقات)335,141,888 (≈335.14M)
Parameters (منشورة في المصدر)340,000,000 (≈340M)
MACs39,461,060,608 (≈39.46B)
FLOPs ≈ 2 × MACs78,922,121,216 (≈78.92B)
شكل المدخل
n ≤ 512 رمزاً
شكل المخرج
n × 1024
العمق
24 طبقة مشفّر
التعقيد
O(L·(n²·H + n·H²)).
ملاحظة Parameters
الورقة: 340 مليون معامل لـ BERT-large.
ملاحظة MACs
لتسلسل n = 128.
افتراضات الحساب: BertModel بتهيئة large.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نُشر على arXiv في أكتوبر 2018 ثم في NAACL 2019، وحقق أفضل النتائج في 11 مهمة منها GLUE و SQuAD، وغيّر ممارسة معالجة اللغة نحو التدريب المسبق ثم الضبط الدقيق.

المشكلة التي يعالجها

النماذج اللغوية أحادية الاتجاه (GPT) لا ترى السياق اللاحق، وهو مهم لمهام الفهم.

الفكرة الأساسية

نمذجة اللغة المقنَّعة (MLM): إخفاء 15% من الرموز والتنبؤ بها من السياق في الاتجاهين، مع مهمة توقع الجملة التالية (NSP).

وصف المعمارية

مشفّر محوّل فقط (12 أو 24 طبقة) مع تضمين للرموز والمواضع والمقاطع، ورمز [CLS] لتمثيل التسلسل و [SEP] للفصل.

تدفق البيانات

[CLS] جملة A [SEP] جملة B [SEP] ← تضمينات ← طبقات انتباه ذاتي ثنائي الاتجاه ← تمثيلات لكل رمز ← رأس المهمة.

المدخلات

حتى 512 رمز WordPiece (مفردات 30 ألفاً).

المخرجات

متجه سياقي لكل رمز ومتجه [CLS].

آلية التدريب

تدريب مسبق على BooksCorpus و Wikipedia الإنجليزية (3.3 مليار كلمة) لمليون خطوة بدفعة 256 تسلسلاً، ثم ضبط دقيق قصير لكل مهمة.

دوال الخسارة

مجموع خسارة MLM (إنتروبيا متقاطعة على الرموز المخفية) وخسارة NSP (تصنيف ثنائي).

التعقيد الحسابي

O(L·(n²H + nH²)).

المتطلبات الحسابية

التدريب المسبق لـ BERT-large استغرق 4 أيام على 64 شريحة TPU.

المزايا

  • سياق ثنائي الاتجاه عميق
  • ضبط دقيق بسيط لمهام كثيرة
  • نماذج مدرَّبة متاحة بلغات عديدة منها العربية

القيود

  • غير مناسب لتوليد النص
  • رمز [MASK] لا يظهر أثناء الضبط الدقيق
  • طول سياق محدود بـ 512

المعادلات

الانتباه بالضرب النقطي المقيَّس Scaled dot-product attention

\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right) V

كل استعلام يأخذ متوسطاً موزوناً للقيم بحسب تشابهه مع المفاتيح.

الرموز: Q, K, V: الاستعلامات والمفاتيح والقيم، d_k: بُعد المفتاح

الشبكة الأمامية الموضعية Position-wise feed-forward network

\operatorname{FFN}(\mathbf{x}) = \max(0, \mathbf{x}W_1 + \mathbf{b}_1)W_2 + \mathbf{b}_2

طبقتان خطيتان تطبقان على كل موضع بشكل مستقل (GELU بدل ReLU في BERT و GPT).

الرموز: W₁: d_model×d_ff، W₂: d_ff×d_model

خسارة نمذجة اللغة المقنَّعة Masked language modeling loss

\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log p\left(x_i \mid \tilde{\mathbf{x}}\right)

التنبؤ بالرموز المخفية فقط من التسلسل المشوَّه.

الرموز: M: مواضع الإخفاء (15%)، x̃: التسلسل بعد الإخفاء

خسارة توقع الجملة التالية Next sentence prediction

\mathcal{L} = \mathcal{L}_{MLM} + \mathcal{L}_{NSP},\quad \mathcal{L}_{NSP} = -\log p(\text{IsNext} \mid \mathbf{h}_{[CLS]})

تصنيف ثنائي لكون الجملة B تلي A فعلاً.

GELU Gaussian error linear unit

\operatorname{GELU}(x) = x\,\Phi(x)

التنشيط المستخدم في FFN.

الرموز: Φ: دالة التوزيع التراكمي الطبيعي

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT 2019, 4171–4186. doi:10.18653/v1/N19-1423 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.