مقارنة

BERT مقابل GPT

BERT vs GPT

موثّق جزئياً Partially Verified

عائلتان من المحولات: مشفّر ثنائي الاتجاه للفهم، ومفكّك أحادي الاتجاه للتوليد.

الخلاصة

صار نمط المفكّك هو الغالب في النماذج اللغوية الكبيرة، وبقي نمط BERT مهماً في البحث الدلالي والتصنيف.

جدول المقارنة

المعيارBERTGPT
الجزء من المحولالمشفّرالمفكّك
هدف التدريب المسبقتوقع الكلمات المخفيةتوقع الكلمة التالية
الاتجاهثنائيمن اليسار إلى اليمين
الاستخدام الأبرزالتصنيف والبحث والفهمالتوليد والمحادثة
الحجم المنشور110M و340M معاملGPT-3: 175B معامل

المصادر والمراجع العلمية

  1. Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, 4171-4186. DOI: 10.18653/v1/N19-1423

    يدعم: BERT

    ورقة مؤتمر · جرى التحقق من بياناته الببليوغرافية عبر Crossref · صفحة المرجع

  2. Tom B. Brown; Benjamin Mann; Nick Ryder; ... (31) (2020). Language Models are Few-Shot Learners. arXiv, 2005.14165. DOI: 10.48550/arXiv.2005.14165 · arXiv: 2005.14165

    يدعم: GPT-3

    نسخة أولية (Preprint) · جرى التحقق من بياناته الببليوغرافية عبر OpenAlex · صفحة المرجع