BERT مقابل GPT
BERT vs GPT
عائلتان من المحولات: مشفّر ثنائي الاتجاه للفهم، ومفكّك أحادي الاتجاه للتوليد.
الخلاصة
صار نمط المفكّك هو الغالب في النماذج اللغوية الكبيرة، وبقي نمط BERT مهماً في البحث الدلالي والتصنيف.
جدول المقارنة
| المعيار | BERT | GPT |
|---|---|---|
| الجزء من المحول | المشفّر | المفكّك |
| هدف التدريب المسبق | توقع الكلمات المخفية | توقع الكلمة التالية |
| الاتجاه | ثنائي | من اليسار إلى اليمين |
| الاستخدام الأبرز | التصنيف والبحث والفهم | التوليد والمحادثة |
| الحجم المنشور | 110M و340M معامل | GPT-3: 175B معامل |
المصادر والمراجع العلمية
- Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019, 4171-4186. DOI: 10.18653/v1/N19-1423
يدعم: BERT
- Tom B. Brown; Benjamin Mann; Nick Ryder; ... (31) (2020). Language Models are Few-Shot Learners. arXiv, 2005.14165. DOI: 10.48550/arXiv.2005.14165 · arXiv: 2005.14165
يدعم: GPT-3
