مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةTransformerGPT (Generative Pre-trained Transformer)
العائلةالمحوّلاتالمحوّلات
سنة الظهور20172018
الباحثونAshish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,…Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
نوع المعماريةEncoder–decoder TransformerDecoder-only Transformer
آلية التعلمsupervisedself-supervised
التكوين المقارنTransformer (base): ‏N = 6، d_model = 512، h = 8، d_ff = 2048GPT-1: ‏12 طبقة، d = 768، 12 رأساً، سياق 512
شكل المدخلn رمزاً للمصدر و n للهدفn ≤ 512 رمزاً
شكل المخرجn × 37000n × 40478
العمق6 طبقات مشفّر + 6 طبقات فك تشفير12 كتلة
Parameters (محسوبة)63,084,544
≈63.08M
116,534,784
≈116.53M
Parameters (منشورة)65,000,000
≈65M
117,000,000
≈117M
MACs8,363,966,464
≈8.36B
لمصدر وهدف بطول n = 128: من torch.utils.flop_counter (تشمل الإسقاط المقيَّد إلى المفردات).
15,152,775,168
≈15.15B
لتسلسل n = 128، مع إسقاط المفردات.
التعقيدالانتباه O(n²·d) لكل طبقة، والطبقات الخطية O(n·d²).O(L·(n²d + nd²)).
المهامالترجمة الآلية، تحويل التسلسلاتنمذجة اللغة، توليد النصوص، تصنيف النصوص
أبرز ميزةتدريب متوازٍ بالكامليولّد النص بطبيعته
أبرز قيدكلفة الانتباه تربيعية في طول التسلسلسياق أحادي الاتجاه
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابnn.Transformer في PyTorch مع تضمين مشترك 37,000 × 512 وإسقاط مخرج مقيَّد. يضيف PyTorch تطبيعين نهائيين (2,048 معاملاً)، وحجم المفردات الفعلي قد يختلف قليلاً، لذا يختلف المجموع عن 65M المذكورة.OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين.

العلاقات المسجلة بين النماذج المقارنة

  • Transformer سابق له GPT (Generative Pre-trained Transformer) — GPT فك تشفير فقط.