مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةXLNetGPT (Generative Pre-trained Transformer)
العائلةالمحوّلاتالمحوّلات
سنة الظهور20192018
الباحثونZhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,…Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
نوع المعماريةAutoregressive Transformer-XL encoderDecoder-only Transformer
آلية التعلمself-supervisedself-supervised
التكوين المقارنXLNet-base: ‏L = 12، d = 768، 12 رأساًGPT-1: ‏12 طبقة، d = 768، 12 رأساً، سياق 512
شكل المدخلn رمزاً (+ ذاكرة)n ≤ 512 رمزاً
شكل المخرجn × 768n × 40478
العمق12 طبقة12 كتلة
Parameters (محسوبة)116,718,336
≈116.72M
116,534,784
≈116.53M
Parameters (منشورة)غير محدد117,000,000
≈117M
MACs13,287,555,072
≈13.29B
لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال).
15,152,775,168
≈15.15B
لتسلسل n = 128، مع إسقاط المفردات.
التعقيدO(L·(n·(n+m)·d + nd²)).O(L·(n²d + nd²)).
المهامتصنيف النصوص، الإجابة عن الأسئلةنمذجة اللغة، توليد النصوص، تصنيف النصوص
أبرز ميزةسياق ثنائي الاتجاه دون [MASK]يولّد النص بطبيعته
أبرز قيدتعقيد تنفيذي كبيرسياق أحادي الاتجاه
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابXLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة.OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين.

العلاقات المسجلة بين النماذج المقارنة

  • XLNet مرتبط GPT (Generative Pre-trained Transformer) — XLNet يجمع الانحدار الذاتي مع سياق الاتجاهين.