مقارنة النماذج
تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.
| الخاصية | XLNet | GPT (Generative Pre-trained Transformer) |
|---|---|---|
| العائلة | المحوّلات | المحوّلات |
| سنة الظهور | 2019 | 2018 |
| الباحثون | Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov,… | Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever |
| نوع المعمارية | Autoregressive Transformer-XL encoder | Decoder-only Transformer |
| آلية التعلم | self-supervised | self-supervised |
| التكوين المقارن | XLNet-base: L = 12، d = 768، 12 رأساً | GPT-1: 12 طبقة، d = 768، 12 رأساً، سياق 512 |
| شكل المدخل | n رمزاً (+ ذاكرة) | n ≤ 512 رمزاً |
| شكل المخرج | n × 768 | n × 40478 |
| العمق | 12 طبقة | 12 كتلة |
| Parameters (محسوبة) | 116,718,336 ≈116.72M | 116,534,784 ≈116.53M |
| Parameters (منشورة) | غير محدد | 117,000,000 ≈117M |
| MACs | 13,287,555,072 ≈13.29B لتسلسل n = 128 دون ذاكرة سابقة (تيار المحتوى فقط في الاستدلال). | 15,152,775,168 ≈15.15B لتسلسل n = 128، مع إسقاط المفردات. |
| التعقيد | O(L·(n·(n+m)·d + nd²)). | O(L·(n²d + nd²)). |
| المهام | تصنيف النصوص، الإجابة عن الأسئلة | نمذجة اللغة، توليد النصوص، تصنيف النصوص |
| أبرز ميزة | سياق ثنائي الاتجاه دون [MASK] | يولّد النص بطبيعته |
| أبرز قيد | تعقيد تنفيذي كبير | سياق أحادي الاتجاه |
| حالة المراجعة | يحتاج مراجعة | يحتاج مراجعة |
| افتراضات الحساب | XLNetModel من Hugging Face بتهيئة xlnet-base-cased؛ الورقة لا تذكر عدد المعاملات صراحة. | OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين. |
العلاقات المسجلة بين النماذج المقارنة
- XLNet مرتبط GPT (Generative Pre-trained Transformer) — XLNet يجمع الانحدار الذاتي مع سياق الاتجاهين.
