- سنة الظهور
- 2018
- الباحثون
- Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
- الجهة
- OpenAI
- نوع المعمارية
- Decoder-only Transformer
- آلية التعلم
- self-supervised
- المهام
- نمذجة اللغة، توليد النصوص، تصنيف النصوص
فك تشفير محوّل يُدرَّب مسبقاً على التنبؤ بالكلمة التالية في نصوص طويلة ثم يُضبط بدقة لمهام الفهم بتحويل المدخلات إلى تسلسلات.
مخطط المعمارية
التكوين المعروض: GPT-1: 12 طبقة، d = 768، 12 رأساً، سياق 512 — فك تشفير محوّل فقط بانتباه مقنَّع.
جدول الطبقات (8 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| الرموز السابقة | input | 128 | 1 | 0 | — | ||
| تضمين الرموز (40,478) + المواضع (512) | embed | 128 | 128 × 768 | 1 | 31,480,320 | من تنفيذ PyTorch المرجعي | 0 |
| انتباه ذاتي مقنَّع (12 رأساً) | masked_mha | 128 × 768 | 128 × 768 | 12 | 2,362,368 | من تنفيذ PyTorch المرجعي | 327,155,712 |
| Add & Norm | addnorm | 128 × 768 | 128 × 768 | 12 | 1,536 | من تنفيذ PyTorch المرجعي | 0 |
| FFN 768←3072←768 مع GELU | ffn | 128 × 768 | 128 × 768 | 12 | 4,722,432 | من تنفيذ PyTorch المرجعي | 603,979,776 |
| Add & Norm | addnorm | 128 × 768 | 128 × 768 | 12 | 1,536 | من تنفيذ PyTorch المرجعي | 0 |
| رأس نمذجة اللغة (مقيَّد بالتضمين) | fc | 128 × 768 | 128 × 40478 | 1 | 0 | أوزان مقيَّدة بمصفوفة تضمين الرموز | 3,979,149,312 |
| توزيع الرمز التالي | output | 128 × 40478 | 128 × 40478 | 1 | 0 | — |
أرقام التكوين: GPT-1: 12 طبقة، d = 768، 12 رأساً، سياق 512
- شكل المدخل
- n ≤ 512 رمزاً
- شكل المخرج
- n × 40478
- العمق
- 12 كتلة
- التعقيد
- O(L·(n²d + nd²)).
- ملاحظة Parameters
- 117 مليوناً كما يذكر جدول أحجام النماذج في ورقة GPT-2؛ تقرير GPT-1 لا يذكر العدد صراحة.
- ملاحظة MACs
- لتسلسل n = 128، مع إسقاط المفردات.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
صدر تقريراً تقنياً من OpenAI في يونيو 2018، وتلاه GPT-2 (2019) و GPT-3 (2020)، فأسس لخط النماذج اللغوية التوليدية الكبيرة.
المشكلة التي يعالجها
ندرة البيانات المعلَّمة لمهام الفهم مقارنة بوفرة النص غير المعلَّم.
الفكرة الأساسية
تدريب مسبق توليدي غير موجَّه بنمذجة لغة ذاتية الانحدار، ثم ضبط دقيق موجَّه بتغييرات طفيفة على المدخل.
وصف المعمارية
12 كتلة فك تشفير (انتباه ذاتي مقنَّع + FFN) بأبعاد 768 و 12 رأساً، وتضمين مواضع متعلَّم، ورأس لغة مقيَّد بالتضمين.
تدفق البيانات
رموز ← تضمين + مواضع ← 12 كتلة بانتباه سببي ← إسقاط إلى المفردات ← احتمال الرمز التالي.
المدخلات
حتى 512 رمز BPE.
المخرجات
توزيع احتمالي للرمز التالي في كل موضع.
آلية التدريب
Adam بمعدل أقصى 2.5·10⁻⁴ لـ 100 دورة على BooksCorpus (أكثر من 7 آلاف كتاب) بدفعات 64 × 512 رمزاً، ثم ضبط دقيق 3 دورات.
دوال الخسارة
اللوغاريتم الاحتمالي السالب للرمز التالي، ومع الضبط الدقيق تضاف خسارة المهمة مع نمذجة اللغة كهدف مساعد.
التعقيد الحسابي
O(L·(n²d + nd²)).
المتطلبات الحسابية
التقرير يذكر تدريباً لمدة شهر على 8 بطاقات GPU.
المزايا
- يولّد النص بطبيعته
- نقل جيد لمهام متعددة
- أساس قابل للتوسع إلى نماذج ضخمة
القيود
- سياق أحادي الاتجاه
- سياق محدود بـ 512
- التقرير الأصلي لا يملك DOI أو نشراً محكَّماً
المعادلات
هدف نمذجة اللغة Language modeling objective
L_1(\mathcal{U}) = \sum_{i} \log P\left(u_i \mid u_{i-k}, \ldots, u_{i-1}; \Theta\right)تعظيم احتمال كل رمز بشرط سياقه السابق.
الرموز: k: نافذة السياق
الانتباه السببي Causal self-attention
\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right)V,\quad M_{ij} = -\infty \;\text{if}\; j \gt iكل موضع يرى ما قبله فقط.
هدف الضبط الدقيق Fine-tuning objective
L_3(\mathcal{C}) = L_2(\mathcal{C}) + \lambda \, L_1(\mathcal{C})خسارة المهمة مع نمذجة اللغة كهدف مساعد (λ = 0.5).
التطبيقات
النماذج المرتبطة
- مبني على Transformer — يستخدم فك تشفير المحوّل فقط. قارن
- سابق له Transformer — GPT فك تشفير فقط. قارن
- بديل BERT (Bidirectional Encoder Representations from Transformers) — BERT مشفّر ثنائي الاتجاه. قارن
- XLNet — XLNet يجمع الانحدار الذاتي مع سياق الاتجاهين. قارن
- LLaVA (Large Language and Vision Assistant) — LLaVA يستخدم نموذجاً لغوياً من نوع فك التشفير. قارن
المراجع
- الورقة الأصلية Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever. (2018). Improving language understanding by generative pre-training. OpenAI technical report. رابط يحتاج مراجعة
الإصدار 1 — آخر تحديث 2026-11-15.
