المحوّلات يحتاج مراجعة

GPT (Generative Pre-trained Transformer)

جي بي تي 1 — GPT-1

سنة الظهور
2018
الباحثون
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
الجهة
OpenAI
نوع المعمارية
Decoder-only Transformer
آلية التعلم
self-supervised
المهام
نمذجة اللغة، توليد النصوص، تصنيف النصوص

فك تشفير محوّل يُدرَّب مسبقاً على التنبؤ بالكلمة التالية في نصوص طويلة ثم يُضبط بدقة لمهام الفهم بتحويل المدخلات إلى تسلسلات.

مخطط المعمارية

التكوين المعروض: GPT-1: ‏12 طبقة، d = 768، 12 رأساً، سياق 512 — فك تشفير محوّل فقط بانتباه مقنَّع.

جدول الطبقات (8 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
الرموز السابقةinput12810—
تضمين الرموز (40,478) + المواضع (512)embed128128 × 768131,480,320من تنفيذ PyTorch المرجعي0
انتباه ذاتي مقنَّع (12 رأساً)masked_mha128 × 768128 × 768122,362,368من تنفيذ PyTorch المرجعي327,155,712
Add & Normaddnorm128 × 768128 × 768121,536من تنفيذ PyTorch المرجعي0
FFN ‏768←3072←768 مع GELUffn128 × 768128 × 768124,722,432من تنفيذ PyTorch المرجعي603,979,776
Add & Normaddnorm128 × 768128 × 768121,536من تنفيذ PyTorch المرجعي0
رأس نمذجة اللغة (مقيَّد بالتضمين)fc128 × 768128 × 4047810أوزان مقيَّدة بمصفوفة تضمين الرموز3,979,149,312
توزيع الرمز التاليoutput128 × 40478128 × 4047810—

أرقام التكوين: GPT-1: ‏12 طبقة، d = 768، 12 رأساً، سياق 512

Parameters (محسوبة من الطبقات)116,534,784 (≈116.53M)
Parameters (منشورة في المصدر)117,000,000 (≈117M)
MACs15,152,775,168 (≈15.15B)
FLOPs ≈ 2 × MACs30,305,550,336 (≈30.31B)
شكل المدخل
n ≤ 512 رمزاً
شكل المخرج
n × 40478
العمق
12 كتلة
التعقيد
O(L·(n²d + nd²)).
ملاحظة Parameters
117 مليوناً كما يذكر جدول أحجام النماذج في ورقة GPT-2؛ تقرير GPT-1 لا يذكر العدد صراحة.
ملاحظة MACs
لتسلسل n = 128، مع إسقاط المفردات.
افتراضات الحساب: OpenAIGPTModel من Hugging Face بالتهيئة الافتراضية (مفردات BPE 40,478)؛ رأس اللغة مقيَّد بأوزان التضمين.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

صدر تقريراً تقنياً من OpenAI في يونيو 2018، وتلاه GPT-2 (2019) و GPT-3 (2020)، فأسس لخط النماذج اللغوية التوليدية الكبيرة.

المشكلة التي يعالجها

ندرة البيانات المعلَّمة لمهام الفهم مقارنة بوفرة النص غير المعلَّم.

الفكرة الأساسية

تدريب مسبق توليدي غير موجَّه بنمذجة لغة ذاتية الانحدار، ثم ضبط دقيق موجَّه بتغييرات طفيفة على المدخل.

وصف المعمارية

12 كتلة فك تشفير (انتباه ذاتي مقنَّع + FFN) بأبعاد 768 و 12 رأساً، وتضمين مواضع متعلَّم، ورأس لغة مقيَّد بالتضمين.

تدفق البيانات

رموز ← تضمين + مواضع ← 12 كتلة بانتباه سببي ← إسقاط إلى المفردات ← احتمال الرمز التالي.

المدخلات

حتى 512 رمز BPE.

المخرجات

توزيع احتمالي للرمز التالي في كل موضع.

آلية التدريب

Adam بمعدل أقصى 2.5·10⁻⁴ لـ 100 دورة على BooksCorpus (أكثر من 7 آلاف كتاب) بدفعات 64 × 512 رمزاً، ثم ضبط دقيق 3 دورات.

دوال الخسارة

اللوغاريتم الاحتمالي السالب للرمز التالي، ومع الضبط الدقيق تضاف خسارة المهمة مع نمذجة اللغة كهدف مساعد.

التعقيد الحسابي

O(L·(n²d + nd²)).

المتطلبات الحسابية

التقرير يذكر تدريباً لمدة شهر على 8 بطاقات GPU.

المزايا

  • يولّد النص بطبيعته
  • نقل جيد لمهام متعددة
  • أساس قابل للتوسع إلى نماذج ضخمة

القيود

  • سياق أحادي الاتجاه
  • سياق محدود بـ 512
  • التقرير الأصلي لا يملك DOI أو نشراً محكَّماً

المعادلات

هدف نمذجة اللغة Language modeling objective

L_1(\mathcal{U}) = \sum_{i} \log P\left(u_i \mid u_{i-k}, \ldots, u_{i-1}; \Theta\right)

تعظيم احتمال كل رمز بشرط سياقه السابق.

الرموز: k: نافذة السياق

الانتباه السببي Causal self-attention

\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right)V,\quad M_{ij} = -\infty \;\text{if}\; j \gt i

كل موضع يرى ما قبله فقط.

هدف الضبط الدقيق Fine-tuning objective

L_3(\mathcal{C}) = L_2(\mathcal{C}) + \lambda \, L_1(\mathcal{C})

خسارة المهمة مع نمذجة اللغة كهدف مساعد (λ = 0.5).

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever. (2018). Improving language understanding by generative pre-training. OpenAI technical report. رابط يحتاج مراجعة
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.