كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةموسوعة أطر ومكتبات الذكاء الاصطناعيمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

بناء نموذج GPT-2 مصغر من إعداد دون تنزيل

متقدمالنماذج اللغوية الكبيرةنماذج لغوية

الهدف: فهم بنية النموذج اللغوي في Transformers وتمرير مدخلات وحساب الخسارة.

Python — example.py
import math, torch
from transformers import GPT2Config, GPT2LMHeadModel

torch.manual_seed(0)
cfg = GPT2Config(vocab_size=1000, n_positions=64, n_embd=64, n_layer=2, n_head=4)
model = GPT2LMHeadModel(cfg)
ids = torch.randint(0, 1000, (2, 16))
out = model(input_ids=ids, labels=ids)
print("عدد المعاملات:", sum(p.numel() for p in model.parameters()))
print("شكل logits:", tuple(out.logits.shape))
print(f"الخسارة: {out.loss.item():.3f} | ln(1000) = {math.log(1000):.3f}")

شرح الكود

ننشئ GPT2Config بأبعاد صغيرة ونبني GPT2LMHeadModel بأوزان عشوائية، فلا نحتاج اتصالاً. تمرير labels يجعل النموذج يحسب خسارة التنبؤ بالرمز التالي داخلياً. الخسارة الأولية قريبة من ln(حجم المفردات) لأن النموذج غير مدرب.

المتطلبات

Shell
pip install transformers torch

طريقة التشغيل

احفظ الكود في ملف example.py ثم شغّله:

Shell
python example.py

المخرجات المسجلة عند الاختبار

عدد المعاملات: 168192
شكل logits: (2, 16, 1000)
الخسارة: 6.922 | ln(1000) = 6.908

نُفّذ هذا المثال فعلياً واختُبر بتاريخ 21 نوفمبر 2026 على CPU — transformers 5.24.0, torch 2.15.0, python 3.13.18

المكتبات المستخدمة

أمثلة قريبة