النماذج التوليدية القائمة على الدرجة (SGM)
Score-Based Generative Models
تتعلم شبكة "الدرجة" $\nabla_x\log p(x)$ عند مستويات ضوضاء متعددة، ثم تولّد العينات بديناميكا لانجفان تتبع الدرجة من الضوضاء نحو مناطق الكثافة العالية؛ وتُعمم إلى معادلات تفاضلية عشوائية (SDE) تجمعها مع الانتشار.
نظرة عامة
| الاسم | النماذج التوليدية القائمة على الدرجة – Score-Based Generative Models |
|---|---|
| سنة الظهور | 2019 |
| الباحثون | Yang Song، Stefano Ermon |
| الجهة | Stanford University |
| الورقة الأصلية | Generative modeling by estimating gradients of the data distribution arXiv |
| نوع البيانات | صور، بيانات جدولية |
| المجالات | الحوسبة العلمية، الذكاء الاصطناعي التوليدي، تحليل الصور الطبية |
| الكلفة الحسابية | كثير من تقييمات الشبكة عند التوليد. |
| حجم البيانات | متوسطة إلى كبيرة. |
المشكلة التي تحلها
تعلم الكثافة مباشرة يتطلب ثابت تطبيع غير قابل للحساب، والدرجة لا تحتاجه. لكن تقدير الدرجة في مناطق قليلة البيانات غير دقيق، ما يفسد أخذ العينات.
الخلفية والتطور
ما قبلها: النماذج القائمة على الطاقة، المشفّر التلقائي
الفكرة الأساسية
أضف ضوضاء بمستويات $\sigma_1>\dots>\sigma_L$ لتغطية الفراغ. درّب $s_\theta(x,\sigma)$ بمطابقة الدرجة بإزالة الضوضاء: الدرجة الهدف للضوضاء الغاوسية معروفة $-(\tilde x-x)/\sigma^2$. للتوليد ابدأ بضوضاء كبيرة وطبّق خطوات لانجفان عند كل مستوى تنازلياً. في الحد المستمر يصبح ذلك SDE عكسية.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Noise levels σ_i | جدول هندسي |
| Noise-conditional score network | s_θ(x, σ) |
| Denoising score matching | |
| Annealed Langevin / reverse SDE | أخذ العينات |
| Probability flow ODE | بديل حتمي |
المعادلات
1. مطابقة الدرجة بإزالة الضوضاء
| $\tilde x$ | $x+\sigma z$ |
2. ديناميكا لانجفان
| $\alpha$ | حجم الخطوة |
3. SDE العكسية
| $f,g$ | معاملا SDE الأمامية |
| $\bar w$ | حركة براونية بزمن عكسي |
آلية العمل خطوة بخطوة
- اختر مستويات الضوضاء.
- درّب شبكة الدرجة بـ DSM.
- ابدأ من ضوضاء كبيرة.
- طبّق خطوات لانجفان لكل σ تنازلياً.
- أو حل SDE/ODE العكسية.
المزايا والقيود
المزايا
- لا حاجة لثابت التطبيع.
- إطار نظري موحد مع الانتشار.
- احتمالات دقيقة عبر ODE.
القيود
- أخذ عينات بطيء.
- حساسية لجدول الضوضاء وحجم الخطوة.
متى تُستخدم؟ ومتى لا؟
تناسب
- نمذجة توزيعات معقدة.
- المسائل العكسية والعلوم.
لا تناسب
- حين يلزم توليد لحظي.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد الصور. |
| الحوسبة العلمية | توليد الجزيئات والمواد. |
| تحليل الصور الطبية | إعادة بناء الصور من قياسات ناقصة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
التقييم هنا بمقياسين بسيطين محسوبين داخل المثال: نسبة العينات القريبة من أحد الأنماط الثمانية، وعدد الأنماط المغطاة. لا يُستخدم FID لأنه خاص بالصور.
# NCSN — مطابقة الدرجة بإزالة الضوضاء وديناميكا لانجفان المُلدَّنة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class ScoreNet(nn.Module):
"""s_θ(x, σ) ≈ ∇_x log p_σ(x)، مشروطة بمستوى الضوضاء (NCSN)."""
def __init__(self, h=128):
super().__init__()
self.net = nn.Sequential(nn.Linear(3, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, 2))
def forward(self, x, sigma):
return self.net(torch.cat([x, sigma.log()[:, None]], 1)) / sigma[:, None] # التقسيم على σ يثبّت المقياس
SIGMAS = torch.exp(torch.linspace(torch.log(torch.tensor(3.0)), torch.log(torch.tensor(0.05)), 10)) # مستويات ضوضاء هندسية
model = ScoreNet()
# 3) إعداد البيانات
# التوزيع الهدف: خليط من 8 توزيعات غاوسية على دائرة نصف قطرها 2 (اختبار كلاسيكي لانهيار الأنماط)
CENTERS = torch.stack([torch.tensor([2 * torch.cos(torch.tensor(k * torch.pi / 4)), 2 * torch.sin(torch.tensor(k * torch.pi / 4))]) for k in range(8)])
def sample_ring(n, std=0.1):
k = torch.randint(0, 8, (n,))
return CENTERS[k] + std * torch.randn(n, 2), k
def ring_metrics(x):
"""جودة: نسبة العينات القريبة (<0.3) من أحد المراكز. تغطية: عدد الأنماط التي نالت ≥5% من العينات الجيدة."""
d = torch.cdist(x, CENTERS)
near, k = d.min(1)
good = near < 0.3
counts = torch.bincount(k[good], minlength=8).float()
covered = int((counts >= 0.05 * max(1, good.sum().item())).sum())
return good.float().mean().item(), covered
# 4) مطابقة الدرجة بإزالة الضوضاء (DSM) بوزن λ(σ)=σ²: || σ s_θ(x̃,σ) + (x̃−x)/σ ||²
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب
STEPS, BATCH = 4000, 256
for step in range(STEPS):
x, _ = sample_ring(BATCH)
sigma = SIGMAS[torch.randint(0, len(SIGMAS), (BATCH,))]
noise = torch.randn_like(x) * sigma[:, None]
s = model(x + noise, sigma) # Forward Pass
loss = ((sigma[:, None] * s + noise / sigma[:, None]) ** 2).sum(1).mean() / 2
opt.zero_grad(); loss.backward(); opt.step()
if step % 1000 == 0 or step == STEPS - 1:
print(f"step {step:4d} loss={loss.item():.4f}")
# 6) التقييم: ديناميكا لانجفان المُلدَّنة (Annealed Langevin Dynamics)
@torch.no_grad()
def sample(n, steps_per_sigma=50, eps=2e-4):
x = torch.randn(n, 2) * SIGMAS[0]
for sigma in SIGMAS:
alpha = eps * (sigma / SIGMAS[-1]) ** 2 # حجم الخطوة يتناسب مع σ²
for _ in range(steps_per_sigma):
x = x + alpha / 2 * model(x, sigma.expand(n)) + alpha.sqrt() * torch.randn_like(x)
return x
q, cov = ring_metrics(sample(4000))
print(f"sample quality (near a mode) = {q:.3f} ; modes covered = {cov}/8")
# 7) الاستدلال
print("generated point:", [round(v, 3) for v in sample(1)[0].tolist()])
نُفّذ هذا الكود بتاريخ 2026-11-20 في 10.6 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
sample quality (near a mode) = 0.918 ; modes covered = 8/8
عدد المعاملات القابلة للتدريب في المثال: model = 33٬794.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
نماذج الانتشار
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضا…
النماذج القائمة على الطاقة
Energy-Based Models (EBM)
نماذج تتعلم دالة طاقة عددية E_θ(x) تكون منخفضة للتكوينات المحتملة ومرتفعة لغيرها، وتعرّف الكثافة ضمنياً p(x) e^-E(x) دون حساب ثابت التطبيع، مع توليد العينات بديناميكا لا…
مطابقة التدفق
Flow Matching (FM)
تتعلم حقل سرعة لمعادلة تفاضلية عادية ينقل توزيع الضوضاء إلى توزيع البيانات، بالانحدار مباشرة على سرعات مسارات احتمالية بسيطة (مثل خطوط مستقيمة بين ضوضاء وبيانات)، دون مح…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- نماذج الدرجة لإعادة بناء CT منخفضة الجرعة مع ضمانات اتساق مع القياسات.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا تُستخدم مستويات ضوضاء متعددة؟
لماذا؟ ثم يُخفض المستوى تدريجياً.
ما الدرجة الهدف لـ $\tilde x=x+\sigma z$؟
لماذا؟ تدرّج لوغاريتم الكثافة الغاوسية.
ما الذي وحّده إطار Score SDE؟
لماذا؟ كحالتين خاصتين لـ SDE.
المراجع
Song, Y., & Ermon, S. (2019). Generative modeling by estimating gradients of the data distribution. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1907.05600
Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2021). Score-based generative modeling through stochastic differential equations. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2011.13456
Vincent, P. (2011). A connection between score matching and denoising autoencoders. Neural Computation, 23(7), 1661–1674. https://doi.org/10.1162/NECO_a_00142
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2006.11239
