نماذج الانتشار (DDPM)
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضاء خالصة.
نظرة عامة
| الاسم | نماذج الانتشار – Diffusion Models (DDPM) |
|---|---|
| سنة الظهور | 2020 |
| الباحثون | Jonathan Ho، Ajay Jain، Pieter Abbeel |
| الجهة | UC Berkeley |
| الورقة الأصلية | Denoising diffusion probabilistic models arXiv |
| نوع البيانات | صور، تسلسلات وسلاسل زمنية، بيانات جدولية |
| المجالات | الحوسبة العلمية، الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، الصوت والكلام، تحليل الصور الطبية |
| الكلفة الحسابية | $T$ تمريرات أمامية للتوليد (مئات أو آلاف) ما لم يُسرّع. |
| حجم البيانات | كبيرة للصور الطبيعية؛ تعمل أيضاً على مجموعات علمية متوسطة. |
المشكلة التي تحلها
GAN غير مستقرة وتعاني انهيار الأنماط، وVAE تعطي عينات ضبابية؛ المطلوب نموذج مستقر التدريب يغطي التوزيع بعينات عالية الجودة.
الخلفية والتطور
ما قبلها: المشفّر التلقائي التبايني، الشبكات التوليدية التنافسية، النماذج التوليدية القائمة على الدرجة
- 2015
اقترح Sohl-Dickstein وزملاؤه النماذج الانتشارية مستلهمين من الديناميكا الحرارية غير المتوازنة. [مرجع]
- 2020
قدم Ho وزملاؤه DDPM مع خسارة مبسطة وجودة عالية. [مرجع]
- 2021
DDIM لأخذ عينات أسرع بخطوات أقل. [مرجع]
- 2021
وحّد Song وزملاؤه الانتشار ونماذج الدرجة بإطار SDE. [مرجع]
- 2022
نقلت LDM الانتشار إلى فضاء كامن. [مرجع]
الفكرة الأساسية
العملية الأمامية ثابتة: $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\,\epsilon$. الشبكة $\epsilon_\theta(x_t,t)$ تتعلم توقع $\epsilon$. للتوليد: ابدأ من $x_T\sim\mathcal N(0,I)$ واطرح الضوضاء المتوقعة تدريجياً مع إضافة ضوضاء صغيرة. هذا يكافئ تعلم الدرجة $\nabla\log p_t$ عند كل مستوى ضوضاء.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
التدريب على t عشوائي؛ التوليد يمر بكل الخطوات (أو بعضها مع DDIM).
المكونات
| المكوّن | الوظيفة |
|---|---|
| Forward process q | جدول β_t |
| Denoiser ε_θ(x_t, t) | غالباً U-Net مع تضمين t |
| Simplified loss | MSE على ε |
| Reverse sampler | DDPM أو DDIM |
| Guidance | بمصنّف أو بدونه |
المعادلات
1. العملية الأمامية بخطوة واحدة
| $\beta_t$ | جدول التباين |
| $\bar\alpha_t$ | حاصل الضرب التراكمي |
2. الخسارة المبسطة
| $t$ | منتظم على $1..T$ |
3. خطوة أخذ العينات العكسية
| $\sigma_t^2$ | $\beta_t$ أحد الخيارين في الورقة |
| $z$ | $\mathcal N(0,I)$، وصفر عند $t=1$ |
آلية العمل خطوة بخطوة
- اختر جدول β.
- درّب: x₀، t عشوائي، ε، احسب x_t ثم MSE على ε.
- ولّد: من ضوضاء خالصة طبّق الخطوة العكسية T مرة.
- سرّع بـ DDIM أو بمحلّلات ODE.
المزايا والقيود
المزايا
- تدريب مستقر.
- تغطية جيدة للتوزيع وجودة عالية.
- مرونة في الشرطية والتحرير.
القيود
- توليد بطيء (خطوات كثيرة).
- حسابات تدريب كبيرة للصور عالية الدقة.
متى تُستخدم؟ ومتى لا؟
تناسب
- جودة وتنوع مهمان.
- مهام عكسية (إزالة ضوضاء، إكمال، رفع دقة).
لا تناسب
- توليد لحظي على أجهزة ضعيفة دون تقطير أو تسريع.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد الصور والفيديو. |
| تحليل الصور الطبية | إعادة بناء MRI وإزالة الضوضاء وتوليد بيانات. |
| الصوت والكلام | توليد الكلام والموسيقى. |
| الحوسبة العلمية | توليد بنى جزيئية وبروتينية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
التقييم هنا بمقياسين بسيطين محسوبين داخل المثال: نسبة العينات القريبة من أحد الأنماط الثمانية، وعدد الأنماط المغطاة. لا يُستخدم FID لأنه خاص بالصور. استُخدم T=100 وجدول β حتى 0.05 بدل 1000 و0.02 لتسريع المثال.
# DDPM — تدريب بالخسارة المبسطة وأخذ عينات عكسي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class EpsNet(nn.Module):
"""شبكة تتنبأ بالضوضاء ε من (x_t, t)، مع تضمين جيبي للزمن."""
def __init__(self, T, h=128):
super().__init__()
self.T = T
self.net = nn.Sequential(nn.Linear(2 + 16, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, 2))
def forward(self, x, t):
f = torch.exp(torch.arange(8) * -1.0) * 50 # ترددات
ang = (t.float() / self.T)[:, None] * f
return self.net(torch.cat([x, ang.sin(), ang.cos()], 1))
T = 100
betas = torch.linspace(1e-4, 0.05, T) # جدول β خطي (قصير لأن T صغيرة)
alphas = 1 - betas
abar = torch.cumprod(alphas, 0) # ᾱ_t
model = EpsNet(T)
# 3) إعداد البيانات
# التوزيع الهدف: خليط من 8 توزيعات غاوسية على دائرة نصف قطرها 2 (اختبار كلاسيكي لانهيار الأنماط)
CENTERS = torch.stack([torch.tensor([2 * torch.cos(torch.tensor(k * torch.pi / 4)), 2 * torch.sin(torch.tensor(k * torch.pi / 4))]) for k in range(8)])
def sample_ring(n, std=0.1):
k = torch.randint(0, 8, (n,))
return CENTERS[k] + std * torch.randn(n, 2), k
def ring_metrics(x):
"""جودة: نسبة العينات القريبة (<0.3) من أحد المراكز. تغطية: عدد الأنماط التي نالت ≥5% من العينات الجيدة."""
d = torch.cdist(x, CENTERS)
near, k = d.min(1)
good = near < 0.3
counts = torch.bincount(k[good], minlength=8).float()
covered = int((counts >= 0.05 * max(1, good.sum().item())).sum())
return good.float().mean().item(), covered
# 4) الخسارة المبسطة لـ DDPM: || ε − ε_θ(√ᾱ_t x_0 + √(1−ᾱ_t) ε, t) ||²
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب
STEPS, BATCH = 4000, 256
for step in range(STEPS):
x0, _ = sample_ring(BATCH)
t = torch.randint(0, T, (BATCH,))
eps = torch.randn_like(x0)
xt = abar[t, None].sqrt() * x0 + (1 - abar[t, None]).sqrt() * eps # العملية الأمامية بخطوة واحدة
loss = F.mse_loss(model(xt, t), eps) # Forward Pass
opt.zero_grad(); loss.backward(); opt.step()
if step % 1000 == 0 or step == STEPS - 1:
print(f"step {step:4d} loss={loss.item():.4f}")
# 6) التقييم: أخذ عينات بالعملية العكسية (خوارزمية 2 في DDPM، σ_t² = β_t)
@torch.no_grad()
def sample(n):
x = torch.randn(n, 2)
for t in reversed(range(T)):
tt = torch.full((n,), t)
mean = (x - betas[t] / (1 - abar[t]).sqrt() * model(x, tt)) / alphas[t].sqrt()
x = mean + (betas[t].sqrt() * torch.randn_like(x) if t > 0 else 0)
return x
q, cov = ring_metrics(sample(4000))
print(f"sample quality (near a mode) = {q:.3f} ; modes covered = {cov}/8")
# 7) الاستدلال: عينة جديدة
print("generated point:", [round(v, 3) for v in sample(1)[0].tolist()])
نُفّذ هذا الكود بتاريخ 2026-11-20 في 9.6 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
sample quality (near a mode) = 0.926 ; modes covered = 8/8
عدد المعاملات القابلة للتدريب في المثال: model = 35٬714.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مقارن المعماريات
- مختبر تحليل الصور الطبية قسم آخر في الموقع
معماريات مرتبطة
النماذج التوليدية القائمة على الدرجة
Score-Based Generative Models (SGM)
تتعلم شبكة "الدرجة" _x p(x) عند مستويات ضوضاء متعددة، ثم تولّد العينات بديناميكا لانجفان تتبع الدرجة من الضوضاء نحو مناطق الكثافة العالية؛ وتُعمم إلى معادلات تفاضلية عشو…
نماذج الانتشار الكامنة
Latent Diffusion Models (LDM)
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…
مطابقة التدفق
Flow Matching (FM)
تتعلم حقل سرعة لمعادلة تفاضلية عادية ينقل توزيع الضوضاء إلى توزيع البيانات، بالانحدار مباشرة على سرعات مسارات احتمالية بسيطة (مثل خطوط مستقيمة بين ضوضاء وبيانات)، دون مح…
المشفّر التلقائي التبايني
Variational Autoencoder (VAE)
نموذج توليدي احتمالي بمتغير كامن: مشفّر يقدّر توزيعاً تقريبياً q(z x) ومفكك يمثل p(x z)، ويُدرّبان معاً بتعظيم الحد الأدنى للأدلة (ELBO) باستخدام خدعة إعادة المعلمة.
الشبكات التوليدية التنافسية
Generative Adversarial Networks (GAN)
إطار توليدي من شبكتين تتنافسان: مولّد يحوّل ضوضاء عشوائية إلى عينات، ومميِّز يحاول التفريق بين العينات الحقيقية والمولَّدة. يتحسن المولّد حتى يصعب على المميِّز التمييز.
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- نموذج انتشار شرطي لإعادة بناء صور MRI سريعة مع تقدير عدم اليقين وتقييم سريري.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ماذا تتنبأ الشبكة في DDPM بالخسارة المبسطة؟
لماذا؟ MSE بين $\epsilon$ و$\epsilon_\theta$.
إذا كان $\bar\alpha_t=0.36$ فما معامل $x_0$ في $x_t$؟
لماذا؟ $\sqrt{0.36}=0.6$.
ما الميزة الرئيسية لـ DDIM؟
لماذا؟ عملية غير ماركوفية حتمية اختيارياً.
المراجع
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2006.11239
Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep unsupervised learning using nonequilibrium thermodynamics. International Conference on Machine Learning (ICML), PMLR 37, 2256–2265. https://arxiv.org/abs/1503.03585
Song, J., Meng, C., & Ermon, S. (2021). Denoising diffusion implicit models. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.02502
Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2021). Score-based generative modeling through stochastic differential equations. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2011.13456
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–10685. https://doi.org/10.1109/CVPR52688.2022.01042
Peebles, W., & Xie, S. (2023). Scalable diffusion models with transformers. IEEE/CVF International Conference on Computer Vision (ICCV), 4172–4182. https://doi.org/10.1109/ICCV51070.2023.00387
