نماذج الانتشار الكامنة (LDM)
Latent Diffusion Models
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ على الجودة.
نظرة عامة
| الاسم | نماذج الانتشار الكامنة – Latent Diffusion Models |
|---|---|
| سنة الظهور | 2022 |
| الباحثون | Robin Rombach، Andreas Blattmann، Dominik Lorenz، Patrick Esser، Björn Ommer |
| الجهة | LMU Munich / Heidelberg University / Runway |
| الورقة الأصلية | High-resolution image synthesis with latent diffusion models DOI arXiv |
| نوع البيانات | صور، نصوص |
| المجالات | الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | أقل بكثير من انتشار البكسلات للدقة نفسها. |
| حجم البيانات | كبيرة جداً للنماذج العامة؛ الضبط الدقيق ممكن بمئات الصور. |
المشكلة التي تحلها
الانتشار في فضاء البكسلات مكلف جداً للصور عالية الدقة لأن كل خطوة تعالج كل البكسلات، ومعظم البتات تفاصيل غير مدركة.
الخلفية والتطور
ما قبلها: نماذج الانتشار، المشفّر التلقائي التبايني، المشفّر التلقائي بالتكميم المتجهي، الانتباه المتقاطع، يو-نت
الفكرة الأساسية
مرحلتان: (1) مشفّر تلقائي يضغط الصورة بمعامل $f$ (مثل 8) إلى كامن $z$ مع تنظيم KL أو VQ. (2) نموذج انتشار يعمل على $z$. الشرط $y$ يُرمَّز بمشفّر $\tau_\theta$ ويدخل U-Net عبر انتباه متقاطع. في التوليد: انتشار عكسي في الكامن ثم مفكك واحد إلى البكسلات. التوجيه بلا مصنّف (CFG، Ho وSalimans) يجمع توقع الشرط وتوقع "بلا شرط".
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
الانتباه المتقاطع: Q من سمات U-Net، وK وV من τ(y).
المكونات
| المكوّن | الوظيفة |
|---|---|
| Autoencoder (E, D) | ضغط إدراكي |
| Latent U-Net ε_θ | إزالة الضوضاء في الكامن |
| Condition encoder τ_θ | مثل محوّل نص |
| Cross-attention conditioning | |
| Classifier-free guidance | عند التوليد |
المعادلات
1. خسارة LDM الشرطية
| $z_t$ | كامن مشوّش |
| $\tau_\theta(y)$ | تمثيل الشرط |
2. الانتباه المتقاطع للشرط
| $\varphi_i$ | سمات U-Net الوسيطة |
3. التوجيه بلا مصنّف (CFG)
| $w$ | قوة التوجيه |
| $\varnothing$ | شرط فارغ |
آلية العمل خطوة بخطوة
- درّب المشفّر التلقائي.
- رمّز البيانات إلى كوامن.
- درّب الانتشار على الكوامن مع إسقاط الشرط أحياناً.
- ولّد بانتشار عكسي مع CFG.
- فك الكامن إلى صورة.
المزايا والقيود
المزايا
- كفاءة حسابية كبيرة مقارنة بانتشار البكسلات.
- شرطية مرنة بالانتباه المتقاطع.
- جودة عالية بدقات كبيرة.
القيود
- جودة محدودة بالمشفّر التلقائي (تفاصيل دقيقة جداً).
- مخاطر الاستخدام المسيء وحقوق بيانات التدريب.
متى تُستخدم؟ ومتى لا؟
تناسب
- توليد شرطي عالي الدقة.
- التحرير والإكمال.
لا تناسب
- حين تتطلب الدقة البكسلية الكاملة ضمانات لا يوفرها المفكك.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد الصور من النص والتحرير. |
| الرؤية الحاسوبية | رفع الدقة والإكمال. |
| تحليل الصور الطبية | توليد صور طبية مشروطة لأغراض بحثية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
الشرط هنا فئة (نصف أيسر/أيمن) عبر تضمين بسيط بدل الانتباه المتقاطع للنص، لإبقاء المثال سريعاً. الشبكة MLP لا U-Net.
# Latent Diffusion مصغّر: مشفّر تلقائي + انتشار كامن شرطي + CFG
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class AE(nn.Module): # المرحلة 1: مشفّر تلقائي يضغط 8×8=64 بكسل إلى كامن من 4 أبعاد
def __init__(self, z=4):
super().__init__()
self.enc = nn.Sequential(nn.Flatten(), nn.Linear(64, 128), nn.ReLU(), nn.Linear(128, z))
self.dec = nn.Sequential(nn.Linear(z, 128), nn.ReLU(), nn.Linear(128, 64), nn.Sigmoid())
def forward(self, x):
return self.dec(self.enc(x)).view_as(x)
class LatentEps(nn.Module): # المرحلة 2: شبكة إزالة ضوضاء في الفضاء الكامن مشروطة بالفئة
def __init__(self, z=4, n_cond=3, T=100, h=128):
super().__init__()
self.T, self.cond = T, nn.Embedding(n_cond, 16) # الفئة 2 = "بدون شرط" لتوجيه CFG
self.net = nn.Sequential(nn.Linear(z + 16 + 16, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, z))
def forward(self, z, t, c):
ang = (t.float() / self.T)[:, None] * torch.exp(torch.arange(8) * -1.0) * 50
return self.net(torch.cat([z, ang.sin(), ang.cos(), self.cond(c)], 1))
# 3) إعداد البيانات
# صور 8×8 لبقعة غاوسية بموضع ونصف قطر عشوائيين (قيم في [0,1])
def blobs(n, side=None):
g = torch.arange(8).float()
cx = torch.rand(n) * 5 + 1.5
if side is not None: # side: 0 = نصف أيسر، 1 = نصف أيمن
cx = torch.where(side == 0, torch.rand(n) * 2 + 1, torch.rand(n) * 2 + 5)
cy, r = torch.rand(n) * 5 + 1.5, torch.rand(n) * 0.8 + 0.8
img = torch.exp(-((g[None, None, :] - cx[:, None, None]) ** 2 + (g[None, :, None] - cy[:, None, None]) ** 2) / (2 * r[:, None, None] ** 2))
return img[:, None] # B×1×8×8
side_train = torch.randint(0, 2, (3000,)); X_train = blobs(3000, side_train)
side_test = torch.randint(0, 2, (500,)); X_test = blobs(500, side_test)
ae, model = AE(), LatentEps()
T = 100
betas = torch.linspace(1e-4, 0.05, T); alphas = 1 - betas; abar = torch.cumprod(alphas, 0)
# 4) المرحلة 1: تدريب المشفّر التلقائي (إعادة البناء)
opt_ae = torch.optim.Adam(ae.parameters(), lr=2e-3)
for epoch in range(30):
for i in range(0, len(X_train), 64):
xb = X_train[i:i + 64]
l = F.mse_loss(ae(xb), xb); opt_ae.zero_grad(); l.backward(); opt_ae.step()
with torch.no_grad():
print(f"autoencoder test MSE = {F.mse_loss(ae(X_test), X_test).item():.4f}")
Z = ae.enc(X_train); mu, sd = Z.mean(0), Z.std(0); Z = (Z - mu) / sd # تطبيع الكامن
# 5) المرحلة 2: انتشار DDPM في الفضاء الكامن مع إسقاط الشرط عشوائياً (10%) لتمكين CFG
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
for step in range(4000):
idx = torch.randint(0, len(Z), (256,))
z0, c = Z[idx], side_train[idx].clone()
c[torch.rand(256) < 0.1] = 2
t = torch.randint(0, T, (256,)); eps = torch.randn_like(z0)
zt = abar[t, None].sqrt() * z0 + (1 - abar[t, None]).sqrt() * eps
loss = F.mse_loss(model(zt, t, c), eps) # Forward Pass
opt.zero_grad(); loss.backward(); opt.step()
if step % 1000 == 0 or step == 3999:
print(f"step {step:4d} diffusion loss={loss.item():.4f}")
# 6) التقييم: هل تظهر البقعة في النصف المطلوب؟ (توجيه بلا مصنّف، w = 3)
@torch.no_grad()
def generate(c, w=3.0):
n = len(c); z = torch.randn(n, 4)
for t in reversed(range(T)):
tt = torch.full((n,), t)
e = (1 + w) * model(z, tt, c) - w * model(z, tt, torch.full((n,), 2))
z = (z - betas[t] / (1 - abar[t]).sqrt() * e) / alphas[t].sqrt() + (betas[t].sqrt() * torch.randn_like(z) if t > 0 else 0)
return ae.dec(z * sd + mu).view(n, 1, 8, 8) # فك التشفير إلى البكسلات
c = torch.randint(0, 2, (1000,))
img = generate(c)
col = (img[:, 0].sum(1) * torch.arange(8).float()).sum(1) / img[:, 0].sum((1, 2)) # مركز الكتلة الأفقي
print(f"conditional accuracy (blob on requested side) = {((col > 3.5).long() == c).float().mean().item():.3f}")
# 7) الاستدلال: اطلب بقعة في النصف الأيمن
im = generate(torch.tensor([1]))[0, 0]
print("requested right half → peak at (row, col):", divmod(im.argmax().item(), 8))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 10.7 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
autoencoder test MSE = 0.0004 conditional accuracy (blob on requested side) = 1.000
عدد المعاملات القابلة للتدريب في المثال: ae = 17٬732، model = 21٬812.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
نماذج الانتشار
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضا…
المشفّر التلقائي التبايني
Variational Autoencoder (VAE)
نموذج توليدي احتمالي بمتغير كامن: مشفّر يقدّر توزيعاً تقريبياً q(z x) ومفكك يمثل p(x z)، ويُدرّبان معاً بتعظيم الحد الأدنى للأدلة (ELBO) باستخدام خدعة إعادة المعلمة.
المشفّر التلقائي بالتكميم المتجهي
Vector Quantized Variational Autoencoder (VQ-VAE)
مشفّر تلقائي يكمّم خرج المشفّر إلى أقرب متجه في قاموس متعلَّم (codebook)، فيصبح التمثيل رموزاً منفصلة، ثم يُتعلَّم توزيع مسبق ذاتي الانحدار على هذه الرموز للتوليد.
الانتباه المتقاطع
Cross-Attention (Cross-Attn)
انتباه تأتي فيه الاستعلامات من تسلسل، بينما تأتي المفاتيح والقيم من تسلسل أو وسيط آخر، فيقرأ كل عنصر في الأول ما يحتاجه من الثاني.
يو-نت
U-Net
معمارية تجزئة على شكل حرف U: مسار تقليص يلتقط السياق، ومسار توسيع يستعيد الدقة المكانية، مع وصلات تخطٍّ تنقل التفاصيل الدقيقة بين المستويات المتقابلة.
مطابقة التدفق
Flow Matching (FM)
تتعلم حقل سرعة لمعادلة تفاضلية عادية ينقل توزيع الضوضاء إلى توزيع البيانات، بالانحدار مباشرة على سرعات مسارات احتمالية بسيطة (مثل خطوط مستقيمة بين ضوضاء وبيانات)، دون مح…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- ضبط LDM على صور طبية بمستوى خصوصية تفاضلية وقياس الفائدة لنماذج التجزئة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الفكرة الأساسية في LDM؟
لماذا؟ يقلل الحسابات بشدة.
كيف يدخل النص إلى U-Net في LDM؟
لماذا؟ يُرمَّز النص بـ $\tau_\theta$.
مع $w=0$ في CFG، ماذا يصبح التوقع؟
لماذا؟ $(1+0)\epsilon(c)-0$.
المراجع
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–10685. https://doi.org/10.1109/CVPR52688.2022.01042
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2006.11239
Peebles, W., & Xie, S. (2023). Scalable diffusion models with transformers. IEEE/CVF International Conference on Computer Vision (ICCV), 4172–4182. https://doi.org/10.1109/ICCV51070.2023.00387
Song, J., Meng, C., & Ermon, S. (2021). Denoising diffusion implicit models. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.02502
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., et al. (2021). Learning transferable visual models from natural language supervision. International Conference on Machine Learning (ICML), PMLR 139, 8748–8763. https://arxiv.org/abs/2103.00020
