المشفّر التلقائي التبايني (VAE)
Variational Autoencoder
نموذج توليدي احتمالي بمتغير كامن: مشفّر يقدّر توزيعاً تقريبياً $q(z\mid x)$ ومفكك يمثل $p(x\mid z)$، ويُدرّبان معاً بتعظيم الحد الأدنى للأدلة (ELBO) باستخدام خدعة إعادة المعلمة.
نظرة عامة
| الاسم | المشفّر التلقائي التبايني – Variational Autoencoder |
|---|---|
| سنة الظهور | 2014 |
| الباحثون | Diederik P. Kingma، Max Welling (وبالتوازي: Danilo J. Rezende، Shakir Mohamed، Daan Wierstra) |
| الجهة | University of Amsterdam / DeepMind |
| الورقة الأصلية | Auto-encoding variational Bayes arXiv |
| نوع البيانات | صور، بيانات جدولية |
| المجالات | الحوسبة العلمية، الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، تحليل الصور الطبية |
| الكلفة الحسابية | تمرير مشفّر ومفكك؛ منخفضة نسبياً. |
| حجم البيانات | صغيرة إلى كبيرة. |
المشكلة التي تحلها
الاستدلال البايزي على متغيرات كامنة مستمرة في نماذج غير خطية غير قابل للحساب، وطرق MCMC بطيئة على البيانات الكبيرة.
الخلفية والتطور
ما قبلها: المشفّر التلقائي
الفكرة الأساسية
بدل ترميز x إلى نقطة، يرمّزها المشفّر إلى توزيع غاوسي $\mathcal N(\mu,\sigma^2)$. نأخذ عينة $z=\mu+\sigma\odot\epsilon$ (قابلة للاشتقاق) ونفكها. الخسارة = خطأ إعادة البناء + KL تدفع $q(z\mid x)$ نحو $\mathcal N(0,I)$، فيصبح الفضاء الكامن منتظماً ويمكن التوليد بأخذ $z\sim\mathcal N(0,I)$.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Encoder q_φ(z|x) | يُخرج μ وlog σ² |
| Reparameterization | z = μ + σ ε |
| Decoder p_θ(x|z) | |
| Prior p(z) | N(0, I) |
| ELBO | إعادة البناء − KL |
المعادلات
1. الحد الأدنى للأدلة (ELBO)
| $q_\phi$ | المشفّر |
| $p_\theta$ | المفكك |
2. KL بين غاوسيين بصيغة مغلقة
| $\mu_j,\sigma_j$ | متوسط وانحراف البعد j في توزيع المشفّر |
| $\mathcal N(0,1)$ | التوزيع المسبق القياسي |
3. خدعة إعادة المعلمة
| $\mu_\phi,\sigma_\phi$ | خرجا المشفّر بالمعاملات \phi |
| $\epsilon$ | ضوضاء غاوسية مستقلة عن المعاملات |
| $\odot$ | ضرب عنصر بعنصر |
آلية العمل خطوة بخطوة
- رمّز x إلى μ وlog σ².
- خذ عينة z بإعادة المعلمة.
- فك z.
- احسب إعادة البناء وKL.
- للتوليد: z ~ N(0, I) ثم المفكك.
المزايا والقيود
المزايا
- أساس احتمالي واضح وحد أدنى للاحتمال.
- فضاء كامن منتظم وقابل للاستيفاء.
- تدريب مستقر.
القيود
- عينات ضبابية غالباً مع مفكك غاوسي.
- انهيار الخلفية اللاحقة (posterior collapse) مع مفككات قوية.
متى تُستخدم؟ ومتى لا؟
تناسب
- تعلم تمثيلات كامنة احتمالية.
- كشف الشذوذ عبر إعادة البناء أو الاحتمال.
- كمشفّر في LDM.
لا تناسب
- حين تكون حدة الصور أهم شيء دون تحسينات.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد واستيفاء. |
| تحليل الصور الطبية | كشف الشذوذ في الصور الطبية. |
| الحوسبة العلمية | تصميم الجزيئات في الفضاء الكامن. |
| الرؤية الحاسوبية | ضغط الصور. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# VAE — صور بقع 8×8 مع ELBO صريحة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class VAE(nn.Module):
def __init__(self, z_dim=4):
super().__init__()
self.enc = nn.Sequential(nn.Flatten(), nn.Linear(64, 128), nn.ReLU(), nn.Linear(128, 2 * z_dim)) # → (μ, log σ²)
self.dec = nn.Sequential(nn.Linear(z_dim, 128), nn.ReLU(), nn.Linear(128, 64)) # → logits البكسلات
self.z_dim = z_dim
def forward(self, x):
mu, logvar = self.enc(x).chunk(2, -1)
z = mu + torch.exp(0.5 * logvar) * torch.randn_like(mu) # خدعة إعادة المعلمة
return self.dec(z).view_as(x), mu, logvar
def neg_elbo(x, logits, mu, logvar):
rec = F.binary_cross_entropy_with_logits(logits, x, reduction='sum') / len(x) # −E[log p(x|z)] (برنولي مستمر)
kl = -0.5 * torch.sum(1 + logvar - mu ** 2 - logvar.exp()) / len(x) # KL(q(z|x) || N(0, I)) بصيغة مغلقة
return rec + kl, rec, kl
# 3) إعداد البيانات
# صور 8×8 لبقعة غاوسية بموضع ونصف قطر عشوائيين (قيم في [0,1])
def blobs(n, side=None):
g = torch.arange(8).float()
cx = torch.rand(n) * 5 + 1.5
if side is not None: # side: 0 = نصف أيسر، 1 = نصف أيمن
cx = torch.where(side == 0, torch.rand(n) * 2 + 1, torch.rand(n) * 2 + 5)
cy, r = torch.rand(n) * 5 + 1.5, torch.rand(n) * 0.8 + 0.8
img = torch.exp(-((g[None, None, :] - cx[:, None, None]) ** 2 + (g[None, :, None] - cy[:, None, None]) ** 2) / (2 * r[:, None, None] ** 2))
return img[:, None] # B×1×8×8
X_train, X_test = blobs(3000), blobs(500)
model = VAE()
# 4) المحسّن (الخسارة = −ELBO)
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب
EPOCHS, BATCH = 30, 64
for epoch in range(EPOCHS):
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
xb = X_train[perm[i:i + BATCH]]
logits, mu, logvar = model(xb) # Forward Pass
loss, rec, kl = neg_elbo(xb, logits, mu, logvar)
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(xb)
if epoch % 6 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} -ELBO={tot / len(X_train):.3f}")
# 6) التقييم: −ELBO وخطأ إعادة البناء على بيانات الاختبار
model.eval()
with torch.no_grad():
logits, mu, logvar = model(X_test)
loss, rec, kl = neg_elbo(X_test, logits, mu, logvar)
print(f"test -ELBO = {loss.item():.3f} (reconstruction {rec.item():.3f} + KL {kl.item():.3f})")
print(f"test reconstruction MSE = {F.mse_loss(torch.sigmoid(model.dec(mu)).view_as(X_test), X_test).item():.4f}")
# 7) الاستدلال: توليد صورة جديدة من z ~ N(0, I)
with torch.no_grad():
img = torch.sigmoid(model.dec(torch.randn(1, model.z_dim))).view(8, 8)
r, c = divmod(img.argmax().item(), 8)
print(f"generated 8x8 image: peak at row {r}, col {c}, max={img.max().item():.2f}")
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test -ELBO = 17.834 (reconstruction 15.041 + KL 2.793) test reconstruction MSE = 0.0032
عدد المعاملات القابلة للتدريب في المثال: model = 18٬248.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المشفّر التلقائي
Autoencoder (AE)
شبكة تضغط الدخل إلى تمثيل كامن صغير (encoder) ثم تعيد بناءه (decoder)، فتتعلم تمثيلاً مضغوطاً دون تسميات.
المشفّر التلقائي بالتكميم المتجهي
Vector Quantized Variational Autoencoder (VQ-VAE)
مشفّر تلقائي يكمّم خرج المشفّر إلى أقرب متجه في قاموس متعلَّم (codebook)، فيصبح التمثيل رموزاً منفصلة، ثم يُتعلَّم توزيع مسبق ذاتي الانحدار على هذه الرموز للتوليد.
نماذج الانتشار الكامنة
Latent Diffusion Models (LDM)
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…
الشبكات التوليدية التنافسية
Generative Adversarial Networks (GAN)
إطار توليدي من شبكتين تتنافسان: مولّد يحوّل ضوضاء عشوائية إلى عينات، ومميِّز يحاول التفريق بين العينات الحقيقية والمولَّدة. يتحسن المولّد حتى يصعب على المميِّز التمييز.
نماذج الانتشار
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضا…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- VAE شرطي لكشف الشذوذ في صور الدماغ مع تقدير عدم اليقين.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما فائدة خدعة إعادة المعلمة؟
لماذا؟ $z=\mu+\sigma\epsilon$.
ما قيمة KL لـ $\mathcal N(0,1)$ مقارنة بـ $\mathcal N(0,1)$؟
لماذا؟ توزيعان متطابقان.
ماذا يحدث في انهيار الخلفية اللاحقة؟
لماذا؟ يحدث مع مفككات قوية كالانحدار الذاتي.
المراجع
Kingma, D. P., & Welling, M. (2014). Auto-encoding variational Bayes. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1312.6114
Rezende, D. J., Mohamed, S., & Wierstra, D. (2014). Stochastic backpropagation and approximate inference in deep generative models. International Conference on Machine Learning (ICML), PMLR 32(2), 1278–1286. https://arxiv.org/abs/1401.4082
van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural discrete representation learning. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1711.00937
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–10685. https://doi.org/10.1109/CVPR52688.2022.01042
