- سنة الظهور
- 2013
- الباحثون
- Diederik P. Kingma, Max Welling
- الجهة
- Universiteit van Amsterdam
- نوع المعمارية
- Probabilistic encoder–decoder (latent variable model)
- آلية التعلم
- unsupervised
- المهام
- توليد الصور، تعلم التمثيلات، تقليل الأبعاد
نموذج توليدي احتمالي يتعلم مشفّراً يقرّب التوزيع اللاحق q(z|x) ومفككاً p(x|z)، ويدرَّب بتعظيم حد أدنى للدليل (ELBO) مع خدعة إعادة المعاملة.
مخطط المعمارية
التكوين المعروض: VAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20 — مشفّر ومفكك MLP بطبقة مخفية واحدة لكل منهما كما في تجارب الورقة.
جدول الطبقات (11 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| صورة MNIST مسطحة | input | 784 | 1 | 0 | — | ||
| المشفّر: FC 500 + tanh | fc | 784 | 500 | 1 | 392,500 | 784·500 + 500 | 392,000 |
| μ: FC 20 | fc | 500 | 20 | 1 | 10,020 | 500·20 + 20 | 10,000 |
| log σ²: FC 20 | fc | 500 | 20 | 1 | 10,020 | 500·20 + 20 | 10,000 |
| ε ∼ N(0, I) | noise | 20 | 1 | 0 | — | ||
| z = μ + σ ⊙ ε | sampling | 20, 20 | 20 | 1 | 0 | — | |
| المفكك: FC 500 + tanh | fc | 20 | 500 | 1 | 10,500 | 20·500 + 500 | 10,000 |
| FC 784 + sigmoid (Bernoulli) | fc | 500 | 784 | 1 | 392,784 | 500·784 + 784 | 392,000 |
| إعادة البناء x̂ | output | 784 | 784 | 1 | 0 | — | |
| حد إعادة البناء −log p(x|z) | loss | x, x̂ | L_rec | 1 | 0 | — | |
| حد KL | loss | μ, log σ² | L_KL | 1 | 0 | — |
أرقام التكوين: VAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20
- شكل المدخل
- 784
- شكل المخرج
- 784 (+ z ∈ ℝ²⁰)
- العمق
- طبقة مخفية واحدة لكل شبكة
- التعقيد
- O(D·H + H·J).
- ملاحظة MACs
- لكل صورة ولعينة واحدة L = 1 من z.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
ظهر على arXiv في ديسمبر 2013 ونُشر في ICLR 2014 بعنوان «Auto-Encoding Variational Bayes»، وتزامن معه عمل Rezende وزملائه.
المشكلة التي يعالجها
الاستدلال التبايني في نماذج المتغيرات الكامنة المستمرة ذات اللاحق غير القابل للحساب، مع بيانات كبيرة.
الفكرة الأساسية
مشفّر شبكي يتنبأ بـ μ و σ لتوزيع طبيعي، وأخذ عينة z = μ + σ⊙ε يسمح بالانتشار العكسي عبر العينة.
وصف المعمارية
مشفّر MLP يخرج (μ, log σ²)، وطبقة أخذ عينات، ومفكك MLP يخرج معاملات p(x|z) (Bernoulli أو Gaussian).
تدفق البيانات
x ← المشفّر ← (μ, log σ²) ← z = μ + σε ← المفكك ← x̂. للتوليد: z ∼ N(0, I) ← المفكك.
المدخلات
بيانات مستمرة أو ثنائية (صورة).
المخرجات
إعادة بناء، وتوزيع كامن، وعينات جديدة.
آلية التدريب
SGVB/AEVB بدفعات 100 و Adagrad، مع عينة واحدة L = 1 لكل نقطة بيانات.
دوال الخسارة
سالب ELBO: خطأ إعادة البناء + KL(q(z|x) ‖ N(0, I)).
التعقيد الحسابي
O(D·H + H·J) لكل عينة.
المتطلبات الحسابية
منخفضة.
المزايا
- فضاء كامن منتظم قابل للاستيفاء والتوليد
- تدريب مستقر
- إطار احتمالي واضح
القيود
- عينات ضبابية مقارنة بـ GAN والانتشار
- انهيار اللاحق مع مفككات قوية
- حد أدنى لا الاحتمال الفعلي
المعادلات
الحد الأدنى للدليل Evidence lower bound (ELBO)
\mathcal{L}(\theta, \phi; \mathbf{x}) = \mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\left[\log p_\theta(\mathbf{x} \mid \mathbf{z})\right] - D_{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x}) \,\Vert\, p(\mathbf{z})\big)حد إعادة البناء ناقص حد التنظيم؛ يُعظَّم أثناء التدريب.
الرموز: q_φ: المشفّر، p_θ: المفكك
خدعة إعادة المعاملة Reparameterization trick
\mathbf{z} = \boldsymbol\mu + \boldsymbol\sigma \odot \boldsymbol\epsilon,\quad \boldsymbol\epsilon \sim \mathcal{N}(0, I)تجعل أخذ العينات قابلاً للاشتقاق بالنسبة إلى μ و σ.
الرموز: ε: ضوضاء معيارية
تباعد KL لتوزيعين طبيعيين KL divergence (Gaussian)
D_{KL}\big(\mathcal{N}(\boldsymbol\mu, \boldsymbol\sigma^2) \,\Vert\, \mathcal{N}(0, I)\big) = -\frac{1}{2} \sum_{j=1}^{J} \left(1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2\right)صيغة مغلقة تُحسب دون أخذ عينات (الملحق B في ورقة VAE).
الرموز: J: أبعاد الفضاء الكامن
التطبيقات
النماذج المرتبطة
- سابق له Deep Autoencoder — يجعل المشفّر التلقائي احتمالياً. قارن
- متغير منه β-VAE — β-VAE يزيد وزن KL لفك التشابك. قارن
- بديل Generative Adversarial Network — نموذج توليدي ضمني بديل. قارن
- يستخدم مكوناً من Latent Diffusion Model — نموذج الانتشار الكامن يستخدم مشفّراً تلقائياً منظماً بـ KL. قارن
- Denoising Diffusion Probabilistic Models — DDPM يُدرَّب أيضاً بحد تبايني. قارن
- Latent Diffusion Model — مشفّر تلقائي منظم بـ KL. قارن
المراجع
- الورقة الأصلية Diederik P. Kingma, Max Welling. (2014). Auto-encoding variational Bayes. ICLR 2014. arXiv:1312.6114 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
