المشفرات التلقائية يحتاج مراجعة

Variational Autoencoder

المشفّر التلقائي التبايني — VAE

سنة الظهور
2013
الباحثون
Diederik P. Kingma, Max Welling
الجهة
Universiteit van Amsterdam
نوع المعمارية
Probabilistic encoder–decoder (latent variable model)
آلية التعلم
unsupervised
المهام
توليد الصور، تعلم التمثيلات، تقليل الأبعاد

نموذج توليدي احتمالي يتعلم مشفّراً يقرّب التوزيع اللاحق q(z|x) ومفككاً p(x|z)، ويدرَّب بتعظيم حد أدنى للدليل (ELBO) مع خدعة إعادة المعاملة.

مخطط المعمارية

التكوين المعروض: VAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20 — مشفّر ومفكك MLP بطبقة مخفية واحدة لكل منهما كما في تجارب الورقة.

جدول الطبقات (11 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
صورة MNIST مسطحةinput78410—
المشفّر: FC 500 + tanhfc7845001392,500784·500 + 500392,000
μ: FC 20fc50020110,020500·20 + 2010,000
log σ²: FC 20fc50020110,020500·20 + 2010,000
ε ∼ N(0, I)noise2010—
z = μ + σ ⊙ εsampling20, 202010—
المفكك: FC 500 + tanhfc20500110,50020·500 + 50010,000
FC 784 + sigmoid (Bernoulli)fc5007841392,784500·784 + 784392,000
إعادة البناء x̂output78478410—
حد إعادة البناء −log p(x|z)lossx, x̂L_rec10—
حد KLlossμ, log σ²L_KL10—

أرقام التكوين: VAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20

Parameters (محسوبة من الطبقات)815,824 (≈815.82K)
Parameters (منشورة في المصدر)غير محدد
MACs814,000 (≈814K)
FLOPs ≈ 2 × MACs1,628,000 (≈1.63M)
شكل المدخل
784
شكل المخرج
784 (+ z ∈ ℝ²⁰)
العمق
طبقة مخفية واحدة لكل شبكة
التعقيد
O(D·H + H·J).
ملاحظة MACs
لكل صورة ولعينة واحدة L = 1 من z.
افتراضات الحساب: الورقة استخدمت 500 وحدة مخفية لـ MNIST وجربت عدة أبعاد كامنة؛ J = 20 اختيار من بينها. التنشيط tanh والمفكك Bernoulli.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

ظهر على arXiv في ديسمبر 2013 ونُشر في ICLR 2014 بعنوان «Auto-Encoding Variational Bayes»، وتزامن معه عمل Rezende وزملائه.

المشكلة التي يعالجها

الاستدلال التبايني في نماذج المتغيرات الكامنة المستمرة ذات اللاحق غير القابل للحساب، مع بيانات كبيرة.

الفكرة الأساسية

مشفّر شبكي يتنبأ بـ μ و σ لتوزيع طبيعي، وأخذ عينة z = μ + σ⊙ε يسمح بالانتشار العكسي عبر العينة.

وصف المعمارية

مشفّر MLP يخرج (μ, log σ²)، وطبقة أخذ عينات، ومفكك MLP يخرج معاملات p(x|z) (Bernoulli أو Gaussian).

تدفق البيانات

x ← المشفّر ← (μ, log σ²) ← z = μ + σε ← المفكك ← x̂. للتوليد: z ∼ N(0, I) ← المفكك.

المدخلات

بيانات مستمرة أو ثنائية (صورة).

المخرجات

إعادة بناء، وتوزيع كامن، وعينات جديدة.

آلية التدريب

SGVB/AEVB بدفعات 100 و Adagrad، مع عينة واحدة L = 1 لكل نقطة بيانات.

دوال الخسارة

سالب ELBO: خطأ إعادة البناء + KL(q(z|x) ‖ N(0, I)).

التعقيد الحسابي

O(D·H + H·J) لكل عينة.

المتطلبات الحسابية

منخفضة.

المزايا

  • فضاء كامن منتظم قابل للاستيفاء والتوليد
  • تدريب مستقر
  • إطار احتمالي واضح

القيود

  • عينات ضبابية مقارنة بـ GAN والانتشار
  • انهيار اللاحق مع مفككات قوية
  • حد أدنى لا الاحتمال الفعلي

المعادلات

الحد الأدنى للدليل Evidence lower bound (ELBO)

\mathcal{L}(\theta, \phi; \mathbf{x}) = \mathbb{E}_{q_\phi(\mathbf{z}\mid\mathbf{x})}\left[\log p_\theta(\mathbf{x} \mid \mathbf{z})\right] - D_{KL}\big(q_\phi(\mathbf{z}\mid\mathbf{x}) \,\Vert\, p(\mathbf{z})\big)

حد إعادة البناء ناقص حد التنظيم؛ يُعظَّم أثناء التدريب.

الرموز: q_φ: المشفّر، p_θ: المفكك

خدعة إعادة المعاملة Reparameterization trick

\mathbf{z} = \boldsymbol\mu + \boldsymbol\sigma \odot \boldsymbol\epsilon,\quad \boldsymbol\epsilon \sim \mathcal{N}(0, I)

تجعل أخذ العينات قابلاً للاشتقاق بالنسبة إلى μ و σ.

الرموز: ε: ضوضاء معيارية

تباعد KL لتوزيعين طبيعيين KL divergence (Gaussian)

D_{KL}\big(\mathcal{N}(\boldsymbol\mu, \boldsymbol\sigma^2) \,\Vert\, \mathcal{N}(0, I)\big) = -\frac{1}{2} \sum_{j=1}^{J} \left(1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2\right)

صيغة مغلقة تُحسب دون أخذ عينات (الملحق B في ورقة VAE).

الرموز: J: أبعاد الفضاء الكامن

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية Diederik P. Kingma, Max Welling. (2014). Auto-encoding variational Bayes. ICLR 2014. arXiv:1312.6114 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.