مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةVariational AutoencoderDeep Autoencoder
العائلةالمشفرات التلقائيةالمشفرات التلقائية
سنة الظهور20132006
الباحثونDiederik P. Kingma, Max WellingGeoffrey E. Hinton, Ruslan R. Salakhutdinov
نوع المعماريةProbabilistic encoder–decoder (latent variable model)Symmetric encoder–decoder MLP
آلية التعلمunsupervisedunsupervised
التكوين المقارنVAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20المشفّر التلقائي العميق 784-1000-500-250-30 (MNIST)
شكل المدخل784784
شكل المخرج784 (+ z ∈ ℝ²⁰)784
العمقطبقة مخفية واحدة لكل شبكة8 طبقات خطية
Parameters (محسوبة)815,824
≈815.82K
2,837,314
≈2.84M
Parameters (منشورة)غير محددغير محدد
MACs814,000
≈814K
لكل صورة ولعينة واحدة L = 1 من z.
2,833,000
≈2.83M
مجموع ضرب-جمع الطبقات الثماني لكل صورة.
التعقيدO(D·H + H·J).O(Σ dₗ·dₗ₊₁).
المهامتوليد الصور، تعلم التمثيلات، تقليل الأبعادتقليل الأبعاد، تعلم التمثيلات، إزالة الضوضاء
أبرز ميزةفضاء كامن منتظم قابل للاستيفاء والتوليدتقليل أبعاد غير خطي أفضل من PCA
أبرز قيدعينات ضبابية مقارنة بـ GAN والانتشارالفضاء الكامن غير منتظم ولا يصلح للتوليد مباشرة
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابالورقة استخدمت 500 وحدة مخفية لـ MNIST وجربت عدة أبعاد كامنة؛ J = 20 اختيار من بينها. التنشيط tanh والمفكك Bernoulli.الأبعاد من الورقة (MNIST). الأوزان تُهيأ بـ RBM مكدسة ثم تُفك (Unrolling) وتصبح مستقلة في الضبط الدقيق؛ الحساب يفترض انحيازاً لكل طبقة.

العلاقات المسجلة بين النماذج المقارنة

  • Variational Autoencoder لاحق له Deep Autoencoder — VAE يجعل الفضاء الكامن احتمالياً قابلاً للتوليد.