مقارنة النماذج

تقارن هذه الصفحة تكوينات محددة (مثل ResNet-50 أو BERT-base)، لا عائلات عامة؛ فكل رقم مرتبط بالتكوين المذكور في رأس عموده. «غير محدد» تعني أن الرقم غير موثق في الأطلس.

الخاصيةDeep AutoencoderVariational Autoencoder
العائلةالمشفرات التلقائيةالمشفرات التلقائية
سنة الظهور20062013
الباحثونGeoffrey E. Hinton, Ruslan R. SalakhutdinovDiederik P. Kingma, Max Welling
نوع المعماريةSymmetric encoder–decoder MLPProbabilistic encoder–decoder (latent variable model)
آلية التعلمunsupervisedunsupervised
التكوين المقارنالمشفّر التلقائي العميق 784-1000-500-250-30 (MNIST)VAE على MNIST: طبقة مخفية 500 وفضاء كامن J = 20
شكل المدخل784784
شكل المخرج784784 (+ z ∈ ℝ²⁰)
العمق8 طبقات خطيةطبقة مخفية واحدة لكل شبكة
Parameters (محسوبة)2,837,314
≈2.84M
815,824
≈815.82K
Parameters (منشورة)غير محددغير محدد
MACs2,833,000
≈2.83M
مجموع ضرب-جمع الطبقات الثماني لكل صورة.
814,000
≈814K
لكل صورة ولعينة واحدة L = 1 من z.
التعقيدO(Σ dₗ·dₗ₊₁).O(D·H + H·J).
المهامتقليل الأبعاد، تعلم التمثيلات، إزالة الضوضاءتوليد الصور، تعلم التمثيلات، تقليل الأبعاد
أبرز ميزةتقليل أبعاد غير خطي أفضل من PCAفضاء كامن منتظم قابل للاستيفاء والتوليد
أبرز قيدالفضاء الكامن غير منتظم ولا يصلح للتوليد مباشرةعينات ضبابية مقارنة بـ GAN والانتشار
حالة المراجعةيحتاج مراجعةيحتاج مراجعة
افتراضات الحسابالأبعاد من الورقة (MNIST). الأوزان تُهيأ بـ RBM مكدسة ثم تُفك (Unrolling) وتصبح مستقلة في الضبط الدقيق؛ الحساب يفترض انحيازاً لكل طبقة.الورقة استخدمت 500 وحدة مخفية لـ MNIST وجربت عدة أبعاد كامنة؛ J = 20 اختيار من بينها. التنشيط tanh والمفكك Bernoulli.

العلاقات المسجلة بين النماذج المقارنة

  • Deep Autoencoder سابق له Variational Autoencoder — يجعل المشفّر التلقائي احتمالياً.