- سنة الظهور
- 2006
- الباحثون
- Geoffrey E. Hinton, Ruslan R. Salakhutdinov
- الجهة
- University of Toronto
- نوع المعمارية
- Symmetric encoder–decoder MLP
- آلية التعلم
- unsupervised
- المهام
- تقليل الأبعاد، تعلم التمثيلات، إزالة الضوضاء
شبكة تتعلم ضغط المدخل إلى شفرة منخفضة الأبعاد ثم إعادة بنائه، ودُربت عميقاً لأول مرة بتهيئة طبقية مسبقة.
مخطط المعمارية
التكوين المعروض: المشفّر التلقائي العميق 784-1000-500-250-30 (MNIST) — مشفّر ومفكك متناظران بأوزان غير مقيَّدة بعد الضبط الدقيق.
جدول الطبقات (12 عقدة)
| الطبقة | النوع | المدخل | المخرج | التكرار | Parameters | الصيغة | MACs |
|---|---|---|---|---|---|---|---|
| صورة MNIST مسطحة | input | 784 | 1 | 0 | — | ||
| FC 1000 + sigmoid | fc | 784 | 1000 | 1 | 785,000 | 784·1000 + 1000 | 784,000 |
| FC 500 + sigmoid | fc | 1000 | 500 | 1 | 500,500 | 1000·500 + 500 | 500,000 |
| FC 250 + sigmoid | fc | 500 | 250 | 1 | 125,250 | 500·250 + 250 | 125,000 |
| FC 30 + خطي | fc | 250 | 30 | 1 | 7,530 | 250·30 + 30 | 7,500 |
| الشفرة (30 وحدة خطية) | latent | 30 | 30 | 1 | 0 | — | |
| FC 250 + sigmoid | fc | 30 | 250 | 1 | 7,750 | 30·250 + 250 | 7,500 |
| FC 500 + sigmoid | fc | 250 | 500 | 1 | 125,500 | 250·500 + 500 | 125,000 |
| FC 1000 + sigmoid | fc | 500 | 1000 | 1 | 501,000 | 500·1000 + 1000 | 500,000 |
| FC 784 + sigmoid | fc | 1000 | 784 | 1 | 784,784 | 1000·784 + 784 | 784,000 |
| إعادة البناء x̂ | output | 784 | 784 | 1 | 0 | — | |
| خسارة إعادة البناء | loss | x, x̂ | L | 1 | 0 | — |
أرقام التكوين: المشفّر التلقائي العميق 784-1000-500-250-30 (MNIST)
- شكل المدخل
- 784
- شكل المخرج
- 784
- العمق
- 8 طبقات خطية
- التعقيد
- O(Σ dₗ·dₗ₊₁).
- ملاحظة MACs
- مجموع ضرب-جمع الطبقات الثماني لكل صورة.
MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.
الشرح العلمي
الخلفية التاريخية
نُشرت في Science عام 2006، وبيّنت أن التهيئة المسبقة بآلات بولتزمان المقيدة (RBM) تسمح بتدريب شبكات عميقة، فكانت من أعمال انطلاق التعلم العميق.
المشكلة التي يعالجها
تقليل الأبعاد غير الخطي بشكل أفضل من PCA، وصعوبة تدريب المشفرات العميقة من تهيئة عشوائية.
الفكرة الأساسية
تهيئة طبقية مسبقة بـ RBM مكدسة، ثم «فك» الشبكة إلى مشفّر ومفكك وضبطها بدقة بالانتشار العكسي لتقليل خطأ إعادة البناء.
وصف المعمارية
مشفّر 784-1000-500-250-30 بتنشيط sigmoid وطبقة شفرة خطية، ومفكك متناظر 30-250-500-1000-784.
تدفق البيانات
x ← المشفّر ← شفرة z (30) ← المفكك ← x̂.
المدخلات
صورة مسطحة 784.
المخرجات
إعادة بناء بالأبعاد نفسها، والشفرة z.
آلية التدريب
تدريب RBM طبقة طبقة بالتباعد التبايني (CD-1)، ثم ضبط دقيق للشبكة كلها بطريقة التدرج المترافق.
دوال الخسارة
الإنتروبيا المتقاطعة لإعادة البناء (للمدخلات في [0, 1]) أو مربع الخطأ.
التعقيد الحسابي
O(Σ dₗ·dₗ₊₁).
المتطلبات الحسابية
منخفضة إلى متوسطة.
المزايا
- تقليل أبعاد غير خطي أفضل من PCA
- تمثيلات مفيدة دون وسوم
- أساس المشفرات الحديثة
القيود
- الفضاء الكامن غير منتظم ولا يصلح للتوليد مباشرة
- التهيئة المسبقة معقدة (لم تعد ضرورية مع ReLU و BN)
- قد ينسخ المدخل إن كانت الشفرة واسعة
المعادلات
المشفّر والمفكك Encoder and decoder
\mathbf{z} = f_\phi(\mathbf{x}),\qquad \hat{\mathbf{x}} = g_\theta(\mathbf{z})تحويلان متعلَّمان؛ أبعاد z أقل بكثير من x.
خسارة إعادة البناء Reconstruction loss
\mathcal{L} = -\sum_{i} \left[x_i \log \hat{x}_i + (1 - x_i) \log(1 - \hat{x}_i)\right]الإنتروبيا المتقاطعة لكل بكسل.
طاقة RBM RBM energy
E(\mathbf{v}, \mathbf{h}) = -\sum_i b_i v_i - \sum_j b_j h_j - \sum_{i,j} v_i h_j w_{ij}تُستخدم لتهيئة كل طبقة مسبقاً.
الرموز: v: الوحدات المرئية، h: المخفية
التطبيقات
النماذج المرتبطة
- لاحق له Variational Autoencoder — VAE يجعل الفضاء الكامن احتمالياً قابلاً للتوليد. قارن
- مبني على Multilayer Perceptron — مكون من طبقات كاملة الاتصال. قارن
- Multilayer Perceptron — المشفر التلقائي العميق مبني من طبقات MLP. قارن
- β-VAE — من عائلة المشفرات التلقائية. قارن
- U-Net — معمارية مشفّر-مفكك. قارن
المراجع
- الورقة الأصلية G. E. Hinton, R. R. Salakhutdinov. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507. doi:10.1126/science.1127647 موثّق
الإصدار 1 — آخر تحديث 2026-11-15.
