المشفرات التلقائية يحتاج مراجعة

Deep Autoencoder

المشفّر التلقائي العميق — AE

سنة الظهور
2006
الباحثون
Geoffrey E. Hinton, Ruslan R. Salakhutdinov
الجهة
University of Toronto
نوع المعمارية
Symmetric encoder–decoder MLP
آلية التعلم
unsupervised
المهام
تقليل الأبعاد، تعلم التمثيلات، إزالة الضوضاء

شبكة تتعلم ضغط المدخل إلى شفرة منخفضة الأبعاد ثم إعادة بنائه، ودُربت عميقاً لأول مرة بتهيئة طبقية مسبقة.

مخطط المعمارية

التكوين المعروض: المشفّر التلقائي العميق 784-1000-500-250-30 (MNIST) — مشفّر ومفكك متناظران بأوزان غير مقيَّدة بعد الضبط الدقيق.

جدول الطبقات (12 عقدة)
الطبقةالنوعالمدخلالمخرجالتكرارParametersالصيغةMACs
صورة MNIST مسطحةinput78410—
FC 1000 + sigmoidfc78410001785,000784·1000 + 1000784,000
FC 500 + sigmoidfc10005001500,5001000·500 + 500500,000
FC 250 + sigmoidfc5002501125,250500·250 + 250125,000
FC 30 + خطيfc2503017,530250·30 + 307,500
الشفرة (30 وحدة خطية)latent303010—
FC 250 + sigmoidfc3025017,75030·250 + 2507,500
FC 500 + sigmoidfc2505001125,500250·500 + 500125,000
FC 1000 + sigmoidfc50010001501,000500·1000 + 1000500,000
FC 784 + sigmoidfc10007841784,7841000·784 + 784784,000
إعادة البناء x̂output78478410—
خسارة إعادة البناءlossx, x̂L10—

أرقام التكوين: المشفّر التلقائي العميق 784-1000-500-250-30 (MNIST)

Parameters (محسوبة من الطبقات)2,837,314 (≈2.84M)
Parameters (منشورة في المصدر)غير محدد
MACs2,833,000 (≈2.83M)
FLOPs ≈ 2 × MACs5,666,000 (≈5.67M)
شكل المدخل
784
شكل المخرج
784
العمق
8 طبقات خطية
التعقيد
O(Σ dₗ·dₗ₊₁).
ملاحظة MACs
مجموع ضرب-جمع الطبقات الثماني لكل صورة.
افتراضات الحساب: الأبعاد من الورقة (MNIST). الأوزان تُهيأ بـ RBM مكدسة ثم تُفك (Unrolling) وتصبح مستقلة في الضبط الدقيق؛ الحساب يفترض انحيازاً لكل طبقة.

MAC = عملية ضرب يتبعها جمع. الأرقام لتمرير أمامي واحد لعينة واحدة بالأبعاد المذكورة، وهي حساب تحليلي وليست قياساً لزمن تشغيل.

الشرح العلمي

الخلفية التاريخية

نُشرت في Science عام 2006، وبيّنت أن التهيئة المسبقة بآلات بولتزمان المقيدة (RBM) تسمح بتدريب شبكات عميقة، فكانت من أعمال انطلاق التعلم العميق.

المشكلة التي يعالجها

تقليل الأبعاد غير الخطي بشكل أفضل من PCA، وصعوبة تدريب المشفرات العميقة من تهيئة عشوائية.

الفكرة الأساسية

تهيئة طبقية مسبقة بـ RBM مكدسة، ثم «فك» الشبكة إلى مشفّر ومفكك وضبطها بدقة بالانتشار العكسي لتقليل خطأ إعادة البناء.

وصف المعمارية

مشفّر 784-1000-500-250-30 بتنشيط sigmoid وطبقة شفرة خطية، ومفكك متناظر 30-250-500-1000-784.

تدفق البيانات

x ← المشفّر ← شفرة z (30) ← المفكك ← x̂.

المدخلات

صورة مسطحة 784.

المخرجات

إعادة بناء بالأبعاد نفسها، والشفرة z.

آلية التدريب

تدريب RBM طبقة طبقة بالتباعد التبايني (CD-1)، ثم ضبط دقيق للشبكة كلها بطريقة التدرج المترافق.

دوال الخسارة

الإنتروبيا المتقاطعة لإعادة البناء (للمدخلات في [0, 1]) أو مربع الخطأ.

التعقيد الحسابي

O(Σ dₗ·dₗ₊₁).

المتطلبات الحسابية

منخفضة إلى متوسطة.

المزايا

  • تقليل أبعاد غير خطي أفضل من PCA
  • تمثيلات مفيدة دون وسوم
  • أساس المشفرات الحديثة

القيود

  • الفضاء الكامن غير منتظم ولا يصلح للتوليد مباشرة
  • التهيئة المسبقة معقدة (لم تعد ضرورية مع ReLU و BN)
  • قد ينسخ المدخل إن كانت الشفرة واسعة

المعادلات

المشفّر والمفكك Encoder and decoder

\mathbf{z} = f_\phi(\mathbf{x}),\qquad \hat{\mathbf{x}} = g_\theta(\mathbf{z})

تحويلان متعلَّمان؛ أبعاد z أقل بكثير من x.

خسارة إعادة البناء Reconstruction loss

\mathcal{L} = -\sum_{i} \left[x_i \log \hat{x}_i + (1 - x_i) \log(1 - \hat{x}_i)\right]

الإنتروبيا المتقاطعة لكل بكسل.

طاقة RBM RBM energy

E(\mathbf{v}, \mathbf{h}) = -\sum_i b_i v_i - \sum_j b_j h_j - \sum_{i,j} v_i h_j w_{ij}

تُستخدم لتهيئة كل طبقة مسبقاً.

الرموز: v: الوحدات المرئية، h: المخفية

التطبيقات

النماذج المرتبطة

المراجع

  1. الورقة الأصلية G. E. Hinton, R. R. Salakhutdinov. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507. doi:10.1126/science.1127647 موثّق
ملاحظة المراجعة العلمية: مسودة علمية أولى مبنية على الورقة الأصلية والتنفيذات المرجعية؛ تحتاج مراجعة متخصص قبل اعتمادها نهائياً.

الإصدار 1 — آخر تحديث 2026-11-15.