المشفّر التلقائي بالتكميم المتجهي (VQ-VAE)
Vector Quantized Variational Autoencoder
مشفّر تلقائي يكمّم خرج المشفّر إلى أقرب متجه في قاموس متعلَّم (codebook)، فيصبح التمثيل رموزاً منفصلة، ثم يُتعلَّم توزيع مسبق ذاتي الانحدار على هذه الرموز للتوليد.
نظرة عامة
| الاسم | المشفّر التلقائي بالتكميم المتجهي – Vector Quantized Variational Autoencoder |
|---|---|
| سنة الظهور | 2017 |
| الباحثون | Aaron van den Oord، Oriol Vinyals، Koray Kavukcuoglu |
| الجهة | DeepMind |
| الورقة الأصلية | Neural discrete representation learning arXiv |
| نوع البيانات | صور، تسلسلات وسلاسل زمنية |
| المجالات | الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية، الصوت والكلام |
| الكلفة الحسابية | منخفضة للمشفّر؛ النموذج الأولي قد يكون مكلفاً. |
| حجم البيانات | متوسطة إلى كبيرة. |
المشكلة التي تحلها
الكوامن المستمرة في VAE تعاني من انهيار الخلفية مع مفككات قوية، وكثير من البيانات (كلام، لغة) ذات طبيعة منفصلة.
الخلفية والتطور
ما قبلها: المشفّر التلقائي التبايني، المشفّر التلقائي
الفكرة الأساسية
المشفّر يعطي $z_e(x)$ لكل موقع. يُستبدل بأقرب $e_k$ من القاموس. لأن argmin غير قابلة للاشتقاق، يُنسخ التدرّج من $z_q$ إلى $z_e$ (Straight-Through). يُحدث القاموس نحو مخرجات المشفّر، وحد "الالتزام" يمنع المشفّر من التذبذب. بعد التدريب تصبح الصورة شبكة رموز منفصلة يتعلم نموذج مثل PixelCNN أو Transformer توليدها.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
التوليد: نموذج أولويّ يولد شبكة الرموز ثم المفكك يحولها إلى صورة.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Encoder | z_e(x) |
| Codebook | K متجه بطول d |
| Nearest-neighbour quantization | |
| Straight-through estimator | |
| Decoder | |
| Autoregressive prior | PixelCNN/Transformer على الرموز |
المعادلات
1. التكميم
| $e_j$ | متجهات القاموس |
2. دالة الخسارة
| $\mathrm{sg}$ | إيقاف التدرّج |
| $\beta$ | 0.25 في الورقة |
آلية العمل خطوة بخطوة
- رمّز الدخل.
- كمّم لأقرب متجه.
- فك ومرّر التدرّج بالـ Straight-Through.
- حدّث القاموس والمشفّر بالحدين.
- درّب نموذجاً أولوياً على الرموز للتوليد.
المزايا والقيود
المزايا
- تمثيل منفصل يناسب النماذج ذاتية الانحدار وTransformer.
- يتجنب انهيار الخلفية.
- ضغط فعال.
القيود
- متجهات قاموس "ميتة" لا تُستخدم.
- التوليد على مرحلتين.
- تقريب التدرّج غير دقيق.
متى تُستخدم؟ ومتى لا؟
تناسب
- تحويل الصور أو الصوت إلى رموز.
- مرحلة ضغط لنماذج توليدية.
لا تناسب
- حين تكفي كوامن مستمرة بسيطة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الصوت والكلام | ترميز الكلام. |
| الذكاء الاصطناعي التوليدي | رموز بصرية لنماذج توليد الصور. |
| الرؤية الحاسوبية | ضغط الصور. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
المثال يدرّب المرحلة الأولى فقط (المشفّر والقاموس والمفكك)، ولا يدرّب النموذج الأولي على الرموز.
# VQ-VAE — قاموس متعلَّم وStraight-Through
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class VectorQuantizer(nn.Module):
def __init__(self, K=16, d=8, beta=0.25):
super().__init__()
self.codebook = nn.Embedding(K, d)
self.codebook.weight.data.uniform_(-1 / K, 1 / K)
self.beta = beta
def forward(self, z_e): # z_e: B×d×h×w
B, d, h, w = z_e.shape
flat = z_e.permute(0, 2, 3, 1).reshape(-1, d)
idx = torch.cdist(flat, self.codebook.weight).argmin(1) # أقرب متجه في القاموس
z_q = self.codebook(idx).view(B, h, w, d).permute(0, 3, 1, 2)
loss = F.mse_loss(z_q, z_e.detach()) + self.beta * F.mse_loss(z_e, z_q.detach()) # قاموس + التزام
z_q = z_e + (z_q - z_e).detach() # Straight-Through Estimator
return z_q, loss, idx.view(B, h, w)
class VQVAE(nn.Module):
def __init__(self, K=16, d=8):
super().__init__()
self.enc = nn.Sequential(nn.Conv2d(1, 32, 4, 2, 1), nn.ReLU(), nn.Conv2d(32, d, 3, 1, 1)) # 8×8 → 4×4×d
self.vq = VectorQuantizer(K, d)
self.dec = nn.Sequential(nn.Conv2d(d, 32, 3, 1, 1), nn.ReLU(), nn.ConvTranspose2d(32, 1, 4, 2, 1)) # 4×4 → 8×8
def forward(self, x):
z_q, vq_loss, idx = self.vq(self.enc(x))
return self.dec(z_q), vq_loss, idx
# 3) إعداد البيانات
# صور 8×8 لبقعة غاوسية بموضع ونصف قطر عشوائيين (قيم في [0,1])
def blobs(n, side=None):
g = torch.arange(8).float()
cx = torch.rand(n) * 5 + 1.5
if side is not None: # side: 0 = نصف أيسر، 1 = نصف أيمن
cx = torch.where(side == 0, torch.rand(n) * 2 + 1, torch.rand(n) * 2 + 5)
cy, r = torch.rand(n) * 5 + 1.5, torch.rand(n) * 0.8 + 0.8
img = torch.exp(-((g[None, None, :] - cx[:, None, None]) ** 2 + (g[None, :, None] - cy[:, None, None]) ** 2) / (2 * r[:, None, None] ** 2))
return img[:, None] # B×1×8×8
X_train, X_test = blobs(3000), blobs(500)
model = VQVAE()
# 4) المحسّن (الخسارة = إعادة البناء + خسارة القاموس + الالتزام)
opt = torch.optim.Adam(model.parameters(), lr=2e-3)
# 5) حلقة التدريب
EPOCHS, BATCH = 25, 64
for epoch in range(EPOCHS):
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
xb = X_train[perm[i:i + BATCH]]
rec, vq_loss, _ = model(xb) # Forward Pass
loss = F.mse_loss(rec, xb) + vq_loss
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(xb)
if epoch % 5 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم: خطأ إعادة البناء واستخدام القاموس (perplexity)
model.eval()
with torch.no_grad():
rec, _, idx = model(X_test)
p = torch.bincount(idx.flatten(), minlength=16).float(); p = p / p.sum()
perplexity = torch.exp(-(p[p > 0] * p[p > 0].log()).sum()).item()
print(f"test reconstruction MSE = {F.mse_loss(rec, X_test).item():.4f} (predict-mean baseline = {X_test.var().item():.4f})")
print(f"codebook perplexity = {perplexity:.2f} of 16 codes")
# 7) الاستدلال: الصورة كشبكة رموز منفصلة 4×4 (هذا ما يتعلمه لاحقاً نموذج أولويّ مثل PixelCNN أو Transformer)
with torch.no_grad():
print("discrete codes of one image:", model(X_test[:1])[2][0].tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 6.9 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test reconstruction MSE = 0.0008 (predict-mean baseline = 0.0525) codebook perplexity = 10.98 of 16 codes
عدد المعاملات القابلة للتدريب في المثال: model = 5٬833.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المشفّر التلقائي التبايني
Variational Autoencoder (VAE)
نموذج توليدي احتمالي بمتغير كامن: مشفّر يقدّر توزيعاً تقريبياً q(z x) ومفكك يمثل p(x z)، ويُدرّبان معاً بتعظيم الحد الأدنى للأدلة (ELBO) باستخدام خدعة إعادة المعلمة.
المشفّر التلقائي
Autoencoder (AE)
شبكة تضغط الدخل إلى تمثيل كامن صغير (encoder) ثم تعيد بناءه (decoder)، فتتعلم تمثيلاً مضغوطاً دون تسميات.
نماذج الانتشار الكامنة
Latent Diffusion Models (LDM)
تطبق الانتشار في فضاء كامن مضغوط من مشفّر تلقائي مدرّب مسبقاً بدلاً من فضاء البكسلات، مع آلية انتباه متقاطع لإدخال الشروط (نص، تجزئة...)، فتقل الحسابات كثيراً مع الحفاظ…
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- ترميز إشارات ECG إلى رموز منفصلة وتدريب نموذج لغوي عليها لكشف اضطرابات النظم.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
كيف يمر التدرّج عبر عملية التكميم غير القابلة للاشتقاق؟
لماذا؟ $z_q=z_e+\mathrm{sg}[z_q-z_e]$.
ما وظيفة حد الالتزام (commitment)؟
لماذا؟ يوزن بـ β.
ما الذي يولّد الصور الجديدة بعد تدريب VQ-VAE؟
لماذا؟ مثل PixelCNN في الورقة.
المراجع
van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural discrete representation learning. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1711.00937
Razavi, A., van den Oord, A., & Vinyals, O. (2019). Generating diverse high-fidelity images with VQ-VAE-2. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1906.00446
Kingma, D. P., & Welling, M. (2014). Auto-encoding variational Bayes. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1312.6114
van den Oord, A., Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., Kalchbrenner, N., Senior, A., & Kavukcuoglu, K. (2016). WaveNet: A generative model for raw audio. arXiv preprint. https://arxiv.org/abs/1609.03499
