النماذج القائمة على الطاقة (EBM)
Energy-Based Models
نماذج تتعلم دالة طاقة عددية $E_\theta(x)$ تكون منخفضة للتكوينات المحتملة ومرتفعة لغيرها، وتعرّف الكثافة ضمنياً $p(x)\propto e^{-E(x)}$ دون حساب ثابت التطبيع، مع توليد العينات بديناميكا لانجفان أو MCMC.
نظرة عامة
| الاسم | النماذج القائمة على الطاقة – Energy-Based Models |
|---|---|
| سنة الظهور | 2006 |
| الباحثون | Yann LeCun، Sumit Chopra، Raia Hadsell، Marc'Aurelio Ranzato، Fu Jie Huang (درس تعليمي مرجعي)؛ وجذورها في Hopfield 1982 |
| الجهة | New York University |
| الورقة الأصلية | A tutorial on energy-based learning الناشر |
| نوع البيانات | صور، بيانات جدولية |
| المجالات | الحوسبة العلمية، الذكاء الاصطناعي التوليدي، الرؤية الحاسوبية |
| الكلفة الحسابية | تكلفة MCMC في كل خطوة تدريب. |
| حجم البيانات | متوسطة. |
المشكلة التي تحلها
النماذج الاحتمالية الصريحة تقيد شكل المعمارية لتكون الكثافة قابلة للتطبيع. الطاقة تسمح بأي شبكة، لكنها تجعل التدريب والتوليد يتطلبان أخذ عينات.
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات
الفكرة الأساسية
التدريب يخفض طاقة البيانات الحقيقية ويرفع طاقة "العينات السالبة" التي يولدها النموذج نفسه. تدرج اللوغاريتم الاحتمالي يساوي فرق متوسط تدرج الطاقة على البيانات وعلى عينات النموذج. العينات السالبة تُولد بخطوات لانجفان تنزل على سطح الطاقة، ومخزن إعادة التشغيل يجعلها أقرب للتوزيع الحالي.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Energy network E_θ(x) | خرج عددي |
| Positive samples | بيانات |
| Negative samples | MCMC/Langevin |
| Replay buffer | |
| Regularization | على مقدار الطاقة |
المعادلات
1. الكثافة المعرفة بالطاقة
| $Z$ | ثابت التطبيع (غير قابل للحساب عادة) |
2. تدرج الاحتمال الأعظم
| $E_\theta$ | دالة الطاقة |
| $x^+$ | عيّنة من البيانات |
| $x^-$ | عيّنة من النموذج (بـ SGLD مثلاً) |
3. ديناميكا لانجفان
| $\lambda,\sigma$ | حجم الخطوة والضوضاء |
آلية العمل خطوة بخطوة
- اسحب بيانات.
- ولّد عينات سالبة بلانجفان من المخزن.
- احسب الفرق في الطاقة مع التنظيم.
- حدّث الشبكة.
- حدّث المخزن.
المزايا والقيود
المزايا
- مرونة معمارية كاملة.
- تركيب نماذج بجمع الطاقات.
- مفيد لكشف الشذوذ.
القيود
- تدريب غير مستقر.
- أخذ عينات بطيء.
- احتمالات مطلقة غير متاحة.
متى تُستخدم؟ ومتى لا؟
تناسب
- كشف الشذوذ.
- نمذجة توزيعات بقيود مركبة.
لا تناسب
- حين يلزم توليد سريع أو احتمالات دقيقة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الذكاء الاصطناعي التوليدي | توليد الصور (Du وMordatch). |
| الحوسبة العلمية | نماذج جزيئية وفيزيائية بطاقة. |
| الرؤية الحاسوبية | كشف العينات خارج التوزيع. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
الطاقة معرّفة حتى ثابت جمعي، لذا تُقارن القيم نسبياً فقط.
# EBM بديناميكا لانجفان ومخزن إعادة تشغيل على خليط غاوسي حلقي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class EnergyNet(nn.Module):
"""E_θ(x): طاقة منخفضة للبيانات المحتملة. الكثافة p(x) ∝ exp(−E(x)) دون حساب ثابت التطبيع."""
def __init__(self, h=128):
super().__init__()
self.net = nn.Sequential(nn.Linear(2, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU(), nn.Linear(h, 1))
def forward(self, x):
return self.net(x).squeeze(-1)
def langevin(E, x, steps=20, step=0.1, noise=0.005):
"""ديناميكا لانجفان العشوائية (SGLD) على سطح الطاقة لتوليد عينات سالبة."""
x = x.clone().requires_grad_(True)
for _ in range(steps):
g = torch.autograd.grad(E(x).sum(), x)[0]
x = (x - step * g + noise * torch.randn_like(x)).detach().requires_grad_(True)
return x.detach()
model = EnergyNet()
# 3) إعداد البيانات
# التوزيع الهدف: خليط من 8 توزيعات غاوسية على دائرة نصف قطرها 2 (اختبار كلاسيكي لانهيار الأنماط)
CENTERS = torch.stack([torch.tensor([2 * torch.cos(torch.tensor(k * torch.pi / 4)), 2 * torch.sin(torch.tensor(k * torch.pi / 4))]) for k in range(8)])
def sample_ring(n, std=0.1):
k = torch.randint(0, 8, (n,))
return CENTERS[k] + std * torch.randn(n, 2), k
def ring_metrics(x):
"""جودة: نسبة العينات القريبة (<0.3) من أحد المراكز. تغطية: عدد الأنماط التي نالت ≥5% من العينات الجيدة."""
d = torch.cdist(x, CENTERS)
near, k = d.min(1)
good = near < 0.3
counts = torch.bincount(k[good], minlength=8).float()
covered = int((counts >= 0.05 * max(1, good.sum().item())).sum())
return good.float().mean().item(), covered
# 4) الخسارة التباينية (contrastive divergence) مع تنظيم مربعات الطاقة، ومخزن إعادة تشغيل (Du وMordatch 2019)
opt = torch.optim.Adam(model.parameters(), lr=1e-3, betas=(0.0, 0.999))
buffer = torch.rand(10000, 2) * 6 - 3
# 5) حلقة التدريب
for step in range(2500):
pos, _ = sample_ring(256)
idx = torch.randint(0, len(buffer), (256,))
init = torch.where(torch.rand(256, 1) < 0.05, torch.rand(256, 2) * 6 - 3, buffer[idx]) # 5% بداية جديدة
neg = langevin(model, init)
buffer[idx] = neg
e_pos, e_neg = model(pos), model(neg)
loss = e_pos.mean() - e_neg.mean() + 0.01 * (e_pos ** 2 + e_neg ** 2).mean() # اخفض طاقة البيانات وارفع طاقة السالبة
opt.zero_grad(); loss.backward(); opt.step()
if step % 500 == 0 or step == 2499:
print(f"step {step:4d} E(data)={e_pos.mean().item():.3f} E(samples)={e_neg.mean().item():.3f}")
# 6) التقييم: عينات لانجفان طويلة من ضوضاء منتظمة جديدة
x = langevin(model, torch.rand(4000, 2) * 6 - 3, steps=200, step=0.05, noise=0.003)
q, cov = ring_metrics(x)
print(f"sample quality (near a mode) = {q:.3f} ; modes covered = {cov}/8")
with torch.no_grad():
print(f"mean energy: data = {model(sample_ring(2000)[0]).mean().item():.3f} ; uniform noise = {model(torch.rand(2000, 2) * 6 - 3).mean().item():.3f}")
# 7) الاستدلال: مقارنة طاقة نقطة على الحلقة بنقطة في المركز
with torch.no_grad():
print("E(2, 0) =", round(model(torch.tensor([[2.0, 0.0]])).item(), 3), "; E(0, 0) =", round(model(torch.tensor([[0.0, 0.0]])).item(), 3))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 38.7 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
sample quality (near a mode) = 0.772 ; modes covered = 8/8
عدد المعاملات القابلة للتدريب في المثال: model = 33٬537.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
النماذج التوليدية القائمة على الدرجة
Score-Based Generative Models (SGM)
تتعلم شبكة "الدرجة" _x p(x) عند مستويات ضوضاء متعددة، ثم تولّد العينات بديناميكا لانجفان تتبع الدرجة من الضوضاء نحو مناطق الكثافة العالية؛ وتُعمم إلى معادلات تفاضلية عشو…
نماذج الانتشار
Diffusion Models (DDPM)
تفسد البيانات تدريجياً بإضافة ضوضاء غاوسية عبر T خطوة، ثم تتعلم شبكة عكس هذه العملية بالتنبؤ بالضوضاء المضافة، فيُولَّد مثال جديد بإزالة الضوضاء خطوة بخطوة بدءاً من ضوضا…
الشبكات التوليدية التنافسية
Generative Adversarial Networks (GAN)
إطار توليدي من شبكتين تتنافسان: مولّد يحوّل ضوضاء عشوائية إلى عينات، ومميِّز يحاول التفريق بين العينات الحقيقية والمولَّدة. يتحسن المولّد حتى يصعب على المميِّز التمييز.
المشفّر التلقائي التبايني
Variational Autoencoder (VAE)
نموذج توليدي احتمالي بمتغير كامن: مشفّر يقدّر توزيعاً تقريبياً q(z x) ومفكك يمثل p(x z)، ويُدرّبان معاً بتعظيم الحد الأدنى للأدلة (ELBO) باستخدام خدعة إعادة المعلمة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- EBM لكشف صور الأشعة خارج التوزيع قبل تمريرها لنماذج التشخيص.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا لا تحتاج EBM إلى حساب ثابت التطبيع أثناء أخذ العينات بلانجفان؟
لماذا؟ $\nabla_x\log p=-\nabla_xE$.
نقطتان بطاقة 1 و3، ما نسبة احتمال الأولى إلى الثانية؟
لماذا؟ $e^{-1}/e^{-3}$.
ما هدف العينات السالبة في التدريب؟
لماذا؟ الحد الثاني في التدرج.
المراجع
LeCun, Y., Chopra, S., Hadsell, R., Ranzato, M., & Huang, F. J. (2006). A tutorial on energy-based learning. In G. Bakir et al. (Eds.), Predicting Structured Data. MIT Press. https://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8), 2554–2558. https://doi.org/10.1073/pnas.79.8.2554
Du, Y., & Mordatch, I. (2019). Implicit generation and generalization in energy-based models. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1903.08689
Song, Y., & Ermon, S. (2019). Generative modeling by estimating gradients of the data distribution. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1907.05600
