نماذج التوازن العميق (DEQ)
Deep Equilibrium Models
بدلاً من تكديس L طبقة، يبحث النموذج عن نقطة ثابتة لطبقة واحدة $z^*=f_\theta(z^*,x)$ كأنها شبكة بعمق لانهائي بأوزان مشتركة، ويحسب التدرّج ضمنياً دون تخزين الخطوات.
نظرة عامة
| الاسم | نماذج التوازن العميق – Deep Equilibrium Models |
|---|---|
| سنة الظهور | 2019 |
| الباحثون | Shaojie Bai، J. Zico Kolter، Vladlen Koltun |
| الجهة | Carnegie Mellon University / Intel Labs |
| الورقة الأصلية | Deep equilibrium models arXiv |
| نوع البيانات | تسلسلات وسلاسل زمنية، صور |
| المجالات | الرؤية الحاسوبية، معالجة اللغة الطبيعية |
المشكلة التي تحلها
الشبكات العميقة جداً تحتاج ذاكرة تتناسب مع العمق لتخزين التنشيطات من أجل الانتشار العكسي.
الخلفية والتطور
ما قبلها: الشبكة المتبقية، Weight-tied networks
- 2019
قُدمت DEQ في NeurIPS 2019 لنمذجة اللغة. [مرجع]
الفكرة الأساسية
لاحظ المؤلفون أن الشبكات بأوزان مشتركة عبر الطبقات تتقارب غالباً إلى نقطة ثابتة. لذلك يُحسب التوازن مباشرة بحلّال جذور (مثل Broyden أو تكرار بسيط). وبنظرية الدالة الضمنية يُحسب التدرّج من النقطة الثابتة وحدها، فتصبح الذاكرة ثابتة مهما زاد عدد التكرارات.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input injection | إدخال $x$ في كل تكرار |
| Layer f_θ | كتلة واحدة بأوزان مشتركة |
| Root solver | Broyden أو Anderson أو تكرار نقطة ثابتة |
| Implicit backward | حل نظام خطي بدل تخزين الخطوات |
| Output head | طبقة على $z^*$ |
المعادلات
1. النقطة الثابتة
| $z^*$ | حالة التوازن |
| $f_\theta$ | الطبقة المشتركة |
2. التدرّج الضمني
| $J_{f_\theta}$ | جاكوبي f بالنسبة لـ z عند التوازن |
آلية العمل خطوة بخطوة
- تُهيأ z بصفر.
- تُكرر f أو يُستخدم حلّال جذور حتى التقارب.
- يُحسب الخرج من z*.
- في الخلف يُحل النظام الخطي للتدرّج الضمني (أو يُقرَّب).
- تُحدّث θ.
المزايا والقيود
المزايا
- ذاكرة ثابتة بالنسبة للعمق.
- عمق تكيفي حسب صعوبة العينة.
القيود
- قد لا تتقارب f دون قيود (تحتاج تطبيعاً).
- الاستدلال أبطأ بسبب التكرارات.
- حساسية لضبط الحلّال.
متى تُستخدم؟ ومتى لا؟
تناسب
- حين تكون الذاكرة القيد الأساسي.
- بحث في النماذج الضمنية.
لا تناسب
- تطبيقات زمن الاستجابة فيها حرج.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | نمذجة اللغة (التجارب الأصلية). |
| الرؤية الحاسوبية | تصنيف وتجزئة بنسخ متعددة المقاييس (MDEQ). |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
يستخدم تقريب "Jacobian-free backprop" (خطوة واحدة مع التدرّج) بدلاً من حل النظام الخطي الكامل، للتبسيط. مكتبة torchdeq توفر تنفيذاً كاملاً.
# Deep Equilibrium Model (DEQ) — تكرار نقطة ثابتة وتدرّج ضمني تقريبي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class DEQ(nn.Module):
def __init__(self, d_in=10, d=32, n_classes=3, max_iter=30, tol=1e-4):
super().__init__()
self.inj = nn.Linear(d_in, d)
self.W = nn.utils.parametrizations.spectral_norm(nn.Linear(d, d, bias=False)) # يساعد على التقارب
self.head, self.max_iter, self.tol = nn.Linear(d, n_classes), max_iter, tol
def f(self, z, u):
return torch.tanh(0.9 * self.W(z) + u)
def forward(self, x):
u = self.inj(x)
with torch.no_grad(): # البحث عن z* دون تخزين الخطوات
z = torch.zeros_like(u)
for self.iters in range(self.max_iter):
z_new = self.f(z, u)
if (z_new - z).norm() / (z.norm() + 1e-8) < self.tol: break
z = z_new
z = self.f(z, u) # خطوة واحدة مع التدرج: تقريب "Jacobian-free" للتدرّج الضمني
return self.head(z)
# 3) إعداد البيانات
centers = torch.randn(3, 10) * 2
y = torch.randint(0, 3, (900,))
X = centers[y] + torch.randn(900, 10)
X_train, y_train, X_test, y_test = X[:720], y[:720], X[720:], y[720:]
model = DEQ()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.4 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 1٬475.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
الشبكة المتبقية
Residual Network (ResNet)
تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.
المعادلات التفاضلية العصبية
Neural Ordinary Differential Equations (Neural ODE)
تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".
الشبكات العصبية السائلة
Liquid Neural Networks (LNN)
شبكات متكررة زمنية مستمرة يتغير فيها ثابت الزمن لكل عصبون حسب الدخل (Liquid Time-Constant)، فتتكيف ديناميكيتها مع البيانات مع عدد عصبونات صغير.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- دراسة استقرار تقارب DEQ في تجزئة الصور الطبية مقارنة بـ U-Net ذات ذاكرة مكافئة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي يحسبه نموذج DEQ بدلاً من تكديس الطبقات؟
لماذا؟ $z^*=f_\theta(z^*,x)$.
ما الميزة الرئيسية للتدرّج الضمني في DEQ؟
لماذا؟ لا تُخزّن خطوات التكرار للانتشار العكسي.
ما النقطة الثابتة لـ $f(z)=0.25z+3$؟
لماذا؟ $z=0.25z+3\Rightarrow0.75z=3\Rightarrow z=4$.
المراجع
Bai, S., Kolter, J. Z., & Koltun, V. (2019). Deep equilibrium models. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1909.01377
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90
