كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالمعماريات العصبية المتقدمة

نماذج التوازن العميق (DEQ)

Deep Equilibrium Models

بدلاً من تكديس L طبقة، يبحث النموذج عن نقطة ثابتة لطبقة واحدة $z^*=f_\theta(z^*,x)$ كأنها شبكة بعمق لانهائي بأوزان مشتركة، ويحسب التدرّج ضمنياً دون تخزين الخطوات.

نظرة عامة

الاسمنماذج التوازن العميق – Deep Equilibrium Models
سنة الظهور2019
الباحثونShaojie Bai، J. Zico Kolter، Vladlen Koltun
الجهةCarnegie Mellon University / Intel Labs
الورقة الأصليةDeep equilibrium models arXiv
نوع البياناتتسلسلات وسلاسل زمنية، صور
المجالاتالرؤية الحاسوبية، معالجة اللغة الطبيعية

المشكلة التي تحلها

الشبكات العميقة جداً تحتاج ذاكرة تتناسب مع العمق لتخزين التنشيطات من أجل الانتشار العكسي.

الخلفية والتطور

ما قبلها: الشبكة المتبقية، Weight-tied networks

  1. 2019

    قُدمت DEQ في NeurIPS 2019 لنمذجة اللغة. [مرجع]

الفكرة الأساسية

لاحظ المؤلفون أن الشبكات بأوزان مشتركة عبر الطبقات تتقارب غالباً إلى نقطة ثابتة. لذلك يُحسب التوازن مباشرة بحلّال جذور (مثل Broyden أو تكرار بسيط). وبنظرية الدالة الضمنية يُحسب التدرّج من النقطة الثابتة وحدها، فتصبح الذاكرة ثابتة مهما زاد عدد التكرارات.

مثال: بدلاً من 30 طبقة متطابقة، نكرر الطبقة حتى يتوقف التغير (مثلاً بعد 12 تكراراً لعينة سهلة و25 لعينة أصعب)، فيتكيف "العمق" مع العينة.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Input injectionإدخال $x$ في كل تكرار
Layer f_θكتلة واحدة بأوزان مشتركة
Root solverBroyden أو Anderson أو تكرار نقطة ثابتة
Implicit backwardحل نظام خطي بدل تخزين الخطوات
Output headطبقة على $z^*$

المعادلات

1. النقطة الثابتة

$$z^*=f_\theta(z^*;x)$$

الرموز
$z^*$حالة التوازن
$f_\theta$الطبقة المشتركة
الأبعاد
$z^*\in\mathbb{R}^{d}$
مثال عددي
$f(z)=0.5z+1$ ⇒ $z^*=2$ (تحقق: $0.5\cdot2+1=2$).
علاقتها بالمعمارية
تعريف خرج النموذج.

2. التدرّج الضمني

$$\frac{\partial\mathcal{L}}{\partial\theta}=\frac{\partial\mathcal{L}}{\partial z^*}\left(I-J_{f_\theta}\big|_{z^*}\right)^{-1}\frac{\partial f_\theta(z^*;x)}{\partial\theta}$$

الرموز
$J_{f_\theta}$جاكوبي f بالنسبة لـ z عند التوازن
الأبعاد
نفس أبعاد θ
مثال عددي
في المثال السابق $J=0.5$ ⇒ $(1-0.5)^{-1}=2$ يضاعف التدرّج المباشر.
علاقتها بالمعمارية
يلغي الحاجة لتخزين كل التكرارات.

آلية العمل خطوة بخطوة

  1. تُهيأ z بصفر.
  2. تُكرر f أو يُستخدم حلّال جذور حتى التقارب.
  3. يُحسب الخرج من z*.
  4. في الخلف يُحل النظام الخطي للتدرّج الضمني (أو يُقرَّب).
  5. تُحدّث θ.

المزايا والقيود

المزايا

  • ذاكرة ثابتة بالنسبة للعمق.
  • عمق تكيفي حسب صعوبة العينة.

القيود

  • قد لا تتقارب f دون قيود (تحتاج تطبيعاً).
  • الاستدلال أبطأ بسبب التكرارات.
  • حساسية لضبط الحلّال.

متى تُستخدم؟ ومتى لا؟

تناسب

  • حين تكون الذاكرة القيد الأساسي.
  • بحث في النماذج الضمنية.

لا تناسب

  • تطبيقات زمن الاستجابة فيها حرج.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةنمذجة اللغة (التجارب الأصلية).
الرؤية الحاسوبيةتصنيف وتجزئة بنسخ متعددة المقاييس (MDEQ).

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

يستخدم تقريب "Jacobian-free backprop" (خطوة واحدة مع التدرّج) بدلاً من حل النظام الخطي الكامل، للتبسيط. مكتبة torchdeq توفر تنفيذاً كاملاً.

Python (PyTorch)
# Deep Equilibrium Model (DEQ) — تكرار نقطة ثابتة وتدرّج ضمني تقريبي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class DEQ(nn.Module):
    def __init__(self, d_in=10, d=32, n_classes=3, max_iter=30, tol=1e-4):
        super().__init__()
        self.inj = nn.Linear(d_in, d)
        self.W = nn.utils.parametrizations.spectral_norm(nn.Linear(d, d, bias=False))  # يساعد على التقارب
        self.head, self.max_iter, self.tol = nn.Linear(d, n_classes), max_iter, tol
    def f(self, z, u):
        return torch.tanh(0.9 * self.W(z) + u)
    def forward(self, x):
        u = self.inj(x)
        with torch.no_grad():                                  # البحث عن z* دون تخزين الخطوات
            z = torch.zeros_like(u)
            for self.iters in range(self.max_iter):
                z_new = self.f(z, u)
                if (z_new - z).norm() / (z.norm() + 1e-8) < self.tol: break
                z = z_new
        z = self.f(z, u)            # خطوة واحدة مع التدرج: تقريب "Jacobian-free" للتدرّج الضمني
        return self.head(z)

# 3) إعداد البيانات
centers = torch.randn(3, 10) * 2
y = torch.randint(0, 3, (900,))
X = centers[y] + torch.randn(900, 10)
X_train, y_train, X_test, y_test = X[:720], y[:720], X[720:], y[720:]
model = DEQ()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.4 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 1٬475.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2016

الشبكة المتبقية

Residual Network (ResNet)

تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.

الأساسيات

متقدم2018

المعادلات التفاضلية العصبية

Neural Ordinary Differential Equations (Neural ODE)

تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".

الشبكات الزمنية والمتسلسلةالشبكات العصبية المستندة إلى الفيزياء

متقدم2021

الشبكات العصبية السائلة

Liquid Neural Networks (LNN)

شبكات متكررة زمنية مستمرة يتغير فيها ثابت الزمن لكل عصبون حسب الدخل (Liquid Time-Constant)، فتتكيف ديناميكيتها مع البيانات مع عدد عصبونات صغير.

الشبكات الزمنية والمتسلسلةالمعماريات العصبية المتقدمة

أفكار بحثية

  • دراسة استقرار تقارب DEQ في تجزئة الصور الطبية مقارنة بـ U-Net ذات ذاكرة مكافئة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مقارنة

    ما الذي يحسبه نموذج DEQ بدلاً من تكديس الطبقات؟

  2. مفهوم

    ما الميزة الرئيسية للتدرّج الضمني في DEQ؟

  3. رياضي

    ما النقطة الثابتة لـ $f(z)=0.25z+3$؟

المراجع

  1. Bai, S., Kolter, J. Z., & Koltun, V. (2019). Deep equilibrium models. Advances in Neural Information Processing Systems (NeurIPS) 32. https://arxiv.org/abs/1909.01377

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20