كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطالمعماريات العصبية المتقدمةالمعماريات المتخصصة

الشبكات الفائقة (HyperNet)

Hypernetworks

شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.

نظرة عامة

الاسمالشبكات الفائقة – Hypernetworks
سنة الظهور2017
الباحثونDavid Ha، Andrew Dai، Quoc V. Le
الجهةGoogle Brain
الورقة الأصليةHyperNetworks arXiv
نوع البياناتأنواع متعددة
المجالاتالتعلم الآلي المؤتمت (AutoML)، الرؤية الحاسوبية، معالجة اللغة الطبيعية

المشكلة التي تحلها

تخزين أوزان مستقلة لكل طبقة أو لكل مهمة مكلف، ومشاركة الأوزان الكاملة تقيّد المرونة. نحتاج طريقة وسطى تولّد أوزاناً مختلفة من تمثيل مضغوط.

الخلفية والتطور

ما قبلها: الإدراك متعدد الطبقات، الشبكة العصبية المتكررة

  1. 2017

    قدّم Ha وDai وLe الشبكات الفائقة الساكنة (لـ CNN) والديناميكية (لـ LSTM) في ICLR 2017. [مرجع]

الفكرة الأساسية

بدلاً من تعلم $W$ مباشرة، نتعلم دالة $W=h_\phi(z)$ حيث $z$ تضمين صغير. للشبكات الالتفافية يكون لكل طبقة تضمين $z_j$ فتولّد الشبكة الفائقة نواتها. وفي الصيغة الديناميكية يتغير $z$ مع كل خطوة زمنية فتتغير أوزان LSTM عبر الزمن.

مثال: لديك 5 مهام انحدار متشابهة؛ يتعلم النموذج تضميناً لكل مهمة، وتولّد الشبكة الفائقة أوزان المصنف المناسب لكل مهمة من تضمينها.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Conditioning input zتضمين مهمة أو طبقة أو خطوة زمنية
Hypernetwork h_φMLP يولّد متجه الأوزان
Target networkشبكة تستخدم الأوزان المولّدة
Trainingالتدرّج يمر عبر الأوزان المولّدة إلى φ

المعادلات

1. توليد الأوزان

$$\theta_{\text{target}}=h_\phi(z),\qquad \hat y=f\!\left(x;\,h_\phi(z)\right)$$

الرموز
$h_\phi$الشبكة الفائقة
$z$التضمين الشرطي
$f$الشبكة الهدف
الأبعاد
$z\in\mathbb{R}^{k}$، $\theta\in\mathbb{R}^{P}$ مع $k\ll P$
مثال عددي
$k=4$ وشبكة هدف بـ 65 معاملاً: الشبكة الفائقة الخطية تحتاج $4\times65+65=325$ معاملاً لتوليدها لأي مهمة.
علاقتها بالمعمارية
فصل "من أين تأتي الأوزان" عن "كيف تُستخدم".

2. التدرّج عبر الأوزان المولّدة

$$\frac{\partial\mathcal{L}}{\partial\phi}=\frac{\partial\mathcal{L}}{\partial\theta}\,\frac{\partial h_\phi(z)}{\partial\phi}$$

الرموز
$\partial\mathcal{L}/\partial\theta$تدرّج الخسارة بالنسبة لأوزان الهدف
الأبعاد
نفس أبعاد $\phi$
مثال عددي
يُحسب تلقائياً بـ autograd.
علاقتها بالمعمارية
يوضح أن الشبكة الفائقة تُدرّب نهاية لنهاية.

آلية العمل خطوة بخطوة

  1. يُختار التضمين الشرطي z.
  2. تولّد الشبكة الفائقة متجه الأوزان.
  3. يُعاد تشكيله إلى مصفوفات الهدف.
  4. تُنفذ الشبكة الهدف على الدخل.
  5. تُحدّث معاملات الشبكة الفائقة والتضمينات.

المزايا والقيود

المزايا

  • مشاركة معرفة بين مهام أو طبقات.
  • ضغط المعاملات.
  • أساس لتعلم متعدد المهام والتعلم الفوقي والتعلم المستمر.

القيود

  • التدريب قد يكون غير مستقر.
  • توليد أوزان شبكات كبيرة يحتاج حيلاً (تقسيم إلى قطع).

متى تُستخدم؟ ومتى لا؟

تناسب

  • التعلم متعدد المهام والتعلم المستمر.
  • تكييف نموذج حسب شرط خارجي.

لا تناسب

  • مهمة واحدة بسيطة حيث لا فائدة من التوليد.

التطبيقات

المجالالاستخدام
التعلم الآلي المؤتمت (AutoML)تعلم فوقي وتكييف سريع لمهام جديدة.
معالجة اللغة الطبيعيةأوزان متغيرة زمنياً لـ LSTM (HyperLSTM).
الرؤية الحاسوبيةتوليد نوى التفاف وضغط الشبكات.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Hypernetwork تولّد أوزان MLP لكل مهمة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class HyperMLP(nn.Module):
    """الهدف: MLP 1→16→1. الشبكة الفائقة تولّد كل معاملاته (49) من تضمين المهمة."""
    def __init__(self, n_tasks, k=4, h=16):
        super().__init__()
        self.h = h
        self.task_emb = nn.Embedding(n_tasks, k)
        self.P = h + h + h + 1                                  # W1(1×h)+b1+W2(h×1)+b2
        self.hyper = nn.Sequential(nn.Linear(k, 64), nn.ReLU(), nn.Linear(64, self.P))
    def forward(self, x, task):                                 # x: B×1، task: B
        p = self.hyper(self.task_emb(task))                     # B×P أوزان لكل عيّنة
        h = self.h
        W1, b1, W2, b2 = p[:, :h], p[:, h:2 * h], p[:, 2 * h:3 * h], p[:, 3 * h:]
        z = torch.tanh(x * W1 + b1)                             # الشبكة الهدف بالأوزان المولّدة
        return (z * W2).sum(1, keepdim=True) + b2

# 3) إعداد البيانات
# 6 مهام: y = a_t · sin(x + φ_t)؛ لكل مهمة سعة وطور مختلفان
n_tasks = 6
amp, phase = torch.rand(n_tasks) * 1.5 + 0.5, torch.rand(n_tasks) * 3
task = torch.randint(0, n_tasks, (1500,))
x = torch.rand(1500, 1) * 6 - 3
y = amp[task, None] * torch.sin(x + phase[task, None])
X = torch.cat([x, task[:, None].float()], 1)                    # نمرّر رقم المهمة مع الدخل
X_train, y_train, X_test, y_test = X[:1200], y[:1200], X[1200:], y[1200:]
model = HyperMLP(n_tasks)

# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 40, 64
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb[:, :1], xb[:, 1].long())                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb[:, :1], xb[:, 1].long())
    mse = F.mse_loss(out, y_test).item()
    print(f"test MSE = {mse:.4f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb[:, :1], xb[:, 1].long())
    print("prediction:", out.squeeze().tolist())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.3 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test MSE = 0.0010

عدد المعاملات القابلة للتدريب في المثال: model = 3٬529.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2016

الشبكات العصبية المعيارية

Modular Neural Networks (Modular NN)

شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.

المعماريات المتخصصة

متوسط1991

خليط الخبراء

Mixture of Experts (MoE)

عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.

المعماريات المتخصصة

متقدم2017

البحث عن المعماريات العصبية

Neural Architecture Search (NAS)

أتمتة تصميم المعماريات: فضاء بحث يحدد المعماريات الممكنة، واستراتيجية بحث (تعلم معزز، تطور، بايزي، تدرج) تقترح مرشحين، واستراتيجية لتقدير أدائهم.

المعماريات المتخصصة

أفكار بحثية

  • استخدام الشبكات الفائقة في التعلم المستمر لتصنيف صور طبية من مستشفيات متعددة مع قياس النسيان.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما الذي تولّده الشبكة الفائقة؟

  2. مفهوم

    كيف تُدرّب معاملات الشبكة الفائقة؟

  3. مفهوم

    ما الفائدة من توليد أوزان مختلفة لكل مهمة من تضمين صغير؟

المراجع

  1. Ha, D., Dai, A., & Le, Q. V. (2017). HyperNetworks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1609.09106

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20