الشبكات الفائقة (HyperNet)
Hypernetworks
شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.
نظرة عامة
| الاسم | الشبكات الفائقة – Hypernetworks |
|---|---|
| سنة الظهور | 2017 |
| الباحثون | David Ha، Andrew Dai، Quoc V. Le |
| الجهة | Google Brain |
| الورقة الأصلية | HyperNetworks arXiv |
| نوع البيانات | أنواع متعددة |
| المجالات | التعلم الآلي المؤتمت (AutoML)، الرؤية الحاسوبية، معالجة اللغة الطبيعية |
المشكلة التي تحلها
تخزين أوزان مستقلة لكل طبقة أو لكل مهمة مكلف، ومشاركة الأوزان الكاملة تقيّد المرونة. نحتاج طريقة وسطى تولّد أوزاناً مختلفة من تمثيل مضغوط.
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات، الشبكة العصبية المتكررة
- 2017
قدّم Ha وDai وLe الشبكات الفائقة الساكنة (لـ CNN) والديناميكية (لـ LSTM) في ICLR 2017. [مرجع]
الفكرة الأساسية
بدلاً من تعلم $W$ مباشرة، نتعلم دالة $W=h_\phi(z)$ حيث $z$ تضمين صغير. للشبكات الالتفافية يكون لكل طبقة تضمين $z_j$ فتولّد الشبكة الفائقة نواتها. وفي الصيغة الديناميكية يتغير $z$ مع كل خطوة زمنية فتتغير أوزان LSTM عبر الزمن.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Conditioning input z | تضمين مهمة أو طبقة أو خطوة زمنية |
| Hypernetwork h_φ | MLP يولّد متجه الأوزان |
| Target network | شبكة تستخدم الأوزان المولّدة |
| Training | التدرّج يمر عبر الأوزان المولّدة إلى φ |
المعادلات
1. توليد الأوزان
| $h_\phi$ | الشبكة الفائقة |
| $z$ | التضمين الشرطي |
| $f$ | الشبكة الهدف |
2. التدرّج عبر الأوزان المولّدة
| $\partial\mathcal{L}/\partial\theta$ | تدرّج الخسارة بالنسبة لأوزان الهدف |
آلية العمل خطوة بخطوة
- يُختار التضمين الشرطي z.
- تولّد الشبكة الفائقة متجه الأوزان.
- يُعاد تشكيله إلى مصفوفات الهدف.
- تُنفذ الشبكة الهدف على الدخل.
- تُحدّث معاملات الشبكة الفائقة والتضمينات.
المزايا والقيود
المزايا
- مشاركة معرفة بين مهام أو طبقات.
- ضغط المعاملات.
- أساس لتعلم متعدد المهام والتعلم الفوقي والتعلم المستمر.
القيود
- التدريب قد يكون غير مستقر.
- توليد أوزان شبكات كبيرة يحتاج حيلاً (تقسيم إلى قطع).
متى تُستخدم؟ ومتى لا؟
تناسب
- التعلم متعدد المهام والتعلم المستمر.
- تكييف نموذج حسب شرط خارجي.
لا تناسب
- مهمة واحدة بسيطة حيث لا فائدة من التوليد.
التطبيقات
| المجال | الاستخدام |
|---|---|
| التعلم الآلي المؤتمت (AutoML) | تعلم فوقي وتكييف سريع لمهام جديدة. |
| معالجة اللغة الطبيعية | أوزان متغيرة زمنياً لـ LSTM (HyperLSTM). |
| الرؤية الحاسوبية | توليد نوى التفاف وضغط الشبكات. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Hypernetwork تولّد أوزان MLP لكل مهمة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class HyperMLP(nn.Module):
"""الهدف: MLP 1→16→1. الشبكة الفائقة تولّد كل معاملاته (49) من تضمين المهمة."""
def __init__(self, n_tasks, k=4, h=16):
super().__init__()
self.h = h
self.task_emb = nn.Embedding(n_tasks, k)
self.P = h + h + h + 1 # W1(1×h)+b1+W2(h×1)+b2
self.hyper = nn.Sequential(nn.Linear(k, 64), nn.ReLU(), nn.Linear(64, self.P))
def forward(self, x, task): # x: B×1، task: B
p = self.hyper(self.task_emb(task)) # B×P أوزان لكل عيّنة
h = self.h
W1, b1, W2, b2 = p[:, :h], p[:, h:2 * h], p[:, 2 * h:3 * h], p[:, 3 * h:]
z = torch.tanh(x * W1 + b1) # الشبكة الهدف بالأوزان المولّدة
return (z * W2).sum(1, keepdim=True) + b2
# 3) إعداد البيانات
# 6 مهام: y = a_t · sin(x + φ_t)؛ لكل مهمة سعة وطور مختلفان
n_tasks = 6
amp, phase = torch.rand(n_tasks) * 1.5 + 0.5, torch.rand(n_tasks) * 3
task = torch.randint(0, n_tasks, (1500,))
x = torch.rand(1500, 1) * 6 - 3
y = amp[task, None] * torch.sin(x + phase[task, None])
X = torch.cat([x, task[:, None].float()], 1) # نمرّر رقم المهمة مع الدخل
X_train, y_train, X_test, y_test = X[:1200], y[:1200], X[1200:], y[1200:]
model = HyperMLP(n_tasks)
# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 40, 64
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb[:, :1], xb[:, 1].long()) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb[:, :1], xb[:, 1].long())
mse = F.mse_loss(out, y_test).item()
print(f"test MSE = {mse:.4f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb[:, :1], xb[:, 1].long())
print("prediction:", out.squeeze().tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.3 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.0010
عدد المعاملات القابلة للتدريب في المثال: model = 3٬529.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
الشبكات العصبية المعيارية
Modular Neural Networks (Modular NN)
شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.
خليط الخبراء
Mixture of Experts (MoE)
عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.
البحث عن المعماريات العصبية
Neural Architecture Search (NAS)
أتمتة تصميم المعماريات: فضاء بحث يحدد المعماريات الممكنة، واستراتيجية بحث (تعلم معزز، تطور، بايزي، تدرج) تقترح مرشحين، واستراتيجية لتقدير أدائهم.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- استخدام الشبكات الفائقة في التعلم المستمر لتصنيف صور طبية من مستشفيات متعددة مع قياس النسيان.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي تولّده الشبكة الفائقة؟
لماذا؟ هذا تعريفها الأساسي.
كيف تُدرّب معاملات الشبكة الفائقة؟
لماذا؟ الأوزان المولّدة دالة قابلة للاشتقاق في φ.
ما الفائدة من توليد أوزان مختلفة لكل مهمة من تضمين صغير؟
لماذا؟ التضمين الصغير يختار "نسخة" من الأوزان.
المراجع
Ha, D., Dai, A., & Le, Q. V. (2017). HyperNetworks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1609.09106
