الشبكات العصبية المعيارية (Modular NN)
Modular Neural Networks
شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.
نظرة عامة
| الاسم | الشبكات العصبية المعيارية – Modular Neural Networks |
|---|---|
| سنة الظهور | 2016 |
| الباحثون | Jacob Andreas، Marcus Rohrbach، Trevor Darrell، Dan Klein (Neural Module Networks) |
| الجهة | UC Berkeley |
| الورقة الأصلية | Neural module networks DOI arXiv |
| نوع البيانات | صور، نصوص، أنواع متعددة |
| المجالات | الرؤية الحاسوبية، الروبوتات، معالجة اللغة الطبيعية |
| الكلفة الحسابية | حسب البرنامج؛ غالباً صغيرة. |
| حجم البيانات | متوسطة مع تنوع البرامج. |
المشكلة التي تحلها
الشبكات الضخمة الموحدة تحفظ أنماطاً ولا تعمم تركيبياً بسهولة (مثلاً: تعرف "أحمر" و"مثلث" لكنها تفشل في "مثلث أحمر" إن لم تره).
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات، آلية الانتباه
الفكرة الأساسية
كل وحدة تؤدي عملية بسيطة بأوزانها الخاصة. "تخطيط" (برنامج) يحدد كيف تُركّب الوحدات لكل مثال: Count(And(Find[red], Find[triangle])). لأن الوحدة Find[red] نفسها تُستخدم في كل البرامج، تتعلم معناها بشكل مستقل، فيمكن تركيبها مع وحدات أخرى في برامج جديدة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Modules | وحدات صغيرة متخصصة |
| Layout / program | يحدد التركيب |
| Router or parser | يختار التخطيط |
| Shared training | عبر برامج متعددة |
المعادلات
1. تركيب الوحدات
| $\mathrm{Find}_a$ | انتباه على الخلايا ذات الصفة a |
| $\odot$ | تقاطع (And) |
2. التوجيه المرن (عام)
| $r_m$ | درجة توجيه |
| $f_m$ | الوحدة m |
آلية العمل خطوة بخطوة
- عرّف مكتبة وحدات.
- حدد التخطيط لكل مثال (معطى أو متعلَّم).
- نفّذ الوحدات بالترتيب.
- درّب على برامج متنوعة.
- اختبر على تراكيب جديدة.
المزايا والقيود
المزايا
- تعميم تركيبي.
- قابلية تفسير (خطوات واضحة).
- إعادة استخدام وتحديث وحدات منفردة.
القيود
- يحتاج تخطيطات أو محللاً.
- تعلم التخطيط نفسه صعب.
- أبطأ من شبكة موحدة.
متى تُستخدم؟ ومتى لا؟
تناسب
- مهام تركيبية واضحة البنية.
- أنظمة تحتاج تفسيراً خطوة بخطوة.
لا تناسب
- مهام إدراكية بلا بنية تركيبية.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الرؤية الحاسوبية | الإجابة عن أسئلة الصور. |
| معالجة اللغة الطبيعية | فهم التعليمات المركبة ومحولات (adapters) قابلة للتركيب. |
| الروبوتات | تركيب مهارات حركية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Neural Module Network: وحدات Find/And/Count وتعميم تركيبي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
ATTR = ['red', 'green', 'blue', 'circle', 'square', 'triangle']
class Find(nn.Module):
"""وحدة Find[a]: تعطي انتباهاً (0..1) على الخلايا التي تحمل الصفة a. وحدة لكل صفة، تُعاد في أي برنامج."""
def __init__(self, d=7):
super().__init__(); self.net = nn.Sequential(nn.Linear(d, 16), nn.ReLU(), nn.Linear(16, 1))
def forward(self, scene): # scene: B×9×7
return torch.sigmoid(self.net(scene)).squeeze(-1) # B×9
class NeuralModuleNet(nn.Module):
def __init__(self, max_count=9):
super().__init__()
self.find = nn.ModuleDict({a: Find() for a in ATTR})
self.count = nn.Sequential(nn.Linear(1, 32), nn.ReLU(), nn.Linear(32, max_count + 1)) # وحدة Count
def run(self, program, scene):
"""program: ('count', 'red') أو ('count', 'and', 'red', 'circle') — تخطيط يحدد تركيب الوحدات."""
att = self.find[program[-1]](scene)
if program[1] == 'and':
att = att * self.find[program[2]](scene) # وحدة And: تقاطع الانتباهين
return self.count(att.sum(1, keepdim=True))
# 3) إعداد البيانات
# مشاهد 3×3: كل خلية فارغة أو فيها شكل بلون. السؤال برنامج من وحدات، والجواب عدد.
COLORS, SHAPES = ATTR[:3], ATTR[3:]
def make_scenes(n):
s = torch.zeros(n, 9, 7)
occ = torch.rand(n, 9) < 0.7
col, shp = torch.randint(0, 3, (n, 9)), torch.randint(0, 3, (n, 9))
s[..., 0] = (~occ).float()
s.scatter_(2, (1 + col)[..., None], occ[..., None].float())
s.scatter_(2, (4 + shp)[..., None], occ[..., None].float())
return s
def answer(program, scene):
def has(a):
i = ATTR.index(a); return scene[..., 1 + i]
m = has(program[-1]) * (has(program[2]) if program[1] == 'and' else 1)
return m.sum(1).long()
# تراكيب "لون و شكل" للتدريب، ونحجب تركيبين للاختبار لقياس التعميم التركيبي
ALL_AND = [('count', 'and', c, s) for c in COLORS for s in SHAPES]
HELD_OUT = [('count', 'and', 'red', 'triangle'), ('count', 'and', 'blue', 'circle')]
TRAIN_PROGRAMS = [('count', a) for a in ATTR] + [p for p in ALL_AND if p not in HELD_OUT]
model = NeuralModuleNet()
# 4) الخسارة والمحسّن
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
# 5) حلقة التدريب: في كل خطوة برنامج عشوائي من برامج التدريب ودفعة مشاهد
for step in range(3000):
prog = TRAIN_PROGRAMS[torch.randint(0, len(TRAIN_PROGRAMS), (1,)).item()]
scene = make_scenes(64)
loss = F.cross_entropy(model.run(prog, scene), answer(prog, scene)) # Forward Pass عبر تخطيط البرنامج
opt.zero_grad(); loss.backward(); opt.step()
if step % 750 == 0 or step == 2999:
print(f"step {step:4d} loss={loss.item():.4f}")
# 6) التقييم: برامج التدريب، ثم تراكيب لم تُرَ إطلاقاً
@torch.no_grad()
def acc(programs, n=500):
r = []
for p in programs:
s = make_scenes(n); r.append((model.run(p, s).argmax(1) == answer(p, s)).float().mean().item())
return sum(r) / len(r)
print(f"accuracy on training programs = {acc(TRAIN_PROGRAMS):.3f}")
print(f"accuracy on held-out compositions = {acc(HELD_OUT):.3f}")
# 7) الاستدلال: كم مثلثاً أحمر في مشهد جديد؟ (تركيب لم يُدرَّب عليه)
with torch.no_grad():
s = make_scenes(1); p = ('count', 'and', 'red', 'triangle')
print("program:", p, "→ predicted:", model.run(p, s).argmax(1).item(), " true:", answer(p, s).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.9 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
accuracy on training programs = 0.996 accuracy on held-out compositions = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 1٬264.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
خليط الخبراء
Mixture of Experts (MoE)
عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.
خليط الخبراء المتناثر
Sparse Mixture of Experts (Sparse MoE)
طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازنة الحمل بين الخبراء.
الشبكات الفائقة
Hypernetworks
شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.
المعماريات العصبية المعززة بالاسترجاع
Retrieval-Augmented Neural Architectures (RAG)
نماذج تجمع ذاكرة غير معلمية (فهرس مستندات) مع نموذج معلمي: مسترجع يجد مقاطع ذات صلة بالسؤال، ومولّد يستخدمها لإنتاج الجواب، فيمكن تحديث المعرفة بتحديث الفهرس دون إعادة ا…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- شبكات معيارية للإجابة عن أسئلة سريرية مركبة على صور الأشعة مع تفسير خطوات الاستدلال.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الميزة الرئيسية للشبكات المعيارية في المثال؟
لماذا؟ مثلث أحمر لم يُرَ لكن الوحدات معروفة.
ماذا يحدد "التخطيط" في NMN؟
لماذا؟ برنامج لكل مثال.
كيف تُنفذ وحدة And على انتباهين؟
لماذا؟ تقاطع ناعم.
المراجع
Andreas, J., Rohrbach, M., Darrell, T., & Klein, D. (2016). Neural module networks. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 39–48. https://doi.org/10.1109/CVPR.2016.12
Pfeiffer, J., Ruder, S., Vulić, I., & Ponti, E. M. (2023). Modular deep learning. Transactions on Machine Learning Research (TMLR). https://arxiv.org/abs/2302.11529
Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79
