خليط الخبراء المتناثر (Sparse MoE)
Sparse Mixture of Experts
طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازنة الحمل بين الخبراء.
نظرة عامة
| الاسم | خليط الخبراء المتناثر – Sparse Mixture of Experts |
|---|---|
| سنة الظهور | 2017 |
| الباحثون | Noam Shazeer، Azalia Mirhoseini، Krzysztof Maziarz، Andy Davis، Quoc Le، Geoffrey Hinton، Jeff Dean |
| الجهة | Google Brain |
| الورقة الأصلية | Outrageously large neural networks: The sparsely-gated mixture-of-experts layer arXiv |
| نوع البيانات | نصوص، أنواع متعددة |
| المجالات | الرؤية الحاسوبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $\approx k/E$ من حساب النموذج الكثيف المكافئ في طبقات الخبراء، لكن الذاكرة كاملة. |
| حجم البيانات | كبيرة جداً عادة. |
المشكلة التي تحلها
زيادة سعة النماذج الكثيفة تزيد الحساب لكل مثال بنفس النسبة. المطلوب "حساب شرطي": معاملات كثيرة لكن جزء صغير منها يعمل لكل دخل.
الخلفية والتطور
ما قبلها: خليط الخبراء، المحوّل
الفكرة الأساسية
البوابة تعطي درجة لكل خبير، تُضاف ضوضاء أثناء التدريب، ويُحتفظ بأعلى k درجات فقط ثم Softmax عليها. الخبراء غير المختارين لا يُحسبون. بدون تنظيم، تتعلم البوابة استخدام خبراء قليلين فقط، لذلك تضاف خسارة موازنة تدفع نحو توزيع متساوٍ، وتُحدّد "سعة" لكل خبير في الأنظمة الموزعة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Router / gate | درجات لكل خبير |
| Noisy top-k selection | |
| Experts (FFN) | |
| Load-balancing loss | |
| Capacity factor | حد لعدد الرموز لكل خبير |
المعادلات
1. البوابة الضوضائية top-k
| $\epsilon_i$ | $\mathcal N(0,1)$ |
| $\mathrm{KeepTopK}$ | تضع $-\infty$ لغير المختارين |
2. خسارة موازنة الحمل (Switch)
| $f_i$ | نسبة الرموز الموجهة للخبير i |
| $P_i$ | متوسط احتمال الموجّه للخبير i |
| $\alpha$ | $10^{-2}$ في الورقة |
3. نسبة الحساب النشط
| $k$ | عدد الخبراء المختارين لكل رمز |
| $E$ | العدد الكلي للخبراء |
آلية العمل خطوة بخطوة
- احسب درجات الموجّه.
- أضف ضوضاء (تدريب).
- اختر top-k.
- أرسل الرموز للخبراء المختارين.
- ادمج المخرجات.
- أضف خسارة الموازنة.
المزايا والقيود
المزايا
- سعة ضخمة بحساب محدود لكل رمز.
- كفاءة تدريب واستدلال لكل FLOP.
القيود
- ذاكرة لكل الخبراء.
- عدم استقرار التدريب وانهيار التوجيه.
- تعقيد التوزيع على الأجهزة والاتصال.
- ضبط دقيق أصعب.
متى تُستخدم؟ ومتى لا؟
تناسب
- نماذج لغة ضخمة بميزانية حساب محدودة.
لا تناسب
- أجهزة بذاكرة صغيرة.
- نماذج صغيرة لا تستفيد من السعة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | نماذج لغة كبيرة (Switch، Mixtral). |
| الرؤية الحاسوبية | محوّلات رؤية متناثرة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Sparse MoE: توجيه top-2 مع ضوضاء وخسارة موازنة الحمل
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class SparseMoE(nn.Module):
"""طبقة خبراء متناثرة: كل عيّنة تُوجَّه إلى أفضل k خبراء فقط (top-k) مع ضوضاء بوابة وخسارة موازنة الحمل."""
def __init__(self, d=8, h=32, n_experts=8, k=2, n_classes=2):
super().__init__()
self.k, self.E = k, n_experts
self.w_gate, self.w_noise = nn.Linear(d, n_experts, bias=False), nn.Linear(d, n_experts, bias=False)
self.experts = nn.ModuleList([nn.Sequential(nn.Linear(d, h), nn.ReLU(), nn.Linear(h, n_classes)) for _ in range(n_experts)])
def forward(self, x):
logits = self.w_gate(x)
if self.training: # ضوضاء قابلة للتعلم (Shazeer وآخرون 2017)
logits = logits + torch.randn_like(logits) * F.softplus(self.w_noise(x))
topv, topi = logits.topk(self.k, -1)
gates = torch.zeros_like(logits).scatter(-1, topi, topv.softmax(-1)) # أوزان صفرية لغير المختارين
out = torch.zeros(x.shape[0], self.experts[0][-1].out_features)
for e in range(self.E): # كل خبير يعالج فقط العيّنات الموجهة إليه
idx = (gates[:, e] > 0).nonzero(as_tuple=True)[0]
if len(idx): out[idx] += gates[idx, e:e + 1] * self.experts[e](x[idx])
# خسارة موازنة الحمل بأسلوب Switch: E · Σ_i f_i · P_i
probs = logits.softmax(-1)
f = torch.zeros(self.E).scatter_add(0, topi[:, 0], torch.ones(len(x))) / len(x) # نسبة العينات (الخبير الأول)
self.aux = self.E * (f * probs.mean(0)).sum()
self.load = (gates > 0).float().mean(0)
return out
# 3) إعداد البيانات
# 4 مجموعات (clusters)، لكل منها قاعدة تصنيف خطية مختلفة — بيانات غير متجانسة تناسب التخصص
def make(n, d=8):
c = torch.randint(0, 4, (n,))
centers = torch.tensor([[3.0] * 4 + [0.0] * 4, [-3.0] * 4 + [0.0] * 4, [0.0] * 4 + [3.0] * 4, [0.0] * 4 + [-3.0] * 4])
W = torch.randn(4, d, generator=torch.Generator().manual_seed(1))
x = centers[c] + torch.randn(n, d)
y = ((x - centers[c]) * W[c]).sum(1).gt(0).long()
return x, y
X_train, y_train = make(4000)
X_test, y_test = make(1000)
model = SparseMoE()
# 4) الخسارة: Cross-Entropy + معامل صغير × خسارة موازنة الحمل
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
# 5) حلقة التدريب
EPOCHS, BATCH = 15, 128
for epoch in range(EPOCHS):
model.train(); perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
out = model(X_train[idx]) # Forward Pass (top-2 فقط)
loss = F.cross_entropy(out, y_train[idx]) + 0.01 * model.aux
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
if epoch % 5 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={tot / len(X_train):.4f}")
# 6) التقييم: الدقة، وتوزيع الحمل على الخبراء، ونسبة الخبراء المفعّلين لكل عيّنة
model.eval()
with torch.no_grad():
out = model(X_test)
print(f"test accuracy = {(out.argmax(1) == y_test).float().mean().item():.3f}")
print("expert load (fraction of samples routed):", [round(v, 2) for v in model.load.tolist()])
print(f"active experts per sample = {model.k} of {model.E} → {model.k / model.E:.0%} of expert compute")
# 7) الاستدلال
with torch.no_grad():
print("predicted class:", model(X_test[:1]).argmax(1).item(), " true:", y_test[0].item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.925
عدد المعاملات القابلة للتدريب في المثال: model = 2٬960.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
خليط الخبراء
Mixture of Experts (MoE)
عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
الشبكات العصبية المعيارية
Modular Neural Networks (Modular NN)
شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- دراسة تخصص خبراء نموذج لغوي متناثر في النصوص العربية ذات اللهجات المختلفة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي يميز MoE المتناثر عن الكثيف؟
لماذا؟ top-k.
مع 16 خبيراً وk=2، ما نسبة الخبراء النشطين لكل رمز؟
لماذا؟ $2/16$.
لماذا تُضاف خسارة موازنة الحمل؟
لماذا؟ انهيار التوجيه مشكلة معروفة.
المراجع
Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1701.06538
Lepikhin, D., Lee, H., Xu, Y., Chen, D., Firat, O., Huang, Y., Krikun, M., Shazeer, N., & Chen, Z. (2021). GShard: Scaling giant models with conditional computation and automatic sharding. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2006.16668
Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39. https://arxiv.org/abs/2101.03961
Jiang, A. Q., Sablayrolles, A., Roux, A., Mensch, A., Savary, B., Bamford, C., et al. (2024). Mixtral of experts. arXiv preprint. https://arxiv.org/abs/2401.04088
Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79
