خليط الخبراء (MoE)
Mixture of Experts
عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.
نظرة عامة
| الاسم | خليط الخبراء – Mixture of Experts |
|---|---|
| سنة الظهور | 1991 |
| الباحثون | Robert A. Jacobs، Michael I. Jordan، Steven J. Nowlan، Geoffrey E. Hinton |
| الجهة | University of Massachusetts / MIT / University of Toronto |
| الورقة الأصلية | Adaptive mixtures of local experts DOI |
| نوع البيانات | بيانات جدولية، نصوص، أنواع متعددة |
| المجالات | البيانات الجدولية، التنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $E$ أضعاف خبير واحد (كثيف). |
| حجم البيانات | متوسطة. |
المشكلة التي تحلها
شبكة واحدة تتعلم مهمة مركبة من أنظمة مختلفة جداً تعاني من التداخل بين الأنماط؛ تقسيم المسألة يدوياً غير ممكن غالباً.
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات
الفكرة الأساسية
$y=\sum_i g_i(x)f_i(x)$ حيث $g=\mathrm{softmax}(W_gx)$. لأن البوابة تعتمد على الدخل، يُكافأ الخبير الذي يحسن الأداء في منطقة ما بوزن أكبر هناك، فيتخصص. في الورقة الأصلية صيغت الخسارة كاحتمال خليط لتشجيع المنافسة بين الخبراء بدل التعاون التام.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Experts f_i | شبكات مستقلة |
| Gating network g(x) | Softmax على الخبراء |
| Weighted combination | |
| Specialization | تنشأ من التدريب |
المعادلات
1. الخرج
| $f_i$ | الخبير i |
| $g_i$ | وزن البوابة |
2. خسارة الخليط في الورقة الأصلية
| $d$ | الهدف |
آلية العمل خطوة بخطوة
- مرّر الدخل للبوابة والخبراء.
- احسب الأوزان.
- ادمج المخرجات.
- درّب كل شيء معاً.
- افحص تخصص الخبراء.
المزايا والقيود
المزايا
- تقسيم تلقائي للمسألة.
- قابلية تفسير (أي خبير يعمل أين).
- أساس النماذج المتناثرة الضخمة.
القيود
- النسخة الكثيفة تحسب كل الخبراء دائماً.
- خطر هيمنة خبير واحد.
متى تُستخدم؟ ومتى لا؟
تناسب
- بيانات بأنظمة أو مجالات فرعية مختلفة.
لا تناسب
- مسائل متجانسة بسيطة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | أساس نماذج اللغة المتناثرة. |
| التنبؤ بالسلاسل الزمنية | تنبؤ بأنظمة متعددة. |
| الرؤية الحاسوبية | نماذج رؤية بخبراء متخصصين. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# خليط خبراء كثيف لدالة بثلاثة أنظمة مع فحص التخصص
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class MixtureOfExperts(nn.Module):
"""خليط خبراء كثيف (Jacobs وآخرون 1991): بوابة Softmax تعطي وزناً لكل خبير، والخرج متوسط موزون."""
def __init__(self, n_experts=4, h=16):
super().__init__()
self.experts = nn.ModuleList([nn.Sequential(nn.Linear(1, h), nn.Tanh(), nn.Linear(h, 1)) for _ in range(n_experts)])
self.gate = nn.Sequential(nn.Linear(1, 16), nn.Tanh(), nn.Linear(16, n_experts))
def forward(self, x):
self.g = self.gate(x).softmax(-1) # B×E
outs = torch.stack([e(x) for e in self.experts], -1).squeeze(1) # B×E
return (self.g * outs).sum(-1, keepdim=True)
# 3) إعداد البيانات
# دالة بثلاثة أنظمة مختلفة تماماً (خطي، جيبي، تربيعي) — يناسبها تقسيم العمل بين خبراء
def target(x):
return torch.where(x < -1, 0.5 * x + 1, torch.where(x < 1, torch.sin(4 * x), (x - 2) ** 2 - 0.5))
X_train = torch.rand(1500, 1) * 6 - 3; y_train = target(X_train) + 0.05 * torch.randn_like(X_train)
X_test = torch.linspace(-3, 3, 400)[:, None]; y_test = target(X_test)
model = MixtureOfExperts()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 60, 64
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
mse = F.mse_loss(out, y_test).item()
print(f"test MSE = {mse:.4f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("prediction:", out.squeeze().tolist())
# 8) تخصص الخبراء: أي خبير يهيمن في كل منطقة؟
with torch.no_grad():
model(X_test)
for name, m in [('x<-1', X_test[:, 0] < -1), ('-1<=x<1', (X_test[:, 0] >= -1) & (X_test[:, 0] < 1)), ('x>=1', X_test[:, 0] >= 1)]:
g = model.g[m].mean(0)
print(f"region {name:8s}: mean gate = {[round(v, 2) for v in g.tolist()]}")
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.7 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.0265
عدد المعاملات القابلة للتدريب في المثال: model = 296.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
خليط الخبراء المتناثر
Sparse Mixture of Experts (Sparse MoE)
طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازنة الحمل بين الخبراء.
الشبكات العصبية المعيارية
Modular Neural Networks (Modular NN)
شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.
الشبكات العصبية متعددة الفروع
Multi-Branch Neural Networks
معماريات تعالج الدخل نفسه أو مدخلات مختلفة عبر فروع متوازية (أحجام نوى مختلفة، أو وسائط مختلفة، أو مقاييس مختلفة) ثم تدمج النتائج بالضم أو الجمع.
الشبكات الفائقة
Hypernetworks
شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- خليط خبراء لتشخيص أمراض متعددة من بيانات سريرية متباينة المصادر مع تحليل تخصص الخبراء.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما وظيفة شبكة البوابة في MoE؟
لماذا؟ تعطي توزيعاً على الخبراء.
مع $g=(0.5,0.5)$ و$f=(2,4)$ ما الخرج؟
لماذا؟ $1+2$.
لماذا يتخصص الخبراء؟
لماذا؟ التخصص ينشأ من التدريب المشترك.
المراجع
Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79
Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1701.06538
Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39. https://arxiv.org/abs/2101.03961
