كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطالمعماريات المتخصصة

خليط الخبراء (MoE)

Mixture of Experts

عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.

نظرة عامة

الاسمخليط الخبراء – Mixture of Experts
سنة الظهور1991
الباحثونRobert A. Jacobs، Michael I. Jordan، Steven J. Nowlan، Geoffrey E. Hinton
الجهةUniversity of Massachusetts / MIT / University of Toronto
الورقة الأصليةAdaptive mixtures of local experts DOI
نوع البياناتبيانات جدولية، نصوص، أنواع متعددة
المجالاتالبيانات الجدولية، التنبؤ بالسلاسل الزمنية، الرؤية الحاسوبية، معالجة اللغة الطبيعية
الكلفة الحسابية$E$ أضعاف خبير واحد (كثيف).
حجم البياناتمتوسطة.

المشكلة التي تحلها

شبكة واحدة تتعلم مهمة مركبة من أنظمة مختلفة جداً تعاني من التداخل بين الأنماط؛ تقسيم المسألة يدوياً غير ممكن غالباً.

الخلفية والتطور

ما قبلها: الإدراك متعدد الطبقات

  1. 1991

    قدم Jacobs وزملاؤه خليط الخبراء المحليين التكيفي. [مرجع]

  2. 2017

    جعل Shazeer وزملاؤه الخليط متناثراً بمئات أو آلاف الخبراء داخل نماذج لغة. [مرجع]

  3. 2022

    Switch Transformer: توجيه لخبير واحد وتوسع إلى تريليون معامل. [مرجع]

الفكرة الأساسية

$y=\sum_i g_i(x)f_i(x)$ حيث $g=\mathrm{softmax}(W_gx)$. لأن البوابة تعتمد على الدخل، يُكافأ الخبير الذي يحسن الأداء في منطقة ما بوزن أكبر هناك، فيتخصص. في الورقة الأصلية صيغت الخسارة كاحتمال خليط لتشجيع المنافسة بين الخبراء بدل التعاون التام.

مثال: نموذج تنبؤ بالطلب: خبير لأيام العمل، وآخر للعطل، وثالث لمواسم الذروة، والبوابة تتعرف على نوع اليوم.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Experts f_iشبكات مستقلة
Gating network g(x)Softmax على الخبراء
Weighted combination
Specializationتنشأ من التدريب

المعادلات

1. الخرج

$$y(x)=\sum_{i=1}^{E}g_i(x)\,f_i(x),\qquad g(x)=\mathrm{softmax}(W_gx)$$

الرموز
$f_i$الخبير i
$g_i$وزن البوابة
الأبعاد
$g\in\Delta^{E-1}$
مثال عددي
$g=(0.7,0.2,0.1)$ و$f=(1,3,5)$ ⇒ $y=0.7+0.6+0.5=1.8$.
علاقتها بالمعمارية
دمج موزون حسب الدخل.

2. خسارة الخليط في الورقة الأصلية

$$\mathcal{L}=-\log\sum_ig_i\,\exp\!\left(-\tfrac12\lVert d-f_i\rVert^2\right)$$

الرموز
$d$الهدف
الأبعاد
قيمة قياسية
مثال عددي
خبيران مخرجاهما يبعدان 0 و2 عن الهدف مع $g=(0.5,0.5)$: $-\log(0.5e^{0}+0.5e^{-2})\approx0.566$.
علاقتها بالمعمارية
تكافئ احتمال خليط غاوسي وتشجع التخصص.

آلية العمل خطوة بخطوة

  1. مرّر الدخل للبوابة والخبراء.
  2. احسب الأوزان.
  3. ادمج المخرجات.
  4. درّب كل شيء معاً.
  5. افحص تخصص الخبراء.

المزايا والقيود

المزايا

  • تقسيم تلقائي للمسألة.
  • قابلية تفسير (أي خبير يعمل أين).
  • أساس النماذج المتناثرة الضخمة.

القيود

  • النسخة الكثيفة تحسب كل الخبراء دائماً.
  • خطر هيمنة خبير واحد.

متى تُستخدم؟ ومتى لا؟

تناسب

  • بيانات بأنظمة أو مجالات فرعية مختلفة.

لا تناسب

  • مسائل متجانسة بسيطة.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةأساس نماذج اللغة المتناثرة.
التنبؤ بالسلاسل الزمنيةتنبؤ بأنظمة متعددة.
الرؤية الحاسوبيةنماذج رؤية بخبراء متخصصين.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# خليط خبراء كثيف لدالة بثلاثة أنظمة مع فحص التخصص
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class MixtureOfExperts(nn.Module):
    """خليط خبراء كثيف (Jacobs وآخرون 1991): بوابة Softmax تعطي وزناً لكل خبير، والخرج متوسط موزون."""
    def __init__(self, n_experts=4, h=16):
        super().__init__()
        self.experts = nn.ModuleList([nn.Sequential(nn.Linear(1, h), nn.Tanh(), nn.Linear(h, 1)) for _ in range(n_experts)])
        self.gate = nn.Sequential(nn.Linear(1, 16), nn.Tanh(), nn.Linear(16, n_experts))
    def forward(self, x):
        self.g = self.gate(x).softmax(-1)                                   # B×E
        outs = torch.stack([e(x) for e in self.experts], -1).squeeze(1)      # B×E
        return (self.g * outs).sum(-1, keepdim=True)

# 3) إعداد البيانات
# دالة بثلاثة أنظمة مختلفة تماماً (خطي، جيبي، تربيعي) — يناسبها تقسيم العمل بين خبراء
def target(x):
    return torch.where(x < -1, 0.5 * x + 1, torch.where(x < 1, torch.sin(4 * x), (x - 2) ** 2 - 0.5))
X_train = torch.rand(1500, 1) * 6 - 3; y_train = target(X_train) + 0.05 * torch.randn_like(X_train)
X_test = torch.linspace(-3, 3, 400)[:, None]; y_test = target(X_test)
model = MixtureOfExperts()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 60, 64
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    mse = F.mse_loss(out, y_test).item()
    print(f"test MSE = {mse:.4f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("prediction:", out.squeeze().tolist())

# 8) تخصص الخبراء: أي خبير يهيمن في كل منطقة؟
with torch.no_grad():
    model(X_test)
    for name, m in [('x<-1', X_test[:, 0] < -1), ('-1<=x<1', (X_test[:, 0] >= -1) & (X_test[:, 0] < 1)), ('x>=1', X_test[:, 0] >= 1)]:
        g = model.g[m].mean(0)
        print(f"region {name:8s}: mean gate = {[round(v, 2) for v in g.tolist()]}")

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.7 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test MSE = 0.0265

عدد المعاملات القابلة للتدريب في المثال: model = 296.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2017

خليط الخبراء المتناثر

Sparse Mixture of Experts (Sparse MoE)

طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازنة الحمل بين الخبراء.

المعماريات المتخصصة

متقدم2016

الشبكات العصبية المعيارية

Modular Neural Networks (Modular NN)

شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.

المعماريات المتخصصة

أساسي2015

الشبكات العصبية متعددة الفروع

Multi-Branch Neural Networks

معماريات تعالج الدخل نفسه أو مدخلات مختلفة عبر فروع متوازية (أحجام نوى مختلفة، أو وسائط مختلفة، أو مقاييس مختلفة) ثم تدمج النتائج بالضم أو الجمع.

المعماريات الهجينة

متوسط2017

الشبكات الفائقة

Hypernetworks

شبكة صغيرة (الشبكة الفائقة) تولّد أوزان شبكة أخرى (الشبكة الهدف)، فتصبح الأوزان دالة لمدخل شرطي مثل هوية المهمة أو رقم الطبقة.

المعماريات العصبية المتقدمةالمعماريات المتخصصة

أفكار بحثية

  • خليط خبراء لتشخيص أمراض متعددة من بيانات سريرية متباينة المصادر مع تحليل تخصص الخبراء.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما وظيفة شبكة البوابة في MoE؟

  2. رياضي

    مع $g=(0.5,0.5)$ و$f=(2,4)$ ما الخرج؟

  3. مفهوم

    لماذا يتخصص الخبراء؟

المراجع

  1. Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79

    DOIتحقق آلي عبر Crossref – 2026-11-20

  2. Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1701.06538

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39. https://arxiv.org/abs/2101.03961

    arXivالناشرتحقق آلي عبر OpenAlex/arXiv – 2026-11-20