كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالمعماريات المتخصصة

خليط الخبراء المتناثر (Sparse MoE)

Sparse Mixture of Experts

طبقة خبراء يُفعّل فيها لكل رمز عدد صغير فقط من الخبراء (top-k)، فيزداد عدد معاملات النموذج كثيراً دون زيادة مماثلة في الحساب لكل رمز، مع آليات لموازنة الحمل بين الخبراء.

نظرة عامة

الاسمخليط الخبراء المتناثر – Sparse Mixture of Experts
سنة الظهور2017
الباحثونNoam Shazeer، Azalia Mirhoseini، Krzysztof Maziarz، Andy Davis، Quoc Le، Geoffrey Hinton، Jeff Dean
الجهةGoogle Brain
الورقة الأصليةOutrageously large neural networks: The sparsely-gated mixture-of-experts layer arXiv
نوع البياناتنصوص، أنواع متعددة
المجالاتالرؤية الحاسوبية، معالجة اللغة الطبيعية
الكلفة الحسابية$\approx k/E$ من حساب النموذج الكثيف المكافئ في طبقات الخبراء، لكن الذاكرة كاملة.
حجم البياناتكبيرة جداً عادة.

المشكلة التي تحلها

زيادة سعة النماذج الكثيفة تزيد الحساب لكل مثال بنفس النسبة. المطلوب "حساب شرطي": معاملات كثيرة لكن جزء صغير منها يعمل لكل دخل.

الخلفية والتطور

ما قبلها: خليط الخبراء، المحوّل

  1. 2017

    طبقة MoE متناثرة ببوابة ضوضائية top-k بين طبقات LSTM. [مرجع]

  2. 2021

    GShard: خبراء متناثرة في Transformer مع تجزئة تلقائية. [مرجع]

  3. 2022

    Switch Transformer: k=1 وخسارة موازنة مبسطة. [مرجع]

  4. 2024

    Mixtral 8x7B: 8 خبراء، رمز يستخدم 2؛ نحو 47B معامل كلي و13B نشط لكل رمز حسب الورقة. [مرجع]

الفكرة الأساسية

البوابة تعطي درجة لكل خبير، تُضاف ضوضاء أثناء التدريب، ويُحتفظ بأعلى k درجات فقط ثم Softmax عليها. الخبراء غير المختارين لا يُحسبون. بدون تنظيم، تتعلم البوابة استخدام خبراء قليلين فقط، لذلك تضاف خسارة موازنة تدفع نحو توزيع متساوٍ، وتُحدّد "سعة" لكل خبير في الأنظمة الموزعة.

مثال: في Transformer متناثر، تستبدل طبقة FFN بـ 8 خبراء؛ رموز البرمجة تتجه غالباً لخبراء معينين ورموز اللغة الطبيعية لآخرين (تخصص غير مضمون وقد يكون نحوياً أكثر منه موضوعياً).

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Router / gateدرجات لكل خبير
Noisy top-k selection
Experts (FFN)
Load-balancing loss
Capacity factorحد لعدد الرموز لكل خبير

المعادلات

1. البوابة الضوضائية top-k

$$H(x)_i=(xW_g)_i+\epsilon_i\cdot\mathrm{softplus}\big((xW_{noise})_i\big),\qquad G(x)=\mathrm{softmax}\big(\mathrm{KeepTopK}(H(x),k)\big)$$

الرموز
$\epsilon_i$$\mathcal N(0,1)$
$\mathrm{KeepTopK}$تضع $-\infty$ لغير المختارين
الأبعاد
$G\in\mathbb{R}^{E}$ بها k قيم غير صفرية
مثال عددي
$H=(2,1,0.5,-1)$، $k=2$ ⇒ $G=(\sigma,1-\sigma,0,0)$ مع $\sigma=e^2/(e^2+e^1)\approx0.731$.
علاقتها بالمعمارية
الحساب الشرطي.

2. خسارة موازنة الحمل (Switch)

$$\mathcal{L}_{aux}=\alpha\,E\sum_{i=1}^{E}f_i\,P_i$$

الرموز
$f_i$نسبة الرموز الموجهة للخبير i
$P_i$متوسط احتمال الموجّه للخبير i
$\alpha$$10^{-2}$ في الورقة
الأبعاد
قيمة قياسية
مثال عددي
توزيع متساوٍ على 4 خبراء: $f_i=P_i=0.25$ ⇒ $4\times4\times0.0625=1$ (الحد الأدنى)، ومع خبير مهيمن تكبر القيمة.
علاقتها بالمعمارية
تمنع انهيار التوجيه.

3. نسبة الحساب النشط

$$\rho=\frac{k}{E}$$

الرموز
$k$عدد الخبراء المختارين لكل رمز
$E$العدد الكلي للخبراء
الأبعاد
نسبة
مثال عددي
Mixtral: $k=2$، $E=8$ ⇒ يعمل ربع خبراء كل طبقة لكل رمز.
علاقتها بالمعمارية
سبب الكفاءة.

آلية العمل خطوة بخطوة

  1. احسب درجات الموجّه.
  2. أضف ضوضاء (تدريب).
  3. اختر top-k.
  4. أرسل الرموز للخبراء المختارين.
  5. ادمج المخرجات.
  6. أضف خسارة الموازنة.

المزايا والقيود

المزايا

  • سعة ضخمة بحساب محدود لكل رمز.
  • كفاءة تدريب واستدلال لكل FLOP.

القيود

  • ذاكرة لكل الخبراء.
  • عدم استقرار التدريب وانهيار التوجيه.
  • تعقيد التوزيع على الأجهزة والاتصال.
  • ضبط دقيق أصعب.

متى تُستخدم؟ ومتى لا؟

تناسب

  • نماذج لغة ضخمة بميزانية حساب محدودة.

لا تناسب

  • أجهزة بذاكرة صغيرة.
  • نماذج صغيرة لا تستفيد من السعة.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةنماذج لغة كبيرة (Switch، Mixtral).
الرؤية الحاسوبيةمحوّلات رؤية متناثرة.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Sparse MoE: توجيه top-2 مع ضوضاء وخسارة موازنة الحمل
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class SparseMoE(nn.Module):
    """طبقة خبراء متناثرة: كل عيّنة تُوجَّه إلى أفضل k خبراء فقط (top-k) مع ضوضاء بوابة وخسارة موازنة الحمل."""
    def __init__(self, d=8, h=32, n_experts=8, k=2, n_classes=2):
        super().__init__()
        self.k, self.E = k, n_experts
        self.w_gate, self.w_noise = nn.Linear(d, n_experts, bias=False), nn.Linear(d, n_experts, bias=False)
        self.experts = nn.ModuleList([nn.Sequential(nn.Linear(d, h), nn.ReLU(), nn.Linear(h, n_classes)) for _ in range(n_experts)])
    def forward(self, x):
        logits = self.w_gate(x)
        if self.training:                                                # ضوضاء قابلة للتعلم (Shazeer وآخرون 2017)
            logits = logits + torch.randn_like(logits) * F.softplus(self.w_noise(x))
        topv, topi = logits.topk(self.k, -1)
        gates = torch.zeros_like(logits).scatter(-1, topi, topv.softmax(-1))   # أوزان صفرية لغير المختارين
        out = torch.zeros(x.shape[0], self.experts[0][-1].out_features)
        for e in range(self.E):                                          # كل خبير يعالج فقط العيّنات الموجهة إليه
            idx = (gates[:, e] > 0).nonzero(as_tuple=True)[0]
            if len(idx): out[idx] += gates[idx, e:e + 1] * self.experts[e](x[idx])
        # خسارة موازنة الحمل بأسلوب Switch: E · Σ_i f_i · P_i
        probs = logits.softmax(-1)
        f = torch.zeros(self.E).scatter_add(0, topi[:, 0], torch.ones(len(x))) / len(x)   # نسبة العينات (الخبير الأول)
        self.aux = self.E * (f * probs.mean(0)).sum()
        self.load = (gates > 0).float().mean(0)
        return out

# 3) إعداد البيانات
# 4 مجموعات (clusters)، لكل منها قاعدة تصنيف خطية مختلفة — بيانات غير متجانسة تناسب التخصص
def make(n, d=8):
    c = torch.randint(0, 4, (n,))
    centers = torch.tensor([[3.0] * 4 + [0.0] * 4, [-3.0] * 4 + [0.0] * 4, [0.0] * 4 + [3.0] * 4, [0.0] * 4 + [-3.0] * 4])
    W = torch.randn(4, d, generator=torch.Generator().manual_seed(1))
    x = centers[c] + torch.randn(n, d)
    y = ((x - centers[c]) * W[c]).sum(1).gt(0).long()
    return x, y
X_train, y_train = make(4000)
X_test, y_test = make(1000)
model = SparseMoE()

# 4) الخسارة: Cross-Entropy + معامل صغير × خسارة موازنة الحمل
opt = torch.optim.Adam(model.parameters(), lr=3e-3)

# 5) حلقة التدريب
EPOCHS, BATCH = 15, 128
for epoch in range(EPOCHS):
    model.train(); perm, tot = torch.randperm(len(X_train)), 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        out = model(X_train[idx])                                            # Forward Pass (top-2 فقط)
        loss = F.cross_entropy(out, y_train[idx]) + 0.01 * model.aux
        opt.zero_grad(); loss.backward(); opt.step()
        tot += loss.item() * len(idx)
    if epoch % 5 == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={tot / len(X_train):.4f}")

# 6) التقييم: الدقة، وتوزيع الحمل على الخبراء، ونسبة الخبراء المفعّلين لكل عيّنة
model.eval()
with torch.no_grad():
    out = model(X_test)
    print(f"test accuracy = {(out.argmax(1) == y_test).float().mean().item():.3f}")
    print("expert load (fraction of samples routed):", [round(v, 2) for v in model.load.tolist()])
    print(f"active experts per sample = {model.k} of {model.E}  →  {model.k / model.E:.0%} of expert compute")

# 7) الاستدلال
with torch.no_grad():
    print("predicted class:", model(X_test[:1]).argmax(1).item(), " true:", y_test[0].item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.925

عدد المعاملات القابلة للتدريب في المثال: model = 2٬960.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متوسط1991

خليط الخبراء

Mixture of Experts (MoE)

عدة شبكات "خبيرة" وشبكة بوابة تقرر، لكل دخل، وزن كل خبير في الخرج. يتعلم الخبراء التخصص في مناطق مختلفة من فضاء الدخل، فيُقسَّم العمل تلقائياً.

المعماريات المتخصصة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

متقدم2016

الشبكات العصبية المعيارية

Modular Neural Networks (Modular NN)

شبكات تُبنى من وحدات قابلة لإعادة الاستخدام (مثل Find وAnd وCount) تُركّب ديناميكياً حسب بنية المهمة أو السؤال، فتنقل المهارات إلى تراكيب جديدة لم تُرَ في التدريب.

المعماريات المتخصصة

أفكار بحثية

  • دراسة تخصص خبراء نموذج لغوي متناثر في النصوص العربية ذات اللهجات المختلفة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما الذي يميز MoE المتناثر عن الكثيف؟

  2. مفهوم

    مع 16 خبيراً وk=2، ما نسبة الخبراء النشطين لكل رمز؟

  3. مفهوم

    لماذا تُضاف خسارة موازنة الحمل؟

المراجع

  1. Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1701.06538

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Lepikhin, D., Lee, H., Xu, Y., Chen, D., Firat, O., Huang, Y., Krikun, M., Shazeer, N., & Chen, Z. (2021). GShard: Scaling giant models with conditional computation and automatic sharding. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2006.16668

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39. https://arxiv.org/abs/2101.03961

    arXivالناشرتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Jiang, A. Q., Sablayrolles, A., Roux, A., Mensch, A., Savary, B., Bamford, C., et al. (2024). Mixtral of experts. arXiv preprint. https://arxiv.org/abs/2401.04088

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  5. Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79

    DOIتحقق آلي عبر Crossref – 2026-11-20