كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالشبكات الزمنية والمتسلسلة

مامبا: نماذج فضاء الحالة الانتقائية (Mamba)

Mamba (Selective State Space Models)

SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية في الطول.

نظرة عامة

الاسممامبا: نماذج فضاء الحالة الانتقائية – Mamba (Selective State Space Models)
سنة الظهور2023
الباحثونAlbert Gu، Tri Dao
الجهةCarnegie Mellon University / Princeton University
الورقة الأصليةMamba: Linear-time sequence modeling with selective state spaces arXiv
نوع البياناتتسلسلات وسلاسل زمنية، نصوص
المجالاتالتنبؤ بالسلاسل الزمنية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية
الكلفة الحسابية$O(L\cdot E\cdot N)$ للتدريب والاستدلال، وذاكرة استدلال ثابتة.
حجم البياناتكبيرة عادة (نماذج لغة)، وتستخدم أيضاً في سلاسل طبية متوسطة.

المشكلة التي تحلها

SSM الثابتة زمنياً (مثل S4) لا تستطيع اختيار المعلومات حسب المحتوى، فتضعف في مهام مثل النسخ الانتقائي والاسترجاع، بينما الانتباه تكلفته تربيعية.

الخلفية والتطور

ما قبلها: نماذج فضاء الحالة، الذاكرة الطويلة قصيرة المدى، المحوّل

  1. 2023

    قدم Gu وDao Mamba بآلية الانتقاء والمسح المتوازي الواعي بالعتاد (arXiv، ثم COLM 2024). [مرجع]

  2. 2024

    قدم Mamba-2 إطار "ازدواجية فضاء الحالة البنيوية" الذي يربط SSM بالانتباه. [مرجع]

الفكرة الأساسية

في S4 تكون $\bar A,\bar B,C$ ثابتة لكل التسلسل. في Mamba تُحسب $\Delta_t,B_t,C_t$ من الدخل $x_t$ بإسقاطات خطية، فيصبح النظام متغيراً زمنياً. Δ كبيرة تعني "أعد الضبط وركّز على الدخل الحالي"، وΔ صغيرة تعني "تجاهل الدخل واحتفظ بالحالة"، وهذا يشبه البوابات في LSTM. فقدان صيغة الالتفاف يُعوّض بمسح متوازٍ (parallel scan).

مثال: في جملة طويلة بها ضوضاء (كلمات حشو)، تتعلم الطبقة تصغير Δ عند كلمات الحشو فلا تتأثر الحالة، وتكبيرها عند الكلمات المهمة.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Input projectionتوسيع القناة إلى فرعين
Causal Conv1dالتفاف قصير قبل SSM
Selective SSM (S6)Δ وB وC تعتمد على الدخل
Gating branchSiLU كبوابة ضربية
Output projectionإعادة الأبعاد
Hardware-aware scanمسح متوازٍ مندمج في ذاكرة SRAM

المعادلات

1. المعاملات الانتقائية

$$\Delta_t=\mathrm{softplus}\!\left(W_\Delta x_t+b_\Delta\right),\qquad B_t=W_Bx_t,\qquad C_t=W_Cx_t$$

الرموز
$\Delta_t$خطوة زمنية لكل رمز وقناة
$B_t,C_t$إسقاطات تعتمد على الدخل
الأبعاد
$\Delta_t\in\mathbb{R}^{E}$، $B_t,C_t\in\mathbb{R}^{N}$
مثال عددي
إذا كانت قيمة ما قبل softplus تساوي $-5$ فإن $\Delta\approx0.0067$ (احتفاظ بالحالة)، وإذا كانت $3$ فإن $\Delta\approx3.05$ (تحديث قوي).
علاقتها بالمعمارية
هذا هو "الانتقاء" الذي يميز Mamba.

2. التكرار الانتقائي

$$h_t=\exp(\Delta_tA)\odot h_{t-1}+\Delta_tB_t\,x_t,\qquad y_t=C_t^{\top}h_t+Dx_t$$

الرموز
$A$قطرية سالبة ثابتة
$h_t$الحالة
الأبعاد
$h_t\in\mathbb{R}^{E\times N}$
مثال عددي
$A=-1$، $\Delta=0.01$ ⇒ $\exp(-0.01)\approx0.99$: الحالة تبقى تقريباً كما هي.
علاقتها بالمعمارية
يستخدم تقريب أويلر لـ $\bar B$ كما في التنفيذ المرجعي.

آلية العمل خطوة بخطوة

  1. يُسقط الدخل إلى فرعين.
  2. يُطبق التفاف سببي قصير ثم SiLU على الفرع الرئيسي.
  3. تُحسب Δ وB وC من الدخل.
  4. يُنفذ المسح الانتقائي.
  5. يُضرب الناتج بالبوابة ويُسقط للأبعاد الأصلية مع وصلة متبقية.

المزايا والقيود

المزايا

  • تكلفة خطية في الطول واستدلال بحالة ثابتة الحجم.
  • انتقاء حسب المحتوى يتجاوز SSM الثابتة.
  • أداء منافس للـ Transformer في عدة مجالات حسب المؤلفين.

القيود

  • التنفيذ السريع يحتاج نوى CUDA مخصصة.
  • أضعف في بعض مهام الاسترجاع الدقيق من السياق مقارنة بالانتباه حسب دراسات لاحقة.
  • نظام بيئي أحدث وأقل نضجاً.

متى تُستخدم؟ ومتى لا؟

تناسب

  • تسلسلات طويلة جداً مع حاجة لانتقاء المحتوى.
  • نماذج لغوية فعالة بالذاكرة.

لا تناسب

  • مهام قصيرة جداً حيث لا فائدة من الكفاءة.
  • بيئات دون دعم للنوى المخصصة إن كانت السرعة حرجة.

التطبيقات

المجالالاستخدام
معالجة اللغة الطبيعيةنماذج لغة بسياق طويل.
الصوت والكلامنمذجة الصوت.
تحليل الصور الطبيةنماذج رؤية طبية مبنية على Mamba (مثل U-Mamba) وتسلسلات جينومية.
التنبؤ بالسلاسل الزمنيةالتنبؤ بسلاسل طويلة.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

تنفيذ مرجعي بحلقة زمنية لتوضيح الانتقاء؛ المكتبة الرسمية mamba-ssm تستخدم مسحاً متوازياً بنوى CUDA وتهيئات مختلفة.

Python (PyTorch)
# Mamba block (SSM انتقائية) — تنفيذ مرجعي بطيء بحلقة زمنية
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class SelectiveSSM(nn.Module):
    def __init__(self, E, N=8):
        super().__init__()
        self.A_log = nn.Parameter(torch.log(torch.arange(1, N + 1).float()).repeat(E, 1))   # A = -exp(A_log)
        self.x_proj = nn.Linear(E, 1 + 2 * N)                        # → Δ (منخفض الرتبة) و B و C
        self.dt_proj = nn.Linear(1, E)
        nn.init.constant_(self.dt_proj.bias, -4.0)                   # Δ صغيرة ابتداءً (≈0.018) ⇒ ذاكرة أطول
        self.D, self.N = nn.Parameter(torch.ones(E)), N
    def forward(self, x):                                            # x: B×L×E
        Bsz, L, E = x.shape
        A = -self.A_log.exp()                                        # E×N
        dbc = self.x_proj(x)
        dt = F.softplus(self.dt_proj(dbc[..., :1]))                  # B×L×E   Δ_t
        Bt, Ct = dbc[..., 1:1 + self.N], dbc[..., 1 + self.N:]       # B×L×N
        h, ys = torch.zeros(Bsz, E, self.N), []
        for t in range(L):                                           # المسح (هنا متسلسل للوضوح)
            dA = torch.exp(dt[:, t, :, None] * A)                    # exp(Δ_t A)
            h = dA * h + dt[:, t, :, None] * Bt[:, t, None, :] * x[:, t, :, None]
            ys.append((h * Ct[:, t, None, :]).sum(-1))
        return torch.stack(ys, 1) + self.D * x

class MambaBlock(nn.Module):
    def __init__(self, D=16, expand=2):
        super().__init__()
        E = expand * D
        self.in_proj = nn.Linear(D, 2 * E)
        self.conv = nn.Conv1d(E, E, 4, groups=E, padding=3)          # التفاف سببي قصير
        self.ssm, self.out_proj, self.norm = SelectiveSSM(E), nn.Linear(E, D), nn.LayerNorm(D)
    def forward(self, x):
        L = x.shape[1]
        u, gate = self.in_proj(self.norm(x)).chunk(2, -1)
        u = F.silu(self.conv(u.transpose(1, 2))[..., :L].transpose(1, 2))
        return x + self.out_proj(self.ssm(u) * F.silu(gate))         # وصلة متبقية

class MambaClassifier(nn.Module):
    def __init__(self, D=16, n_classes=2):
        super().__init__()
        self.inp, self.blocks, self.out = nn.Linear(1, D), nn.Sequential(MambaBlock(D), MambaBlock(D)), nn.Linear(D, n_classes)
    def forward(self, x):
        return self.out(self.blocks(self.inp(x))[:, -1])

# 3) إعداد البيانات
# مهمة نسخ انتقائي مبسطة: رمز مهم (±1) في موضع عشوائي وسط ضوضاء؛ الفئة = إشارته
def make(n, T=60):
    y = torch.randint(0, 2, (n,))
    X = torch.randn(n, T, 1) * 0.2
    pos = torch.randint(0, T // 2, (n,))
    X[torch.arange(n), pos, 0] = (y.float() * 2 - 1) * 2
    return X, y
X_train, y_train = make(600)
X_test, y_test = make(150)
model = MambaClassifier()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 8, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 11.3 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 5٬508.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2022

نماذج فضاء الحالة

Structured State Space Models (SSM / S4)

طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع تهيئة خاصة (HiPPO) لح…

الشبكات الزمنية والمتسلسلة

أساسي1997

الذاكرة الطويلة قصيرة المدى

Long Short-Term Memory (LSTM)

شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.

الشبكات الزمنية والمتسلسلة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

أفكار بحثية

  • مقارنة Mamba وTransformer في تجزئة صور طبية ثلاثية الأبعاد ضمن هياكل U-Net هجينة.
  • دراسة قدرة Mamba على الاسترجاع الدقيق في نصوص عربية طويلة.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    ما الذي يجعل Mamba "انتقائية"؟

  2. رياضي

    ماذا يحدث عندما تكون $\Delta_t$ صغيرة جداً؟

  3. مفهوم

    لماذا لا تستطيع Mamba استخدام صيغة الالتفاف كما في S4؟

المراجع

  1. Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint (later at COLM 2024). https://arxiv.org/abs/2312.00752

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Dao, T., & Gu, A. (2024). Transformers are SSMs: Generalized models and efficient algorithms through structured state space duality. International Conference on Machine Learning (ICML), PMLR 235. https://arxiv.org/abs/2405.21060

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Gu, A., Goel, K., & Ré, C. (2022). Efficiently modeling long sequences with structured state spaces. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2111.00396

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20