مامبا: نماذج فضاء الحالة الانتقائية (Mamba)
Mamba (Selective State Space Models)
SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية في الطول.
نظرة عامة
| الاسم | مامبا: نماذج فضاء الحالة الانتقائية – Mamba (Selective State Space Models) |
|---|---|
| سنة الظهور | 2023 |
| الباحثون | Albert Gu، Tri Dao |
| الجهة | Carnegie Mellon University / Princeton University |
| الورقة الأصلية | Mamba: Linear-time sequence modeling with selective state spaces arXiv |
| نوع البيانات | تسلسلات وسلاسل زمنية، نصوص |
| المجالات | التنبؤ بالسلاسل الزمنية، الصوت والكلام، تحليل الصور الطبية، معالجة اللغة الطبيعية |
| الكلفة الحسابية | $O(L\cdot E\cdot N)$ للتدريب والاستدلال، وذاكرة استدلال ثابتة. |
| حجم البيانات | كبيرة عادة (نماذج لغة)، وتستخدم أيضاً في سلاسل طبية متوسطة. |
المشكلة التي تحلها
SSM الثابتة زمنياً (مثل S4) لا تستطيع اختيار المعلومات حسب المحتوى، فتضعف في مهام مثل النسخ الانتقائي والاسترجاع، بينما الانتباه تكلفته تربيعية.
الخلفية والتطور
ما قبلها: نماذج فضاء الحالة، الذاكرة الطويلة قصيرة المدى، المحوّل
الفكرة الأساسية
في S4 تكون $\bar A,\bar B,C$ ثابتة لكل التسلسل. في Mamba تُحسب $\Delta_t,B_t,C_t$ من الدخل $x_t$ بإسقاطات خطية، فيصبح النظام متغيراً زمنياً. Δ كبيرة تعني "أعد الضبط وركّز على الدخل الحالي"، وΔ صغيرة تعني "تجاهل الدخل واحتفظ بالحالة"، وهذا يشبه البوابات في LSTM. فقدان صيغة الالتفاف يُعوّض بمسح متوازٍ (parallel scan).
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input projection | توسيع القناة إلى فرعين |
| Causal Conv1d | التفاف قصير قبل SSM |
| Selective SSM (S6) | Δ وB وC تعتمد على الدخل |
| Gating branch | SiLU كبوابة ضربية |
| Output projection | إعادة الأبعاد |
| Hardware-aware scan | مسح متوازٍ مندمج في ذاكرة SRAM |
المعادلات
1. المعاملات الانتقائية
| $\Delta_t$ | خطوة زمنية لكل رمز وقناة |
| $B_t,C_t$ | إسقاطات تعتمد على الدخل |
2. التكرار الانتقائي
| $A$ | قطرية سالبة ثابتة |
| $h_t$ | الحالة |
آلية العمل خطوة بخطوة
- يُسقط الدخل إلى فرعين.
- يُطبق التفاف سببي قصير ثم SiLU على الفرع الرئيسي.
- تُحسب Δ وB وC من الدخل.
- يُنفذ المسح الانتقائي.
- يُضرب الناتج بالبوابة ويُسقط للأبعاد الأصلية مع وصلة متبقية.
المزايا والقيود
المزايا
- تكلفة خطية في الطول واستدلال بحالة ثابتة الحجم.
- انتقاء حسب المحتوى يتجاوز SSM الثابتة.
- أداء منافس للـ Transformer في عدة مجالات حسب المؤلفين.
القيود
- التنفيذ السريع يحتاج نوى CUDA مخصصة.
- أضعف في بعض مهام الاسترجاع الدقيق من السياق مقارنة بالانتباه حسب دراسات لاحقة.
- نظام بيئي أحدث وأقل نضجاً.
متى تُستخدم؟ ومتى لا؟
تناسب
- تسلسلات طويلة جداً مع حاجة لانتقاء المحتوى.
- نماذج لغوية فعالة بالذاكرة.
لا تناسب
- مهام قصيرة جداً حيث لا فائدة من الكفاءة.
- بيئات دون دعم للنوى المخصصة إن كانت السرعة حرجة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| معالجة اللغة الطبيعية | نماذج لغة بسياق طويل. |
| الصوت والكلام | نمذجة الصوت. |
| تحليل الصور الطبية | نماذج رؤية طبية مبنية على Mamba (مثل U-Mamba) وتسلسلات جينومية. |
| التنبؤ بالسلاسل الزمنية | التنبؤ بسلاسل طويلة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
تنفيذ مرجعي بحلقة زمنية لتوضيح الانتقاء؛ المكتبة الرسمية mamba-ssm تستخدم مسحاً متوازياً بنوى CUDA وتهيئات مختلفة.
# Mamba block (SSM انتقائية) — تنفيذ مرجعي بطيء بحلقة زمنية
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class SelectiveSSM(nn.Module):
def __init__(self, E, N=8):
super().__init__()
self.A_log = nn.Parameter(torch.log(torch.arange(1, N + 1).float()).repeat(E, 1)) # A = -exp(A_log)
self.x_proj = nn.Linear(E, 1 + 2 * N) # → Δ (منخفض الرتبة) و B و C
self.dt_proj = nn.Linear(1, E)
nn.init.constant_(self.dt_proj.bias, -4.0) # Δ صغيرة ابتداءً (≈0.018) ⇒ ذاكرة أطول
self.D, self.N = nn.Parameter(torch.ones(E)), N
def forward(self, x): # x: B×L×E
Bsz, L, E = x.shape
A = -self.A_log.exp() # E×N
dbc = self.x_proj(x)
dt = F.softplus(self.dt_proj(dbc[..., :1])) # B×L×E Δ_t
Bt, Ct = dbc[..., 1:1 + self.N], dbc[..., 1 + self.N:] # B×L×N
h, ys = torch.zeros(Bsz, E, self.N), []
for t in range(L): # المسح (هنا متسلسل للوضوح)
dA = torch.exp(dt[:, t, :, None] * A) # exp(Δ_t A)
h = dA * h + dt[:, t, :, None] * Bt[:, t, None, :] * x[:, t, :, None]
ys.append((h * Ct[:, t, None, :]).sum(-1))
return torch.stack(ys, 1) + self.D * x
class MambaBlock(nn.Module):
def __init__(self, D=16, expand=2):
super().__init__()
E = expand * D
self.in_proj = nn.Linear(D, 2 * E)
self.conv = nn.Conv1d(E, E, 4, groups=E, padding=3) # التفاف سببي قصير
self.ssm, self.out_proj, self.norm = SelectiveSSM(E), nn.Linear(E, D), nn.LayerNorm(D)
def forward(self, x):
L = x.shape[1]
u, gate = self.in_proj(self.norm(x)).chunk(2, -1)
u = F.silu(self.conv(u.transpose(1, 2))[..., :L].transpose(1, 2))
return x + self.out_proj(self.ssm(u) * F.silu(gate)) # وصلة متبقية
class MambaClassifier(nn.Module):
def __init__(self, D=16, n_classes=2):
super().__init__()
self.inp, self.blocks, self.out = nn.Linear(1, D), nn.Sequential(MambaBlock(D), MambaBlock(D)), nn.Linear(D, n_classes)
def forward(self, x):
return self.out(self.blocks(self.inp(x))[:, -1])
# 3) إعداد البيانات
# مهمة نسخ انتقائي مبسطة: رمز مهم (±1) في موضع عشوائي وسط ضوضاء؛ الفئة = إشارته
def make(n, T=60):
y = torch.randint(0, 2, (n,))
X = torch.randn(n, T, 1) * 0.2
pos = torch.randint(0, T // 2, (n,))
X[torch.arange(n), pos, 0] = (y.float() * 2 - 1) * 2
return X, y
X_train, y_train = make(600)
X_test, y_test = make(150)
model = MambaClassifier()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 8, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 11.3 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 5٬508.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
نماذج فضاء الحالة
Structured State Space Models (SSM / S4)
طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع تهيئة خاصة (HiPPO) لح…
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة Mamba وTransformer في تجزئة صور طبية ثلاثية الأبعاد ضمن هياكل U-Net هجينة.
- دراسة قدرة Mamba على الاسترجاع الدقيق في نصوص عربية طويلة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الذي يجعل Mamba "انتقائية"؟
لماذا؟ هذا يجعل النظام متغيراً زمنياً حسب المحتوى.
ماذا يحدث عندما تكون $\Delta_t$ صغيرة جداً؟
لماذا؟ $\exp(\Delta A)\approx1$ و$\Delta B x\approx0$.
لماذا لا تستطيع Mamba استخدام صيغة الالتفاف كما في S4؟
لماذا؟ لذلك تستخدم المسح المتوازي.
المراجع
Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint (later at COLM 2024). https://arxiv.org/abs/2312.00752
Dao, T., & Gu, A. (2024). Transformers are SSMs: Generalized models and efficient algorithms through structured state space duality. International Conference on Machine Learning (ICML), PMLR 235. https://arxiv.org/abs/2405.21060
Gu, A., Goel, K., & Ré, C. (2022). Efficiently modeling long sequences with structured state spaces. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2111.00396
