نماذج فضاء الحالة (SSM / S4)
Structured State Space Models
طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع تهيئة خاصة (HiPPO) لحفظ التاريخ الطويل.
نظرة عامة
| الاسم | نماذج فضاء الحالة – Structured State Space Models |
|---|---|
| سنة الظهور | 2022 |
| الباحثون | Albert Gu، Karan Goel، Christopher Ré |
| الجهة | Stanford University |
| الورقة الأصلية | Efficiently modeling long sequences with structured state spaces arXiv |
| نوع البيانات | تسلسلات وسلاسل زمنية |
| المجالات | التنبؤ بالسلاسل الزمنية، الصوت والكلام، معالجة اللغة الطبيعية |
المشكلة التي تحلها
Transformer تكلفته تربيعية في طول التسلسل، وRNN بطيئة في التدريب وتنسى التاريخ البعيد. احتاج الباحثون نموذجاً يعالج آلاف الخطوات بكفاءة.
الخلفية والتطور
ما قبلها: الشبكة العصبية المتكررة، الشبكات الالتفافية الزمنية، HiPPO
الفكرة الأساسية
النظام $x'=Ax+Bu$، $y=Cx+Du$ يُقطَّع بخطوة Δ فيصبح تكراراً خطياً. لأنه خطي وثابت زمنياً، يمكن فرد التكرار إلى نواة التفاف $\bar K=(C\bar B, C\bar A\bar B, \dots)$ تُطبق على التسلسل كله دفعة واحدة (عبر FFT). تهيئة A من HiPPO تجعل الحالة تمثيلاً مضغوطاً للتاريخ.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Continuous SSM (A, B, C, D) | نموذج خطي مستمر |
| Discretization | ZOH أو ثنائي الخطية بخطوة Δ |
| HiPPO initialization | تهيئة A لحفظ التاريخ |
| Recurrent mode | للاستدلال خطوة بخطوة |
| Convolutional mode | للتدريب المتوازي |
| Nonlinearity + mixing | بين الطبقات (GELU، خطي) |
المعادلات
1. النموذج المستمر
| $x(t)$ | حالة بُعدها N |
| $u(t)$ | دخل |
| $A,B,C,D$ | معاملات |
2. التقطيع بطريقة ZOH
| $\Delta$ | خطوة زمنية متعلمة |
3. صيغة الالتفاف
| $L$ | طول التسلسل |
آلية العمل خطوة بخطوة
- تُقطّع معاملات النظام بخطوة Δ.
- تُحسب نواة الالتفاف الطويلة.
- يُطبق الالتفاف عبر FFT على التسلسل.
- يُضاف Du ثم تنشيط وخلط بين القنوات.
- في الاستدلال يمكن استخدام التكرار بخطوة ثابتة الكلفة.
المزايا والقيود
المزايا
- تكلفة شبه خطية في الطول.
- ذاكرة طويلة المدى قوية في معايير السياق الطويل.
- وضعان: تكراري للاستدلال والتفافي للتدريب.
القيود
- النسخ الخطية الثابتة زمنياً لا تختار ما تتذكره حسب المحتوى (عالجته Mamba).
- التنفيذ الكامل لـ S4 معقد رياضياً.
متى تُستخدم؟ ومتى لا؟
تناسب
- تسلسلات طويلة جداً (صوت خام، سلاسل طويلة).
لا تناسب
- مهام تعتمد على النسخ والاسترجاع الدقيق من السياق حيث يتفوق الانتباه أو SSM الانتقائية.
التطبيقات
| المجال | الاستخدام |
|---|---|
| التنبؤ بالسلاسل الزمنية | التنبؤ بسلاسل طويلة. |
| الصوت والكلام | نمذجة الصوت الخام. |
| معالجة اللغة الطبيعية | نمذجة اللغة بسياق طويل. |
| تحليل الصور الطبية | إشارات ECG وEEG الطويلة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
S4 الأصلية تستخدم مصفوفة A مركبة بتهيئة HiPPO وتمثيلاً منخفض الرتبة؛ هنا نسخة قطرية حقيقية مبسطة على نهج S4D لتوضيح التقطيع والالتفاف.
# State Space Model (S4D-مبسّط): مصفوفة A قطرية وصيغة الالتفاف
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class S4DLayer(nn.Module):
"""SSM قطري حقيقي لكل قناة: تقطيع ZOH ثم نواة التفاف طويلة تُطبق عبر FFT."""
def __init__(self, H, N=16):
super().__init__()
self.log_dt = nn.Parameter(torch.rand(H) * (torch.log(torch.tensor(0.1)) - torch.log(torch.tensor(0.001))) + torch.log(torch.tensor(0.001)))
self.log_A = nn.Parameter(torch.log(0.5 * torch.ones(H, N) + torch.arange(N))) # A = -exp(log_A) < 0 (مستقر)
self.B = nn.Parameter(torch.ones(H, N))
self.C = nn.Parameter(torch.randn(H, N) * 0.5)
self.D = nn.Parameter(torch.ones(H))
def kernel(self, L):
dt, A = self.log_dt.exp()[:, None], -self.log_A.exp() # H×1، H×N
Abar = torch.exp(dt * A)
Bbar = (Abar - 1) / A * self.B # ZOH لمصفوفة قطرية
powers = Abar[:, :, None] ** torch.arange(L) # H×N×L
return torch.einsum('hn,hnl->hl', self.C * Bbar, powers) # K̄ = C Ā^k B̄
def forward(self, u): # u: B×H×L
L = u.shape[-1]
K = self.kernel(L)
y = torch.fft.irfft(torch.fft.rfft(u, 2 * L) * torch.fft.rfft(K, 2 * L), 2 * L)[..., :L]
return y + self.D[:, None] * u
class SSMNet(nn.Module):
def __init__(self, H=16, n_classes=2):
super().__init__()
self.inp = nn.Linear(1, H)
self.layers = nn.ModuleList([S4DLayer(H), S4DLayer(H)])
self.mix = nn.ModuleList([nn.Linear(H, H), nn.Linear(H, H)])
self.out = nn.Linear(H, n_classes)
def forward(self, x): # B×T×1
h = self.inp(x)
for ssm, mix in zip(self.layers, self.mix):
h = h + mix(F.gelu(ssm(h.transpose(1, 2)).transpose(1, 2)))
return self.out(h.mean(1)) # تجميع بالمتوسط عبر الزمن (كما في تصنيف S4)
# 3) إعداد البيانات
# مهمة ذاكرة: الإشارة (±1) تظهر في الخطوة الأولى فقط، ثم ضوضاء؛ الفئة = إشارة البداية
def make(n, T=200):
y = torch.randint(0, 2, (n,))
X = torch.randn(n, T, 1) * 0.2
X[:, 0, 0] = y.float() * 2 - 1
return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)
model = SSMNet()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
acc = (out.argmax(dim=-1) == y_test).float().mean().item()
print(f"test accuracy = {acc:.3f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("predicted class:", out.argmax(dim=-1).item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.8 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 1.000
عدد المعاملات القابلة للتدريب في المثال: model = 2٬210.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
مامبا: نماذج فضاء الحالة الانتقائية
Mamba (Selective State Space Models)
SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية ف…
الشبكات الالتفافية الزمنية
Temporal Convolutional Network (TCN)
شبكة التفافية أحادية البعد سببية (لا ترى المستقبل) بالتفاف متوسع (dilated) ووصلات متبقية، تعالج التسلسلات بالتوازي وتغطي سياقاً طويلاً.
الذاكرة الطويلة قصيرة المدى
Long Short-Term Memory (LSTM)
شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تقييم S4/S5 على سلاسل EEG ليلية طويلة مقارنة بـ TCN وTransformer مع ميزانية ذاكرة متساوية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يمكن تدريب طبقة SSM الخطية الثابتة زمنياً بالتوازي؟
لماذا؟ فرد التكرار يعطي $\bar K$.
مع $A=-2$ و$\Delta=0.5$ ما قيمة $\bar A=e^{\Delta A}$؟
لماذا؟ $0.5\times(-2)=-1$.
ما دور تهيئة HiPPO في S4؟
لماذا؟ HiPPO تصمم A لإسقاط التاريخ على أساس متعددات حدود.
المراجع
Gu, A., Goel, K., & Ré, C. (2022). Efficiently modeling long sequences with structured state spaces. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2111.00396
Gu, A., Dao, T., Ermon, S., Rudra, A., & Ré, C. (2020). HiPPO: Recurrent memory with optimal polynomial projections. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2008.07669
Smith, J. T. H., Warrington, A., & Linderman, S. W. (2023). Simplified state space layers for sequence modeling. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2208.04933
Wang, X., Wang, S., Ding, Y., Li, Y., Wu, W., Rong, Y., et al. (2026). State space model for new generation network alternative to transformers: A survey. Visual Intelligence, 4(1), Article 29 (2026; arXiv preprint 2404.09516, 2024). https://doi.org/10.1007/s44267-026-00133-1
