كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالشبكات الزمنية والمتسلسلة

نماذج فضاء الحالة (SSM / S4)

Structured State Space Models

طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع تهيئة خاصة (HiPPO) لحفظ التاريخ الطويل.

نظرة عامة

الاسمنماذج فضاء الحالة – Structured State Space Models
سنة الظهور2022
الباحثونAlbert Gu، Karan Goel، Christopher Ré
الجهةStanford University
الورقة الأصليةEfficiently modeling long sequences with structured state spaces arXiv
نوع البياناتتسلسلات وسلاسل زمنية
المجالاتالتنبؤ بالسلاسل الزمنية، الصوت والكلام، معالجة اللغة الطبيعية

المشكلة التي تحلها

Transformer تكلفته تربيعية في طول التسلسل، وRNN بطيئة في التدريب وتنسى التاريخ البعيد. احتاج الباحثون نموذجاً يعالج آلاف الخطوات بكفاءة.

الخلفية والتطور

ما قبلها: الشبكة العصبية المتكررة، الشبكات الالتفافية الزمنية، HiPPO

  1. 2020

    قدم HiPPO إطاراً لتهيئة مصفوفة الحالة لتلخيص التاريخ بدقة. [مرجع]

  2. 2022

    قدم S4 معاملة بنيوية لمصفوفة A جعلت الحساب فعالاً وحقق نتائج قوية على Long Range Arena. [مرجع]

  3. 2023

    بسّط S5 الطبقة باستخدام مسح متوازٍ لنظام متعدد المداخل. [مرجع]

  4. 2024

    مسح لنماذج فضاء الحالة كبديل لـ Transformer. [مرجع]

الفكرة الأساسية

النظام $x'=Ax+Bu$، $y=Cx+Du$ يُقطَّع بخطوة Δ فيصبح تكراراً خطياً. لأنه خطي وثابت زمنياً، يمكن فرد التكرار إلى نواة التفاف $\bar K=(C\bar B, C\bar A\bar B, \dots)$ تُطبق على التسلسل كله دفعة واحدة (عبر FFT). تهيئة A من HiPPO تجعل الحالة تمثيلاً مضغوطاً للتاريخ.

مثال: لتصنيف ملف صوتي من 16 ألف عينة، تعالج طبقة S4 التسلسل كاملاً بالتفاف طويل، بينما Transformer يحتاج مصفوفة انتباه $16000^2$.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Continuous SSM (A, B, C, D)نموذج خطي مستمر
DiscretizationZOH أو ثنائي الخطية بخطوة Δ
HiPPO initializationتهيئة A لحفظ التاريخ
Recurrent modeللاستدلال خطوة بخطوة
Convolutional modeللتدريب المتوازي
Nonlinearity + mixingبين الطبقات (GELU، خطي)

المعادلات

1. النموذج المستمر

$$x^{\prime}(t)=Ax(t)+Bu(t),\qquad y(t)=Cx(t)+Du(t)$$

الرموز
$x(t)$حالة بُعدها N
$u(t)$دخل
$A,B,C,D$معاملات
الأبعاد
$A\in\mathbb{R}^{N\times N}$
مثال عددي
لحالة عددية مع $A=-1$ و$B=1$ ودخل ثابت 1: تقترب $x$ من 1.
علاقتها بالمعمارية
الأساس النظري للطبقة.

2. التقطيع بطريقة ZOH

$$\bar A=\exp(\Delta A),\quad \bar B=(\Delta A)^{-1}\left(\exp(\Delta A)-I\right)\Delta B,\quad x_k=\bar Ax_{k-1}+\bar Bu_k,\; y_k=Cx_k$$

الرموز
$\Delta$خطوة زمنية متعلمة
الأبعاد
نفس أبعاد A وB
مثال عددي
$A=-1,\;\Delta=0.1$ ⇒ $\bar A=e^{-0.1}\approx0.905$، $\bar B\approx0.095$.
علاقتها بالمعمارية
يحول النموذج المستمر إلى تكرار.

3. صيغة الالتفاف

$$\bar K=\left(C\bar B,\;C\bar A\bar B,\;\dots,\;C\bar A^{L-1}\bar B\right),\qquad y=\bar K*u$$

الرموز
$L$طول التسلسل
الأبعاد
$\bar K\in\mathbb{R}^{L}$
مثال عددي
في المثال السابق مع $C=1$: $\bar K\approx(0.095,0.086,0.078,\dots)$.
علاقتها بالمعمارية
تسمح بالتدريب المتوازي عبر FFT بتكلفة $O(L\log L)$.

آلية العمل خطوة بخطوة

  1. تُقطّع معاملات النظام بخطوة Δ.
  2. تُحسب نواة الالتفاف الطويلة.
  3. يُطبق الالتفاف عبر FFT على التسلسل.
  4. يُضاف Du ثم تنشيط وخلط بين القنوات.
  5. في الاستدلال يمكن استخدام التكرار بخطوة ثابتة الكلفة.

المزايا والقيود

المزايا

  • تكلفة شبه خطية في الطول.
  • ذاكرة طويلة المدى قوية في معايير السياق الطويل.
  • وضعان: تكراري للاستدلال والتفافي للتدريب.

القيود

  • النسخ الخطية الثابتة زمنياً لا تختار ما تتذكره حسب المحتوى (عالجته Mamba).
  • التنفيذ الكامل لـ S4 معقد رياضياً.

متى تُستخدم؟ ومتى لا؟

تناسب

  • تسلسلات طويلة جداً (صوت خام، سلاسل طويلة).

لا تناسب

  • مهام تعتمد على النسخ والاسترجاع الدقيق من السياق حيث يتفوق الانتباه أو SSM الانتقائية.

التطبيقات

المجالالاستخدام
التنبؤ بالسلاسل الزمنيةالتنبؤ بسلاسل طويلة.
الصوت والكلامنمذجة الصوت الخام.
معالجة اللغة الطبيعيةنمذجة اللغة بسياق طويل.
تحليل الصور الطبيةإشارات ECG وEEG الطويلة.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

S4 الأصلية تستخدم مصفوفة A مركبة بتهيئة HiPPO وتمثيلاً منخفض الرتبة؛ هنا نسخة قطرية حقيقية مبسطة على نهج S4D لتوضيح التقطيع والالتفاف.

Python (PyTorch)
# State Space Model (S4D-مبسّط): مصفوفة A قطرية وصيغة الالتفاف
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class S4DLayer(nn.Module):
    """SSM قطري حقيقي لكل قناة: تقطيع ZOH ثم نواة التفاف طويلة تُطبق عبر FFT."""
    def __init__(self, H, N=16):
        super().__init__()
        self.log_dt = nn.Parameter(torch.rand(H) * (torch.log(torch.tensor(0.1)) - torch.log(torch.tensor(0.001))) + torch.log(torch.tensor(0.001)))
        self.log_A = nn.Parameter(torch.log(0.5 * torch.ones(H, N) + torch.arange(N)))   # A = -exp(log_A) < 0 (مستقر)
        self.B = nn.Parameter(torch.ones(H, N))
        self.C = nn.Parameter(torch.randn(H, N) * 0.5)
        self.D = nn.Parameter(torch.ones(H))
    def kernel(self, L):
        dt, A = self.log_dt.exp()[:, None], -self.log_A.exp()               # H×1، H×N
        Abar = torch.exp(dt * A)
        Bbar = (Abar - 1) / A * self.B                                       # ZOH لمصفوفة قطرية
        powers = Abar[:, :, None] ** torch.arange(L)                         # H×N×L
        return torch.einsum('hn,hnl->hl', self.C * Bbar, powers)             # K̄ = C Ā^k B̄
    def forward(self, u):                                                    # u: B×H×L
        L = u.shape[-1]
        K = self.kernel(L)
        y = torch.fft.irfft(torch.fft.rfft(u, 2 * L) * torch.fft.rfft(K, 2 * L), 2 * L)[..., :L]
        return y + self.D[:, None] * u

class SSMNet(nn.Module):
    def __init__(self, H=16, n_classes=2):
        super().__init__()
        self.inp = nn.Linear(1, H)
        self.layers = nn.ModuleList([S4DLayer(H), S4DLayer(H)])
        self.mix = nn.ModuleList([nn.Linear(H, H), nn.Linear(H, H)])
        self.out = nn.Linear(H, n_classes)
    def forward(self, x):                                                    # B×T×1
        h = self.inp(x)
        for ssm, mix in zip(self.layers, self.mix):
            h = h + mix(F.gelu(ssm(h.transpose(1, 2)).transpose(1, 2)))
        return self.out(h.mean(1))                                     # تجميع بالمتوسط عبر الزمن (كما في تصنيف S4)

# 3) إعداد البيانات
# مهمة ذاكرة: الإشارة (±1) تظهر في الخطوة الأولى فقط، ثم ضوضاء؛ الفئة = إشارة البداية
def make(n, T=200):
    y = torch.randint(0, 2, (n,))
    X = torch.randn(n, T, 1) * 0.2
    X[:, 0, 0] = y.float() * 2 - 1
    return X, y
X_train, y_train = make(800)
X_test, y_test = make(200)

model = SSMNet()

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3)

# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 15, 32
for epoch in range(EPOCHS):
    model.train()
    perm = torch.randperm(len(X_train))
    total = 0.0
    for i in range(0, len(X_train), BATCH):
        idx = perm[i:i + BATCH]
        xb, yb = X_train[idx], y_train[idx]
        out = model(xb)                       # Forward Pass
        loss = loss_fn(out, yb)
        opt.zero_grad()
        loss.backward()                    # Backpropagation
        opt.step()
        total += loss.item() * len(idx)
    if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
        print(f"epoch {epoch:3d}  loss={total / len(X_train):.4f}")

# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
    xb = X_test
    out = model(xb)
    acc = (out.argmax(dim=-1) == y_test).float().mean().item()
    print(f"test accuracy = {acc:.3f}")

# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
    xb = X_test[:1]
    out = model(xb)
    print("predicted class:", out.argmax(dim=-1).item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.8 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 1.000

عدد المعاملات القابلة للتدريب في المثال: model = 2٬210.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

متقدم2023

مامبا: نماذج فضاء الحالة الانتقائية

Mamba (Selective State Space Models)

SSM تكون فيها المعاملات B وC والخطوة Δ دوال للدخل (انتقائية)، فتقرر الطبقة ما تتذكره وما تتجاهله حسب المحتوى، مع خوارزمية مسح متوازٍ واعية بالعتاد تحافظ على تكلفة خطية ف…

الشبكات الزمنية والمتسلسلة

أساسي2018

الشبكات الالتفافية الزمنية

Temporal Convolutional Network (TCN)

شبكة التفافية أحادية البعد سببية (لا ترى المستقبل) بالتفاف متوسع (dilated) ووصلات متبقية، تعالج التسلسلات بالتوازي وتغطي سياقاً طويلاً.

الشبكات الزمنية والمتسلسلة

أساسي1997

الذاكرة الطويلة قصيرة المدى

Long Short-Term Memory (LSTM)

شبكة متكررة بخلية ذاكرة وبوابات (نسيان، إدخال، إخراج) تتحكم بما يُحفظ وما يُمحى، فتتعلم اعتماديات بعيدة أفضل بكثير من RNN البسيطة.

الشبكات الزمنية والمتسلسلة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

أفكار بحثية

  • تقييم S4/S5 على سلاسل EEG ليلية طويلة مقارنة بـ TCN وTransformer مع ميزانية ذاكرة متساوية.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    لماذا يمكن تدريب طبقة SSM الخطية الثابتة زمنياً بالتوازي؟

  2. رياضي

    مع $A=-2$ و$\Delta=0.5$ ما قيمة $\bar A=e^{\Delta A}$؟

  3. مفهوم

    ما دور تهيئة HiPPO في S4؟

المراجع

  1. Gu, A., Goel, K., & Ré, C. (2022). Efficiently modeling long sequences with structured state spaces. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2111.00396

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Gu, A., Dao, T., Ermon, S., Rudra, A., & Ré, C. (2020). HiPPO: Recurrent memory with optimal polynomial projections. Advances in Neural Information Processing Systems (NeurIPS) 33. https://arxiv.org/abs/2008.07669

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Smith, J. T. H., Warrington, A., & Linderman, S. W. (2023). Simplified state space layers for sequence modeling. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2208.04933

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Wang, X., Wang, S., Ding, Y., Li, Y., Wu, W., Rong, Y., et al. (2026). State space model for new generation network alternative to transformers: A survey. Visual Intelligence, 4(1), Article 29 (2026; arXiv preprint 2404.09516, 2024). https://doi.org/10.1007/s44267-026-00133-1

    DOIarXivتحقق آلي عبر Crossref – 2026-11-20