الشبكات العصبية السائلة (LNN)
Liquid Neural Networks
شبكات متكررة زمنية مستمرة يتغير فيها ثابت الزمن لكل عصبون حسب الدخل (Liquid Time-Constant)، فتتكيف ديناميكيتها مع البيانات مع عدد عصبونات صغير.
نظرة عامة
| الاسم | الشبكات العصبية السائلة – Liquid Neural Networks |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Ramin Hasani، Mathias Lechner، Alexander Amini، Daniela Rus، Radu Grosu |
| الجهة | MIT CSAIL / TU Wien |
| الورقة الأصلية | Liquid time-constant networks DOI arXiv |
| نوع البيانات | تسلسلات وسلاسل زمنية |
| المجالات | التنبؤ بالسلاسل الزمنية، الروبوتات |
المشكلة التي تحلها
الشبكات المتكررة العادية تتعامل مع الزمن كخطوات متساوية وثوابت زمنية ثابتة، بينما الأنظمة الفيزيائية والتحكم تحتاج ديناميكيات مستمرة متكيفة.
الخلفية والتطور
ما قبلها: الشبكة العصبية المتكررة، المعادلات التفاضلية العصبية
الفكرة الأساسية
حالة العصبون $x$ تتبع معادلة تفاضلية يكون فيها معدل التسرب $1/\tau+f(x,I)$ معتمداً على الدخل والحالة عبر شبكة صغيرة $f$. لذلك يصبح "ثابت الزمن" الفعلي متغيراً (سائلاً). تُحل المعادلة عددياً بحلّال ضمني مدمج (fused) أو تُقرّب بصيغة مغلقة في CfC.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input sequence | إشارات زمنية |
| Gating network f | شبكة صغيرة تعطي معدلاً موجباً |
| ODE state x(t) | حالة مستمرة |
| Fused ODE solver | خطوة ضمنية-صريحة مستقرة |
| Readout | طبقة خطية على الحالة |
المعادلات
1. معادلة LTC
| $\tau$ | ثابت زمن أساسي |
| $f$ | شبكة غير سالبة |
| $A$ | متجه انحياز (جهد عكسي) |
2. خطوة الحلّال المدمج
| $\Delta t$ | خطوة التكامل |
آلية العمل خطوة بخطوة
- تُقسم كل خطوة زمنية إلى عدة خطوات تكامل صغيرة.
- تُحسب البوابة f من الحالة والدخل.
- تُحدّث الحالة بالحلّال المدمج.
- تُقرأ الحالة الأخيرة أو كل الحالات بطبقة خطية.
- يتم التدريب بالانتشار العكسي عبر الزمن.
المزايا والقيود
المزايا
- عدد عصبونات صغير ونماذج مدمجة.
- سلوك مستقر ومحدود نظرياً حسب المؤلفين.
- مناسبة للتحكم والسلاسل غير منتظمة الزمن.
القيود
- أبطأ من RNN العادية بسبب خطوات الحلّال (حسّنته CfC).
- أدوات وتجارب أقل انتشاراً.
متى تُستخدم؟ ومتى لا؟
تناسب
- تحكم الروبوتات والسيارات.
- سلاسل زمنية بفواصل غير منتظمة.
لا تناسب
- النصوص الطويلة حيث تفوقت Transformers وSSM.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الروبوتات | التحكم في القيادة الذاتية والطائرات المسيّرة. |
| التنبؤ بالسلاسل الزمنية | التنبؤ بسلاسل فيزيائية وحيوية. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Liquid Time-Constant (LTC) Network — تنفيذ تعليمي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class LTCCell(nn.Module):
def __init__(self, d_in, h, tau=1.0, unfolds=4, dt=0.25):
super().__init__()
self.f = nn.Linear(d_in + h, h) # شبكة البوابة
self.A = nn.Parameter(torch.randn(h) * 0.5)
self.tau, self.unfolds, self.dt = tau, unfolds, dt
def forward(self, I, x):
for _ in range(self.unfolds): # خطوات الحلّال المدمج
f = torch.sigmoid(self.f(torch.cat([I, x], 1)))
x = (x + self.dt * f * self.A) / (1 + self.dt * (1 / self.tau + f))
return x
class LTCNet(nn.Module):
def __init__(self, d_in=1, h=16):
super().__init__()
self.cell, self.h, self.out = LTCCell(d_in, h), h, nn.Linear(h, 1)
def forward(self, seq): # B×T×d
x = torch.zeros(seq.shape[0], self.h)
for t in range(seq.shape[1]):
x = self.cell(seq[:, t], x)
return self.out(x)
# 3) إعداد البيانات
# التنبؤ بالقيمة التالية لموجة جيبية مشوشة بتردد متغير
def make(n, T=20):
w = torch.rand(n, 1) * 0.4 + 0.2
t0 = torch.rand(n, 1) * 6
t = t0 + torch.arange(T + 1).float()
s = torch.sin(w * t) + 0.05 * torch.randn(n, T + 1)
return s[:, :T, None], s[:, T:]
X_train, y_train = make(600)
X_test, y_test = make(150)
model = LTCNet()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 12, 32
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
mse = F.mse_loss(out, y_test).item()
print(f"test MSE = {mse:.4f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("prediction:", out.squeeze().tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.4 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.0399
عدد المعاملات القابلة للتدريب في المثال: model = 321.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
المعادلات التفاضلية العصبية
Neural Ordinary Differential Equations (Neural ODE)
تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".
الشبكة العصبية المتكررة
Recurrent Neural Network (RNN)
شبكة تعالج التسلسل عنصراً بعنصر وتحمل حالة مخفية تنقل المعلومات من الخطوات السابقة، باستخدام الأوزان نفسها في كل خطوة.
الشبكات العصبية النبضية
Spiking Neural Networks (SNN)
شبكات تتواصل عصبوناتها بنبضات ثنائية متقطعة في الزمن، مثل الدماغ. يتراكم الجهد الغشائي ويُطلق نبضة عند تجاوز العتبة، ثم يُعاد ضبطه.
نماذج فضاء الحالة
Structured State Space Models (SSM / S4)
طبقات تسلسلية مبنية على نموذج فضاء الحالة الخطي المستمر، تُقطَّع زمنياً ويمكن حسابها كتكرار سريع في الاستدلال أو كالتفاف طويل متوازٍ في التدريب، مع تهيئة خاصة (HiPPO) لح…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة LTC وCfC وGRU على سلاسل طبية غير منتظمة الزمن (مثل العلامات الحيوية في العناية المركزة).
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما معنى "سائل" في Liquid Time-Constant؟
لماذا؟ المعدل $1/\tau+f(x,I)$ يعتمد على الدخل.
ما الذي قدمته CfC (2022) مقارنة بـ LTC؟
لماذا؟ Closed-form Continuous-time تسرّع النموذج.
إذا كانت $f=0$ دائماً، كيف تتصرف حالة LTC دون دخل؟
لماذا؟ تصبح المعادلة $dx/dt=-x/\tau$.
المراجع
Hasani, R., Lechner, M., Amini, A., Rus, D., & Grosu, R. (2021). Liquid time-constant networks. Proceedings of the AAAI Conference on Artificial Intelligence, 35(9), 7657–7666. https://doi.org/10.1609/aaai.v35i9.16936
Hasani, R., Lechner, M., Amini, A., Liebenwein, L., Ray, A., Tschaikowski, M., Teschl, G., & Rus, D. (2022). Closed-form continuous-time neural networks. Nature Machine Intelligence, 4, 992–1003. https://doi.org/10.1038/s42256-022-00556-7
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural ordinary differential equations. Advances in Neural Information Processing Systems (NeurIPS) 31. https://arxiv.org/abs/1806.07366
