المعادلات التفاضلية العصبية (Neural ODE)
Neural Ordinary Differential Equations
تُعرّف الحالة المخفية بمعادلة تفاضلية مستمرة تُعطى مشتقتها بشبكة عصبية، ويُحسب الخرج بحلّال عددي، فتصبح الشبكة "مستمرة العمق".
نظرة عامة
| الاسم | المعادلات التفاضلية العصبية – Neural Ordinary Differential Equations |
|---|---|
| سنة الظهور | 2018 |
| الباحثون | Ricky T. Q. Chen، Yulia Rubanova، Jesse Bettencourt، David Duvenaud |
| الجهة | University of Toronto / Vector Institute |
| الورقة الأصلية | Neural ordinary differential equations arXiv |
| نوع البيانات | تسلسلات وسلاسل زمنية، حقول فيزيائية ودوال |
| المجالات | التنبؤ بالسلاسل الزمنية، الحوسبة العلمية، الذكاء الاصطناعي التوليدي، تحليل الصور الطبية |
المشكلة التي تحلها
الشبكة المتبقية $h_{t+1}=h_t+f(h_t)$ تشبه خطوة أويلر؛ وكثير من البيانات (سلاسل غير منتظمة، أنظمة فيزيائية) مستمرة بطبيعتها.
الخلفية والتطور
ما قبلها: الشبكة المتبقية، الشبكة العصبية المتكررة
- 2018
حصلت الورقة على جائزة أفضل بحث في NeurIPS 2018، وقدمت طريقة المرافق (adjoint) لحساب التدرّج بذاكرة ثابتة. [مرجع]
الفكرة الأساسية
$dh/dt=f_\theta(h,t)$. الخرج $h(T)$ يُحسب بحلّال (أويلر، رونغه–كوتا، أو حلّال تكيفي). التدرّج يُحسب إما بالاشتقاق عبر خطوات الحلّال أو بطريقة المرافق التي تحل معادلة أخرى عكسياً بذاكرة ثابتة.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Initial state h(0) | من مشفّر أو من الدخل |
| Dynamics network f_θ | MLP يعطي المشتقة |
| ODE solver | RK4 أو dopri5 تكيفي |
| Adjoint method | تدرّج بذاكرة ثابتة |
| Readout | طبقة على h(T) |
المعادلات
1. النموذج
| $f_\theta$ | شبكة عصبية |
| $h(t)$ | الحالة |
2. معادلة المرافق
| $a(t)$ | $\partial\mathcal{L}/\partial h(t)$ |
آلية العمل خطوة بخطوة
- تُحسب الحالة الأولية.
- يُكامل الحلّال المشتقة المتعلمة إلى الزمن المطلوب.
- يُحسب الخرج.
- يُحسب التدرّج عبر الحلّال أو بالمرافق.
- تُحدّث معاملات f.
المزايا والقيود
المزايا
- زمن مستمر وتعامل طبيعي مع الفواصل غير المنتظمة.
- ذاكرة ثابتة بالمرافق.
- ربط طبيعي بالنمذجة الفيزيائية.
القيود
- بطء التدريب مع الحلّالات التكيفية.
- الديناميكيات قد تصبح صلبة (stiff) فتكثر خطوات الحلّال.
متى تُستخدم؟ ومتى لا؟
تناسب
- سلاسل زمنية غير منتظمة.
- نمذجة أنظمة ديناميكية.
لا تناسب
- مهام تصنيف عادية تكفيها ResNet بسرعة أعلى.
التطبيقات
| المجال | الاستخدام |
|---|---|
| التنبؤ بالسلاسل الزمنية | سلاسل غير منتظمة الزمن. |
| تحليل الصور الطبية | تتبع حالة المرضى عبر قياسات متفرقة. |
| الحوسبة العلمية | تعلم ديناميكيات أنظمة فيزيائية. |
| الذكاء الاصطناعي التوليدي | تدفقات مستمرة للنمذجة التوليدية (CNF). |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
مكتبة torchdiffeq للمؤلفين توفر حلّالات تكيفية وطريقة المرافق؛ هنا RK4 بخطوة ثابتة للتوضيح.
# Neural ODE مع حلّال RK4 مكتوب يدوياً
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class Dynamics(nn.Module):
def __init__(self, d=2, h=32):
super().__init__()
self.net = nn.Sequential(nn.Linear(d, h), nn.Tanh(), nn.Linear(h, d))
def forward(self, t, z):
return self.net(z) # dz/dt = f_θ(z)
def odeint_rk4(f, z0, ts):
zs, z = [z0], z0
for t0, t1 in zip(ts[:-1], ts[1:]):
h = t1 - t0
k1 = f(t0, z); k2 = f(t0 + h / 2, z + h / 2 * k1); k3 = f(t0 + h / 2, z + h / 2 * k2); k4 = f(t1, z + h * k3)
z = z + h / 6 * (k1 + 2 * k2 + 2 * k3 + k4)
zs.append(z)
return torch.stack(zs) # len(ts)×B×d
# 3) إعداد البيانات
# بيانات من مذبذب حلزوني حقيقي: dz/dt = A z ؛ نتعلم f_θ من مسارات قصيرة
A_true = torch.tensor([[-0.1, 2.0], [-2.0, -0.1]])
ts = torch.linspace(0, 1, 11)
def trajectories(n):
z0 = torch.randn(n, 2)
return torch.stack([z0 @ torch.matrix_exp(A_true * t).T for t in ts]) # 11×n×2 (حل دقيق)
Z_train, Z_test = trajectories(256), trajectories(64)
model = Dynamics()
# 4) الخسارة والمحسّن: MSE بين المسار المتنبأ به والحقيقي
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
# 5) حلقة التدريب (الاشتقاق عبر خطوات RK4)
for it in range(150):
pred = odeint_rk4(model, Z_train[0], ts) # Forward Pass = حل المعادلة
loss = F.mse_loss(pred, Z_train)
opt.zero_grad(); loss.backward(); opt.step()
if it % 50 == 0: print(f"iter {it} loss={loss.item():.5f}")
# 6) التقييم على مسارات جديدة
with torch.no_grad():
print(f"test MSE = {F.mse_loss(odeint_rk4(model, Z_test[0], ts), Z_test).item():.5f}")
# 7) الاستدلال: استقراء إلى t=2 (خارج مدى التدريب)
with torch.no_grad():
z0 = torch.tensor([[1.0, 0.0]])
t2 = torch.linspace(0, 2, 21)
print("predicted z(2):", odeint_rk4(model, z0, t2)[-1].tolist(), " true:", (z0 @ torch.matrix_exp(A_true * 2.0).T).tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.6 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.01563
عدد المعاملات القابلة للتدريب في المثال: model = 162.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مختبر السلاسل الزمنية قسم آخر في الموقع
معماريات مرتبطة
الشبكات العصبية السائلة
Liquid Neural Networks (LNN)
شبكات متكررة زمنية مستمرة يتغير فيها ثابت الزمن لكل عصبون حسب الدخل (Liquid Time-Constant)، فتتكيف ديناميكيتها مع البيانات مع عدد عصبونات صغير.
نماذج التوازن العميق
Deep Equilibrium Models (DEQ)
بدلاً من تكديس L طبقة، يبحث النموذج عن نقطة ثابتة لطبقة واحدة z^*=f_θ(z^*,x) كأنها شبكة بعمق لانهائي بأوزان مشتركة، ويحسب التدرّج ضمنياً دون تخزين الخطوات.
الشبكات العصبية المستندة إلى الفيزياء
Physics-Informed Neural Networks (PINN)
شبكة تقرّب حل معادلة تفاضلية جزئية u_θ(x,t)، وتُدرَّب بخسارة تجمع باقي المعادلة (محسوباً بالاشتقاق التلقائي) مع الشروط الابتدائية والحدية وأي قياسات متاحة، فتحل مسائل أم…
مطابقة التدفق
Flow Matching (FM)
تتعلم حقل سرعة لمعادلة تفاضلية عادية ينقل توزيع الضوضاء إلى توزيع البيانات، بالانحدار مباشرة على سرعات مسارات احتمالية بسيطة (مثل خطوط مستقيمة بين ضوضاء وبيانات)، دون مح…
الشبكة المتبقية
Residual Network (ResNet)
تضيف وصلات تخطٍّ (skip connections) تجعل كل كتلة تتعلم الفرق المتبقي F(x) بدلاً من التحويل الكامل، فيصبح تدريب شبكات بمئات الطبقات ممكناً.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- Neural ODE للتنبؤ بتطور مؤشرات الدم لمرضى السكري بقياسات غير منتظمة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
بماذا ترتبط الكتلة المتبقية $h_{t+1}=h_t+f(h_t)$ في سياق Neural ODE؟
لماذا؟ خطوة أويلر بخطوة زمنية 1.
ما فائدة طريقة المرافق (adjoint)؟
لماذا؟ تحل معادلة عكسية بدل تخزين المسار.
لماذا تناسب Neural ODE السلاسل غير المنتظمة؟
لماذا؟ الحلّال يكامل إلى أي t.
المراجع
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural ordinary differential equations. Advances in Neural Information Processing Systems (NeurIPS) 31. https://arxiv.org/abs/1806.07366
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. https://doi.org/10.1109/CVPR.2016.90
