المؤثرات العصبية (NO)
Neural Operators
عائلة معماريات تتعلم مؤثرات بين فضاءات دوال لا بين متجهات بأبعاد ثابتة، بتكديس طبقات خطية نقطية مع مؤثرات تكاملية بنوى متعلَّمة، فتكون مستقلة عن التقطيع (discretization-invariant). FNO وDeepONet (بمعنى واسع) حالات خاصة.
نظرة عامة
| الاسم | المؤثرات العصبية – Neural Operators |
|---|---|
| سنة الظهور | 2023 |
| الباحثون | Nikola Kovachki، Zongyi Li، Burigede Liu، Kamyar Azizzadenesheli، Kaushik Bhattacharya، Andrew Stuart، Anima Anandkumar |
| الجهة | Caltech / NVIDIA |
| الورقة الأصلية | Neural operator: Learning maps between function spaces with applications to PDEs arXiv الناشر |
| نوع البيانات | حقول فيزيائية ودوال |
| المجالات | الحوسبة العلمية، تحليل الصور الطبية |
| الكلفة الحسابية | $O(N^2)$ للنواة الكاملة؛ أقل مع الرسوم أو فورييه. |
| حجم البيانات | مئات إلى آلاف الأزواج. |
المشكلة التي تحلها
الشبكات العادية مرتبطة بأبعاد دخل ثابتة؛ وحلول المعادلات التفاضلية دوال يمكن تقطيعها بطرق مختلفة. المطلوب تعريف تعلم يحترم هذه الطبيعة الدالية.
الخلفية والتطور
ما قبلها: شبكة المؤثرات العميقة، المؤثر العصبي الفورييهي، الشبكة العصبية البيانية
الفكرة الأساسية
كل طبقة: $v_{t+1}(x)=\sigma(Wv_t(x)+\int\kappa_\phi(x,y)v_t(y)\,d\mu(y))$. النواة $\kappa_\phi$ شبكة صغيرة تُقيّم على أزواج نقاط، والتكامل يُقرب بمجموع على نقاط التقطيع المتاحة. اختيارات تقريب التكامل تعطي أنواعاً: رسومية (GNO) على جيران، منخفضة الرتبة، متعددة الأقطاب، أو فورييه (FNO).
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
في المثال طبقة تكاملية خطية واحدة تكفي لأن المؤثر خطي (دالة غرين).
المكونات
| المكوّن | الوظيفة |
|---|---|
| Lifting | |
| Kernel integral operator | κ_φ(x, y) متعلَّمة |
| Pointwise linear W | |
| Nonlinearity | |
| Projection | |
| Quadrature / graph / Fourier approximation | لتقريب التكامل |
المعادلات
1. الطبقة العامة
| $\kappa_\phi$ | نواة متعلَّمة |
| $\mu$ | قياس على المجال |
2. حل بواسون بدالة غرين
| $f$ | المصدر (دالة الدخل) |
| $u$ | الحل |
| $G(x,y)$ | دالة غرين للمؤثر |
آلية العمل خطوة بخطوة
- اجمع أزواج دوال على تقطيعات قد تختلف.
- اختر تقريب التكامل.
- كدّس طبقات تكاملية ونقطية.
- درّب بخسارة L2 نسبية.
- قيّم على تقطيعات أخرى.
المزايا والقيود
المزايا
- استقلال عن التقطيع.
- نتائج تقريب شامل.
- إطار يوحد عدة معماريات.
القيود
- النواة العامة تكلف $O(N^2)$ ما لم تُقرّب.
- تحتاج بيانات من محلّل.
- النظرية لا تضمن تعلماً ببيانات قليلة.
متى تُستخدم؟ ومتى لا؟
تناسب
- هندسات وتقطيعات غير منتظمة (GNO).
- تعلم مؤثرات حل عامة.
لا تناسب
- مسألة واحدة يحلها محلّل بسرعة.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الحوسبة العلمية | محاكاة الموائع والحرارة والمرونة والمسائل العكسية. |
| تحليل الصور الطبية | نمذجة تدفق الدم وانتشار الأدوية في الأنسجة. |
| الروبوتات | نماذج ديناميكية للتحكم. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Neural Operator: طبقة مؤثر تكاملي بنواة MLP تتعلم دالة غرين
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class KernelIntegralLayer(nn.Module):
"""(K f)(x) = ∫ κ_φ(x, y) f(y) dy ≈ Σ_j κ_φ(x, y_j) f(y_j) Δy : النواة شبكة MLP على أزواج النقاط،
فالطبقة نفسها تعمل على أي تقطيع (discretization) للمجال."""
def __init__(self, h=64):
super().__init__()
self.kappa = nn.Sequential(nn.Linear(2, h), nn.GELU(), nn.Linear(h, h), nn.GELU(), nn.Linear(h, 1))
def kernel(self, x, y):
X, Y = torch.meshgrid(x, y, indexing='ij')
return self.kappa(torch.stack([X, Y], -1)).squeeze(-1) # N×N
def forward(self, f, x): # f: B×N على النقاط x
dy = 1.0 / len(x)
return f @ self.kernel(x, x).T * dy
model = KernelIntegralLayer()
# 3) إعداد البيانات
# المؤثر: حل −u'' = f على [0,1] مع u(0)=u(1)=0، أي u(x) = ∫ G(x,y) f(y) dy بدالة غرين المعروفة:
# G(x,y) = x(1−y) إذا x≤y ، و y(1−x) إذا x>y. نستخدمها فقط لتوليد البيانات وللمقارنة النهائية.
def green(x, y):
X, Y = torch.meshgrid(x, y, indexing='ij')
return torch.where(X <= Y, X * (1 - Y), Y * (1 - X))
def make(n, N):
x = (torch.arange(N) + 0.5) / N # نقاط منتصف الخلايا
k = torch.arange(1, 17).float() # 16 نمطاً: تغطي فضاء الدوال على الشبكة الخشنة
c = torch.randn(n, 16) / k.sqrt()
f = (c[:, :, None] * torch.sin(torch.pi * k[None, :, None] * x)).sum(1)
u = (c[:, :, None] * torch.sin(torch.pi * k[None, :, None] * x) / (torch.pi * k[None, :, None]) ** 2).sum(1) # حل دقيق
return x, f, u
x_tr, F_train, U_train = make(1000, 32)
# 4) الخسارة والمحسّن
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
# 5) حلقة التدريب على تقطيع خشن (32 نقطة)
for epoch in range(1500):
loss = F.mse_loss(model(F_train, x_tr), U_train) / U_train.pow(2).mean() # Forward Pass + خسارة نسبية
opt.zero_grad(); loss.backward(); opt.step()
if epoch % 300 == 0 or epoch == 1499:
print(f"epoch {epoch:3d} relative MSE={loss.item():.2e}")
# 6) التقييم على تقطيعات مختلفة دون إعادة تدريب، ومقارنة النواة المتعلَّمة بدالة غرين الحقيقية
with torch.no_grad():
for N in (32, 64, 128):
x, f, u = make(200, N)
p = model(f, x)
print(f"N={N:3d}: relative L2 error = {(torch.norm(p - u) / torch.norm(u)).item():.4f}")
xg = (torch.arange(64) + 0.5) / 64
kerr = (torch.norm(model.kernel(xg, xg) - green(xg, xg)) / torch.norm(green(xg, xg))).item()
print(f"learned kernel vs true Green's function: relative error = {kerr:.4f}")
# 7) الاستدلال: f = 1 (ثابت) ⇒ الحل الدقيق u = x(1−x)/2 ، نقيّمه عند x = 0.5
with torch.no_grad():
x = (torch.arange(100) + 0.5) / 100
print(f"u(0.5) for f=1: operator = {model(torch.ones(1, 100), x)[0, 49:51].mean().item():.4f} ; exact = 0.1250")
نُفّذ هذا الكود بتاريخ 2026-11-20 في 5.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
N= 32: relative L2 error = 0.0372 N= 64: relative L2 error = 0.0382 N=128: relative L2 error = 0.0377 learned kernel vs true Green's function: relative error = 0.0896
عدد المعاملات القابلة للتدريب في المثال: model = 4٬417.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المؤثر العصبي الفورييهي
Fourier Neural Operator (FNO)
مؤثر عصبي يطبق في كل طبقة "التفافاً طيفياً": تحويل فورييه للسمات، ثم ضرب عدد محدود من الترددات المنخفضة بأوزان مركبة متعلَّمة، ثم التحويل العكسي، مع مسار خطي محلي، فيتعل…
شبكة المؤثرات العميقة
Deep Operator Network (DeepONet)
شبكة تتعلم مؤثراً يحوّل دالة إلى دالة (مثل: الشرط → الحل)، عبر شبكة "فرع" ترمّز دالة الدخل من قيمها عند حساسات ثابتة، وشبكة "جذع" ترمّز موضع التقييم، ويُجمع الناتجان بضر…
الشبكة العصبية البيانية
Graph Neural Network (GNN)
عائلة نماذج تتعلم تمثيلاً لكل عقدة بتبادل الرسائل مع جيرانها عبر الحواف، فتدمج سمات العقدة مع بنية الرسم.
الشبكات العصبية المستندة إلى الفيزياء
Physics-Informed Neural Networks (PINN)
شبكة تقرّب حل معادلة تفاضلية جزئية u_θ(x,t)، وتُدرَّب بخسارة تجمع باقي المعادلة (محسوباً بالاشتقاق التلقائي) مع الشروط الابتدائية والحدية وأي قياسات متاحة، فتحل مسائل أم…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مؤثرات عصبية رسومية لتوقع الإجهاد في عظام مطبوعة ثلاثياً بهندسات متنوعة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما المقصود بالاستقلال عن التقطيع؟
لماذا؟ لأن النواة دالة مستمرة في (x, y).
ما تكلفة تقريب التكامل بنواة كاملة على N نقطة؟
لماذا؟ تقييم κ لكل زوج.
مع $f\equiv1$ لمسألة بواسون أعلاه، ما $u(0.5)$؟
لماذا؟ $0.5\times0.5/2$.
المراجع
Kovachki, N., Li, Z., Liu, B., Azizzadenesheli, K., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2023). Neural operator: Learning maps between function spaces with applications to PDEs. Journal of Machine Learning Research, 24(89), 1–97. https://arxiv.org/abs/2108.08481
Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2021). Fourier neural operator for parametric partial differential equations. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.08895
Lu, L., Jin, P., Pang, G., Zhang, Z., & Karniadakis, G. E. (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence, 3(3), 218–229. https://doi.org/10.1038/s42256-021-00302-5
Chen, T., & Chen, H. (1995). Universal approximation to nonlinear operators by neural networks with arbitrary activation functions and its application to dynamical systems. IEEE Transactions on Neural Networks, 6(4), 911–917. https://doi.org/10.1109/72.392253
