المؤثر العصبي الفورييهي (FNO)
Fourier Neural Operator
مؤثر عصبي يطبق في كل طبقة "التفافاً طيفياً": تحويل فورييه للسمات، ثم ضرب عدد محدود من الترددات المنخفضة بأوزان مركبة متعلَّمة، ثم التحويل العكسي، مع مسار خطي محلي، فيتعلم حلول عائلات معادلات تفاضلية ويعمل على دقات مختلفة.
نظرة عامة
| الاسم | المؤثر العصبي الفورييهي – Fourier Neural Operator |
|---|---|
| سنة الظهور | 2021 |
| الباحثون | Zongyi Li، Nikola Kovachki، Kamyar Azizzadenesheli، Burigede Liu، Kaushik Bhattacharya، Andrew Stuart، Anima Anandkumar |
| الجهة | Caltech / Purdue University |
| الورقة الأصلية | Fourier neural operator for parametric partial differential equations arXiv |
| نوع البيانات | حقول فيزيائية ودوال |
| المجالات | الحوسبة العلمية، تحليل الصور الطبية |
| الكلفة الحسابية | $O(N\log N\cdot w)+O(N w^2)$ لكل طبقة. |
| حجم البيانات | مئات إلى آلاف الحلول. |
المشكلة التي تحلها
تعلم مؤثرات الحل بشبكات التفافية عادية مرتبط بدقة الشبكة، والتكلفة الحسابية للمحلّلات التقليدية عالية عند تكرار الحل لمعاملات كثيرة.
الخلفية والتطور
ما قبلها: شبكة المؤثرات العميقة، الشبكة العصبية الالتفافية
الفكرة الأساسية
المؤثر التكاملي بنواة تعتمد على الفرق $\kappa(x-y)$ هو التفاف، والالتفاف في فضاء فورييه ضرب. لذلك تُرفع الدالة إلى قنوات كثيرة، ثم في كل طبقة: FFT → اقتطاع أول $k_{max}$ تردداً → ضربها بمصفوفة متعلَّمة → IFFT، ويُضاف تحويل خطي نقطي $W$ ثم تنشيط. لأن الأوزان معرّفة على الترددات لا على البكسلات، يمكن تقييم النموذج على تقطيع أدق.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Lifting P | رفع إلى قنوات |
| Spectral convolution R | أوزان مركبة على k_max تردد |
| Local linear W | التفاف 1×1 |
| Nonlinearity σ | GELU |
| Projection Q | إلى قيمة الحل |
المعادلات
1. طبقة فورييه
| $\mathcal{F}$ | تحويل فورييه |
| $R_\phi$ | أوزان مركبة لكل تردد مُبقى |
| $W$ | تحويل خطي محلي |
2. المؤثر التكاملي كالتفاف
| $\kappa$ | نواة التكامل |
| $v$ | الدالة الداخلة إلى الطبقة |
| $\mathcal F,\mathcal F^{-1}$ | تحويل فورييه ومعكوسه |
آلية العمل خطوة بخطوة
- ولّد أزواج (شرط، حل) بمحلّل عددي.
- ارفع الدخل مع الإحداثيات إلى قنوات.
- طبّق طبقات فورييه.
- أسقط إلى الحل.
- درّب بخسارة L2 نسبية.
- قيّم على دقات أخرى.
المزايا والقيود
المزايا
- سريع جداً بعد التدريب (وفق المؤلفين: أسرع بمراتب من المحللات التقليدية في تجاربهم).
- مستقل عن الدقة.
- فعال مع مسائل دورية وسلسة.
القيود
- يفترض مجالاً منتظماً (FFT)؛ الأشكال المعقدة تحتاج تعديلات.
- اقتطاع الترددات يحد من التقاط التفاصيل الحادة جداً.
- يحتاج بيانات من محلّل.
متى تُستخدم؟ ومتى لا؟
تناسب
- محاكاة متكررة لعائلة معادلات على شبكة منتظمة.
- التنبؤ بالطقس والموائع.
لا تناسب
- هندسات غير منتظمة دون تكييف.
- بيانات قليلة جداً.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الحوسبة العلمية | محاكاة الموائع والحرارة والمرونة والمسائل العكسية. |
| تحليل الصور الطبية | نمذجة تدفق الدم وانتشار الأدوية في الأنسجة. |
| الروبوتات | نماذج ديناميكية للتحكم. |
| التنبؤ بالسلاسل الزمنية | التنبؤ بحقول مكانية-زمنية مثل الطقس. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
بيانات التدريب تُولد داخل المثال بمحلّل طيفي (RK4) تحققنا من تقاربه بتقليص الخطوة؛ خط الأساس "الهوية" كبير لأن اللزوجة والصدمات تبدد الطاقة بقوة.
# FNO أحادي البعد لمعادلة برغرز مع اختبار على دقة أعلى
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class SpectralConv1d(nn.Module):
"""التفاف طيفي: FFT → ضرب أول `modes` ترددات بأوزان مركبة متعلَّمة → IFFT."""
def __init__(self, cin, cout, modes):
super().__init__()
self.modes = modes
self.w = nn.Parameter(torch.randn(cin, cout, modes, dtype=torch.cfloat) / (cin * cout))
def forward(self, x): # x: B×C×N
xf = torch.fft.rfft(x)
out = torch.zeros(x.shape[0], self.w.shape[1], xf.shape[-1], dtype=torch.cfloat)
out[..., :self.modes] = torch.einsum('bin,ion->bon', xf[..., :self.modes], self.w)
return torch.fft.irfft(out, n=x.shape[-1])
class FNO1d(nn.Module):
def __init__(self, modes=12, width=32, layers=3):
super().__init__()
self.lift = nn.Linear(2, width) # (u0(x), x) → قنوات
self.spec = nn.ModuleList([SpectralConv1d(width, width, modes) for _ in range(layers)])
self.w = nn.ModuleList([nn.Conv1d(width, width, 1) for _ in range(layers)]) # المسار المحلي W
self.proj = nn.Sequential(nn.Linear(width, 64), nn.GELU(), nn.Linear(64, 1))
def forward(self, u0): # u0: B×N (أي دقة N)
N = u0.shape[-1]
grid = torch.linspace(0, 1, N + 1)[:-1].expand_as(u0)
v = self.lift(torch.stack([u0, grid], -1)).transpose(1, 2) # B×width×N
for k, (s, w) in enumerate(zip(self.spec, self.w)):
v = s(v) + w(v)
if k < len(self.spec) - 1: v = F.gelu(v)
return self.proj(v.transpose(1, 2)).squeeze(-1)
# 3) إعداد البيانات
# المؤثر: حل معادلة برغرز اللزجة الدورية u_t + u u_x = ν u_xx من u(x,0) إلى u(x,T)
# البيانات تُولَّد بمحلّل طيفي بسيط (pseudo-spectral + RK4) على شبكة دقيقة ثم تُؤخذ عيّنات منها
NU, T_END = 0.02, 0.5
def burgers(u0, steps=1000): # dt = 5e-4 يحقق شرط الاستقرار للحد اللزج على 128 نقطة
N = u0.shape[-1]; k = torch.fft.rfftfreq(N, 1 / N) * 2 * torch.pi
def rhs(u):
uh = torch.fft.rfft(u)
ux = torch.fft.irfft(1j * k * uh, n=N); uxx = torch.fft.irfft(-(k ** 2) * uh, n=N)
return -u * ux + NU * uxx
u, dt = u0.clone(), T_END / steps
for _ in range(steps):
a = rhs(u); b = rhs(u + dt / 2 * a); c = rhs(u + dt / 2 * b); d = rhs(u + dt * c)
u = u + dt / 6 * (a + 2 * b + 2 * c + d)
return u
def make(n, N=128):
x = torch.linspace(0, 1, N + 1)[:-1]
c = torch.randn(n, 4, 2) / torch.arange(1, 5)[None, :, None]
u0 = sum(c[:, j, 0, None] * torch.sin(2 * torch.pi * (j + 1) * x) + c[:, j, 1, None] * torch.cos(2 * torch.pi * (j + 1) * x) for j in range(4))
return u0, burgers(u0)
U0, UT = make(1000)
X_train, y_train = U0[:800, ::2], UT[:800, ::2] # تدريب على دقة 64
X_test, y_test = U0[800:, ::2], UT[800:, ::2]
X_test_hi, y_test_hi = U0[800:], UT[800:] # اختبار على دقة 128 لم يُدرَّب عليها
model = FNO1d()
# 4) الخسارة (L2 النسبية كما في ورقة FNO) والمحسّن
def rel_l2(p, y): return (torch.norm(p - y, dim=1) / torch.norm(y, dim=1)).mean()
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
sched = torch.optim.lr_scheduler.StepLR(opt, 25, 0.5)
# 5) حلقة التدريب
EPOCHS, BATCH = 80, 20
for epoch in range(EPOCHS):
perm, tot = torch.randperm(len(X_train)), 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
loss = rel_l2(model(X_train[idx]), y_train[idx]) # Forward Pass
opt.zero_grad(); loss.backward(); opt.step()
tot += loss.item() * len(idx)
sched.step()
if epoch % 20 == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} rel L2={tot / len(X_train):.4f}")
# 6) التقييم: على الدقة نفسها ثم على دقة أعلى (zero-shot super-resolution)
with torch.no_grad():
print(f"test relative L2 error @64 = {rel_l2(model(X_test), y_test).item():.4f}")
print(f"test relative L2 error @128 = {rel_l2(model(X_test_hi), y_test_hi).item():.4f} (no retraining)")
print(f"identity baseline (u_T ≈ u_0) relative error = {rel_l2(X_test, y_test).item():.4f}")
# 7) الاستدلال على شرط ابتدائي جديد
with torch.no_grad():
x = torch.linspace(0, 1, 65)[:-1]
u0 = torch.sin(2 * torch.pi * x)[None]
print("max |FNO − solver| for u0 = sin(2πx):", round((model(u0) - burgers(u0)).abs().max().item(), 4))
نُفّذ هذا الكود بتاريخ 2026-11-20 في 26.3 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test relative L2 error @64 = 0.0059 test relative L2 error @128 = 0.0059 (no retraining) identity baseline (u_T ≈ u_0) relative error = 2.8821
عدد المعاملات القابلة للتدريب في المثال: model = 42٬305.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
المؤثرات العصبية
Neural Operators (NO)
عائلة معماريات تتعلم مؤثرات بين فضاءات دوال لا بين متجهات بأبعاد ثابتة، بتكديس طبقات خطية نقطية مع مؤثرات تكاملية بنوى متعلَّمة، فتكون مستقلة عن التقطيع (discretization-…
شبكة المؤثرات العميقة
Deep Operator Network (DeepONet)
شبكة تتعلم مؤثراً يحوّل دالة إلى دالة (مثل: الشرط → الحل)، عبر شبكة "فرع" ترمّز دالة الدخل من قيمها عند حساسات ثابتة، وشبكة "جذع" ترمّز موضع التقييم، ويُجمع الناتجان بضر…
الشبكات العصبية المستندة إلى الفيزياء
Physics-Informed Neural Networks (PINN)
شبكة تقرّب حل معادلة تفاضلية جزئية u_θ(x,t)، وتُدرَّب بخسارة تجمع باقي المعادلة (محسوباً بالاشتقاق التلقائي) مع الشروط الابتدائية والحدية وأي قياسات متاحة، فتحل مسائل أم…
معماريات تعلم الآلة العلمي
Scientific Machine Learning Architectures (SciML)
منظومة معماريات تمزج النماذج الآلية (المعادلات المعروفة) مع شبكات عصبية تتعلم الأجزاء المجهولة، وتُدرَّب عبر محلّلات تفاضلية قابلة للاشتقاق. أبرز أمثلتها المعادلات التفا…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- FNO للتنبؤ قصير المدى بحقول الحرارة في بيئات حضرية عربية مع بيانات أقمار صناعية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يمكن تقييم FNO على دقة لم يُدرَّب عليها؟
لماذا؟ نفس الترددات المنخفضة موجودة في أي دقة كافية.
ما الذي يحدث للترددات الأعلى من $k_{max}$ في المسار الطيفي؟
لماذا؟ المسار المحلي W يساعد على استعادة بعض التفاصيل.
ما تكلفة FFT لطول N؟
لماذا؟ أساس كفاءة FNO.
المراجع
Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2021). Fourier neural operator for parametric partial differential equations. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2010.08895
Kovachki, N., Li, Z., Liu, B., Azizzadenesheli, K., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2023). Neural operator: Learning maps between function spaces with applications to PDEs. Journal of Machine Learning Research, 24(89), 1–97. https://arxiv.org/abs/2108.08481
Lu, L., Jin, P., Pang, G., Zhang, Z., & Karniadakis, G. E. (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence, 3(3), 218–229. https://doi.org/10.1038/s42256-021-00302-5
Karniadakis, G. E., Kevrekidis, I. G., Lu, L., Perdikaris, P., Wang, S., & Yang, L. (2021). Physics-informed machine learning. Nature Reviews Physics, 3(6), 422–440. https://doi.org/10.1038/s42254-021-00314-5
