شبكات كولموغوروف–أرنولد (KAN)
Kolmogorov–Arnold Networks
شبكات تضع دوال تنشيط قابلة للتعلم (منحنيات B-spline) على الحواف بدلاً من أوزان ثابتة، بينما تجمع العقد مدخلاتها بالجمع فقط، استلهاماً من نظرية تمثيل كولموغوروف–أرنولد.
نظرة عامة
| الاسم | شبكات كولموغوروف–أرنولد – Kolmogorov–Arnold Networks |
|---|---|
| سنة الظهور | 2024 |
| الباحثون | Ziming Liu، Yixuan Wang، Sachin Vaidya، Fabian Ruehle، James Halverson، Marin Soljačić، Thomas Y. Hou، Max Tegmark |
| الجهة | MIT وآخرون |
| الورقة الأصلية | KAN: Kolmogorov–Arnold networks arXiv |
| نوع البيانات | بيانات جدولية، حقول فيزيائية ودوال |
| المجالات | البيانات الجدولية، الحوسبة العلمية |
| الكلفة الحسابية | أعلى من MLP لكل معامل بسبب حساب دوال الأساس. |
| حجم البيانات | مسائل علمية ومجموعات صغيرة منخفضة الأبعاد. |
المشكلة التي تحلها
في MLP تكون دوال التنشيط ثابتة على العقد والأوزان خطية، فيصعب تفسير الدوال المتعلمة. سعى المؤلفون إلى نماذج أكثر قابلية للتفسير ودقة في مسائل علمية منخفضة الأبعاد.
الخلفية والتطور
ما قبلها: الإدراك متعدد الطبقات، نظرية كولموغوروف–أرنولد (1957)
الفكرة الأساسية
تنص النظرية على أن $f(x_1,\dots,x_n)=\sum_q\Phi_q\left(\sum_p\phi_{q,p}(x_p)\right)$. تعمّم KAN هذا إلى طبقات أعمق: كل حافة تحمل دالة أحادية المتغير $\phi(x)$ تمثَّل كمجموع لدوال أساس B-spline بمعاملات متعلمة (مع دالة أساس SiLU)، وكل عقدة تجمع ما يصلها. يمكن رسم كل دالة حافة ومحاولة مطابقتها بصيغة رمزية.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input | متغيرات عددية منخفضة الأبعاد |
| Learnable edge functions | $\phi(x)=w_b\,\mathrm{silu}(x)+w_s\sum_i c_iB_i(x)$ |
| Spline grid | شبكة عقد G ودرجة k (عادة 3) |
| Node summation | العقدة تجمع مدخلاتها فقط |
| Grid extension | تكثيف الشبكة أثناء التدريب |
| Pruning / Symbolic regression | تقليم الحواف ومطابقة الدوال برموز |
المعادلات
1. نظرية تمثيل كولموغوروف–أرنولد
| $\phi_{q,p}$ | دوال داخلية أحادية المتغير |
| $\Phi_q$ | دوال خارجية أحادية المتغير |
2. طبقة KAN
| $B_m$ | دوال أساس B-spline |
| $G$ | عدد فترات الشبكة |
| $k$ | درجة spline |
| $c_m$ | معاملات متعلمة |
3. دوال B-spline (تكرار Cox–de Boor)
| $t_i$ | عقد الشبكة |
آلية العمل خطوة بخطوة
- تُحدد شبكة spline لكل حافة على مدى الدخل.
- تُحسب قيم دوال الأساس لكل دخل.
- تُحسب دالة كل حافة ثم تُجمع عند العقد.
- تتكرر الطبقات.
- تُدرّب المعاملات بالانحدار مع تنظيم للتقليم.
- يمكن تكثيف الشبكة ومطابقة الدوال بصيغ رمزية.
المزايا والقيود
المزايا
- قابلية تفسير أعلى في المسائل منخفضة الأبعاد.
- دقة جيدة في تقريب الدوال الملساء والمعادلات العلمية حسب تجارب المؤلفين.
- إمكانية استخراج صيغ رمزية.
القيود
- أبطأ تدريباً من MLP بالمعاملات نفسها في التنفيذات الحالية.
- الأفضلية على MLP ليست عامة؛ دراسات لاحقة وجدت نتائج متباينة حسب المهمة.
- ما زالت معمارية بحثية حديثة.
متى تُستخدم؟ ومتى لا؟
تناسب
- اكتشاف علاقات رمزية في بيانات علمية.
- تقريب دوال ملساء منخفضة الأبعاد مع رغبة في التفسير.
لا تناسب
- الصور والنصوص عالية الأبعاد دون دمج مع معماريات أخرى.
- حين تكون السرعة أولوية.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الحوسبة العلمية | تقريب حلول المعادلات واكتشاف القوانين الرمزية. |
| البيانات الجدولية | نماذج قابلة للتفسير على بيانات جدولية صغيرة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
التنفيذ الرسمي للمؤلفين هو مكتبة pykan؛ هذا الكود تعليمي يوضح طبقة KAN بدوال B-spline دون تكثيف الشبكة أو التقليم أو المطابقة الرمزية.
# Kolmogorov–Arnold Network (KAN) بـ B-splines — تنفيذ تعليمي
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class KANLayer(nn.Module):
def __init__(self, n_in, n_out, G=5, k=3, lo=-1.0, hi=1.0):
super().__init__()
h = (hi - lo) / G
self.register_buffer('t', torch.arange(-k, G + k + 1) * h + lo) # عقد ممتدة
self.k = k
self.c = nn.Parameter(torch.randn(n_out, n_in, G + k) * 0.1) # معاملات spline
self.wb = nn.Parameter(torch.ones(n_out, n_in) * 0.5) # وزن الأساس silu
def bsplines(self, x): # x: B×n_in → B×n_in×(G+k)
x = x.unsqueeze(-1); t = self.t
Bk = ((x >= t[:-1]) & (x < t[1:])).float()
for p in range(1, self.k + 1):
Bk = (x - t[:-(p + 1)]) / (t[p:-1] - t[:-(p + 1)]) * Bk[..., :-1] + \
(t[p + 1:] - x) / (t[p + 1:] - t[1:-p]) * Bk[..., 1:]
return Bk
def forward(self, x):
spline = torch.einsum('bim,oim->bo', self.bsplines(x), self.c) # Σ_i Σ_m c B(x_i)
base = F.silu(x) @ self.wb.T
return base + spline
class KAN(nn.Module):
def __init__(self, width=(2, 5, 1), G=5):
super().__init__()
self.layers = nn.ModuleList([KANLayer(a, b, G) for a, b in zip(width[:-1], width[1:])])
def forward(self, x):
for i, l in enumerate(self.layers):
x = l(x)
if i < len(self.layers) - 1:
x = torch.tanh(x) # إبقاء المدخلات داخل مدى الشبكة [-1, 1] (تبسيط تعليمي)
return x
# 3) إعداد البيانات
# f(x, y) = exp(sin(πx) + y²) مطبّعة، x, y ∈ [-1, 1]
def f(X):
return torch.exp(torch.sin(torch.pi * X[:, :1]) + X[:, 1:] ** 2) / 3.0
X = torch.rand(1000, 2) * 2 - 1
Y = f(X)
X_train, y_train, X_test, y_test = X[:800], Y[:800], X[800:], Y[800:]
model = KAN()
# 4) دالة الخسارة والمحسّن
loss_fn = nn.MSELoss()
opt = torch.optim.Adam(model.parameters(), lr=2e-2)
# 5) حلقة التدريب (Training Loop) مع Forward Pass
EPOCHS, BATCH = 60, 64
for epoch in range(EPOCHS):
model.train()
perm = torch.randperm(len(X_train))
total = 0.0
for i in range(0, len(X_train), BATCH):
idx = perm[i:i + BATCH]
xb, yb = X_train[idx], y_train[idx]
out = model(xb) # Forward Pass
loss = loss_fn(out, yb)
opt.zero_grad()
loss.backward() # Backpropagation
opt.step()
total += loss.item() * len(idx)
if epoch % max(1, EPOCHS // 4) == 0 or epoch == EPOCHS - 1:
print(f"epoch {epoch:3d} loss={total / len(X_train):.4f}")
# 6) التقييم (Evaluation)
model.eval()
with torch.no_grad():
xb = X_test
out = model(xb)
mse = F.mse_loss(out, y_test).item()
print(f"test MSE = {mse:.4f}")
# 7) الاستدلال (Inference) على عيّنة جديدة
with torch.no_grad():
xb = X_test[:1]
out = model(xb)
print("prediction:", out.squeeze().tolist())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.8 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test MSE = 0.0000
عدد المعاملات القابلة للتدريب في المثال: model = 135.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
معماريات مرتبطة
الإدراك متعدد الطبقات
Multilayer Perceptron (MLP)
شبكة من طبقات خطية متتالية تفصل بينها دوال تنشيط غير خطية، وهي اللبنة الأولى التي تُبنى عليها معظم المعماريات الحديثة.
الشبكات العصبية المستندة إلى الفيزياء
Physics-Informed Neural Networks (PINN)
شبكة تقرّب حل معادلة تفاضلية جزئية u_θ(x,t)، وتُدرَّب بخسارة تجمع باقي المعادلة (محسوباً بالاشتقاق التلقائي) مع الشروط الابتدائية والحدية وأي قياسات متاحة، فتحل مسائل أم…
المؤثرات العصبية
Neural Operators (NO)
عائلة معماريات تتعلم مؤثرات بين فضاءات دوال لا بين متجهات بأبعاد ثابتة، بتكديس طبقات خطية نقطية مع مؤثرات تكاملية بنوى متعلَّمة، فتكون مستقلة عن التقطيع (discretization-…
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة KAN مع MLP بالعدد نفسه من المعاملات على مسائل PDE مع قياس الزمن والدقة.
- استخدام KAN كرأس تصنيف قابل للتفسير فوق سمات CNN في صور طبية.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
أين توجد الدوال القابلة للتعلم في KAN؟
لماذا؟ كل حافة تحمل دالة أحادية المتغير، والعقد تجمع فقط.
وبقية الخيارات: MLP هي التي تضع التنشيط الثابت على العقد.
ما الأساس النظري الذي استلهمته KAN؟
لماذا؟ النظرية تمثل الدالة متعددة المتغيرات بتركيب دوال أحادية المتغير والجمع.
ما العبارة الأدق عن مقارنة KAN مع MLP؟
لماذا؟ تجارب المؤلفين أظهرت مزايا في مسائل علمية، ودراسات أخرى وجدت نتائج متباينة.
المراجع
Liu, Z., Wang, Y., Vaidya, S., Ruehle, F., Halverson, J., Soljačić, M., Hou, T. Y., & Tegmark, M. (2025). KAN: Kolmogorov–Arnold networks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2404.19756
Kolmogorov, A. N. (1957). On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition. Doklady Akademii Nauk SSSR, 114(5), 953–956 (in Russian). English translation: American Mathematical Society Translations, Series 2, 28, 55–59 (1963). https://doi.org/10.1090/trans2/028/04
Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals and Systems, 2(4), 303–314. https://doi.org/10.1007/BF02551274
