الشبكات العصبية المتكافئة (ENN)
Equivariant Neural Networks
شبكات تُبنى بحيث يتحول خرجها بطريقة محددة عندما يتحول الدخل بتناظر ما (دوران، إزاحة، انعكاس، تبديل)، فلا تحتاج إلى تعلم هذا التناظر من البيانات، وتعمم إلى وضعيات لم ترها.
نظرة عامة
| الاسم | الشبكات العصبية المتكافئة – Equivariant Neural Networks |
|---|---|
| سنة الظهور | 2016 |
| الباحثون | Taco Cohen، Max Welling (G-CNN)؛ وVíctor Garcia Satorras، Emiel Hoogeboom، Max Welling (EGNN 2021) |
| الجهة | University of Amsterdam |
| الورقة الأصلية | Group equivariant convolutional networks arXiv |
| نوع البيانات | رسوم بيانية، صور، حقول فيزيائية ودوال |
| المجالات | الحوسبة العلمية، الرؤية الحاسوبية، الروبوتات، تحليل الصور الطبية، تعلم البيانات البيانية |
| الكلفة الحسابية | $O(N^2)$ للرسائل الكاملة أو أقل مع جيران. |
| حجم البيانات | صغيرة إلى متوسطة غالباً بفضل التناظر. |
المشكلة التي تحلها
الشبكات العادية تحتاج زيادة بيانات كثيرة لتتعلم أن الجزيء المُدار هو الجزيء نفسه، وقد تفشل خارج الوضعيات المدربة عليها.
الخلفية والتطور
ما قبلها: الشبكة العصبية الالتفافية، الشبكة العصبية البيانية
الفكرة الأساسية
الالتفاف العادي متكافئ مع الإزاحة. نعمم: إذا كان $g$ تحويلاً من مجموعة، نريد $f(T_gx)=T'_gf(x)$. في EGNN، رسائل الحواف تعتمد على $\lVert x_i-x_j\rVert^2$ (ثابتة تحت الدوران)، والإحداثيات تُحدّث بمجموع موزون للفروق $x_i-x_j$ (تدور مع الدخل)، فتكون الطبقة متكافئة تماماً بالبناء.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Invariant features h | لا تتغير بالدوران |
| Equivariant coordinates x | تدور مع الدخل |
| Distance-based messages | |
| Coordinate update along differences | |
| Invariant pooling | للتنبؤات الثابتة |
المعادلات
1. تعريف التكافؤ
| $G$ | مجموعة التناظر |
| $T_g,T'_g$ | تمثيل g على الدخل والخرج |
2. طبقة EGNN
| $C$ | ثابت تطبيع (مثل $1/(N-1)$) |
آلية العمل خطوة بخطوة
- حدد التناظرات في المسألة.
- اختر معمارية تحترمها (G-CNN، EGNN، ...).
- درّب بشكل عادي.
- تحقق عددياً من التكافؤ.
- اختبر على وضعيات جديدة.
المزايا والقيود
المزايا
- كفاءة بيانات أعلى.
- تعميم مضمون عبر التناظرات.
- تنبؤات متسقة فيزيائياً.
القيود
- تعقيد رياضي وتنفيذي.
- قيود قد تضر إن لم يكن التناظر صحيحاً تماماً.
- تكلفة $O(N^2)$ للرسائل الكاملة.
متى تُستخدم؟ ومتى لا؟
تناسب
- جزيئات، بروتينات، سحب نقاط، فيزياء.
- صور طبية بلا اتجاه مفضل (مثل الشرائح النسيجية).
لا تناسب
- بيانات لها اتجاه ذو معنى (مثل الأرقام 6 و9).
التطبيقات
| المجال | الاستخدام |
|---|---|
| الحوسبة العلمية | خصائص الجزيئات والمواد ومحاكاة الجسيمات. |
| تحليل الصور الطبية | تحليل الشرائح النسيجية المستقل عن الدوران. |
| الروبوتات | إدراك ثلاثي الأبعاد. |
| تعلم البيانات البيانية | رسوم بيانية هندسية. |
| الرؤية الحاسوبية | سحب النقاط. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# EGNN مقابل MLP: تصنيف أشكال تحت الدوران مع تحقق عددي من التكافؤ
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class EGNNLayer(nn.Module):
"""طبقة EGNN (Satorras وآخرون 2021): الرسائل تعتمد على المسافات فقط ⇒ السمات ثابتة (invariant)
والإحداثيات متكافئة (equivariant) مع الدوران والإزاحة والانعكاس."""
def __init__(self, h=32):
super().__init__()
self.phi_e = nn.Sequential(nn.Linear(2 * h + 1, h), nn.SiLU(), nn.Linear(h, h), nn.SiLU())
self.phi_x = nn.Sequential(nn.Linear(h, h), nn.SiLU(), nn.Linear(h, 1))
self.phi_h = nn.Sequential(nn.Linear(2 * h, h), nn.SiLU(), nn.Linear(h, h))
def forward(self, h, x): # h: B×N×h ، x: B×N×2
B, N, _ = h.shape
diff = x[:, :, None] - x[:, None] # B×N×N×2
d2 = (diff ** 2).sum(-1, keepdim=True)
m = self.phi_e(torch.cat([h[:, :, None].expand(-1, -1, N, -1), h[:, None].expand(-1, N, -1, -1), d2], -1))
mask = 1 - torch.eye(N)[None, :, :, None]
x = x + (diff * self.phi_x(m) * mask).sum(2) / (N - 1) # تحديث الإحداثيات على طول الفروق
h = h + self.phi_h(torch.cat([h, (m * mask).sum(2)], -1))
return h, x
class EGNNClassifier(nn.Module):
def __init__(self, h=32, n_classes=3, L=2):
super().__init__()
self.emb = nn.Parameter(torch.randn(1, 1, h) * 0.1) # كل النقاط بنفس السمة الابتدائية
self.layers = nn.ModuleList([EGNNLayer(h) for _ in range(L)])
self.out = nn.Linear(h, n_classes)
def forward(self, x):
h = self.emb.expand(x.shape[0], x.shape[1], -1)
for l in self.layers:
h, x = l(h, x)
self.x_out = x
return self.out(h.mean(1)) # تجميع ثابت ⇒ تنبؤ ثابت تحت الدوران
class MLPBaseline(nn.Module): # يرى الإحداثيات الخام مسطحة: لا ضمانات تناظر
def __init__(self, N=6, n_classes=3):
super().__init__(); self.net = nn.Sequential(nn.Linear(2 * N, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, n_classes))
def forward(self, x): return self.net(x.flatten(1))
# 3) إعداد البيانات
# 6 نقاط لكل شكل: على خط (0)، على مثلث متساوي الأضلاع (1)، أو على سداسي منتظم (2).
# التدريب بوضعية قياسية فقط، والاختبار بدوران وإزاحة عشوائيين.
def shapes(n, rotate):
y = torch.randint(0, 3, (n,)); X = torch.zeros(n, 6, 2)
line = torch.stack([torch.linspace(-1, 1, 6), torch.zeros(6)], 1)
a = torch.arange(3) * 2 * torch.pi / 3; v = torch.stack([a.cos(), a.sin()], 1)
tri = torch.cat([v, (v + v.roll(-1, 0)) / 2], 0)
a6 = torch.arange(6) * torch.pi / 3; hexa = torch.stack([a6.cos(), a6.sin()], 1)
for i in range(n):
P = [line, tri, hexa][y[i]][torch.randperm(6)] * (0.8 + 0.4 * torch.rand(1))
if rotate:
t = torch.rand(1) * 2 * torch.pi
R = torch.tensor([[t.cos(), -t.sin()], [t.sin(), t.cos()]]).squeeze()
P = P @ R.T + torch.randn(1, 2)
X[i] = P + 0.02 * torch.randn(6, 2)
return X, y
X_train, y_train = shapes(900, rotate=False)
X_test, y_test = shapes(300, rotate=True)
# 4) و 5) تدريب النموذجين بالخسارة نفسها
results = {}
for name, model in [('egnn', EGNNClassifier()), ('mlp', MLPBaseline())]:
opt = torch.optim.Adam(model.parameters(), lr=3e-3)
for epoch in range(25):
perm = torch.randperm(len(X_train))
for i in range(0, len(X_train), 64):
idx = perm[i:i + 64]
loss = F.cross_entropy(model(X_train[idx]), y_train[idx]) # Forward Pass
opt.zero_grad(); loss.backward(); opt.step()
# 6) التقييم على أشكال مُدارة ومُزاحة لم يُدرَّب على مثلها
with torch.no_grad():
results[name] = model
tr = (model(X_train).argmax(1) == y_train).float().mean().item()
te = (model(X_test).argmax(1) == y_test).float().mean().item()
print(f"{name:5s}: train accuracy = {tr:.3f} ; rotated test accuracy = {te:.3f}")
# 7) تحقق عددي من التكافؤ: f(Rx + t) = R f(x) + t للإحداثيات المخرجة
with torch.no_grad():
m = results['egnn']; x = X_test[:4]
t = torch.tensor(0.7); R = torch.tensor([[t.cos(), -t.sin()], [t.sin(), t.cos()]]); s = torch.tensor([0.3, -1.2])
m(x); out1 = m.x_out @ R.T + s
m(x @ R.T + s); out2 = m.x_out
print(f"equivariance error max|f(Rx+t) - (R f(x)+t)| = {(out1 - out2).abs().max().item():.2e}")
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.8 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
egnn : train accuracy = 1.000 ; rotated test accuracy = 1.000 mlp : train accuracy = 0.963 ; rotated test accuracy = 0.400 equivariance error max|f(Rx+t) - (R f(x)+t)| = 2.38e-07
عدد المعاملات القابلة للتدريب في المثال: model = 5٬187، m = 14٬917.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مستكشف الشبكات البيانية
- مختبر الشبكات العصبية البيانية قسم آخر في الموقع
معماريات مرتبطة
الشبكة العصبية البيانية
Graph Neural Network (GNN)
عائلة نماذج تتعلم تمثيلاً لكل عقدة بتبادل الرسائل مع جيرانها عبر الحواف، فتدمج سمات العقدة مع بنية الرسم.
محوّل الرسوم البيانية
Graph Transformer (GT)
تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.
التعلم العميق المستنير بالفيزياء
Physics-Informed Deep Learning (PIML)
منهج عام لإدخال المعرفة الفيزيائية في التعلم العميق بثلاث طرق: عبر البيانات (انحياز رصدي)، أو عبر المعمارية (انحياز استقرائي مثل الشبكات الهاملتونية والتكافؤ)، أو عبر دا…
الشبكة العصبية الالتفافية
Convolutional Neural Network (CNN)
شبكة تستخدم مرشّحات التفاف صغيرة مشتركة الأوزان تنزلق على الصورة، فتلتقط الأنماط المحلية مع عدد معاملات أقل بكثير من MLP.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- شبكات متكافئة مع الدوران لتصنيف الشرائح النسيجية بأقل زيادة بيانات وتحليل المعايرة.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
ما الفرق بين الثبات (invariance) والتكافؤ (equivariance)؟
لماذا؟ الثبات حالة خاصة.
لماذا رسائل EGNN ثابتة تحت الدوران؟
لماذا؟ المسافة لا تتغير بالدوران.
أي عملية متكافئة مع الإزاحة بطبيعتها؟
لماذا؟ أساس CNN.
المراجع
Cohen, T., & Welling, M. (2016). Group equivariant convolutional networks. International Conference on Machine Learning (ICML), PMLR 48, 2990–2999. https://arxiv.org/abs/1602.07576
Satorras, V. G., Hoogeboom, E., & Welling, M. (2021). E(n) equivariant graph neural networks. International Conference on Machine Learning (ICML), PMLR 139, 9323–9332. https://arxiv.org/abs/2102.09844
Bronstein, M. M., Bruna, J., Cohen, T., & Veličković, P. (2021). Geometric deep learning: Grids, groups, graphs, geodesics, and gauges. arXiv preprint. https://arxiv.org/abs/2104.13478
Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O., & Dahl, G. E. (2017). Neural message passing for quantum chemistry. International Conference on Machine Learning (ICML), PMLR 70, 1263–1272. https://arxiv.org/abs/1704.01212
