محوّل الرسوم البيانية (GT)
Graph Transformer
تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.
نظرة عامة
| الاسم | محوّل الرسوم البيانية – Graph Transformer |
|---|---|
| سنة الظهور | 2020 |
| الباحثون | Vijay Prakash Dwivedi، Xavier Bresson (تعميم Transformer للرسوم) |
| الورقة الأصلية | A generalization of transformer networks to graphs arXiv |
| نوع البيانات | رسوم بيانية |
| المجالات | الحوسبة العلمية، تعلم البيانات البيانية |
| الكلفة الحسابية | $O(N^2d)$ للانتباه الكامل؛ النسخ المتناثرة $O(|E|d)$. |
| حجم البيانات | رسوم صغيرة إلى متوسطة كثيرة (جزيئات) أو مع تقريبات للرسوم الكبيرة. |
المشكلة التي تحلها
GNN المحلية تعاني من الاختناق المعلوماتي للعلاقات البعيدة ومن حد 1-WL. الانتباه الكامل يرى كل العقد لكنه يفقد البنية دون ترميز موضعي.
الخلفية والتطور
ما قبلها: المحوّل، شبكة الانتباه البيانية
الفكرة الأساسية
كل عقدة تُعامل كرمز (token). تُضاف لها ترميزات موضعية مستخلصة من الرسم، ويُحسب الانتباه إما على الجيران فقط (النسخة المتناثرة) أو على كل العقد مع انحياز يعتمد على المسافة البيانية. هكذا يجمع النموذج المرونة العالمية مع معرفة البنية.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Node tokens | سمات العقد |
| Positional encoding | متجهات لابلاسيان الذاتية أو المشي العشوائي |
| Structural bias | انحياز في الانتباه حسب المسافة أو الحافة |
| Multi-head self-attention | على الجيران أو كل العقد |
| FFN + Norm + Residual | كما في Transformer |
| Readout | للعقد أو للرسم |
المعادلات
1. الانتباه مع انحياز بنيوي
| $\phi(i,j)$ | أقصر مسافة بين العقدتين |
| $b_{\phi}$ | انحياز متعلم لكل مسافة |
2. ترميز لابلاسيان الموضعي
| $U$ | المتجهات الذاتية |
| $k$ | عدد المتجهات المستخدمة |
آلية العمل خطوة بخطوة
- تُحسب الترميزات الموضعية مرة واحدة لكل رسم.
- تُضاف إلى سمات العقد.
- يُحسب الانتباه مع الانحياز البنيوي.
- تمر الكتلة بـ FFN مع وصلات متبقية وتطبيع.
- يُجمع الخرج للعقد أو للرسم.
المزايا والقيود
المزايا
- تلتقط علاقات بعيدة مباشرة.
- قدرة تمييزية أعلى من MPNN العادية مع ترميزات مناسبة.
القيود
- الانتباه الكامل $O(N^2)$ مكلف للرسوم الكبيرة.
- تحتاج بيانات أكثر وضبطاً أدق.
متى تُستخدم؟ ومتى لا؟
تناسب
- رسوم جزيئية تحتاج تفاعلات بعيدة.
لا تناسب
- رسوم بملايين العقد دون انتباه خطي أو أخذ عينات.
التطبيقات
| المجال | الاستخدام |
|---|---|
| الحوسبة العلمية | التنبؤ بخواص الجزيئات (مثل مسابقات OGB-LSC). |
| تعلم البيانات البيانية | تصنيف الرسوم والعقد مع علاقات بعيدة. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Graph Transformer مع ترميز لابلاسيان وانحياز المسافة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
def laplacian_pe(A, k=4):
d = A.sum(1).clamp(min=1)
L = torch.eye(len(A)) - A / torch.sqrt(d[:, None] * d[None, :])
_, U = torch.linalg.eigh(L)
return U[:, 1:k + 1] # نتجاوز المتجه الثابت
def hop_distance(A, max_hop=4):
N = len(A); dist = torch.full((N, N), max_hop); dist.fill_diagonal_(0)
reach = torch.eye(N)
for h in range(1, max_hop):
reach = ((reach @ A) > 0).float()
dist = torch.where((reach > 0) & (dist == max_hop), torch.tensor(h), dist)
return dist
class GTLayer(nn.Module):
def __init__(self, d, heads=4, max_hop=4):
super().__init__()
self.att = nn.MultiheadAttention(d, heads, batch_first=True)
self.bias = nn.Embedding(max_hop + 1, heads) # b_φ(i,j) لكل رأس
with torch.no_grad(): # تهيئة: العقد الأقرب أوزانها أعلى
self.bias.weight.copy_(-2.0 * torch.arange(max_hop + 1.).unsqueeze(1).repeat(1, heads))
self.ff = nn.Sequential(nn.Linear(d, 2 * d), nn.GELU(), nn.Linear(2 * d, d))
self.n1, self.n2, self.heads = nn.LayerNorm(d), nn.LayerNorm(d), heads
def forward(self, h, dist):
mask = self.bias(dist).permute(2, 0, 1) # H×N×N انحياز مضاف
a, _ = self.att(h[None], h[None], h[None], attn_mask=mask)
h = self.n1(h + a[0])
return self.n2(h + self.ff(h))
class GraphTransformer(nn.Module):
def __init__(self, d_in, k=4, d=32, n_classes=3):
super().__init__()
self.inp = nn.Linear(d_in + k, d)
self.layers = nn.ModuleList([GTLayer(d), GTLayer(d)])
self.out = nn.Linear(d, n_classes)
def forward(self, X, pe, dist):
if self.training: # قلب إشارة المتجهات الذاتية عشوائياً
pe = pe * (torch.randint(0, 2, (1, pe.shape[1])) * 2 - 1)
h = self.inp(torch.cat([X, pe], 1))
for l in self.layers:
h = l(h, dist)
return self.out(h)
# 3) إعداد البيانات
# رسم بياني اصطناعي من نموذج الكتل العشوائية (SBM): 3 مجتمعات، روابط داخلية أكثر من الخارجية
N, C, D = 150, 3, 8
y = torch.arange(N) % C
P = torch.where(y[:, None] == y[None, :], 0.12, 0.01)
A = (torch.rand(N, N) < P).float().triu(1); A = A + A.T # مصفوفة تجاور متماثلة دون حلقات
X = torch.randn(N, D) + 0.6 * F.one_hot(y, D).float() # سمات ضعيفة الإشارة؛ البنية تساعد
idx = torch.randperm(N); train_idx, test_idx = idx[:45], idx[45:] # 30% فقط معنونة (نصف إشرافي)
pe, dist = laplacian_pe(A), hop_distance(A)
model = GraphTransformer(D)
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3, weight_decay=5e-4)
# 5) حلقة التدريب (full-batch: الرسم كله في كل خطوة، والخسارة على العقد المعنونة فقط)
for epoch in range(200):
model.train()
out = model(X, pe, dist) # Forward Pass لكل العقد
loss = loss_fn(out[train_idx], y[train_idx])
opt.zero_grad(); loss.backward(); opt.step()
if epoch % 50 == 0:
print(f"epoch {epoch:3d} loss={loss.item():.4f}")
# 6) التقييم على العقد غير المعنونة
model.eval()
with torch.no_grad():
pred = model(X, pe, dist).argmax(1)
print(f"test accuracy = {(pred[test_idx] == y[test_idx]).float().mean().item():.3f}")
# 7) الاستدلال: فئة العقدة 0
print("node 0 predicted community:", pred[0].item(), " true:", y[0].item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.733
عدد المعاملات القابلة للتدريب في المثال: model = 17٬643.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مستكشف الشبكات البيانية
- مصوّر المحولات
- مختبر الشبكات العصبية البيانية قسم آخر في الموقع
معماريات مرتبطة
المحوّل
Transformer
معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.
شبكة الانتباه البيانية
Graph Attention Network (GAT)
تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.
شبكة تماثل الرسوم
Graph Isomorphism Network (GIN)
GNN مصممة لتبلغ القدرة التمييزية لاختبار Weisfeiler–Lehman (1-WL)، باستخدام تجميع بالمجموع وMLP في التحديث.
الشبكات العصبية المتكافئة
Equivariant Neural Networks (ENN)
شبكات تُبنى بحيث يتحول خرجها بطريقة محددة عندما يتحول الدخل بتناظر ما (دوران، إزاحة، انعكاس، تبديل)، فلا تحتاج إلى تعلم هذا التناظر من البيانات، وتعمم إلى وضعيات لم ترها.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- مقارنة GPS وGraphormer وGIN+PE على مجموعات جزيئية صغيرة مع تقدير عدم اليقين.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
لماذا يحتاج Graph Transformer إلى ترميز موضعي أو بنيوي؟
لماذا؟ دون الترميز يرى الانتباه مجموعة عقد بلا حواف.
ما تعقيد الانتباه الكامل على رسم بـ N عقدة؟
لماذا؟ كل زوج من العقد له درجة انتباه.
ما المشكلة التي ترافق استخدام المتجهات الذاتية للابلاسيان كترميز؟
لماذا؟ لذلك تُقلب الإشارة عشوائياً أثناء التدريب.
المراجع
Dwivedi, V. P., & Bresson, X. (2020). A generalization of transformer networks to graphs. AAAI Workshop on Deep Learning on Graphs: Methods and Applications. https://arxiv.org/abs/2012.09699
Ying, C., Cai, T., Luo, S., Zheng, S., Ke, G., He, D., Shen, Y., & Liu, T.-Y. (2021). Do transformers really perform badly for graph representation?. Advances in Neural Information Processing Systems (NeurIPS) 34. https://arxiv.org/abs/2106.05234
Rampášek, L., Galkin, M., Dwivedi, V. P., Luu, A. T., Wolf, G., & Beaini, D. (2022). Recipe for a general, powerful, scalable graph transformer. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2205.12454
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762
