شبكة الانتباه البيانية (GAT)
Graph Attention Network
تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.
نظرة عامة
| الاسم | شبكة الانتباه البيانية – Graph Attention Network |
|---|---|
| سنة الظهور | 2018 |
| الباحثون | Petar Veličković، Guillem Cucurull، Arantxa Casanova، Adriana Romero، Pietro Liò، Yoshua Bengio |
| الورقة الأصلية | Graph attention networks arXiv |
| نوع البيانات | رسوم بيانية |
| المجالات | اكتشاف الاحتيال، الحوسبة العلمية، تحليل الشبكات الاجتماعية، تعلم البيانات البيانية |
| الكلفة الحسابية | $O(|E|\,F\,K)$ لكل طبقة. |
| حجم البيانات | رسوم متوسطة إلى كبيرة؛ مع أخذ عينات الجوار للرسوم الضخمة. |
المشكلة التي تحلها
في GCN يعامل الجيران بأوزان تعتمد على الدرجة فقط، بينما قد يكون بعض الجيران أهم بكثير من غيرهم.
الخلفية والتطور
ما قبلها: الشبكة الالتفافية البيانية، آلية الانتباه
الفكرة الأساسية
لكل حافة $(i,j)$ تُحسب درجة $e_{ij}$ من تمثيلي العقدتين بعد تحويل خطي، ثم تُطبّع بـ Softmax على جيران $i$. التمثيل الجديد متوسط موزون بهذه المعاملات. تستخدم عدة رؤوس مستقلة ثم تُربط أو يؤخذ متوسطها.
المخطط التفاعلي
مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.
اختر طبقة من المخطط.
المكونات
| المكوّن | الوظيفة |
|---|---|
| Input | سمات العقد والرسم |
| Linear projection | $Wh$ لكل عقدة |
| Attention scores | $a^\top[Wh_i\|Wh_j]$ مع LeakyReLU |
| Masked Softmax | على الجيران فقط |
| Multi-head | K رؤوس مستقلة |
| Output | ربط الرؤوس أو متوسطها |
المعادلات
1. معاملات الانتباه
| $W$ | مصفوفة إسقاط $F\times d$ |
| $a$ | متجه انتباه طوله $2F$ |
| $\|$ | الربط (concatenation) |
2. تحديث العقدة متعدد الرؤوس
| $K$ | عدد الرؤوس |
| $W^k$ | إسقاط الرأس k |
آلية العمل خطوة بخطوة
- تُسقط سمات كل عقدة خطياً.
- تُحسب درجة لكل حافة من العقدتين.
- تُطبّع الدرجات على جيران كل عقدة.
- يُجمع تمثيل الجيران بالأوزان.
- تُكرر العملية لكل رأس ثم تُربط النتائج.
المزايا والقيود
المزايا
- أوزان جيران متعلمة ومرنة.
- تعمل استقرائياً (inductive) على رسوم جديدة.
- أوزان الانتباه قابلة للفحص.
القيود
- أبطأ وأكثر استهلاكاً للذاكرة من GCN.
- الانتباه في GAT الأصلية ساكن نسبياً (عالجته GATv2).
متى تُستخدم؟ ومتى لا؟
تناسب
- حين تختلف أهمية الجيران.
- رسوم بحجم متوسط مع سمات غنية.
لا تناسب
- رسوم ضخمة جداً بذاكرة محدودة دون أخذ عينات.
التطبيقات
| المجال | الاستخدام |
|---|---|
| تعلم البيانات البيانية | تصنيف العقد والروابط والرسوم كاملة. |
| أنظمة التوصية | أنظمة التوصية بتمثيل المستخدمين والعناصر كرسم ثنائي. |
| الحوسبة العلمية | التنبؤ بخصائص الجزيئات في الكيمياء الحاسوبية. |
| اكتشاف الاحتيال | كشف الاحتيال في شبكات المعاملات المالية. |
| تحليل الشبكات الاجتماعية | تحليل الشبكات الاجتماعية واكتشاف المجتمعات. |
كود PyTorch
كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.
# Graph Attention Network (GAT) — تنفيذ كثيف مبسّط
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F
torch.manual_seed(0)
# 2) تعريف النموذج
class GATLayer(nn.Module):
def __init__(self, d_in, d_out, heads=4, concat=True):
super().__init__()
self.h, self.f, self.concat = heads, d_out, concat
self.W = nn.Linear(d_in, heads * d_out, bias=False)
self.a_src = nn.Parameter(torch.randn(heads, d_out) * 0.1)
self.a_dst = nn.Parameter(torch.randn(heads, d_out) * 0.1)
def forward(self, X, A):
N = X.shape[0]
Wh = self.W(X).view(N, self.h, self.f) # N×H×F
e = (Wh * self.a_dst).sum(-1).unsqueeze(1) + (Wh * self.a_src).sum(-1).unsqueeze(0) # e[i,j,h]
e = F.leaky_relu(e, 0.2)
mask = (A + torch.eye(N)).unsqueeze(-1) > 0
e = e.masked_fill(~mask, float('-inf'))
alpha = torch.softmax(e, dim=1) # softmax على الجيران j
out = torch.einsum('ijh,jhf->ihf', alpha, Wh)
return out.reshape(N, -1) if self.concat else out.mean(1)
class GAT(nn.Module):
def __init__(self, d_in, n_classes=3):
super().__init__()
self.l1 = GATLayer(d_in, 8, heads=4)
self.l2 = GATLayer(32, n_classes, heads=1, concat=False)
def forward(self, X, A):
h = F.elu(self.l1(F.dropout(X, 0.3, self.training), A))
return self.l2(F.dropout(h, 0.3, self.training), A)
# 3) إعداد البيانات
# رسم بياني اصطناعي من نموذج الكتل العشوائية (SBM): 3 مجتمعات، روابط داخلية أكثر من الخارجية
N, C, D = 150, 3, 8
y = torch.arange(N) % C
P = torch.where(y[:, None] == y[None, :], 0.12, 0.01)
A = (torch.rand(N, N) < P).float().triu(1); A = A + A.T # مصفوفة تجاور متماثلة دون حلقات
X = torch.randn(N, D) + 0.6 * F.one_hot(y, D).float() # سمات ضعيفة الإشارة؛ البنية تساعد
idx = torch.randperm(N); train_idx, test_idx = idx[:45], idx[45:] # 30% فقط معنونة (نصف إشرافي)
model = GAT(D)
# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3, weight_decay=5e-4)
# 5) حلقة التدريب (full-batch: الرسم كله في كل خطوة، والخسارة على العقد المعنونة فقط)
for epoch in range(120):
model.train()
out = model(X, A) # Forward Pass لكل العقد
loss = loss_fn(out[train_idx], y[train_idx])
opt.zero_grad(); loss.backward(); opt.step()
if epoch % 30 == 0:
print(f"epoch {epoch:3d} loss={loss.item():.4f}")
# 6) التقييم على العقد غير المعنونة
model.eval()
with torch.no_grad():
pred = model(X, A).argmax(1)
print(f"test accuracy = {(pred[test_idx] == y[test_idx]).float().mean().item():.3f}")
# 7) الاستدلال: فئة العقدة 0
print("node 0 predicted community:", pred[0].item(), " true:", y[0].item())
نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.3 ثانية (PyTorch (CPU), Python 3 – local build machine).
من مخرجاته:
test accuracy = 0.962
عدد المعاملات القابلة للتدريب في المثال: model = 422.
هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.
جرّب وتعمّق
- مستكشف الشبكات البيانية
- أطلس نماذج الذكاء الاصطناعي قسم آخر في الموقع
- مختبر الشبكات العصبية البيانية قسم آخر في الموقع
معماريات مرتبطة
الشبكة الالتفافية البيانية
Graph Convolutional Network (GCN)
طبقة بيانية بسيطة تأخذ متوسطاً مطبّعاً لتمثيلات العقدة وجيرانها ثم تطبق تحويلاً خطياً مشتركاً، وهي تقريب من الدرجة الأولى للالتفاف الطيفي.
محوّل الرسوم البيانية
Graph Transformer (GT)
تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.
آلية الانتباه
Attention Mechanism
آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.
لا توجد نتائج مطابقة للمرشحات.
أفكار بحثية
- تفسير أوزان انتباه GAT في كشف الاحتيال ومقارنتها بطرق تفسير GNNExplainer.
اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.
اختبر فهمك
على أي مجموعة تُطبّع معاملات الانتباه في GAT؟
لماذا؟ Softmax مقنّع بالجوار.
ما الفرق الأساسي بين GAT وGCN؟
لماذا؟ هذا جوهر الانتباه البياني.
ما الذي عالجته GATv2؟
لماذا؟ بيّن Brody وزملاؤه أن ترتيب الجيران في GAT الأصلية لا يتغير بتغير العقدة المستعلمة.
المراجع
Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph attention networks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1710.10903
Brody, S., Alon, U., & Yahav, E. (2022). How attentive are graph attention networks?. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2105.14491
Kipf, T. N., & Welling, M. (2017). Semi-supervised classification with graph convolutional networks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1609.02907
