كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متوسطالشبكات العصبية البيانية

شبكة الانتباه البيانية (GAT)

Graph Attention Network

تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.

نظرة عامة

الاسمشبكة الانتباه البيانية – Graph Attention Network
سنة الظهور2018
الباحثونPetar Veličković، Guillem Cucurull، Arantxa Casanova، Adriana Romero، Pietro Liò، Yoshua Bengio
الورقة الأصليةGraph attention networks arXiv
نوع البياناترسوم بيانية
المجالاتاكتشاف الاحتيال، الحوسبة العلمية، تحليل الشبكات الاجتماعية، تعلم البيانات البيانية
الكلفة الحسابية$O(|E|\,F\,K)$ لكل طبقة.
حجم البياناترسوم متوسطة إلى كبيرة؛ مع أخذ عينات الجوار للرسوم الضخمة.

المشكلة التي تحلها

في GCN يعامل الجيران بأوزان تعتمد على الدرجة فقط، بينما قد يكون بعض الجيران أهم بكثير من غيرهم.

الخلفية والتطور

ما قبلها: الشبكة الالتفافية البيانية، آلية الانتباه

  1. 2018

    قُدمت GAT في ICLR 2018. [مرجع]

  2. 2022

    بيّن Brody وزملاؤه أن انتباه GAT "ساكن" واقترحوا GATv2 بانتباه ديناميكي. [مرجع]

الفكرة الأساسية

لكل حافة $(i,j)$ تُحسب درجة $e_{ij}$ من تمثيلي العقدتين بعد تحويل خطي، ثم تُطبّع بـ Softmax على جيران $i$. التمثيل الجديد متوسط موزون بهذه المعاملات. تستخدم عدة رؤوس مستقلة ثم تُربط أو يؤخذ متوسطها.

مثال: في شبكة ورقات علمية، قد تعطي ورقة وزناً أكبر لورقة في المجال نفسه من ورقة عامة كثيرة الاستشهادات.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Inputسمات العقد والرسم
Linear projection$Wh$ لكل عقدة
Attention scores$a^\top[Wh_i\|Wh_j]$ مع LeakyReLU
Masked Softmaxعلى الجيران فقط
Multi-headK رؤوس مستقلة
Outputربط الرؤوس أو متوسطها

المعادلات

1. معاملات الانتباه

$$\alpha_{ij}=\frac{\exp\!\left(\mathrm{LeakyReLU}\!\left(a^{\top}[Wh_i\,\|\,Wh_j]\right)\right)}{\sum_{k\in\mathcal{N}(i)\cup\{i\}}\exp\!\left(\mathrm{LeakyReLU}\!\left(a^{\top}[Wh_i\,\|\,Wh_k]\right)\right)}$$

الرموز
$W$مصفوفة إسقاط $F\times d$
$a$متجه انتباه طوله $2F$
$\|$الربط (concatenation)
الأبعاد
$\alpha_{ij}\in(0,1)$ ومجموعها على الجيران 1
مثال عددي
إذا كانت الدرجات لثلاثة جيران $(1,0,0)$ فإن $\alpha\approx(0.576,0.212,0.212)$.
علاقتها بالمعمارية
تحدد أهمية كل جار بصورة متعلمة.

2. تحديث العقدة متعدد الرؤوس

$$h_i^{\prime}=\Big\|_{k=1}^{K}\sigma\!\left(\sum_{j\in\mathcal{N}(i)\cup\{i\}}\alpha_{ij}^{k}W^{k}h_j\right)$$

الرموز
$K$عدد الرؤوس
$W^k$إسقاط الرأس k
الأبعاد
$h_i^{\prime}\in\mathbb{R}^{KF}$
مثال عددي
مع 8 رؤوس وF=8 يصبح بعد الخرج 64.
علاقتها بالمعمارية
الرؤوس المتعددة تثبّت التعلم وتلتقط أنماط علاقات مختلفة.

آلية العمل خطوة بخطوة

  1. تُسقط سمات كل عقدة خطياً.
  2. تُحسب درجة لكل حافة من العقدتين.
  3. تُطبّع الدرجات على جيران كل عقدة.
  4. يُجمع تمثيل الجيران بالأوزان.
  5. تُكرر العملية لكل رأس ثم تُربط النتائج.

المزايا والقيود

المزايا

  • أوزان جيران متعلمة ومرنة.
  • تعمل استقرائياً (inductive) على رسوم جديدة.
  • أوزان الانتباه قابلة للفحص.

القيود

  • أبطأ وأكثر استهلاكاً للذاكرة من GCN.
  • الانتباه في GAT الأصلية ساكن نسبياً (عالجته GATv2).

متى تُستخدم؟ ومتى لا؟

تناسب

  • حين تختلف أهمية الجيران.
  • رسوم بحجم متوسط مع سمات غنية.

لا تناسب

  • رسوم ضخمة جداً بذاكرة محدودة دون أخذ عينات.

التطبيقات

المجالالاستخدام
تعلم البيانات البيانيةتصنيف العقد والروابط والرسوم كاملة.
أنظمة التوصيةأنظمة التوصية بتمثيل المستخدمين والعناصر كرسم ثنائي.
الحوسبة العلميةالتنبؤ بخصائص الجزيئات في الكيمياء الحاسوبية.
اكتشاف الاحتيالكشف الاحتيال في شبكات المعاملات المالية.
تحليل الشبكات الاجتماعيةتحليل الشبكات الاجتماعية واكتشاف المجتمعات.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Graph Attention Network (GAT) — تنفيذ كثيف مبسّط
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
class GATLayer(nn.Module):
    def __init__(self, d_in, d_out, heads=4, concat=True):
        super().__init__()
        self.h, self.f, self.concat = heads, d_out, concat
        self.W = nn.Linear(d_in, heads * d_out, bias=False)
        self.a_src = nn.Parameter(torch.randn(heads, d_out) * 0.1)
        self.a_dst = nn.Parameter(torch.randn(heads, d_out) * 0.1)
    def forward(self, X, A):
        N = X.shape[0]
        Wh = self.W(X).view(N, self.h, self.f)                                   # N×H×F
        e = (Wh * self.a_dst).sum(-1).unsqueeze(1) + (Wh * self.a_src).sum(-1).unsqueeze(0)  # e[i,j,h]
        e = F.leaky_relu(e, 0.2)
        mask = (A + torch.eye(N)).unsqueeze(-1) > 0
        e = e.masked_fill(~mask, float('-inf'))
        alpha = torch.softmax(e, dim=1)                                          # softmax على الجيران j
        out = torch.einsum('ijh,jhf->ihf', alpha, Wh)
        return out.reshape(N, -1) if self.concat else out.mean(1)

class GAT(nn.Module):
    def __init__(self, d_in, n_classes=3):
        super().__init__()
        self.l1 = GATLayer(d_in, 8, heads=4)
        self.l2 = GATLayer(32, n_classes, heads=1, concat=False)
    def forward(self, X, A):
        h = F.elu(self.l1(F.dropout(X, 0.3, self.training), A))
        return self.l2(F.dropout(h, 0.3, self.training), A)

# 3) إعداد البيانات
# رسم بياني اصطناعي من نموذج الكتل العشوائية (SBM): 3 مجتمعات، روابط داخلية أكثر من الخارجية
N, C, D = 150, 3, 8
y = torch.arange(N) % C
P = torch.where(y[:, None] == y[None, :], 0.12, 0.01)
A = (torch.rand(N, N) < P).float().triu(1); A = A + A.T          # مصفوفة تجاور متماثلة دون حلقات
X = torch.randn(N, D) + 0.6 * F.one_hot(y, D).float()             # سمات ضعيفة الإشارة؛ البنية تساعد
idx = torch.randperm(N); train_idx, test_idx = idx[:45], idx[45:] # 30% فقط معنونة (نصف إشرافي)

model = GAT(D)

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3, weight_decay=5e-4)

# 5) حلقة التدريب (full-batch: الرسم كله في كل خطوة، والخسارة على العقد المعنونة فقط)
for epoch in range(120):
    model.train()
    out = model(X, A)                                   # Forward Pass لكل العقد
    loss = loss_fn(out[train_idx], y[train_idx])
    opt.zero_grad(); loss.backward(); opt.step()
    if epoch % 30 == 0:
        print(f"epoch {epoch:3d}  loss={loss.item():.4f}")

# 6) التقييم على العقد غير المعنونة
model.eval()
with torch.no_grad():
    pred = model(X, A).argmax(1)
print(f"test accuracy = {(pred[test_idx] == y[test_idx]).float().mean().item():.3f}")

# 7) الاستدلال: فئة العقدة 0
print("node 0 predicted community:", pred[0].item(), " true:", y[0].item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 3.3 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.962

عدد المعاملات القابلة للتدريب في المثال: model = 422.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2017

الشبكة الالتفافية البيانية

Graph Convolutional Network (GCN)

طبقة بيانية بسيطة تأخذ متوسطاً مطبّعاً لتمثيلات العقدة وجيرانها ثم تطبق تحويلاً خطياً مشتركاً، وهي تقريب من الدرجة الأولى للالتفاف الطيفي.

الشبكات العصبية البيانية

متقدم2020

محوّل الرسوم البيانية

Graph Transformer (GT)

تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.

الشبكات العصبية البيانيةالمعماريات المتخصصةمعماريات المحولات

أساسي2015

آلية الانتباه

Attention Mechanism

آلية تسمح للنموذج بأن يحسب أوزاناً لكل عنصر من عناصر الدخل حسب صلته بالخطوة الحالية، ثم يأخذ متوسطاً موزوناً، بدلاً من ضغط الجملة كلها في متجه واحد.

الأساسياتالشبكات الزمنية والمتسلسلة

أفكار بحثية

  • تفسير أوزان انتباه GAT في كشف الاحتيال ومقارنتها بطرق تفسير GNNExplainer.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    على أي مجموعة تُطبّع معاملات الانتباه في GAT؟

  2. مقارنة

    ما الفرق الأساسي بين GAT وGCN؟

  3. مفهوم

    ما الذي عالجته GATv2؟

المراجع

  1. Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph attention networks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1710.10903

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Brody, S., Alon, U., & Yahav, E. (2022). How attentive are graph attention networks?. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2105.14491

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Kipf, T. N., & Welling, M. (2017). Semi-supervised classification with graph convolutional networks. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/1609.02907

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20