كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

متقدمالشبكات العصبية البيانيةالمعماريات المتخصصةمعماريات المحولات

محوّل الرسوم البيانية (GT)

Graph Transformer

تطبيق الانتباه الذاتي على عقد الرسم مع ترميزات موضعية أو بنيوية (مثل متجهات لابلاسيان الذاتية) كي يعرف النموذج بنية الرسم، فيتجاوز قيود الجوار المحلي.

نظرة عامة

الاسممحوّل الرسوم البيانية – Graph Transformer
سنة الظهور2020
الباحثونVijay Prakash Dwivedi، Xavier Bresson (تعميم Transformer للرسوم)
الورقة الأصليةA generalization of transformer networks to graphs arXiv
نوع البياناترسوم بيانية
المجالاتالحوسبة العلمية، تعلم البيانات البيانية
الكلفة الحسابية$O(N^2d)$ للانتباه الكامل؛ النسخ المتناثرة $O(|E|d)$.
حجم البياناترسوم صغيرة إلى متوسطة كثيرة (جزيئات) أو مع تقريبات للرسوم الكبيرة.

المشكلة التي تحلها

GNN المحلية تعاني من الاختناق المعلوماتي للعلاقات البعيدة ومن حد 1-WL. الانتباه الكامل يرى كل العقد لكنه يفقد البنية دون ترميز موضعي.

الخلفية والتطور

ما قبلها: المحوّل، شبكة الانتباه البيانية

  1. 2020

    عمّم Dwivedi وBresson الـ Transformer للرسوم مع ترميز لابلاسيان الموضعي. [مرجع]

  2. 2021

    أضاف Graphormer ترميز المركزية والمسافة الأقصر كانحياز في الانتباه. [مرجع]

  3. 2022

    جمع GPS بين MPNN محلي وانتباه عالمي في وصفة عامة. [مرجع]

الفكرة الأساسية

كل عقدة تُعامل كرمز (token). تُضاف لها ترميزات موضعية مستخلصة من الرسم، ويُحسب الانتباه إما على الجيران فقط (النسخة المتناثرة) أو على كل العقد مع انحياز يعتمد على المسافة البيانية. هكذا يجمع النموذج المرونة العالمية مع معرفة البنية.

مثال: في جزيء طويل، ذرتان متباعدتان قد تتفاعلان كيميائياً؛ الانتباه الكامل يسمح بربطهما مباشرة دون المرور بعشرات طبقات تمرير الرسائل.

المخطط التفاعلي

مخطط توضيحي مبسّط بأبعاد مثال صغير، وليس رسماً مطابقاً لكل تفاصيل التنفيذ الأصلي. اضغط أي طبقة لترى وظيفتها وأبعادها والعملية الرياضية.

اختر طبقة من المخطط.

المكونات

المكوّنالوظيفة
Node tokensسمات العقد
Positional encodingمتجهات لابلاسيان الذاتية أو المشي العشوائي
Structural biasانحياز في الانتباه حسب المسافة أو الحافة
Multi-head self-attentionعلى الجيران أو كل العقد
FFN + Norm + Residualكما في Transformer
Readoutللعقد أو للرسم

المعادلات

1. الانتباه مع انحياز بنيوي

$$A_{ij}=\frac{(h_iW_Q)(h_jW_K)^{\top}}{\sqrt{d}}+b_{\phi(i,j)},\qquad h_i^{\prime}=\sum_j\mathrm{softmax}_j(A_{ij})\,h_jW_V$$

الرموز
$\phi(i,j)$أقصر مسافة بين العقدتين
$b_{\phi}$انحياز متعلم لكل مسافة
الأبعاد
$A\in\mathbb{R}^{N\times N}$
مثال عددي
إذا كانت $b_1=1$ و$b_3=-1$ فالعقدة على بعد 1 تحصل على وزن أعلى من التي على بعد 3 عند تساوي التشابه.
علاقتها بالمعمارية
يدمج بنية الرسم في الانتباه العالمي (فكرة Graphormer).

2. ترميز لابلاسيان الموضعي

$$L=I-D^{-\frac12}AD^{-\frac12}=U\Lambda U^{\top},\qquad p_i=U_{i,1:k}$$

الرموز
$U$المتجهات الذاتية
$k$عدد المتجهات المستخدمة
الأبعاد
$p_i\in\mathbb{R}^{k}$
مثال عددي
في حلقة من 4 عقد تعطي المتجهات الذاتية الأولى ما يشبه دالتي جيب وجيب تمام حول الحلقة.
علاقتها بالمعمارية
إشارة المتجهات الذاتية غامضة، لذا تُقلب عشوائياً أثناء التدريب.

آلية العمل خطوة بخطوة

  1. تُحسب الترميزات الموضعية مرة واحدة لكل رسم.
  2. تُضاف إلى سمات العقد.
  3. يُحسب الانتباه مع الانحياز البنيوي.
  4. تمر الكتلة بـ FFN مع وصلات متبقية وتطبيع.
  5. يُجمع الخرج للعقد أو للرسم.

المزايا والقيود

المزايا

  • تلتقط علاقات بعيدة مباشرة.
  • قدرة تمييزية أعلى من MPNN العادية مع ترميزات مناسبة.

القيود

  • الانتباه الكامل $O(N^2)$ مكلف للرسوم الكبيرة.
  • تحتاج بيانات أكثر وضبطاً أدق.

متى تُستخدم؟ ومتى لا؟

تناسب

  • رسوم جزيئية تحتاج تفاعلات بعيدة.

لا تناسب

  • رسوم بملايين العقد دون انتباه خطي أو أخذ عينات.

التطبيقات

المجالالاستخدام
الحوسبة العلميةالتنبؤ بخواص الجزيئات (مثل مسابقات OGB-LSC).
تعلم البيانات البيانيةتصنيف الرسوم والعقد مع علاقات بعيدة.

كود PyTorch

كود تعليمي مبسّط يعمل على بيانات اصطناعية صغيرة، يغطي: الاستيراد، وتعريف النموذج، والبيانات، والتمرير الأمامي، والخسارة، والمُحسِّن، وحلقة التدريب، والتقييم، والاستدلال. ليس التنفيذ الكامل للبحث الأصلي.

Python (PyTorch)
# Graph Transformer مع ترميز لابلاسيان وانحياز المسافة
# مثال تعليمي مبسّط بـ PyTorch (ليس التنفيذ الأصلي الكامل للبحث): بيانات اصطناعية صغيرة،
# يعمل على المعالج المركزي (CPU) خلال ثوانٍ. الأرقام التي يطبعها تخص هذا المثال فقط.
# 1) استيراد المكتبات
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.manual_seed(0)

# 2) تعريف النموذج
def laplacian_pe(A, k=4):
    d = A.sum(1).clamp(min=1)
    L = torch.eye(len(A)) - A / torch.sqrt(d[:, None] * d[None, :])
    _, U = torch.linalg.eigh(L)
    return U[:, 1:k + 1]                                  # نتجاوز المتجه الثابت

def hop_distance(A, max_hop=4):
    N = len(A); dist = torch.full((N, N), max_hop); dist.fill_diagonal_(0)
    reach = torch.eye(N)
    for h in range(1, max_hop):
        reach = ((reach @ A) > 0).float()
        dist = torch.where((reach > 0) & (dist == max_hop), torch.tensor(h), dist)
    return dist

class GTLayer(nn.Module):
    def __init__(self, d, heads=4, max_hop=4):
        super().__init__()
        self.att = nn.MultiheadAttention(d, heads, batch_first=True)
        self.bias = nn.Embedding(max_hop + 1, heads)              # b_φ(i,j) لكل رأس
        with torch.no_grad():                                     # تهيئة: العقد الأقرب أوزانها أعلى
            self.bias.weight.copy_(-2.0 * torch.arange(max_hop + 1.).unsqueeze(1).repeat(1, heads))
        self.ff = nn.Sequential(nn.Linear(d, 2 * d), nn.GELU(), nn.Linear(2 * d, d))
        self.n1, self.n2, self.heads = nn.LayerNorm(d), nn.LayerNorm(d), heads
    def forward(self, h, dist):
        mask = self.bias(dist).permute(2, 0, 1)                   # H×N×N انحياز مضاف
        a, _ = self.att(h[None], h[None], h[None], attn_mask=mask)
        h = self.n1(h + a[0])
        return self.n2(h + self.ff(h))

class GraphTransformer(nn.Module):
    def __init__(self, d_in, k=4, d=32, n_classes=3):
        super().__init__()
        self.inp = nn.Linear(d_in + k, d)
        self.layers = nn.ModuleList([GTLayer(d), GTLayer(d)])
        self.out = nn.Linear(d, n_classes)
    def forward(self, X, pe, dist):
        if self.training:                                         # قلب إشارة المتجهات الذاتية عشوائياً
            pe = pe * (torch.randint(0, 2, (1, pe.shape[1])) * 2 - 1)
        h = self.inp(torch.cat([X, pe], 1))
        for l in self.layers:
            h = l(h, dist)
        return self.out(h)

# 3) إعداد البيانات
# رسم بياني اصطناعي من نموذج الكتل العشوائية (SBM): 3 مجتمعات، روابط داخلية أكثر من الخارجية
N, C, D = 150, 3, 8
y = torch.arange(N) % C
P = torch.where(y[:, None] == y[None, :], 0.12, 0.01)
A = (torch.rand(N, N) < P).float().triu(1); A = A + A.T          # مصفوفة تجاور متماثلة دون حلقات
X = torch.randn(N, D) + 0.6 * F.one_hot(y, D).float()             # سمات ضعيفة الإشارة؛ البنية تساعد
idx = torch.randperm(N); train_idx, test_idx = idx[:45], idx[45:] # 30% فقط معنونة (نصف إشرافي)

pe, dist = laplacian_pe(A), hop_distance(A)
model = GraphTransformer(D)

# 4) دالة الخسارة والمحسّن
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=5e-3, weight_decay=5e-4)

# 5) حلقة التدريب (full-batch: الرسم كله في كل خطوة، والخسارة على العقد المعنونة فقط)
for epoch in range(200):
    model.train()
    out = model(X, pe, dist)                                   # Forward Pass لكل العقد
    loss = loss_fn(out[train_idx], y[train_idx])
    opt.zero_grad(); loss.backward(); opt.step()
    if epoch % 50 == 0:
        print(f"epoch {epoch:3d}  loss={loss.item():.4f}")

# 6) التقييم على العقد غير المعنونة
model.eval()
with torch.no_grad():
    pred = model(X, pe, dist).argmax(1)
print(f"test accuracy = {(pred[test_idx] == y[test_idx]).float().mean().item():.3f}")

# 7) الاستدلال: فئة العقدة 0
print("node 0 predicted community:", pred[0].item(), " true:", y[0].item())

نُفّذ هذا الكود بتاريخ 2026-11-20 في 4.5 ثانية (PyTorch (CPU), Python 3 – local build machine).

من مخرجاته:

test accuracy = 0.733

عدد المعاملات القابلة للتدريب في المثال: model = 17٬643.

هذه النتائج لبيانات اصطناعية صغيرة وعدد حقب قليل، وتُثبت أن الكود يعمل فقط؛ لا تقارنها بالنتائج المنشورة.

جرّب وتعمّق

معماريات مرتبطة

أساسي2017

المحوّل

Transformer

معمارية تعتمد بالكامل على الانتباه الذاتي متعدد الرؤوس بدلاً من التكرار أو الالتفاف، فتعالج كل مواضع التسلسل بالتوازي وتربط أي موضعين مباشرة بخطوة واحدة.

معماريات المحولات

متوسط2018

شبكة الانتباه البيانية

Graph Attention Network (GAT)

تستبدل الأوزان الثابتة في GCN بمعاملات انتباه متعلمة لكل حافة، فتحدد كل عقدة مقدار أهمية كل جار، مع رؤوس انتباه متعددة.

الشبكات العصبية البيانية

متوسط2019

شبكة تماثل الرسوم

Graph Isomorphism Network (GIN)

GNN مصممة لتبلغ القدرة التمييزية لاختبار Weisfeiler–Lehman (1-WL)، باستخدام تجميع بالمجموع وMLP في التحديث.

الشبكات العصبية البيانية

بحثي2016

الشبكات العصبية المتكافئة

Equivariant Neural Networks (ENN)

شبكات تُبنى بحيث يتحول خرجها بطريقة محددة عندما يتحول الدخل بتناظر ما (دوران، إزاحة، انعكاس، تبديل)، فلا تحتاج إلى تعلم هذا التناظر من البيانات، وتعمم إلى وضعيات لم ترها.

المعماريات المتخصصة

أفكار بحثية

  • مقارنة GPS وGraphormer وGIN+PE على مجموعات جزيئية صغيرة مع تقدير عدم اليقين.

اقتراحات للانطلاق وليست فجوات بحثية مؤكدة؛ راجع الأدبيات الحديثة قبل اعتمادها.

اختبر فهمك

  1. مفهوم

    لماذا يحتاج Graph Transformer إلى ترميز موضعي أو بنيوي؟

  2. مفهوم

    ما تعقيد الانتباه الكامل على رسم بـ N عقدة؟

  3. مفهوم

    ما المشكلة التي ترافق استخدام المتجهات الذاتية للابلاسيان كترميز؟

المراجع

  1. Dwivedi, V. P., & Bresson, X. (2020). A generalization of transformer networks to graphs. AAAI Workshop on Deep Learning on Graphs: Methods and Applications. https://arxiv.org/abs/2012.09699

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  2. Ying, C., Cai, T., Luo, S., Zheng, S., Ke, G., He, D., Shen, Y., & Liu, T.-Y. (2021). Do transformers really perform badly for graph representation?. Advances in Neural Information Processing Systems (NeurIPS) 34. https://arxiv.org/abs/2106.05234

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  3. Rampášek, L., Galkin, M., Dwivedi, V. P., Luu, A. T., Wolf, G., & Beaini, D. (2022). Recipe for a general, powerful, scalable graph transformer. Advances in Neural Information Processing Systems (NeurIPS) 35. https://arxiv.org/abs/2205.12454

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20

  4. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS) 30. https://arxiv.org/abs/1706.03762

    arXivتحقق آلي عبر OpenAlex/arXiv – 2026-11-20