كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

Graph Transformer – المحوّل البياني

Graph Transformer (Dwivedi & Bresson) (2021)

طبّق طبقة المحوّل على الرسوم مع انتباه مقيد بالجيران، واستبدل الترميز الموضعي الجيبي بمتجهات لابلاسيان الذاتية، وأضف تطبيعاً بالدفعات وخصائص للروابط.

العائلة: محوّلات الرسوم (Graph Transformers)المهام: تصنيف الرسوم وانحدارها (ZINC، PATTERN، CLUSTER)

الحدس

طبّق طبقة المحوّل على الرسوم مع انتباه مقيد بالجيران، واستبدل الترميز الموضعي الجيبي بمتجهات لابلاسيان الذاتية، وأضف تطبيعاً بالدفعات وخصائص للروابط.

x_i + PE_iLaplacian / RWSEsoftmax(QKᵀ/√d + b)all pairs O(n²)FFN + residual
محوّل الرسوم: انتباه بين كل أزواج العقد، مع ترميز موضعي يعيد معلومات البنية.

الشرح التفصيلي

يعمم العمل المحوّلَ إلى الرسوم بثلاثة قرارات: الانتباه على الجيران فقط (انحياز استقرائي للبنية والتفرق)، وترميز موضعي من أصغر k متجهاً ذاتياً للابلاسيان مع قلب إشاراتها عشوائياً أثناء التدريب، واستخدام BatchNorm بدل LayerNorm. ونسخة ثانية تحدّث تمثيلات الروابط مع العقد وتستخدمها في الانتباه.

أظهرت النتائج أن الانتباه المقيد بالجيران أفضل من الانتباه الكامل في المجموعات المدروسة، وأن LapPE تفيد. ويقارب هذا التصميم GAT بعدة رؤوس مع FFN وترميز موضعي.

البنية المعمارية

تضمين الخصائص + LapPE ← L طبقة (انتباه متعدد الرؤوس على الجيران ← وصلة متبقية ← BN ← FFN) ← قراءة.

المعادلات

\hat{h}_i=O_h\Big\Vert_{k=1}^{H}\Big(\sum_{j\in N_i}w_{ij}^{k}V^{k}h_j\Big),\qquad w_{ij}^{k}=\operatorname{softmax}_j\Big(\frac{Q^{k}h_i\cdot K^{k}h_j}{\sqrt{d_k}}\Big)
الانتباه متعدد الرؤوس على الجيران.

نقاط القوة

  • يجمع مزايا المحوّل مع البنية
  • ترميز موضعي طيفي
  • يدعم خصائص الروابط

القيود

  • الانتباه المحلي لا يحل الانضغاط المفرط
  • غموض إشارة LapPE
  • كلفة التحليل الذاتي للترميز

التعقيد الحسابي

O(|E|·d) للانتباه المحلي + O(n³) لحساب LapPE مرة لكل رسم.

متى تستخدمه

رسوم جزيئية وبنيوية متوسطة الحجم.

التنفيذ في PyTorch Geometric

torch_geometric.nn.TransformerConv (انتباه محلي مشابه) + AddLaplacianEigenvectorPE

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Dwivedi, V. P., & Bresson, X. (2021). A Generalization of Transformer Networks to Graphs. AAAI Workshop on Deep Learning on Graphs: Methods and Applications. arXiv: 2012.09699محوّل بياني بانتباه على الجيران وترميز موضعي من متجهات لابلاسيان الذاتية.
  2. Kreuzer, D., Beaini, D., Hamilton, W. L., Létourneau, V., & Tossou, P. (2021). Rethinking Graph Transformers with Spectral Attention. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2106.03893SAN: ترميز موضعي متعلَّم من الطيف الكامل للابلاسيان.