Graph Transformer – المحوّل البياني
Graph Transformer (Dwivedi & Bresson) (2021)
طبّق طبقة المحوّل على الرسوم مع انتباه مقيد بالجيران، واستبدل الترميز الموضعي الجيبي بمتجهات لابلاسيان الذاتية، وأضف تطبيعاً بالدفعات وخصائص للروابط.
الحدس
طبّق طبقة المحوّل على الرسوم مع انتباه مقيد بالجيران، واستبدل الترميز الموضعي الجيبي بمتجهات لابلاسيان الذاتية، وأضف تطبيعاً بالدفعات وخصائص للروابط.
الشرح التفصيلي
يعمم العمل المحوّلَ إلى الرسوم بثلاثة قرارات: الانتباه على الجيران فقط (انحياز استقرائي للبنية والتفرق)، وترميز موضعي من أصغر k متجهاً ذاتياً للابلاسيان مع قلب إشاراتها عشوائياً أثناء التدريب، واستخدام BatchNorm بدل LayerNorm. ونسخة ثانية تحدّث تمثيلات الروابط مع العقد وتستخدمها في الانتباه.
أظهرت النتائج أن الانتباه المقيد بالجيران أفضل من الانتباه الكامل في المجموعات المدروسة، وأن LapPE تفيد. ويقارب هذا التصميم GAT بعدة رؤوس مع FFN وترميز موضعي.
البنية المعمارية
تضمين الخصائص + LapPE ← L طبقة (انتباه متعدد الرؤوس على الجيران ← وصلة متبقية ← BN ← FFN) ← قراءة.
المعادلات
\hat{h}_i=O_h\Big\Vert_{k=1}^{H}\Big(\sum_{j\in N_i}w_{ij}^{k}V^{k}h_j\Big),\qquad w_{ij}^{k}=\operatorname{softmax}_j\Big(\frac{Q^{k}h_i\cdot K^{k}h_j}{\sqrt{d_k}}\Big)نقاط القوة
- يجمع مزايا المحوّل مع البنية
- ترميز موضعي طيفي
- يدعم خصائص الروابط
القيود
- الانتباه المحلي لا يحل الانضغاط المفرط
- غموض إشارة LapPE
- كلفة التحليل الذاتي للترميز
التعقيد الحسابي
O(|E|·d) للانتباه المحلي + O(n³) لحساب LapPE مرة لكل رسم.
متى تستخدمه
رسوم جزيئية وبنيوية متوسطة الحجم.
التنفيذ في PyTorch Geometric
torch_geometric.nn.TransformerConv (انتباه محلي مشابه) + AddLaplacianEigenvectorPEشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Dwivedi, V. P., & Bresson, X. (2021). A Generalization of Transformer Networks to Graphs. AAAI Workshop on Deep Learning on Graphs: Methods and Applications. arXiv: 2012.09699محوّل بياني بانتباه على الجيران وترميز موضعي من متجهات لابلاسيان الذاتية.
- Kreuzer, D., Beaini, D., Hamilton, W. L., Létourneau, V., & Tossou, P. (2021). Rethinking Graph Transformers with Spectral Attention. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2106.03893SAN: ترميز موضعي متعلَّم من الطيف الكامل للابلاسيان.
