GraphGPS – وصفة المحوّل البياني العام
General, Powerful, Scalable Graph Transformer (2022)
في كل طبقة شغّل بالتوازي MPNN محلية وانتباهاً شاملاً، واجمع الناتجين؛ مع ترميزات موضعية وبنيوية في المدخل. هكذا تجمع البنية الدقيقة والمدى البعيد.
الحدس
في كل طبقة شغّل بالتوازي MPNN محلية وانتباهاً شاملاً، واجمع الناتجين؛ مع ترميزات موضعية وبنيوية في المدخل. هكذا تجمع البنية الدقيقة والمدى البعيد.
الشرح التفصيلي
قدّم المؤلفون تصنيفاً للترميزات (محلية، شاملة، نسبية؛ موضعية وبنيوية) ووصفة معيارية: طبقة GPS = MPNN (مثل GatedGCN أو GINE) + انتباه شامل (محوّل كامل أو Performer أو BigBird)، لكل منهما Dropout ووصلة متبقية وتطبيع، ثم جمع وMLP. مع الانتباه الخطي تصبح الكلفة خطية O(N + E)، وتعمل على رسوم بآلاف العقد.
حققت نتائج متقدمة على ZINC وPCQM4Mv2 ومجموعات LRGB عند نشرها. وأظهر التحليل أن المكون المحلي ضروري، وأن الترميزات تهم كثيراً.
البنية المعمارية
PE/SE (LapPE، RWSE) ← L طبقة GPS (MPNN ‖ GlobalAttn ← جمع ← MLP) ← رأس.
المعادلات
X_M^{\ell+1},E^{\ell+1}=\operatorname{MPNN}^{\ell}(X^{\ell},E^{\ell},A),\quad X_T^{\ell+1}=\operatorname{GlobalAttn}^{\ell}(X^{\ell}),\quad X^{\ell+1}=\operatorname{MLP}^{\ell}\big(X_M^{\ell+1}+X_T^{\ell+1}\big)نقاط القوة
- محلي وشامل معاً
- قابل للتوسع مع الانتباه الخطي
- إطار معياري مرن
القيود
- معاملات وضبط أكثر
- الانتباه الكامل يبقى مكلفاً للرسوم الكبيرة
- الفارق عن MPNN مضبوطة جيداً قد يكون صغيراً
التعقيد الحسابي
O(|E|·d) محلياً + O(n²·d) كاملاً أو O(n·d) خطياً.
متى تستخدمه
مهام تحتاج تفاعلات بعيدة، ورسوم جزيئية ورسوم متوسطة.
التنفيذ في PyTorch Geometric
torch_geometric.nn.GPSConvشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Rampášek, L., Galkin, M., Dwivedi, V. P., Luu, A. T., Wolf, G., & Beaini, D. (2022). Recipe for a General, Powerful, Scalable Graph Transformer. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2205.12454GraphGPS: طبقة MPNN محلية وانتباه شامل بالتوازي.
- Dwivedi, V. P., Rampášek, L., Galkin, M., Parviz, A., Wolf, G., Luu, A. T., & Beaini, D. (2022). Long Range Graph Benchmark. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2206.08164LRGB: مهام تحتاج تفاعلات بعيدة المدى (Peptides وPascalVOC-SP وغيرها).
