كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

GraphGPS – وصفة المحوّل البياني العام

General, Powerful, Scalable Graph Transformer (2022)

في كل طبقة شغّل بالتوازي MPNN محلية وانتباهاً شاملاً، واجمع الناتجين؛ مع ترميزات موضعية وبنيوية في المدخل. هكذا تجمع البنية الدقيقة والمدى البعيد.

العائلة: محوّلات الرسوم (Graph Transformers)المهام: تصنيف وانحدار الرسوم، مهام المدى البعيد (LRGB)

الحدس

في كل طبقة شغّل بالتوازي MPNN محلية وانتباهاً شاملاً، واجمع الناتجين؛ مع ترميزات موضعية وبنيوية في المدخل. هكذا تجمع البنية الدقيقة والمدى البعيد.

H⁽ˡ⁾local MPNNGatedGCN / GINEglobal attentionTransformer / Performer+MLPH⁽ˡ⁺¹⁾
GPS: طبقة انتقال رسائل محلية وانتباه شامل يعملان بالتوازي، ثم شبكة تغذية أمامية.

الشرح التفصيلي

قدّم المؤلفون تصنيفاً للترميزات (محلية، شاملة، نسبية؛ موضعية وبنيوية) ووصفة معيارية: طبقة GPS = MPNN (مثل GatedGCN أو GINE) + انتباه شامل (محوّل كامل أو Performer أو BigBird)، لكل منهما Dropout ووصلة متبقية وتطبيع، ثم جمع وMLP. مع الانتباه الخطي تصبح الكلفة خطية O(N + E)، وتعمل على رسوم بآلاف العقد.

حققت نتائج متقدمة على ZINC وPCQM4Mv2 ومجموعات LRGB عند نشرها. وأظهر التحليل أن المكون المحلي ضروري، وأن الترميزات تهم كثيراً.

البنية المعمارية

PE/SE (LapPE، RWSE) ← L طبقة GPS (MPNN ‖ GlobalAttn ← جمع ← MLP) ← رأس.

المعادلات

X_M^{\ell+1},E^{\ell+1}=\operatorname{MPNN}^{\ell}(X^{\ell},E^{\ell},A),\quad X_T^{\ell+1}=\operatorname{GlobalAttn}^{\ell}(X^{\ell}),\quad X^{\ell+1}=\operatorname{MLP}^{\ell}\big(X_M^{\ell+1}+X_T^{\ell+1}\big)
طبقة GraphGPS.

نقاط القوة

  • محلي وشامل معاً
  • قابل للتوسع مع الانتباه الخطي
  • إطار معياري مرن

القيود

  • معاملات وضبط أكثر
  • الانتباه الكامل يبقى مكلفاً للرسوم الكبيرة
  • الفارق عن MPNN مضبوطة جيداً قد يكون صغيراً

التعقيد الحسابي

O(|E|·d) محلياً + O(n²·d) كاملاً أو O(n·d) خطياً.

متى تستخدمه

مهام تحتاج تفاعلات بعيدة، ورسوم جزيئية ورسوم متوسطة.

التنفيذ في PyTorch Geometric

torch_geometric.nn.GPSConv

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Rampášek, L., Galkin, M., Dwivedi, V. P., Luu, A. T., Wolf, G., & Beaini, D. (2022). Recipe for a General, Powerful, Scalable Graph Transformer. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2205.12454GraphGPS: طبقة MPNN محلية وانتباه شامل بالتوازي.
  2. Dwivedi, V. P., Rampášek, L., Galkin, M., Parviz, A., Wolf, G., Luu, A. T., & Beaini, D. (2022). Long Range Graph Benchmark. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2206.08164LRGB: مهام تحتاج تفاعلات بعيدة المدى (Peptides وPascalVOC-SP وغيرها).