كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

Graphormer – غرافورمر

Graphormer (2021)

محوّل بانتباه كامل بين كل العقد، تُحقن فيه البنية عبر ثلاثة ترميزات: المركزية (الدرجة)، والمسافة البنيوية بين كل زوج، والروابط على أقصر مسار.

العائلة: محوّلات الرسوم (Graph Transformers)المهام: انحدار خصائص الجزيئات على نطاق واسع (PCQM4M)

الحدس

محوّل بانتباه كامل بين كل العقد، تُحقن فيه البنية عبر ثلاثة ترميزات: المركزية (الدرجة)، والمسافة البنيوية بين كل زوج، والروابط على أقصر مسار.

x_i + PE_iLaplacian / RWSEsoftmax(QKᵀ/√d + b)all pairs O(n²)FFN + residual
محوّل الرسوم: انتباه بين كل أزواج العقد، مع ترميز موضعي يعيد معلومات البنية.

الشرح التفصيلي

ترميز المركزية: تضمينات متعلمة للدرجة الداخلة والخارجة تُضاف إلى خصائص العقدة. الترميز المكاني: انحياز متعلَّم b_ψ(i,j) يضاف إلى درجة الانتباه حسب طول أقصر مسار بين i وj، فيعرف الانتباه البنية دون قصره على الجيران. ترميز الروابط: متوسط حاصل ضرب خصائص الروابط على أقصر مسار في متجهات متعلمة، يضاف انحيازاً. وعقدة افتراضية [VNode] للقراءة.

أثبت المؤلفون أن هذه الترميزات تجعل النموذج قادراً على تمثيل GIN وGCN وغيرها حالات خاصة، وحقق المركز الأول في مسار PCQM4M من OGB-LSC 2021.

البنية المعمارية

تضمين + مركزية ← L طبقة محوّل (Pre-LN) بانحيازي المسافة والروابط ← قراءة من VNode.

المعادلات

h_i^{(0)}=x_i+z^{-}_{\deg^{-}(v_i)}+z^{+}_{\deg^{+}(v_i)},\qquad A_{ij}=\frac{(h_iW_Q)(h_jW_K)^{\top}}{\sqrt{d}}+b_{\phi(v_i,v_j)}+c_{ij}
ترميز المركزية وانتباه Graphormer مع الانحيازين المكاني والرابطي.

نقاط القوة

  • انتباه كامل يزيل الانضغاط المفرط
  • ترميزات بنيوية قوية
  • نتائج متقدمة مع بيانات ضخمة

القيود

  • كلفة O(n²) للانتباه وحساب كل أقصر المسارات
  • يحتاج بيانات كثيرة
  • غير عملي للرسوم الكبيرة

التعقيد الحسابي

O(n²·d) لكل طبقة + O(n³) أو O(n·|E|) لأقصر المسارات.

متى تستخدمه

مجموعات ضخمة من رسوم صغيرة (جزيئات).

التنفيذ في PyTorch Geometric

لا يوجد صنف في PyG الأساسية؛ مستودع Microsoft Graphormer.

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Ying, C., Cai, T., Luo, S., Zheng, S., Ke, G., He, D., Shen, Y., & Liu, T.-Y. (2021). Do Transformers Really Perform Bad for Graph Representation?. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2106.05234Graphormer: ترميز المركزية والمسافة البنيوية وترميز الروابط.
  2. Hu, W., Fey, M., Ren, H., Nakata, M., Dong, Y., & Leskovec, J. (2021). OGB-LSC: A Large-Scale Challenge for Machine Learning on Graphs. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2103.09430مجموعات ضخمة: MAG240M وWikiKG90M وPCQM4M.