Graphormer – غرافورمر
Graphormer (2021)
محوّل بانتباه كامل بين كل العقد، تُحقن فيه البنية عبر ثلاثة ترميزات: المركزية (الدرجة)، والمسافة البنيوية بين كل زوج، والروابط على أقصر مسار.
الحدس
محوّل بانتباه كامل بين كل العقد، تُحقن فيه البنية عبر ثلاثة ترميزات: المركزية (الدرجة)، والمسافة البنيوية بين كل زوج، والروابط على أقصر مسار.
الشرح التفصيلي
ترميز المركزية: تضمينات متعلمة للدرجة الداخلة والخارجة تُضاف إلى خصائص العقدة. الترميز المكاني: انحياز متعلَّم b_ψ(i,j) يضاف إلى درجة الانتباه حسب طول أقصر مسار بين i وj، فيعرف الانتباه البنية دون قصره على الجيران. ترميز الروابط: متوسط حاصل ضرب خصائص الروابط على أقصر مسار في متجهات متعلمة، يضاف انحيازاً. وعقدة افتراضية [VNode] للقراءة.
أثبت المؤلفون أن هذه الترميزات تجعل النموذج قادراً على تمثيل GIN وGCN وغيرها حالات خاصة، وحقق المركز الأول في مسار PCQM4M من OGB-LSC 2021.
البنية المعمارية
تضمين + مركزية ← L طبقة محوّل (Pre-LN) بانحيازي المسافة والروابط ← قراءة من VNode.
المعادلات
h_i^{(0)}=x_i+z^{-}_{\deg^{-}(v_i)}+z^{+}_{\deg^{+}(v_i)},\qquad A_{ij}=\frac{(h_iW_Q)(h_jW_K)^{\top}}{\sqrt{d}}+b_{\phi(v_i,v_j)}+c_{ij}نقاط القوة
- انتباه كامل يزيل الانضغاط المفرط
- ترميزات بنيوية قوية
- نتائج متقدمة مع بيانات ضخمة
القيود
- كلفة O(n²) للانتباه وحساب كل أقصر المسارات
- يحتاج بيانات كثيرة
- غير عملي للرسوم الكبيرة
التعقيد الحسابي
O(n²·d) لكل طبقة + O(n³) أو O(n·|E|) لأقصر المسارات.
متى تستخدمه
مجموعات ضخمة من رسوم صغيرة (جزيئات).
التنفيذ في PyTorch Geometric
لا يوجد صنف في PyG الأساسية؛ مستودع Microsoft Graphormer.شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Ying, C., Cai, T., Luo, S., Zheng, S., Ke, G., He, D., Shen, Y., & Liu, T.-Y. (2021). Do Transformers Really Perform Bad for Graph Representation?. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2106.05234Graphormer: ترميز المركزية والمسافة البنيوية وترميز الروابط.
- Hu, W., Fey, M., Ren, H., Nakata, M., Dong, Y., & Leskovec, J. (2021). OGB-LSC: A Large-Scale Challenge for Machine Learning on Graphs. Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks. arXiv: 2103.09430مجموعات ضخمة: MAG240M وWikiKG90M وPCQM4M.
