HGT – المحوّل للرسوم غير المتجانسة
Heterogeneous Graph Transformer (2020)
انتباه على الجيران بأسلوب المحوّل، لكن مصفوفات الاستعلام والمفتاح والقيمة تتبع نوع العقدة، ومصفوفة الانتباه والرسالة تتبع نوع الرابط؛ دون مسارات وصفية يدوية.
الحدس
انتباه على الجيران بأسلوب المحوّل، لكن مصفوفات الاستعلام والمفتاح والقيمة تتبع نوع العقدة، ومصفوفة الانتباه والرسالة تتبع نوع الرابط؛ دون مسارات وصفية يدوية.
الشرح التفصيلي
لكل رابط (s, e, t) يحسب HGT مفتاحاً من المصدر بإسقاط خاص بنوعه، واستعلاماً من الهدف بإسقاط خاص بنوعه، ثم يقارنهما عبر مصفوفة خاصة بنوع الرابط مع أولوية μ لكل ثلاثية أنواع. الرسالة كذلك تمر بإسقاط حسب نوع المصدر ثم مصفوفة حسب نوع الرابط. التحديث وصلة متبقية مع إسقاط حسب نوع الهدف.
أضاف المؤلفون ترميزاً زمنياً نسبياً للرسوم المتغيرة، ومعاينة (HGSampling) تحافظ على توازن الأنواع في الدفعات، وطبقوه على رسم Open Academic Graph بمئات الملايين من العقد. يتعلم النموذج ضمنياً المسارات الوصفية المهمة عبر الطبقات.
البنية المعمارية
L طبقات HGTConv برؤوس متعددة ← رأس للمهمة؛ مع HGSampling للرسوم الضخمة.
المعادلات
\operatorname{ATT}^i(s,e,t)=\Big(K^i(s)\,W^{\text{ATT}}_{\phi(e)}\,Q^i(t)^{\top}\Big)\cdot\frac{\mu_{\langle\tau(s),\phi(e),\tau(t)\rangle}}{\sqrt{d}}نقاط القوة
- لا يحتاج مسارات وصفية
- مشاركة معاملات مرنة بين الأنواع
- قابل للتوسع مع المعاينة
القيود
- معاملات أكثر من النماذج المتجانسة
- خطوط أساس متجانسة مضبوطة قد تنافسه
- معقد التنفيذ والضبط
التعقيد الحسابي
خطية في |E| لكل رأس، مع معاملات تتناسب مع عدد الأنواع.
متى تستخدمه
رسوم غير متجانسة كبيرة بعدة أنواع عقد وروابط.
التنفيذ في PyTorch Geometric
torch_geometric.nn.HGTConvشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020). Heterogeneous Graph Transformer. The Web Conference (WWW). DOI: 10.1145/3366423.3380027 · arXiv: 2003.01332HGT: انتباه بمعاملات تعتمد على أنواع العقد والروابط.
- Lv, Q., Ding, M., Liu, Q., Chen, Y., Feng, W., He, S., Zhou, C., Jiang, J., Dong, Y., & Tang, J. (2021). Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD). DOI: 10.1145/3447548.3467350 · arXiv: 2112.14936معيار HGB للرسوم غير المتجانسة وخط الأساس Simple-HGN.
