كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

HGT – المحوّل للرسوم غير المتجانسة

Heterogeneous Graph Transformer (2020)

انتباه على الجيران بأسلوب المحوّل، لكن مصفوفات الاستعلام والمفتاح والقيمة تتبع نوع العقدة، ومصفوفة الانتباه والرسالة تتبع نوع الرابط؛ دون مسارات وصفية يدوية.

العائلة: علائقية وغير متجانسة (Relational)المهام: الرسوم الأكاديمية الضخمة غير المتجانسة والمتغيرة زمنياً

الحدس

انتباه على الجيران بأسلوب المحوّل، لكن مصفوفات الاستعلام والمفتاح والقيمة تتبع نوع العقدة، ومصفوفة الانتباه والرسالة تتبع نوع الرابط؛ دون مسارات وصفية يدوية.

AAPPPVwrites W_r1published-in W_r2cites W_r3h_v′ = σ( Σ_r Σ_{u∈N_r(v)} (1/c) W_r h_u + W_0 h_v )
رسم غير متجانس: أنواع عقد وروابط مختلفة، ولكل نوع علاقة أوزانه الخاصة.

الشرح التفصيلي

لكل رابط (s, e, t) يحسب HGT مفتاحاً من المصدر بإسقاط خاص بنوعه، واستعلاماً من الهدف بإسقاط خاص بنوعه، ثم يقارنهما عبر مصفوفة خاصة بنوع الرابط مع أولوية μ لكل ثلاثية أنواع. الرسالة كذلك تمر بإسقاط حسب نوع المصدر ثم مصفوفة حسب نوع الرابط. التحديث وصلة متبقية مع إسقاط حسب نوع الهدف.

أضاف المؤلفون ترميزاً زمنياً نسبياً للرسوم المتغيرة، ومعاينة (HGSampling) تحافظ على توازن الأنواع في الدفعات، وطبقوه على رسم Open Academic Graph بمئات الملايين من العقد. يتعلم النموذج ضمنياً المسارات الوصفية المهمة عبر الطبقات.

البنية المعمارية

L طبقات HGTConv برؤوس متعددة ← رأس للمهمة؛ مع HGSampling للرسوم الضخمة.

المعادلات

\operatorname{ATT}^i(s,e,t)=\Big(K^i(s)\,W^{\text{ATT}}_{\phi(e)}\,Q^i(t)^{\top}\Big)\cdot\frac{\mu_{\langle\tau(s),\phi(e),\tau(t)\rangle}}{\sqrt{d}}
رأس الانتباه i في HGT.

نقاط القوة

  • لا يحتاج مسارات وصفية
  • مشاركة معاملات مرنة بين الأنواع
  • قابل للتوسع مع المعاينة

القيود

  • معاملات أكثر من النماذج المتجانسة
  • خطوط أساس متجانسة مضبوطة قد تنافسه
  • معقد التنفيذ والضبط

التعقيد الحسابي

خطية في |E| لكل رأس، مع معاملات تتناسب مع عدد الأنواع.

متى تستخدمه

رسوم غير متجانسة كبيرة بعدة أنواع عقد وروابط.

التنفيذ في PyTorch Geometric

torch_geometric.nn.HGTConv

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020). Heterogeneous Graph Transformer. The Web Conference (WWW). DOI: 10.1145/3366423.3380027 · arXiv: 2003.01332HGT: انتباه بمعاملات تعتمد على أنواع العقد والروابط.
  2. Lv, Q., Ding, M., Liu, Q., Chen, Y., Feng, W., He, S., Zhou, C., Jiang, J., Dong, Y., & Tang, J. (2021). Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD). DOI: 10.1145/3447548.3467350 · arXiv: 2112.14936معيار HGB للرسوم غير المتجانسة وخط الأساس Simple-HGN.