JK-Net – شبكات المعرفة القافزة
Jumping Knowledge Networks (2018)
العقد المختلفة تحتاج مدى جوار مختلفاً: عقدة في مركز كثيف يكفيها جيران قريبون، وأخرى في طرف متفرق تحتاج أبعد. اجمع مخرجات كل الطبقات ودع النموذج يختار.
الحدس
العقد المختلفة تحتاج مدى جوار مختلفاً: عقدة في مركز كثيف يكفيها جيران قريبون، وأخرى في طرف متفرق تحتاج أبعد. اجمع مخرجات كل الطبقات ودع النموذج يختار.
الشرح التفصيلي
حلل المؤلفون تأثير العقد البعيدة على تمثيل العقدة بتوزيع المسار العشوائي، وبيّنوا أنه يختلف كثيراً حسب البنية المحلية: في المناطق الشبيهة بالمتوسعات (Expanders) ينتشر التأثير بسرعة ويتنعم، وفي الأشجار يبقى محلياً. لذلك عمق ثابت للجميع غير ملائم.
تضيف JK طبقة تجميع أخيرة على تمثيلات كل الطبقات لكل عقدة: الضم، أو الأقصى عنصراً بعنصر، أو انتباه بـ LSTM ثنائي الاتجاه يعطي وزناً لكل طبقة. يمكن تركيبها مع أي GNN (GCN أو SAGE أو GAT).
البنية المعمارية
L طبقات GNN ← جمع h^(1)…h^(L) لكل عقدة ← تجميع JK (concat/max/LSTM) ← رأس.
المعادلات
h_v^{\text{final}}=\operatorname{AGG}_{\text{JK}}\!\left(h_v^{(1)},h_v^{(2)},\dots,h_v^{(L)}\right)نقاط القوة
- مدى جوار تكيفي لكل عقدة
- يخفف التنعيم المفرط
- يتركب مع أي طبقة
القيود
- الضم يضاعف الأبعاد
- LSTM يزيد الكلفة
- لا يحل الانضغاط المفرط
التعقيد الحسابي
كلفة الطبقات + تجميع O(n·L·F).
متى تستخدمه
رسوم بكثافات محلية متفاوتة، أو حين تريد عمقاً أكبر دون تدهور.
التنفيذ في PyTorch Geometric
torch_geometric.nn.JumpingKnowledge (أو jk= في نماذج PyG الجاهزة)شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Xu, K., Li, C., Tian, Y., Sonobe, T., Kawarabayashi, K., & Jegelka, S. (2018). Representation Learning on Graphs with Jumping Knowledge Networks. International Conference on Machine Learning (ICML). arXiv: 1806.03536JK-Net: تجميع مخرجات كل الطبقات لاختيار مدى الجوار تكيفياً.
