DiffPool – التجميع القابل للاشتقاق
Differentiable Pooling (2018)
تعلّم كيف تجمع العقد في عناقيد في كل مستوى بشبكة GNN، ثم اختصر الرسم إلى رسم العناقيد، وكرر حتى عقدة واحدة.
الحدس
تعلّم كيف تجمع العقد في عناقيد في كل مستوى بشبكة GNN، ثم اختصر الرسم إلى رسم العناقيد، وكرر حتى عقدة واحدة.
الشرح التفصيلي
في كل مستوى شبكتان: GNN للتمثيل Z، وGNN للإسناد S بـ softmax على k عنقوداً. تُحسب خصائص العناقيد SᵀZ وجوارها SᵀAS. تُضاف خسارتان مساعدتان: إعادة بناء الجوار من SSᵀ (العقد المتصلة في العنقود نفسه)، وإنتروبيا الإسناد (إسناد حاد). عدد العناقيد في كل مستوى نسبة من عدد العقد.
حسّنت DiffPool نتائج تصنيف الرسوم على عدة مجموعات TU عند نشرها، وأظهرت عناقيد ذات معنى. لكن الرسوم الناتجة كثيفة، والذاكرة O(n·k) وأكثر، فلا تصلح للرسوم الكبيرة.
البنية المعمارية
GNN ← DiffPool (k₁) ← GNN ← DiffPool (k₂) ← … ← عقدة واحدة ← MLP.
المعادلات
S=\operatorname{softmax}(\operatorname{GNN}_{\text{pool}}(A,X)),\quad X'=S^{\top}\operatorname{GNN}_{\text{embed}}(A,X),\quad A'=S^{\top}ASنقاط القوة
- تمثيل هرمي متعلَّم
- عناقيد قابلة للتفسير
- تحسين في تصنيف الرسوم
القيود
- كثيفة ومكلفة الذاكرة
- تحتاج خسائر مساعدة
- غير مستقرة أحياناً في التدريب
التعقيد الحسابي
O(n²) ذاكرة للرسم الكثيف وO(n·k) للإسناد.
متى تستخدمه
رسوم صغيرة إلى متوسطة ذات بنية هرمية واضحة.
التنفيذ في PyTorch Geometric
torch_geometric.nn.dense_diff_poolشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Ying, Z., You, J., Morris, C., Ren, X., Hamilton, W., & Leskovec, J. (2018). Hierarchical Graph Representation Learning with Differentiable Pooling. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1806.08804تجميع هرمي قابل للتعلم لتصنيف الرسوم (DiffPool).
