كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

DiffPool – التجميع القابل للاشتقاق

Differentiable Pooling (2018)

تعلّم كيف تجمع العقد في عناقيد في كل مستوى بشبكة GNN، ثم اختصر الرسم إلى رسم العناقيد، وكرر حتى عقدة واحدة.

العائلة: تجميع هرمي (Pooling)المهام: تصنيف الرسوم بتمثيل هرمي

الحدس

تعلّم كيف تجمع العقد في عناقيد في كل مستوى بشبكة GNN، ثم اختصر الرسم إلى رسم العناقيد، وكرر حتى عقدة واحدة.

S = softmax(GNN)h_GA′ = SᵀAS X′ = SᵀZ
DiffPool: مصفوفة إسناد متعلَّمة تجمع العقد في عناقيد، فينتج رسم أصغر في كل مستوى.

الشرح التفصيلي

في كل مستوى شبكتان: GNN للتمثيل Z، وGNN للإسناد S بـ softmax على k عنقوداً. تُحسب خصائص العناقيد SᵀZ وجوارها SᵀAS. تُضاف خسارتان مساعدتان: إعادة بناء الجوار من SSᵀ (العقد المتصلة في العنقود نفسه)، وإنتروبيا الإسناد (إسناد حاد). عدد العناقيد في كل مستوى نسبة من عدد العقد.

حسّنت DiffPool نتائج تصنيف الرسوم على عدة مجموعات TU عند نشرها، وأظهرت عناقيد ذات معنى. لكن الرسوم الناتجة كثيفة، والذاكرة O(n·k) وأكثر، فلا تصلح للرسوم الكبيرة.

البنية المعمارية

GNN ← DiffPool (k₁) ← GNN ← DiffPool (k₂) ← … ← عقدة واحدة ← MLP.

المعادلات

S=\operatorname{softmax}(\operatorname{GNN}_{\text{pool}}(A,X)),\quad X'=S^{\top}\operatorname{GNN}_{\text{embed}}(A,X),\quad A'=S^{\top}AS
معادلات DiffPool.

نقاط القوة

  • تمثيل هرمي متعلَّم
  • عناقيد قابلة للتفسير
  • تحسين في تصنيف الرسوم

القيود

  • كثيفة ومكلفة الذاكرة
  • تحتاج خسائر مساعدة
  • غير مستقرة أحياناً في التدريب

التعقيد الحسابي

O(n²) ذاكرة للرسم الكثيف وO(n·k) للإسناد.

متى تستخدمه

رسوم صغيرة إلى متوسطة ذات بنية هرمية واضحة.

التنفيذ في PyTorch Geometric

torch_geometric.nn.dense_diff_pool

شيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.

تابع التعلّم

نماذج مرتبطة

دروس تشرحه

المراجع

  1. Ying, Z., You, J., Morris, C., Ren, X., Hamilton, W., & Leskovec, J. (2018). Hierarchical Graph Representation Learning with Differentiable Pooling. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1806.08804تجميع هرمي قابل للتعلم لتصنيف الرسوم (DiffPool).