GraphCL – التعلم التبايني للرسوم بالزيادات
Graph Contrastive Learning (2020)
ولّد نسختين معدّلتين من كل رسم (بحذف عقد أو روابط أو إقناع خصائص)، واجعل تمثيليهما متقاربين ومتباعدين عن رسوم أخرى في الدفعة.
الحدس
ولّد نسختين معدّلتين من كل رسم (بحذف عقد أو روابط أو إقناع خصائص)، واجعل تمثيليهما متقاربين ومتباعدين عن رسوم أخرى في الدفعة.
الشرح التفصيلي
على غرار SimCLR في الصور: زيادتان عشوائيتان لكل رسم، ومشفّر GNN مشترك، ورأس إسقاط MLP، وخسارة NT-Xent تعامل المنظورين للرسم نفسه زوجاً موجباً وبقية الدفعة سلبيات. درس المؤلفون أربع زيادات (حذف العقد، تشويش الروابط، إقناع الخصائص، معاينة رسم فرعي) ووجدوا أن تركيب زيادتين مختلفتين أفضل، وأن الزيادة المناسبة تعتمد على المجال.
حسّن التدريب المسبق بـ GraphCL أداء تصنيف الرسوم مع وسوم قليلة ومتانة النماذج، وصار خطاً أساسياً لطرق تالية تتعلم الزيادات نفسها.
البنية المعمارية
زيادتان ← مشفّر GIN مشترك ← قراءة ← رأس إسقاط ← NT-Xent.
المعادلات
\ell_n=-\log\frac{\exp(\operatorname{sim}(z_{n,i},z_{n,j})/\tau)}{\sum_{n'\neq n}\exp(\operatorname{sim}(z_{n,i},z_{n',j})/\tau)}نقاط القوة
- تدريب مسبق دون وسوم
- تحسن مع الوسوم القليلة
- إطار مرن للزيادات
القيود
- الزيادة غير المناسبة تغير دلالة الرسم
- يحتاج دفعات كبيرة للسلبيات
- المكاسب تعتمد على المجال
التعقيد الحسابي
ضعف كلفة المشفّر + O(B²) للتشابهات في الدفعة.
متى تستخدمه
تدريب مسبق على رسوم كثيرة غير موسومة قبل ضبط على مهمة رسم.
التنفيذ في PyTorch Geometric
مكتبة PyGCL أو مستودع المؤلفينشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- You, Y., Chen, T., Sui, Y., Chen, T., Wang, Z., & Shen, Y. (2020). Graph Contrastive Learning with Augmentations. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2010.13902GraphCL: تعلّم تبايني بزيادات على الرسوم.
