DGI – تعظيم المعلومات البيانية العميق
Deep Graph Infomax (2019)
اجعل تمثيل كل عقدة «يعرف» الرسم الذي ينتمي إليه: مميّز يفرق بين تمثيلات عقد حقيقية وتمثيلات من رسم مفسد، بالنسبة إلى ملخص الرسم.
الحدس
اجعل تمثيل كل عقدة «يعرف» الرسم الذي ينتمي إليه: مميّز يفرق بين تمثيلات عقد حقيقية وتمثيلات من رسم مفسد، بالنسبة إلى ملخص الرسم.
الشرح التفصيلي
يُشفَّر الرسم بـ GCN (أو غيرها) إلى H، ويُحسب ملخص s = σ(متوسط H). يُنشأ رسم مفسد بخلط صفوف الخصائص مع إبقاء البنية، ويُشفّر بالمشفّر نفسه إلى H̃. مميّز ثنائي خطي D(h, s) = σ(hᵀWs) يُدرَّب على تمييز (h_i, s) من (h̃_j, s). هذا يعظم حداً أدنى للمعلومات المتبادلة بين التمثيلات المحلية والملخص الشامل.
مع مسبار خطي فوق التمثيلات المجمدة، اقترب أداء DGI من GCN المدربة بإشراف على مجموعات الاقتباس، وكان نقطة تحول في التعلم الذاتي على الرسوم.
البنية المعمارية
مشفّر GCN (512) مع PReLU ← ملخص بالمتوسط ← مميّز ثنائي خطي؛ ثم مسبار خطي.
المعادلات
\mathcal{L}=\frac{1}{N+M}\Big(\sum_{i}\log D(h_i,s)+\sum_{j}\log\big(1-D(\tilde{h}_j,s)\big)\Big)نقاط القوة
- لا يحتاج وسوماً
- بسيط ومستقر
- تمثيلات عامة جيدة
القيود
- يعتمد على دالة إفساد مناسبة
- الملخص بالمتوسط ضعيف في الرسوم الكبيرة المتنوعة
- ليس دائماً أفضل من تدريب خاضع للإشراف بوسوم قليلة
التعقيد الحسابي
ضعف كلفة المشفّر (الرسم الحقيقي والمفسد).
متى تستخدمه
تمثيلات العقد دون وسوم أو تدريب مسبق قبل ضبط بوسوم قليلة.
التنفيذ في PyTorch Geometric
torch_geometric.nn.DeepGraphInfomaxشيفرة توضيحية للاستخدام المعتاد؛ راجع توثيق إصدار المكتبة الذي تستخدمه قبل تشغيلها.
تابع التعلّم
نماذج مرتبطة
دروس تشرحه
المراجع
- Veličković, P., Fedus, W., Hamilton, W. L., Liò, P., Bengio, Y., & Hjelm, R. D. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR). arXiv: 1809.10341تعلّم ذاتي بتعظيم المعلومات المتبادلة بين التمثيل المحلي وملخص الرسم.
