تنظيم L2
Weight Decay (L2)
إضافة عقوبة على كبر الأوزان إلى الخسارة لتقليل الإفراط في الملاءمة.
الشرح
في المختبر يُضاف λ·W إلى تدرج كل وزن (عدا الانحيازات)، وهو ما تفعله معلمة weight_decay في Adam بمكتبة PyTorch. القيمة الشائعة لـ GCN على Cora هي 5×10⁻⁴.
المعادلة
\mathcal{L}_{\text{total}}=\mathcal{L}+\frac{\lambda}{2}\sum\lVert W\rVert^2شرح الرموز
- λ: معامل التنظيم
المراجع
- Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR). arXiv: 1609.02907الورقة الأصلية لـ GCN ومصدر التطبيع المتماثل للمصفوفة.
- Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR). arXiv: 1412.6980المُحسِّن المستخدم في كل تجارب التدريب في المختبر.
