التعلم الذاتي على الرسوم: التباين والإكمال والتمثيلات العامة
Self-supervised Learning on Graphs
الوسوم في الرسوم نادرة ومكلفة (تجارب مخبرية للجزيئات، مراجعة يدوية للاحتيال)، فكيف نتعلم تمثيلات مفيدة دون وسوم؟ يعرض الدرس الأهداف التوليدية (إعادة بناء الروابط والخصائص المقنّعة)، والتباينية (DGI وGraphCL)، والزيادات على الرسوم، والتقييم بالمسبار الخطي، وحدود هذا النهج.
أهداف الدرس
- التمييز بين الأهداف التوليدية والتباينية
- شرح Deep Graph Infomax ودالة الإفساد
- تصميم زيادات بيانية مناسبة للمجال
- تقييم التمثيلات بالمسبار الخطي والضبط الدقيق
1 لماذا التعلم الذاتي؟
في التعلم الذاتي (Self-supervised) نصنع مهمة من البيانات نفسها، فيتعلم المشفّر تمثيلات تُستخدم لاحقاً لمهام متعددة بوسوم قليلة. في الرسوم يتيح ذلك تدريباً مسبقاً على ملايين الجزيئات غير الموسومة ثم ضبطاً على مئات موسومة، أو تعلّم تمثيلات للعقد في شبكة لا نعرف مهامها مسبقاً.
2 الأهداف التوليدية
أبسطها إعادة بناء مصفوفة الجوار من التمثيلات (GAE وVGAE): المشفّر GCN وفاك التشفير ضرب داخلي، والهدف استعادة الروابط الموجودة وتمييزها عن غير الموجودة. وأحدث منها إقناع خصائص بعض العقد أو روابطها ثم التنبؤ بها، على غرار BERT (المشفّرات الذاتية المقنّعة للرسوم). مناسبة حين تكون البنية أو الخصائص غنية بالمعلومة.
3 الأهداف التباينية: DGI
Deep Graph Infomax (Veličković وزملاؤه، 2019) تعظم المعلومات المتبادلة بين التمثيلات المحلية للعقد وملخص شامل للرسم. يُحسب ملخص s بمتوسط تمثيلات العقد، ثم يُنشأ رسم مُفسد (Corrupted) بخلط صفوف مصفوفة الخصائص مع إبقاء البنية، ويتعلم مميّز D أن يعطي درجة عالية لأزواج (عقدة حقيقية، ملخص) ومنخفضة لأزواج (عقدة مفسدة، ملخص). بلغت تمثيلاتها مع مسبار خطي أداء قريباً من GCN المدربة بالإشراف على Cora.
\mathcal{L}=\frac{1}{N+M}\Big(\sum_{i=1}^{N}\log D(h_i,s)+\sum_{j=1}^{M}\log\big(1-D(\tilde{h}_j,s)\big)\Big),\quad D(h,s)=\sigma(h^{\top}Ws)4 الزيادات والتباين بين منظورين: GraphCL
GraphCL (You وزملاؤه، 2020) تنقل فكرة SimCLR: تولد منظورين معدّلين لكل رسم بزيادات عشوائية، وتمررهما إلى المشفّر والرأس، وتجعل تمثيلي المنظورين للرسم نفسه متقاربين ومتباعدين عن رسوم الدفعة الأخرى (خسارة NT-Xent). الزيادات الأساسية: حذف عقد، وتشويش روابط، وإقناع خصائص، ومعاينة رسوم فرعية. ووجد المؤلفون أن الزيادة الأفضل تعتمد على المجال: تشويش الروابط مفيد في الشبكات الاجتماعية وضار في الجزيئات لأنه يغير هويتها الكيميائية.
\ell_n=-\log\frac{\exp\big(\operatorname{sim}(z_{n,i},z_{n,j})/\tau\big)}{\sum_{n'\ne n}\exp\big(\operatorname{sim}(z_{n,i},z_{n',j})/\tau\big)}5 التقييم والحدود
يُقيَّم التمثيل بمسبار خطي (Linear Probe): تُجمَّد معاملات المشفّر ويُدرَّب مصنف خطي فوق التمثيلات، أو بالضبط الدقيق مع وسوم قليلة. حدود مهمة: تحسينات التدريب المسبق على الجزيئات ليست مضمونة وقد تضر (نقل سلبي) إذا اختلف المجال، والزيادات غير المناسبة تغير دلالة الرسم، والمقارنة العادلة تتطلب خطاً أساسياً مدرباً بالإشراف بالضبط نفسه.
from torch_geometric.nn import DeepGraphInfomax, GCNConv
import torch
class Encoder(torch.nn.Module):
def __init__(self, i, h):
super().__init__(); self.conv = GCNConv(i, h); self.act = torch.nn.PReLU(h)
def forward(self, x, ei):
return self.act(self.conv(x, ei))
def corruption(x, ei):
return x[torch.randperm(x.size(0))], ei # خلط الخصائص مع إبقاء البنية
model = DeepGraphInfomax(hidden_channels=512, encoder=Encoder(data.num_features, 512),
summary=lambda z, *a, **k: torch.sigmoid(z.mean(dim=0)),
corruption=corruption)
pos_z, neg_z, summary = model(data.x, data.edge_index)
loss = model.loss(pos_z, neg_z, summary)خلاصة الدرس
- التعلم الذاتي يستفيد من بيانات غير موسومة لتمثيلات عامة
- التوليدي: إعادة بناء الروابط أو الخصائص المقنّعة
- التبايني: DGI (محلي مقابل شامل) وGraphCL (منظوران مزيدان)
- الزيادات يجب أن تحفظ دلالة المجال، والتقييم بمسبار خطي وخط أساس خاضع للإشراف
تحقّق من فهمك
فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.
كيف تُفسد DGI الرسم لتوليد الأمثلة السلبية؟
بخلط صفوف مصفوفة الخصائص عشوائياً مع إبقاء البنية كما هي، فتصبح الخصائص في مواقع خاطئة.
لماذا قد يضر تشويش الروابط في رسوم الجزيئات؟
لأن تغيير الروابط الكيميائية يغير هوية الجزيء وخصائصه، فيصبح «المنظوران» جزيئين مختلفين فعلاً.
تابع التعلّم
نماذج في هذا الدرس
مفاهيم مرتبطة
المراجع
- Veličković, P., Fedus, W., Hamilton, W. L., Liò, P., Bengio, Y., & Hjelm, R. D. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR). arXiv: 1809.10341تعلّم ذاتي بتعظيم المعلومات المتبادلة بين التمثيل المحلي وملخص الرسم.
- You, Y., Chen, T., Sui, Y., Chen, T., Wang, Z., & Shen, Y. (2020). Graph Contrastive Learning with Augmentations. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2010.13902GraphCL: تعلّم تبايني بزيادات على الرسوم.
- Kipf, T. N., & Welling, M. (2016). Variational Graph Auto-Encoders. NIPS Workshop on Bayesian Deep Learning. arXiv: 1611.07308الورقة الأصلية لـ GAE وVGAE في التنبؤ بالروابط.
- Hamilton, W. L., Ying, R., & Leskovec, J. (2017). Inductive Representation Learning on Large Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1706.02216الورقة الأصلية لـ GraphSAGE والتعلم الاستقرائي بالعيّنات من الجوار.
