كتب الذكاء الاصطناعيمشاريع الذكاء الاصطناعيمقالات الذكاء الاصطناعيمعجم الذكاء الاصطناعياسئلة واجوبة في الذكاء الاصطناعيأكاديمية الذكاء الاصطناعي للأطفالأكاديمية الذكاء الاصطناعيمدرسة رياضيات الذكاء الاصطناعيمختبر الذكاء الاصطناعيمختبر الخوارزميات المستوحاة من الطبيعةأطلس نماذج الذكاء الاصطناعيموسوعة تطبيقات الذكاء الاصطناعيمستكشف مجموعات البيانات للذكاء الاصطناعياختبارات الذكاء الاصطناعيالفايب كودينغدليل البرمجة بالذكاء الاصطناعيمولّد مشاريع الذكاء الاصطناعيمرصد الذكاء الاصطناعيدليل أدوات الذكاء الاصطناعي البحث والنشر الأكاديميمكتبة البرومبتات الأكاديميةمستودع الرسائل والأطاريح في الذكاء الاصطناعيحاسبة الترقية العلميةأكاديمية الوكلاء الذكيينمختبر أخلاقيات الذكاء الاصطناعي والعدالةساحة ألعاب الذكاء الاصطناعيعبقري الذكاء الاصطناعيمختبر التنبؤ بالسلاسل الزمنيةمتحف الذكاء الاصطناعيمختبر الرؤية الحاسوبيةموسوعة شبكات التعلم العميق الحديثةمختبر الشبكات العصبية البيانيةمختبر تحليل الصور الطبيةمختبر معالجة اللغة الطبيعيةمختبر الحوسبة الكمّيةخرائط طريق الذكاء الاصطناعيأكاديمية ماتلاب والذكاء الاصطناعيمصمم الشبكات العصبيةأكاديمية الذكاء الاصطناعي بدون برمجةمختبر الذكاء الاصطناعي الكمّي

التعلم الذاتي على الرسوم: التباين والإكمال والتمثيلات العامة

Self-supervised Learning on Graphs

الوسوم في الرسوم نادرة ومكلفة (تجارب مخبرية للجزيئات، مراجعة يدوية للاحتيال)، فكيف نتعلم تمثيلات مفيدة دون وسوم؟ يعرض الدرس الأهداف التوليدية (إعادة بناء الروابط والخصائص المقنّعة)، والتباينية (DGI وGraphCL)، والزيادات على الرسوم، والتقييم بالمسبار الخطي، وحدود هذا النهج.

المهام والتقييم والتطبيق العمليمتقدم25 دقيقة قراءةالدرس 22 من 23

أهداف الدرس

  • التمييز بين الأهداف التوليدية والتباينية
  • شرح Deep Graph Infomax ودالة الإفساد
  • تصميم زيادات بيانية مناسبة للمجال
  • تقييم التمثيلات بالمسبار الخطي والضبط الدقيق

1 لماذا التعلم الذاتي؟

في التعلم الذاتي (Self-supervised) نصنع مهمة من البيانات نفسها، فيتعلم المشفّر تمثيلات تُستخدم لاحقاً لمهام متعددة بوسوم قليلة. في الرسوم يتيح ذلك تدريباً مسبقاً على ملايين الجزيئات غير الموسومة ثم ضبطاً على مئات موسومة، أو تعلّم تمثيلات للعقد في شبكة لا نعرف مهامها مسبقاً.

2 الأهداف التوليدية

أبسطها إعادة بناء مصفوفة الجوار من التمثيلات (GAE وVGAE): المشفّر GCN وفاك التشفير ضرب داخلي، والهدف استعادة الروابط الموجودة وتمييزها عن غير الموجودة. وأحدث منها إقناع خصائص بعض العقد أو روابطها ثم التنبؤ بها، على غرار BERT (المشفّرات الذاتية المقنّعة للرسوم). مناسبة حين تكون البنية أو الخصائص غنية بالمعلومة.

3 الأهداف التباينية: DGI

Deep Graph Infomax (Veličković وزملاؤه، 2019) تعظم المعلومات المتبادلة بين التمثيلات المحلية للعقد وملخص شامل للرسم. يُحسب ملخص s بمتوسط تمثيلات العقد، ثم يُنشأ رسم مُفسد (Corrupted) بخلط صفوف مصفوفة الخصائص مع إبقاء البنية، ويتعلم مميّز D أن يعطي درجة عالية لأزواج (عقدة حقيقية، ملخص) ومنخفضة لأزواج (عقدة مفسدة، ملخص). بلغت تمثيلاتها مع مسبار خطي أداء قريباً من GCN المدربة بالإشراف على Cora.

\mathcal{L}=\frac{1}{N+M}\Big(\sum_{i=1}^{N}\log D(h_i,s)+\sum_{j=1}^{M}\log\big(1-D(\tilde{h}_j,s)\big)\Big),\quad D(h,s)=\sigma(h^{\top}Ws)
هدف DGI: تمييز التمثيلات الحقيقية من المفسدة بالنسبة إلى ملخص الرسم.
Gaug₁drop edgesaug₂mask featuresf_θsharedf_θsharedInfoNCEpull / push
التعلم التبايني: نسختان معدّلتان من الرسم، ومشفّر مشترك، وخسارة تقرّب التمثيلين المتقابلين.

4 الزيادات والتباين بين منظورين: GraphCL

GraphCL (You وزملاؤه، 2020) تنقل فكرة SimCLR: تولد منظورين معدّلين لكل رسم بزيادات عشوائية، وتمررهما إلى المشفّر والرأس، وتجعل تمثيلي المنظورين للرسم نفسه متقاربين ومتباعدين عن رسوم الدفعة الأخرى (خسارة NT-Xent). الزيادات الأساسية: حذف عقد، وتشويش روابط، وإقناع خصائص، ومعاينة رسوم فرعية. ووجد المؤلفون أن الزيادة الأفضل تعتمد على المجال: تشويش الروابط مفيد في الشبكات الاجتماعية وضار في الجزيئات لأنه يغير هويتها الكيميائية.

\ell_n=-\log\frac{\exp\big(\operatorname{sim}(z_{n,i},z_{n,j})/\tau\big)}{\sum_{n'\ne n}\exp\big(\operatorname{sim}(z_{n,i},z_{n',j})/\tau\big)}
خسارة NT-Xent بين منظورين i وj للرسم n مع حرارة τ.

5 التقييم والحدود

يُقيَّم التمثيل بمسبار خطي (Linear Probe): تُجمَّد معاملات المشفّر ويُدرَّب مصنف خطي فوق التمثيلات، أو بالضبط الدقيق مع وسوم قليلة. حدود مهمة: تحسينات التدريب المسبق على الجزيئات ليست مضمونة وقد تضر (نقل سلبي) إذا اختلف المجال، والزيادات غير المناسبة تغير دلالة الرسم، والمقارنة العادلة تتطلب خطاً أساسياً مدرباً بالإشراف بالضبط نفسه.

from torch_geometric.nn import DeepGraphInfomax, GCNConv
import torch

class Encoder(torch.nn.Module):
    def __init__(self, i, h):
        super().__init__(); self.conv = GCNConv(i, h); self.act = torch.nn.PReLU(h)
    def forward(self, x, ei):
        return self.act(self.conv(x, ei))

def corruption(x, ei):
    return x[torch.randperm(x.size(0))], ei     # خلط الخصائص مع إبقاء البنية

model = DeepGraphInfomax(hidden_channels=512, encoder=Encoder(data.num_features, 512),
                         summary=lambda z, *a, **k: torch.sigmoid(z.mean(dim=0)),
                         corruption=corruption)
pos_z, neg_z, summary = model(data.x, data.edge_index)
loss = model.loss(pos_z, neg_z, summary)

خلاصة الدرس

  • التعلم الذاتي يستفيد من بيانات غير موسومة لتمثيلات عامة
  • التوليدي: إعادة بناء الروابط أو الخصائص المقنّعة
  • التبايني: DGI (محلي مقابل شامل) وGraphCL (منظوران مزيدان)
  • الزيادات يجب أن تحفظ دلالة المجال، والتقييم بمسبار خطي وخط أساس خاضع للإشراف

تحقّق من فهمك

فكّر في الإجابة أولاً، ثم افتح السؤال لترى الجواب.

كيف تُفسد DGI الرسم لتوليد الأمثلة السلبية؟

بخلط صفوف مصفوفة الخصائص عشوائياً مع إبقاء البنية كما هي، فتصبح الخصائص في مواقع خاطئة.

لماذا قد يضر تشويش الروابط في رسوم الجزيئات؟

لأن تغيير الروابط الكيميائية يغير هوية الجزيء وخصائصه، فيصبح «المنظوران» جزيئين مختلفين فعلاً.

تابع التعلّم

نماذج في هذا الدرس

مفاهيم مرتبطة

طبّق في المختبر: مستكشف تمثيلات العقد

المراجع

  1. Veličković, P., Fedus, W., Hamilton, W. L., Liò, P., Bengio, Y., & Hjelm, R. D. (2019). Deep Graph Infomax. International Conference on Learning Representations (ICLR). arXiv: 1809.10341تعلّم ذاتي بتعظيم المعلومات المتبادلة بين التمثيل المحلي وملخص الرسم.
  2. You, Y., Chen, T., Sui, Y., Chen, T., Wang, Z., & Shen, Y. (2020). Graph Contrastive Learning with Augmentations. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 2010.13902GraphCL: تعلّم تبايني بزيادات على الرسوم.
  3. Kipf, T. N., & Welling, M. (2016). Variational Graph Auto-Encoders. NIPS Workshop on Bayesian Deep Learning. arXiv: 1611.07308الورقة الأصلية لـ GAE وVGAE في التنبؤ بالروابط.
  4. Hamilton, W. L., Ying, R., & Leskovec, J. (2017). Inductive Representation Learning on Large Graphs. Advances in Neural Information Processing Systems (NeurIPS). arXiv: 1706.02216الورقة الأصلية لـ GraphSAGE والتعلم الاستقرائي بالعيّنات من الجوار.